ceph 설치 후 pool 생성시 size 지정후 먹통되는 경우.

결론부터 말하면 다음과 같다.
ceph 최초 설치시 임의의 환경설정을 추가 시키지 말 것.
최초 설치시 환경 설정은 최소한의 기본 설정만 가지고 ceph deamon을 시작
이후 운용시 환경설정을 추가 할 것!

ceph의 모든 노드의 셋팅을 완료한 후

클라이언트와의 연결을 위해 우리는 pool을 생성하며, 해당 pool에 size를 지정한다.

단 설치 이후 ceph 의 상태가 아래와 같이 ok 이라는 가정하에 설명.

Every 2.0s: ceph -s Wed Jul 20 16:11:30 2016

cluster 0e269fe6-236f-4867-ba96-3c5c1d7f13aa
health HEALTH_warning
monmap e2: 3 mons at {mon-0=192.168.8.59:6789/0,mon-1=192.168.8.60:6789/0,m
on-2=192.168.8.61:6789/0}
election epoch 130, quorum 0,1,2 mon-0,mon-1,mon-2
mdsmap e163: 1/1/1 up {0=mds=up:creating}
osdmap e333: 3 osds: 3 up, 3 in
flags sortbitwise
pgmap v15702: 384 pgs, 3 pools, 985 GB data, 246 kobjects
1971 GB used, 3695 GB / 5666 GB avail
384 active+clean

mgmt서버에서 pool을 만들고
-> ceph osd pool create client07 256 256

해당 pool의 사이즈 지정.
rbd create client07/vm_disk01 –size 4096

시스템 반응이 없다????

ceph의 상태를 눈여겨 볼 필요가 있다.

health HEALTH_warning 와 mdsmap e163: 1/1/1 up {0=mds=up:creating}

문제시 되는 것은 뒤의 mdsmap e163: 1/1/1 up {0=mds=up:creating} 메시지이다.

여러가지 이유가 있었겠으나, 본 테스트의 경우는 다음과 같았다.

ceph-conf 파일 중 osd 관련 설정 부분.

설정 부분을 수정하기전 메시지는 다음과 같다.
Every 2.0s: ceph osd tree Wed Jul 20 16:15:39 2016

ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 5.53409 root default
1 1.84470 osd.1 up 1.00000 1.00000
0 1.84470 osd.0 up 1.00000 1.00000
2 1.84470 osd.2 up 1.00000 1.00000

(배경 : 각각의 osd.id는 각각의 server에 존재한다.)

수전전 osd conf

[osd]
osd recovery max active = 2
osd max backfills = 5
osd max scrubs = 2
osd check for log corruption = true
osd journal size = 10240 # journal size, in megabytes
journal block align = true
journal force aio = true
journal aio = true
journal dio = true
debug ms = 1
debug osd = 20 # low good
debug filestore = 20 # low good
debug journal = 20 # low good
debug optracker =0 # low good
filestore queue max ops = 1500
filestore btrfs snap = false
filestore flusher = true
filestore op threads = 4
osd crush update on start = false

[osd.0]
host = ip

[osd.1]
host = ip

[osd.2]
host = ip

위의 내용대로 시스템을 셋팅시 각 osd.id에 대하 host는 출력되지 않음.
osd 관련 모두 주석처리 후 기본 conf 값에서 ceph를 시작하는 것을 권장한다.

즉 결론.

ceph 초기 설치시 환경설정은 모두 기본으로 설정. 각각의 데몬에 디테일한 설정을 부연시키지 말 것!

이후 모든 노드의 셋팅이 완료 되고 난 후 디테일한 설정을 추가 시켜 운용을 할 것!

환경설정 변경시 모든 노드에 복사 해준 후 서비스를 재시작하여야 한다.

이후 다시한번 osd tree와 ceph status 를 출력하면 다음과 같다

Every 2.0s: ceph osd tree Wed Jul 20 16:23:15 2016

ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 5.53409 root default
-2 1.84470 host ssd-osd-c
1 1.84470 osd.1 up 1.00000 1.00000
-3 1.84470 host ssd-osd-b
0 1.84470 osd.0 up 1.00000 1.00000
-4 1.84470 host ssd-osd-a
2 1.84470 osd.2 up 1.00000 1.00000

Every 2.0s: ceph -s Wed Jul 20 16:23:21 2016

cluster 0e269fe6-236f-4867-ba96-3c5c1d7f13aa
health HEALTH_OK
monmap e2: 3 mons at {mon-0=192.168.8.59:6789/0,mon-1=192.168.8.60:6789/0,m
on-2=192.168.8.61:6789/0}
election epoch 130, quorum 0,1,2 mon-0,mon-1,mon-2
mdsmap e163: 1/1/1 up {0=mds=up:active}
osdmap e333: 3 osds: 3 up, 3 in
flags sortbitwise
pgmap v15714: 384 pgs, 3 pools, 985 GB data, 246 kobjects
1971 GB used, 3695 GB / 5666 GB avail
384 active+clean

osd에 대한 host명이 지정되었으며 mds 의 상태는 active로 활성화 되었다.

이후 생성된 pool에 대해 다시 사이즈를 지정해보길 바란다.