스마일 서브ceph mds 관리중 metadata 와 data pool을 생성시 mds creating 에서 멈춰진 경우가 있다
이는 기존 pool 과 pg pgs 의 수치가 올바르지 않아 발생될 수 있다.
시스템 osd의 구성 pool 생성 계획 및 osd 의 증축 계획에 따라 pg pgs 의 값음 바뀔 수 있으므로
절대값을 산출 할 수 없으나 해당 값으 유추할 수는 있다. 이부분은 추루 pg pgs 계산법에 대해 다시 언급하기로 하겠다.
아래 ceph-s 메시지를 보면 512 pgs 와 mds=creating 이 시간이 지나도 변하지 않고 있는 상태 메시지를 보여주고 있다.
Every 2.0s: ceph -s Thu Jun 30 09:47:33 2016
cluster b8bec5c5-5d83-461c-8d2c-fda4e3cda11a
health HEALTH_WARN
512 pgs stuck inactive
512 pgs stuck unclean
monmap e2: 3 mons at {mon-0=115.68.200.23:6789/0,mon-1=
115.68.200.24:6789/0,mon-2=115.68.200.25:6789/0}
election epoch 42, quorum 0,1,2 mon-0,mon-1,mon-
2
mdsmap e8: 1/1/1 up {0=mds=up:creating}
osdmap e36: 6 osds: 6 up, 6 in
flags sortbitwise
pgmap v97: 512 pgs, 2 pools, 0 bytes data, 0 objects
203 MB used, 100570 GB / 100570 GB avail
512 creating
————————–
위의 메시지를 바탕으로 metadata 와 data의 pool을 삭제 해보았다.
MDS 서버를 중지 시켜놓고 진행할 것
root@mgmt:~# ceph mds fail 0
root@mgmt:~# ceph fs rm cephfs –yes-i-really-mean-it
root@mgmt:~# ceph osd pool delete data data –yes-i-really-really-mean-it
pool ‘data’ removed
root@mgmt:~# ceph osd pool delete metadata metadata –yes-i-really-really-mean-it
pool ‘metadata’ removed
————————–
Every 2.0s: ceph -s Thu Jun 30 09:51:40 2016
cluster b8bec5c5-5d83-461c-8d2c-fda4e3cda11a
health HEALTH_OK
monmap e2: 3 mons at {mon-0=115.68.200.23:6789/0,mon-1=
115.68.200.24:6789/0,mon-2=115.68.200.25:6789/0}
election epoch 42, quorum 0,1,2 mon-0,mon-1,mon-
2
osdmap e39: 6 osds: 6 up, 6 in
flags sortbitwise
pgmap v100: 0 pgs, 0 pools, 0 bytes data, 0 objects
203 MB used, 100570 GB / 100570 GB avail
OK 메시지를 볼 수 있다, 그렇다면 이는 mds pool 생성은 되었으나 active 되지 않고 있음을 의미하며
또한 기존 기본 풀 혹은 타 생성 풀과 맞지 않는 값을 가지고 있음을 의미한다.
———————
root@mgmt:~/cephcluster# ceph mds stat
e11: 0/0/0 up
root@mgmt:~/cephcluster# ceph osd pool create metadata 128 128
pool ‘metadata’ created
root@mgmt:~/cephcluster# ceph osd pool create data 128 128
pool ‘data’ created
root@mgmt:~/cephcluster# ceph fs new cephfs metadata data
new fs with metadata pool 3 and data pool 4
root@mgmt:~/cephcluster# ceph mds stat
e14: 1/1/1 up {0=mds=up:creating}
—————————————–
Every 2.0s: ceph -s Thu Jun 30 09:55:03 2016
cluster b8bec5c5-5d83-461c-8d2c-fda4e3cda11a
health HEALTH_WARN
256 pgs stuck inactive
256 pgs stuck unclean
monmap e2: 3 mons at {mon-0=115.68.200.23:6789/0,mon-1=
115.68.200.24:6789/0,mon-2=115.68.200.25:6789/0}
election epoch 42, quorum 0,1,2 mon-0,mon-1,mon-
2
mdsmap e17: 1/1/1 up {0=mds=up:creating}
osdmap e43: 6 osds: 6 up, 6 in
flags sortbitwise
pgmap v114: 256 pgs, 2 pools, 0 bytes data, 0 objects
204 MB used, 100570 GB / 100570 GB avail
256 creating
본 테스트는 초기 ceph구성으로 기본 풀인 rbd 만을 가지고 있으며 해당 pg pgs 값은 default 64를 가지고 있다.
이제 해결 방법
첫번째
기존 풀 rbd를 과감히 날려라.
두번째
해당 풀의 pg pgs 값을 변경 시켜 주어라 변경 방법은 다음과 같다.
ceph osd pool set [pool name] pg_num 128
ceph osd pool set [pool name] pgp_num 128
참고로 해당 ceph의 기본 ps pgs 값은 128 이며 applica 는 2이다,
이 두 값은 해당 시스템의 pgs 에 영향을 주는 값이며, 이값의 산출법은 별도로 추가 기재하겠습니다.