스마일 서브정상적으로 운영중이던 ceph 구성중 일부 osd의 io 에러 출력 다음과 같은 진행
[ceph osd tree] tree Thu Apr 28 09:40:40 2016
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 114.58292 root default
-2 32.73798 host cloudv-osd-D
4 16.36899 osd.4 up 1.00000 1.00000
3 16.36899 osd.3 up 1.00000 1.00000
-3 32.73798 host cloudv-osd-B
2 16.36899 osd.2 up 1.00000 1.00000
1 16.36899 osd.1 up 1.00000 1.00000
-4 16.36899 host cloudv-osd-A
0 16.36899 osd.0 up 1.00000 1.00000
-5 32.73798 host cloudv-osd-C
6 16.36899 osd.6 up 1.00000 1.00000
5 16.36899 osd.5 down 0 1.00000
——————————————————————————————————-
[ceph-s]
cluster 32f39f19-0878-4dfe-9e31-60d2ba6a2ab4
health HEALTH_WARN
62 pgs backfill
4 pgs backfilling
66 pgs degraded
66 pgs stuck degraded
66 pgs stuck unclean
66 pgs stuck undersized
66 pgs undersized
recovery 243361/1947335 objects degraded (12.497%)
recovery 360336/1947335 objects misplaced (18.504%)
monmap e2: 3 mons at {mon-0=115.68.200.23:6789/0,mon-1=115.68.200.24:6789/0,mon-2=115.68.200.25:6789/0}
election epoch 138, quorum 0,1,2 mon-0,mon-1,mon-2
mdsmap e171: 1/1/1 up {0=mds=up:active}
osdmap e2654: 7 osds: 6 up, 6 in; 66 remapped pgs
flags sortbitwise
pgmap v68272: 512 pgs, 3 pools, 3680 GB data, 920 kobjects
6448 GB used, 94121 GB / 100570 GB avail
243361/1947335 objects degraded (12.497%)
360336/1947335 objects misplaced (18.504%)
446 active+clean
62 active+undersized+degraded+remapped+wait_backfill
4 active+undersized+degraded+remapped+backfilling
recovery io 160 MB/s, 20 objects/s
client io 326 MB/s wr, 658 op/s
——————————————————————————————————-
[ceph osd dump]
osd.4 up in weight 1 up_from 2617 up_thru 2653 down_at 2615 last_clean_interval [2581,2616) 115.68.200.244:6804/9833 115.68.200.244:6806/1009833 115.68.200.244:6809/1009833 115.68.200.244:6810/1009833 exists,up ea953cb2-218c-4c14-b902-2
ab76efe63a9
osd.5 down in weight 0 up_from 2647 up_thru 2648 down_at 2650 last_clean_interval [2609,2636) 115.68.200.243:6800/1719 115.68.200.243:6801/1719 115.68.200.243:6802/1719 115.68.200.243:6803/1719 exists, 5da8f1be-959c-4a26-ace6-3c06e
d792dfb
——————————————————————————————————-
최초 문제 발생시 출력되는 결과물은 위와 같았다
정리해본다면 다음과 같다.
–> 1. 일부 OSD에서 io error 발생으로 인해 xfs filesystem에 영향을 주었다.
이에 해당 osd를 down 시켰다. 이때 로그 메시지는 단순 osd down으로 out 시키지 않은 상태이며, ceph 에서는 degrade 만 진행.
해당 degrade가 발생시 ceph에서는 client io를 체크 하지 않았으며, 업로드 되는 파일의 용량도 변화가 없는 것으로 보아 쓰기 작업이 중지되는 것을 확인 할 수 있었다.
같은 degrade가 진행 되면서 눈여겨 볼 것이 있다. degrade진행 완료도가 높아 지면서 degrade를 하는 도중 client io가 체크되면서 다시 업로드 되는 것을 확인.
이때 최초 확인시 io속도는 현저히 느려졌으나 금방 원래의 속도로 ( 정상시 160~320M ) 진행.
2. 1의 과정이 진행 되던중 osd의 dump 내용과 status 변화.
osd.5 down in weight 0 up_from 2647 up_thru 2648 down_at 2650 last_clean_interval [2609,2636) 115.68.200.243:6800/1719 115.68.200.243:6801/1719 115.68.200.243:6802/1719
115.68.200.243:6803/1719 exists, 5da8f1be-959c-4a26-ace6-3c06e
에서
osd.5 down out weight 0 up_from 2647 up_thru 2648 down_at 2650 last_clean_interval [2609,2636) 115.68.200.243:6800/1719 115.68.200.243:6801/1719 115.68.200.243:6802/1719
115.68.200.243:6803/1719 autoout,exists 5da8f1be-959c-4a26-ace6-3c06e
으로 메시지 내용이 변경되면서 status 상태메시지도 변화 – 기존 degrade만 진행되던 것이 문제 osd가 out되면서 recovery가 진행 되었다.
client io 속도엔 영향을 주지 않았으며, recovery 속도 또한 평균 100 M/s 이상으로 진행됨.
문제 발생에 따른 ceph system 진행 과정은 다음과 같음.
osd 문제 발생(현재는 io) – > 문제 osd down -> client io 일시중지 -> degrade 진행 -> client io 다시 시작 -> 문제 osd autoout -> recovery,backfill 진행.
[조치]
문제 osd 로그 분석. 레이드 카드의 문제로 판단. 해당 osd를 제거
이후 출력되는 warning log
[ceph status]
active+recovery_wait+degraded
active+undersized+degraded+remapped+backfilling
[osd dump]
osd.6 down in weight 1 up_from 2644 up_thru 2644 down_at 2669 last_clean_interval [2605,2638) 115.68.200.243:6804/1728 115.68.200.243:6805/1728 115.68.200.243:6806/1728 115.68.200.243:6807/1728 exists 5ecedfe6-de58-455b-b8ef-2a8c6041961f
위와 같이 같은 호스트에 위치한 다른 osd.6이 down 되었다.
down 메시지중 같이 보아야 할 것은 out 인지 in인지인데 현재는 in으로 되어 있는 ceph에서 사용하는 osd라는 점.
( )
이로 보아 같은 호스트에 위치한 서로 다른 osd중 한개가 down out되어 제거 하면 나머지 osd는 up -> down 상태로 빠져버렸다.
결론. 같은 호스트에 복수개의 osd는 맞지 않는다.