스마일 서브ceph osd 구성 – HBA 구성.
ceph osd node를 구성할때 지금까지 RAID 6 혹은 RAID 1+0 으로 구성하여 사용을 하였다.
RAID 6의 경우 꽤 안정적인 퍼포먼스 ( 읽기-쓰기 IO 및 recoverring IO degrading )를 보여 주었다.
상세 구성사항은 이전 글들에 기록되어 있으니 참고 바란다.
그러나 단일 호스트 서버 안에 복수개의 레이드 구성후 실제 사용 했을시 문제가 발생하였다.
(해당 문제는 현제 테스트 후 데이터 및 로그, 하드웨어의 복합적인 분석이 필요 하여 확인이 완료 되는대로 업테이트 하겠습니다.)
RAID 1+0 또한 안정적인 퍼포먼스를 보여주기는 했으나 미러를 구성해야 하므로 저장 공간이 엄청나게 필요하다.
저장 공간의 확장 면에서 다소 경제 비용이 떨어지는 방법인듯…..
아래는 HOST BUS APATER 를 사용한 1 disk / 1 id-osd 로 구성으로 진행할 것이다.
테스트 구성은 아래와 같음.
mgmt
mds
mon-1
mon-2
osd-1
osd-2
기본 구성은 위와 같이 다른 ceph node 구성과 다를 것이 없다. 단순히 osd 의 구성방식만 변경해 보는 것이다.
osd-1 과 osd-2 각각 SATA HDD 16개가 장착되어 있으며, journal을 위한 ssd 가 장착되어 있다.
즉. 32개의 OSD를 갖게 된다. ( 설치 방법 이전글 게시됨 참고.)
osd-1의 경우 모두 정상적으로 ceph osd up – health ok 상태.
osd-2추가 설치 진행시 osd가 추가 되지 않음.
osd prepare 단계에서도 어떠한 오류도 발생 하지 않았으며, messages log에도 문제가 발견 되지 않았다.
(테스트 진행 방식 생략)
테스트 대상 HBA, 메인보드, OS, HDD
osd prepare진행시 다음의 로그가 출력되는 것은 본 적이 있을 것이다.
[osd-2][WARNIN] INFO:ceph-disk:Running command: /bin/chown -R ceph:ceph /var/lib/ceph/tmp/mnt.a0f8Fk
[osd-2][WARNIN] DEBUG:ceph-disk:Unmounting /var/lib/ceph/tmp/mnt.a0f8Fk
[osd-2][WARNIN] INFO:ceph-disk:Running command: /bin/umount — /var/lib/ceph/tmp/mnt.a0f8Fk
[osd-2][WARNIN] DEBUG:ceph-disk:get_dm_uuid /dev/sdh uuid path is /sys/dev/block/8:112/dm/uuid
[osd-2][WARNIN] INFO:ceph-disk:Running command: /sbin/sgdisk –typecode=1:4fbd7e29-9d25-41b8-afd0-062c0ceff05d — /dev/sdh
[osd-2][DEBUG ] The operation has completed successfully.
[osd-2][WARNIN] DEBUG:ceph-disk:Calling partprobe on prepared device /dev/sdh
[osd-2][WARNIN] INFO:ceph-disk:Running command: /sbin/udevadm settle –timeout=600
[osd-2][WARNIN] INFO:ceph-disk:Running command: /sbin/partprobe /dev/sdh
[osd-2][WARNIN] INFO:ceph-disk:Running command: /sbin/udevadm settle –timeout=600
[osd-2][WARNIN] INFO:ceph-disk:Running command: /sbin/udevadm trigger –action=add –sysname-match sdh1
[osd-2][INFO ] checking OSD status…
[osd-2][INFO ] Running command: ceph –cluster=ceph osd stat –format=json
[ceph_deploy.osd][DEBUG ] Host osd-2 is now ready for osd use.
root@mgmt:~/cephcluster#
위 로그 중 INFO:ceph-disk:Running command: /sbin/udevadm trigger –action=add –sysname-match sdh1
의 단계에서 실제 OSD-2 서버를 보면 해당 OSD의 임시 아이디 발급과 이후 해당 임시 아이디와 장치사이에 마운팅이 이루어져야 한다.
그러나 본 문제 서버에서는 해당 로그 이후 osd 서버에는 아무런 변화가 없다. (다만 journal은 정상 분배됨)
16개의 디스크중 4개만이 cepg osd로 구성. 디스크 교체 HBA 교체등 컨버트가 가능한 하드웨어는 모두 했으나
결과는 같았다.
포트당 들어가는 디스크의 조합 구성을 변경해보았으나 결과값은 여전히 위와 같았다.
이에 2테라 디스크를 모두 제거 후 3테라 디스크를 장착 다시 osd를 연결한 결과, 모두 정상 진행 되었다.
2테라 디스크 개별적 성능 체크 했으나 모두 정상 수치. 시스템 로컬에서는 사용되는데 문제 발생되지 않음.
원격지에서 마운트 후 읽기/쓰기 테스트 정상.
ceph의 osd구성상에서만 연결되지 않았다.
해당 관련으로 문제시 되었다는 구굴 문서들은 많이 발견되었지만 정확한 진단이 나온 문서는 없어
본 테스트 이후에 정확한 진단 테스트를 진행할 예정.