박상현Ceph 는 무엇인가? 
Ceph 는 오픈소스 소프트웨어(Software Defined Storage) 스토리지 플랫폼으로 단일 분산 컴퓨터 클러스터에 object 스토리지를 구현하고 object, block 및 file Level 의 스토리지 기능을 제공한다.
또한 single point of failure 이 없는 완전히 분산된 운영을 주로 목표로 하며 엑사바이트 수준으로 scale-out이 가능하다.
CephFS 운영시 중요한 데몬인 MDS 에 대한 설명 입니다.
메타 데이터 서버의 역할 ( MDS )
- CephFS 클라이언트에 메타데이터를 제공합니다.
- Ceph 파일 시스템에 저장된 파일과 관련된 메타데이터를 관리합니다.
- 공유 Red Hat Ceph Storage 클러스터에 대한 액세스를 조정합니다.
- 백업 메타데이터 풀 저장소에 대한 요청을 줄이기 위해 핫 메타데이터를 캐시합니다.
- CephFS 클라이언트의 캐시를 관리하여 캐시 일관성을 유지합니다.
- 활성 M D S 간에 핫 메타데이터를 복제합니다.
- 백업 메타데이터 풀에 대한 정기적인 플러시를 통해 메타데이터 변이를 압축 저널에 통합합니다.
추가적인 아키텍쳐에 대한 자세한 내용은 아래 url 을 참조하면 된다.
https://chhanz.github.io/ceph/2021/08/18/ceph-architecture/
이중에서 알아볼 내용은 CEphFS(Ceph File System )이다 간단하게 이야기하면 CephFS은 NFS와 비슷한 공유파일 시스템 이다.
특징은 확장성, 공유파일 시스템, 다중파일 시스템, 고가용성 등등이 있다
Ceph버전 Pacific release 부터 다중 CephFS 파일시스템 을 안정적으로 지원하게 되었다.
이전버전 에서도 사용은 가능 하지만 “데이터가 삭제되거나 문제가 될 수 있다는 경고 메시지를 노출 하고 있다” 그러므로 최신버전에서 사용하는걸 추천함.
enable_multiple flag 설정 변경
ceph fs 플래그 세트 enable_multiple 참
– 신규 버전에서는 기본 설정이 “true”로 되어 있으므로 따로 설정 해줄 필요는 없지만
낮은 버전일 경우에는 해당 설정을 변경해야 한다.
파일 시스템 생성
ceph fs 볼륨 생성 < fs_name >
ceph fs 볼륨 생성 cephfs
– Ceph 최신 클러스트는 오케스트레이션을 지원하므로 해당 명령어만 입력하면 데이터 풀, 메타데이터풀,
mds 데몬까지 자동으로 배포가 진행되어 시스템 및 데몬 관리자 편해짐.
결과 확인
해당 볼륨 리스트를 보면 총 3개의 CephFS 볼륨이 만들어 진걸 확인 할 수 있다.
MDS 데몬도 CephFS 볼륨 별로 따로 데몬들이 구동 되서 운영 되는 걸 확인 할 수 있다.
테스트 후기.
Ceph NAUTILUS 버전을 사용 할때 보다 확실하게 좋아졌다.
단일 파일 시스템을 운영할때는 MDS 관련된 경고등이 많이 발생하였지만 Ceph Quincy 버전으로 업그레이드 하면서
설치 / 운영 / 성능 등이 모두 좋아지고 cephadm 을 통한 컨테이너 오케스트레이션 형태로 모두 변경되면서
편리함과 성능적인 부분들을 모두 갖춘듯 하다.