주진 이
기업의 서버 인프라를 운영하다 보면 물리 서버마다 서비스를 개별적으로 구성하기보다, 하나의 물리 서버에서 여러 가상 서버를 운영할 수 있는 서버 가상화 환경을 구성하는 경우가 많습니다.
대표적인 가상화 플랫폼으로 VMware vSphere, Microsoft Hyper-V 등이 있으며, 최근에는 오픈소스 기반의 Proxmox VE(Proxmox Virtual Environment) 역시 기업 가상화 환경에서 활용되고 있습니다.
이번 글에서는 Proxmox VE의 기본 개념부터 실제 운영 환경에서 중요하게 확인해야 하는 클러스터, Ceph 스토리지, VM/LXC, 네트워크, 마이그레이션, HA, 백업 및 모니터링까지 살펴보겠습니다.
1. Proxmox VE란?
Proxmox VE는 Debian Linux 기반의 오픈소스 서버 가상화 플랫폼입니다.
하나의 웹 관리 화면에서 가상머신(VM), 컨테이너, 스토리지, 네트워크, 클러스터 등을 통합 관리할 수 있다는 특징이 있습니다.
Proxmox VE에서는 크게 두 가지 방식으로 가상화 환경을 구성할 수 있습니다.
KVM 기반 가상머신
KVM(Kernel-based Virtual Machine)을 이용하여 Windows와 Linux 등의 운영체제를 독립적인 가상머신으로 실행합니다.
일반적인 기업 서버 가상화 환경에서 사용하는 VM이 여기에 해당합니다.
LXC 기반 컨테이너
LXC(Linux Container)는 Linux 커널을 공유하는 OS 수준의 가상화 방식입니다.
VM보다 상대적으로 적은 리소스로 여러 Linux 환경을 운영할 수 있다는 장점이 있습니다.
따라서 Proxmox에서는 서비스 특성에 따라 VM과 LXC를 선택하여 사용할 수 있습니다.
2. 기업 환경에서 Proxmox를 구성한다면?
단일 Proxmox 서버만으로도 VM을 운영할 수 있지만, 실제 서비스 환경에서는 장애 대응과 유지보수를 고려해야 합니다.
예를 들어 다음과 같은 3노드 구성을 생각할 수 있습니다.
각 Proxmox 노드는 클러스터로 구성하고, VM의 디스크는 Ceph와 같은 분산 스토리지에 저장할 수 있습니다.
이러한 구조에서는 특정 노드에서 문제가 발생했을 때 다른 노드에서 VM을 실행할 수 있도록 설계할 수 있습니다.
3. Proxmox Cluster와 Quorum
여러 대의 Proxmox 서버를 하나의 관리 단위로 구성하는 것이 Proxmox Cluster입니다.
클러스터 환경에서는 VM과 노드 상태를 하나의 웹 인터페이스에서 확인할 수 있으며 마이그레이션과 HA 구성도 가능합니다.
운영자가 가장 중요하게 확인해야 하는 요소 중 하나가 Quorum입니다.
클러스터 상태는 다음과 같이 확인할 수 있습니다.
pvecm status운영 환경에서는 명령을 실행한 뒤 단순히 노드가 보이는지만 확인하는 것이 아니라 다음 항목을 함께 확인하는 것이 좋습니다.
- Cluster information
- Quorum information
- Expected votes
- Total votes
- Quorate 상태
특히 노드 장애나 네트워크 장애가 발생했을 때 Quorum 상태를 확인하지 않고 클러스터 설정을 변경하는 것은 주의해야 합니다.
4. Proxmox와 Ceph 분산 스토리지
Proxmox 클러스터에서 자주 함께 사용되는 스토리지 중 하나가 Ceph입니다.
Ceph는 여러 서버의 디스크를 하나의 분산 스토리지처럼 사용할 수 있도록 구성할 수 있습니다.
일반적으로 다음 구성요소를 이해해야 합니다.
- MON(Monitor)
- MGR(Manager)
- OSD(Object Storage Daemon)
- Pool
- PG(Placement Group)
- CRUSH
- RBD(RADOS Block Device)
VM 디스크를 Ceph RBD에 저장하면 특정 Proxmox 노드의 로컬 디스크에 VM 데이터가 종속되는 구조를 줄일 수 있습니다.
따라서 클러스터 환경에서 VM Migration과 HA를 구성할 때 중요한 역할을 합니다.
다만 Ceph를 구성했다고 해서 스토리지 장애에 대한 고민이 사라지는 것은 아닙니다.
운영 시에는 다음과 같은 상태를 지속적으로 확인해야 합니다.
ceph -s
특히 다음 항목을 확인합니다.
- HEALTH_OK / HEALTH_WARN / HEALTH_ERR
- OSD up/down
- OSD in/out
- Degraded Object
- Recovery / Backfill
- Slow Ops
Ceph 환경에서는 단순히 디스크 장애 여부뿐 아니라 OSD latency, recovery, backfill 등의 상태도 함께 살펴보는 것이 중요합니다.
5. 관리 네트워크와 VM 네트워크 분리
가상화 환경에서는 네트워크 설계도 중요합니다.
Proxmox에서는 Linux Bridge를 이용해 물리 NIC와 VM 네트워크를 연결할 수 있습니다.
대표적인 인터페이스 이름이 vmbr0, vmbr1입니다.
예를 들어 다음과 같이 역할을 분리할 수 있습니다.
vmbr0
└─ Proxmox Management
└─ Cluster Communication
└─ Ceph Network
vmbr1
└─ VM Service Network
규모가 커지면 Management, Corosync, Ceph Public/Cluster, VM Traffic 등을 VLAN 또는 별도 물리 NIC로 더욱 세분화할 수도 있습니다.
중요한 점은 네트워크 설정을 바로 수정하기 전에 현재 구성을 먼저 확인하는 것입니다.
ip addr ip route bridge link cat /etc/network/interfaces
운영 서버라면 /etc/network/interfaces를 변경하기 전에 반드시 백업합니다.
cp -a /etc/network/interfaces \
/etc/network/interfaces.bak.$(date +%Y%m%d_%H%M%S)네트워크 설정 오류는 Proxmox 관리 접속 자체가 끊어지는 장애로 이어질 수 있으므로 원격 작업에서는 특히 주의해야 합니다.
6. Proxmox VM 백업과 복구
가상화 환경에서 가장 중요한 운영 업무 중 하나가 백업입니다.
Proxmox에서는 vzdump를 이용해 VM 또는 컨테이너를 백업할 수 있습니다.
예를 들어 VM을 백업하면 다음과 같은 형태의 파일이 생성될 수 있습니다.
vzdump-qemu-100-YYYY_MM_DD-HH_MM_SS.vma.zst일반적인 로컬 백업 환경에서는 다음 경로에서 백업 파일을 확인할 수 있습니다.
/var/lib/vz/dump/백업 파일이 존재하는 것만으로 백업 체계가 완성되는 것은 아닙니다.
실제 운영에서는 복구가 가능한지 확인하는 과정이 중요합니다.
따라서 다음 흐름으로 관리하는 것이 좋습니다.
백업 작업 성공 ↓ 백업 파일 또는 Snapshot 확인 ↓ 백업 보관 정책 확인 ↓ 테스트 VM으로 Restore ↓ 부팅 확인 ↓ 서비스 및 데이터 확인
7. Proxmox Backup Server(PBS)를 이용한 백업
VM이 많아지면 Proxmox Backup Server(PBS)를 별도로 구성하는 방법도 있습니다.
PBS는 Proxmox 환경의 백업을 위한 전용 솔루션으로 다음과 같은 기능을 제공합니다.
- 증분 백업
- 중복 제거(Deduplication)
- 압축
- 암호화
- 백업 무결성 검사
- VM 및 LXC 복구
구조는 다음과 같이 구성할 수 있습니다.
Proxmox VE Cluster
│
│ Backup
▼
Proxmox Backup Server
│
▼
Datastore
│
▼
ZFS / Storage
PBS 운영에서도 단순히 Backup Job의 성공 여부만 확인하는 것으로 끝내지 않는 것이 좋습니다.
Datastore 상태와 서비스 상태, 마지막 백업 시간 등을 함께 확인해야 합니다.
예를 들어 다음과 같은 항목을 모니터링할 수 있습니다.
- VM별 마지막 백업 시간
- VM별 마지막 백업 성공/실패 여부
- Datastore 상태
- Datastore 사용량
- PBS 서비스 상태
- ZFS Pool 상태
8. 독립 Proxmox 서버 간 VM을 이전하려면?
모든 Proxmox 서버가 하나의 Cluster로 구성되어 있는 것은 아닙니다.
서로 독립적으로 운영되는 Proxmox 서버 간 VM을 이동해야 하는 상황도 발생합니다.
이 경우 한 가지 방법은 다음과 같습니다.
기존 Proxmox
│
│ vzdump
▼
VM Backup
│
│ Transfer
▼
신규 Proxmox
│
│ qmrestore
▼
VM Restore
예를 들어 백업 파일을 이용해 신규 서버에서 VM을 복구하는 방식입니다.
이때 주의해야 할 부분은 VM의 디스크만이 아닙니다.
다음 항목도 함께 확인해야 합니다.
- VM ID
- CPU / Memory
- Disk Bus
- Storage
- Network Bridge
- VLAN
- MAC Address
- BIOS / UEFI
- VirtIO 설정
- 부팅 순서
9. Proxmox Live Migration
클러스터 환경에서는 VM을 다른 Proxmox 노드로 이동할 수 있습니다.
이를 이용하면 물리 서버 유지보수 시 VM 서비스를 다른 노드로 이동시킨 뒤 작업하는 방식도 가능합니다.
하지만 Migration을 실행하기 전에 먼저 현재 상태를 확인해야 합니다.
예를 들면 다음과 같습니다.
pvecm status
pvesm status
qm list
ceph -s
확인해야 할 대표 항목은 다음과 같습니다.
- Cluster 정상 여부
- Quorum 정상 여부
- Source / Target 노드 상태
- 공유 Storage 상태
- Ceph 상태
- Migration Network 상태
- 대상 노드 리소스
10. Proxmox HA 구성
Proxmox에서는 HA(High Availability)를 구성하여 특정 노드에 장애가 발생했을 때 VM을 다른 노드에서 다시 실행하도록 구성할 수 있습니다.
다만 HA를 구성했다고 해서 모든 장애가 자동으로 해결되는 것은 아닙니다.
HA가 정상적으로 동작하려면 클러스터와 네트워크, 스토리지 등 여러 구성요소가 정상적으로 동작해야 합니다.
따라서 HA 환경에서는 다음 항목을 함께 관리해야 합니다.
- Corosync 통신
- Quorum
- Ceph Storage
- HA Manager
- 노드 상태
- VM 상태
- 네트워크
HA 테스트 역시 운영 환경에 바로 적용하기보다 별도의 테스트 환경에서 노드 장애 상황을 재현해 보는 것이 좋습니다.
11. Proxmox 운영에서 모니터링해야 할 항목
Proxmox 환경을 구축한 이후에는 지속적인 모니터링이 필요합니다.
예를 들어 Prometheus, Grafana, Zabbix 등을 이용해 모니터링 환경을 구성할 수 있습니다.
Proxmox Node
CPU Usage
Load Average
Memory Usage
Swap
Disk Usage
Disk I/O
Network Traffic
NIC Error / Drop
VM
CPU
Memory
Disk
Network
VM Status
Ceph
Cluster Health
OSD Status
OSD Latency
Slow Ops
Recovery
Backfill
Storage Usage
PBS
Backup Success / Failure
Last Backup Time
Datastore Usage
ZFS Pool Status
PBS Service Status
특히 사용자 체감 장애가 특정 시간대에 발생한다면 CPU만 확인해서는 원인을 찾기 어렵습니다.
네트워크 RTT와 패킷 손실, TCP Retransmission, 디스크 I/O, Ceph latency, 백업 작업 시간, Ceph Scrub 또는 Recovery 시간 등을 함께 비교해야 합니다.
Proxmox VE는 VM과 LXC를 운영하는 가상화 플랫폼이지만, 기업 환경에서는 단순히 VM을 생성하고 실행하는 용도로만 접근하기 어렵습니다.
Proxmox Cluster와 Ceph를 이용한 분산 스토리지, Migration과 HA를 통한 장애 대응, PBS를 이용한 백업 및 복구 체계까지 함께 고려해야 안정적인 운영 환경을 만들 수 있습니다.
※ 본 글은 본인의 실제 경험과 학습을 기반으로 직접 작성하였으며, AI는 참고용으로만 활용하였습니다.