RAID 구성하다 보면 핫-스페어(Hot-Spare)라는 용어가 등장합니다.
자동차 중에는 타이어 펑크 났을 때 사용하기 위해 여분의 임시 타이어를 갖고 있는 경우가 있습니다. 보통 트렁크 바닥에 숨어 있거나, 대형 SUV의 경우 뒷문에 달려있기도 합니다.
이 여분의 타이어를 “스페어(spare) 타이어”라고 부릅니다.
여분의 디스크를 핫-스페어라고 핫(hot)자를 붙인 이유는 언제든 사용할 수 있게 다른 디스크 처럼 시스템에 연결된 상태이기 때문입니다. 즉, 전원이 연결되어 있고, 그렇다 보니 따뜻해져서 핫을 붙여서 핫-스페어라고 부르는 것입니다.
CLI로 핫-스페어 추가
ZFS 메뉴에 보면 디스크 장애를 대비한 핫-스페어(hot-spare) 설정할 수 있는 메뉴가 없습니다. 아쉽지만 Proxmox Ve는 Web UI를 통해서는 Create 할 때도, 하고 난 이후에도 핫-스페어를 구성할 수 없습니다. CLI를 이용해야 합니다.
(그림)
(1) 제일 먼저 lsblk -f와 같은 명령어를 이용해서 사용하지 않는 디스크를 확인합니다.
이 예의 경우는 sdd ~ sdm 까지는 zfsmember라고 표시되고 있고, 그 오른쪽에 풀 이름인 RAID10 도 표시되어 있습니다. 즉 RAID10 풀에서 사용 중이란 의미입니다.
그리고 제일 아래에 sdn과 sdo 는 아무런 내용이 없습니다. 즉, 미사용 상태입니다.
root@pve-01:~# lsblk -fNAME FSTYPE FSVER LABEL UUID FSAVAIL FSUSE% MOUNTPOINTSsda├─sda1├─sda2 vfat FAT32 C929-554D└─sda3 LVM2_member LVM2 001 omxaHv-WeGr-ZnB2-FvNE-pLGr-mv1T-DMizMT ├─pve-swap swap 1 82e368ff-5198-4f65-b06b-702b956abcb6 [SWAP] ├─pve-root ext4 1.0 f0f6c32e-e039-4d53-9c7d-0c6823940ce9 20.8G 65% / ├─pve-data_tmeta │ └─pve-data-tpool │ ├─pve-data │ ├─pve-vm--100--disk--1 │ ├─pve-vm--100--disk--0 │ ├─pve-vm--100--disk--2 │ ├─pve-vm--101--disk--0 │ ├─pve-vm--101--disk--1 │ ├─pve-vm--101--disk--2 │ ├─pve-vm--104--disk--0 │ └─pve-vm--104--disk--1 └─pve-data_tdata └─pve-data-tpool ├─pve-data ├─pve-vm--100--disk--1 ├─pve-vm--100--disk--0 ├─pve-vm--100--disk--2 ├─pve-vm--101--disk--0 ├─pve-vm--101--disk--1 ├─pve-vm--101--disk--2 ├─pve-vm--104--disk--0 └─pve-vm--104--disk--1sdbsdcsdd├─sdd1 zfs_member 5000 RAID10 11981632663234930270└─sdd9sde├─sde1 zfs_member 5000 RAID10 11981632663234930270└─sde9sdf├─sdf1 zfs_member 5000 RAID10 11981632663234930270└─sdf9sdg├─sdg1 zfs_member 5000 RAID10 11981632663234930270└─sdg9sdh├─sdh1 zfs_member 5000 RAID10 11981632663234930270└─sdh9sdi├─sdi1 zfs_member 5000 RAID10 11981632663234930270└─sdi9sdj├─sdj1 zfs_member 5000 RAID10 11981632663234930270└─sdj9sdk├─sdk1 zfs_member 5000 RAID10 11981632663234930270└─sdk9sdl├─sdl1 zfs_member 5000 RAID10 11981632663234930270└─sdl9sdm├─sdm1 zfs_member 5000 RAID10 11981632663234930270└─sdm9sdnsdoroot@pve-01:~#(2) zpool status 명령으로 ZFS 풀의 상태를 확인합니다. 풀(pool)의 이름, 현재 ONLINE 상태로 이상 없는지 등을 확인합니다.
root@pve-01:~# zpool status pool: RAID10 state: ONLINEconfig: NAME STATE READ WRITE CKSUM RAID10 ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 sdm ONLINE 0 0 0 sdl ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 sdd ONLINE 0 0 0 sde ONLINE 0 0 0 mirror-2 ONLINE 0 0 0 sdf ONLINE 0 0 0 sdg ONLINE 0 0 0 mirror-3 ONLINE 0 0 0 sdh ONLINE 0 0 0 sdi ONLINE 0 0 0 mirror-4 ONLINE 0 0 0 sdj ONLINE 0 0 0 sdk ONLINE 0 0 0errors: No known data errorsroot@pve-01:~#(3) zpool add 명령으로 RAID10 풀에 스페어(spare)로 /dev/sdn과 /dev/sdo를 추가(add) 합니다. 그리고 zpool status 명령으로 다시 확인해보면, spares라는 항목이 추가된 것을 알 수 있습니다.
root@pve-01:~# zpool add RAID10 spare /dev/sdn /dev/sdoroot@pve-01:~# zpool status pool: RAID10 state: ONLINEconfig: NAME STATE READ WRITE CKSUM RAID10 ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 sdm ONLINE 0 0 0 sdl ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 sdd ONLINE 0 0 0 sde ONLINE 0 0 0 mirror-2 ONLINE 0 0 0 sdf ONLINE 0 0 0 sdg ONLINE 0 0 0 mirror-3 ONLINE 0 0 0 sdh ONLINE 0 0 0 sdi ONLINE 0 0 0 mirror-4 ONLINE 0 0 0 sdj ONLINE 0 0 0 sdk ONLINE 0 0 0 spares sdn AVAIL sdo AVAILerrors: No known data errorsroot@pve-01:~#꼭 추천하는 핫-스페어
RAID 방식으로 구성해서 사용한다면 핫-스페어 사용하는 것을 추천 드립니다. 그래야 잠든 사이에 디스크 장애가 발생하더라도, 자동으로 리빌드되면서 추가적인 디스크 장애에 대응할 수 있는 상태가 되기 때문입니다.
핫-스페어 수는 최소 1개 이상, 또는 패리티 수 만큼(예를 들어 RAIDZ1이면 1개, RAIDZ2면 2개, RAIDZ3이면 3개) 사용하는 거 추천 드립니다.
핫-스페어는 디스크 장애가 발생했을 때 교체용으로만 사용됩니다. 일상적인 상태에서는 데이터 저장용으로 사용되지 않습니다. 그래서 전반적으로 스토리지 비용이 상승하는 요인이기도 합니다.
비용적인 측면 고려해서 적절하게 설정해서 사용하시기 바랍니다.
