Proxmox VE 8.1.3 매뉴얼을 DeepL를 이용해서 기계번역하고, 살짝 교정했습니다.
https://pve.proxmox.com/pve-docs/pve-admin-guide.html
Proxmox VE는 현재 설치 관리자에서 선택한 디스크 설정에 따라 두 가지 부트 로더 중 하나를 사용합니다.
보안 부팅이 활성화되어 있지 않은 경우, ZFS가 루트 파일 시스템으로 설치된 EFI 시스템의 경우 systemd-boot가 사용됩니다. 다른 모든 배포는 표준 GRUB 부트로더를 사용합니다(이는 일반적으로 Debian 위에 설치된 시스템에도 적용됨).
3.13.1. 설치 관리자에서 사용하는 파티셔닝 체계
Proxmox VE 설치 관리자는 설치를 위해 선택한 모든 디스크에 3개의 파티션을 생성합니다.
생성된 파티션은 다음과 같습니다:
- 1MB BIOS 부팅 파티션(gdisk 유형 EF02)
- 512MB EFI 시스템 파티션(ESP, gdisk 유형 EF00)
- 설정된 hdsize 매개변수 또는 선택한 스토리지 유형에 사용되는 남은 공간에 걸쳐 있는 세 번째 파티션
ZFS를 루트 파일 시스템으로 사용하는 시스템은 512MB EFI 시스템 파티션에 저장된 커널 및 초기화 이미지로 부팅됩니다. 레거시 BIOS 시스템 및 보안 부팅이 활성화된 EFI 시스템의 경우 GRUB가 사용되며, 보안 부팅이 없는 EFI 시스템의 경우 systemd-boot가 사용됩니다. 둘 다 ESP를 가리키도록 설치 및 구성됩니다.
BIOS 모드의 GRUB(–target i386-pc)는 GRUB[7]로 부팅된 모든 시스템의 선택한 모든 디스크의 BIOS 부팅 파티션에 설치됩니다.
3.13.2. proxmox-boot-tool 도구로 ESP 콘텐츠 동기화하기
proxmox-boot-tool은 EFI 시스템 파티션의 콘텐츠를 올바르게 구성하고 동기화하는 데 사용되는 유틸리티입니다. 이 유틸리티는 특정 커널 버전을 모든 ESP에 복사하고 각 부트로더가 vfat 포맷된 ESP에서 부팅하도록 구성합니다. ZFS를 루트 파일 시스템으로 사용하는 경우, 이는 GRUB의 ZFS 구현에 있는 하위 집합이나 별도의 작은 부트 풀[8]을 만들 필요 없이 루트 풀의 모든 선택적 기능을 사용할 수 있다는 것을 의미합니다.
중복성이 있는 설정에서는 모든 디스크가 설치 관리자에 의해 ESP로 파티션됩니다. 이렇게 하면 첫 번째 부팅 장치에 장애가 발생하거나 BIOS가 특정 디스크에서만 부팅할 수 있는 경우에도 시스템이 부팅됩니다.
ESP는 일반 작업 중에는 마운트된 상태로 유지되지 않습니다. 이렇게 하면 시스템 충돌 시 파일 시스템 손상을 방지하고 기본 부팅 장치에 장애가 발생할 경우 /etc/fstab을 수동으로 조정할 필요가 없습니다.
proxmox-boot-tool은 다음 작업을 처리합니다:
- 새 파티션 포맷 및 설정
- 새 커널 이미지 및 초기화 이미지를 나열된 모든 ESP에 복사하고 구성합니다.
- 커널 업그레이드 및 기타 유지 관리 작업에 대한 구성 동기화
- 동기화된 커널 버전 목록 관리
- 특정 커널 버전을 부팅하도록 부트 로더 구성(고정)
실행하여 현재 구성된 ESP와 그 상태를 볼 수 있습니다:
# proxmox-boot-tool status
예를 들어, rpool에서 실패한 vdev를 교체한 후 또는 동기화 메커니즘 이전의 기존 시스템을 변환할 때와 같이 파티션을 동기화된 ESP로 포맷하고 초기화하려면 proxmox-kernel-helper의 proxmox-boot-tool을 사용할 수 있습니다.
주의: format 명령은을 포맷하므로 올바른 장치/파티션을 전달해야 한다는 경고가 표시됩니다!
예를 들어, 빈 파티션 /dev/sda2를 ESP로 포맷하려면 다음을 실행합니다:
# proxmox-boot-tool format /dev/sda2
Proxmox VE의 커널 업데이트 동기화 메커니즘에 포함되도록 /dev/sda2에 있는 마운트되지 않은 기존 ESP를 설정하려면 다음을 사용하세요:
# proxmox-boot-tool init /dev/sda2
또는
# proxmox-boot-tool init /dev/sda2 grub
를 추가하여 Secure Boot 지원과 같이 systemd-boot 대신 GRUB으로 초기화를 강제할 수 있습니다.
그 후 /etc/kernel/proxmox-boot-uuids에 새로 추가된 파티션의 UUID가 포함된 새 줄이 있어야 합니다. 또한 init 명령은 구성된 모든 ESP의 새로 고침을 자동으로 트리거합니다.
모든 ESP에서 구성 업데이트하기
모든 부팅 가능한 커널을 복사 및 구성하고 /etc/kernel/proxmox-boot-uuids에 나열된 모든 ESP를 동기화 상태로 유지하려면 실행하기만 하면 됩니다:
# proxmox-boot-tool refresh
(root에서 ext4 또는 xfs로 update-grub 시스템을 실행하는 것과 동일).
커널 명령줄을 변경하거나 모든 커널과 initrds를 동기화하려는 경우 이 작업이 필요합니다.
참고: update-initramfs와 apt(필요한 경우)는 모두 자동으로 새로 고침을 트리거합니다.
Proxmox-boot-tool에서 고려하는 커널 버전
다음 커널 버전이 기본적으로 구성됩니다:
- 현재 실행 중인 커널
- 패키지 업데이트 시 새로 설치되는 버전
- 이미 설치된 두 개의 최신 커널
- 해당되는 경우 두 번째에서 마지막 커널 시리즈의 최신 버전(예: 5.0, 5.3)
- 수동으로 선택한 커널
커널 부팅 가능 상태를 수동으로 유지
특정 커널 및 초기화 이미지를 부팅 가능한 커널 목록에 추가하려면 proxmox-boot-tool 커널 추가를 사용하세요.
예를 들어 다음을 실행하여 ABI 버전 5.0.15-1-pve의 커널을 커널 목록에 추가하여 모든 ESP에 설치 및 동기화 상태를 유지합니다:
# proxmox-boot-tool kernel add 5.0.15-1-pve
proxmox-boot-tool 커널 목록에는 현재 부팅을 위해 선택된 모든 커널 버전이 나열됩니다:
# proxmox-boot-tool kernel list Manually selected kernels: 5.0.15-1-pve Automatically selected kernels: 5.0.12-1-pve 4.15.18-18-pve
예를 들어, 수동으로 선택한 커널 목록에서 커널을 제거하려면 proxmox-boot-tool kernel remove를 실행합니다:
# proxmox-boot-tool kernel remove 5.0.15-1-pve
참고: 위에서 커널을 수동으로 추가하거나 제거한 후 모든 EFI 시스템 파티션(ESP)을 업데이트하려면 proxmox-boot-tool refresh를 실행해야 합니다.
3.13.3. 사용할 부트 로더 결정
어떤 부트로더가 사용되는지 확인하는 가장 간단하고 신뢰할 수 있는 방법은 proxmox- VE 노드의 부팅 프로세스를 관찰하는 것입니다.
https://pve.proxmox.com/pve-docs/images/screenshot/boot-grub.png
GRUB의 파란색 상자 또는 단순한 검은색이 흰색으로 표시된 systemd-boot를 볼 수 있습니다.
실행 중인 시스템에서 부트로더를 확인하는 것은 100% 정확하지 않을 수 있습니다. 가장 안전한 방법은 다음 명령을 실행하는 것입니다:
# efibootmgr -v
EFI 변수가 지원되지 않는다는 메시지가 반환되면 GRUB가 BIOS/레거시 모드에서 사용되는 것입니다.
출력에 다음과 유사한 줄이 포함되면 GRUB가 UEFI 모드에서 사용되는 것입니다.
Boot0005* proxmox [...] File(\EFI\proxmox\grubx64.efi)
출력에 다음과 유사한 줄이 포함되어 있으면 systemd-boot가 사용된 것입니다.
Boot0006* Linux Boot Manager [...] File(\EFI\systemd\systemd-bootx64.efi)
실행합니다:
# proxmox-boot-tool status
에서 시스템이 어떻게 부팅되는지 알 수 있는 proxmox-boot-tool이 구성되어 있는지 확인할 수 있습니다.
3.13.4. GRUB
GRUB는 수년 동안 리눅스 시스템 부팅을 위한 사실상의 표준으로 사용되어 왔으며 문서화도 잘 되어 있습니다[9].
구성
구성 변경 후 구성 파일을 다시 생성하려면 기본 파일 /etc/default/grub 또는 /etc/default/grub.d의 구성 스니펫을 통해 GRUB 구성을 변경할 수 있습니다: [10]
# update-grub
3.13.5. systemd-boot
systemd-boot는 경량 EFI 부트로더입니다. 이 부트로더는 커널 및 초기화 이미지가 설치된 EFI System Partition(ESP)에서 직접 커널 및 초기화 이미지를 읽습니다. ESP에서 커널을 직접 로드할 때의 가장 큰 장점은 스토리지 액세스를 위한 드라이버를 다시 구현할 필요가 없다는 것입니다. Proxmox VE에서는 proxmox-boot-tool을 사용하여 ESP의 구성을 동기화합니다.
구성
systemd-boot는 EFI 시스템 파티션(ESP)의 root 디렉터리에 있는 loader/loader.conf 파일을 통해 구성됩니다. 자세한 내용은 loader.conf(5) 매뉴얼 페이지를 참조하십시오.
각 부트로더 항목은 loader/entries/ 디렉터리에 있는 자체 파일에 배치됩니다.
entry.conf의 예는 다음과 같습니다(/는 ESP의 root를 참조):
title Proxmox version 5.0.15-1-pve options root=ZFS=rpool/ROOT/pve-1 boot=zfs linux /EFI/proxmox/5.0.15-1-pve/vmlinuz-5.0.15-1-pve initrd /EFI/proxmox/5.0.15-1-pve/initrd.img-5.0.15-1-pve
3.13.6. 커널 커맨드라인 편집
사용하는 부트로더에 따라 다음 위치에서 커널 커맨드라인을 수정할 수 있습니다:
GRUB
커널 커맨드라인은 /etc/default/grub 파일의 GRUB_CMDLINE_LINUX_DEFAULT 변수에 배치해야 합니다. update-grub을 실행하면 /boot/grub/grub.cfg의 모든 리눅스 항목에 해당 내용이 추가됩니다.
systemd-boot
커널 명령줄은 /etc/kernel/cmdline에 한 줄로 배치해야 합니다. 변경 사항을 적용하려면 loader/entries/proxmox-*.conf의 모든 구성 파일에 대한 옵션 줄로 설정하는 proxmox-boot-tool refresh를 실행합니다.
커널 파라미터의 전체 목록은 https://www.kernel.org/doc/html/v/admin-guide/kernel-parameters.html에서 확인할 수 있습니다. 을 major.minor 버전으로 대체합니다(예: 버전 6.5 기반 커널의 경우 URL은 https://www.kernel.org/doc/html/v6.5/admin-guide/kernel-parameters.html입니다).
커널 버전은 웹 인터페이스(Node → Summary)를 확인하거나 다음을 실행하여 찾을 수 있습니다.
# uname -r
출력 앞쪽의 처음 두 숫자를 사용합니다.
3.13.7. 다음 부팅을 위한 커널 버전 무시
현재 기본 커널이 아닌 다른 커널을 선택하려면 다음 중 하나를 사용할 수 있습니다:
- 부팅 프로세스 시작 시 표시되는 부트 로더 메뉴를 사용합니다.
- proxmox-boot-tool을 사용하여 시스템을 커널 버전에 한 번 또는 영구적으로(핀이 재설정될 때까지) pin합니다.
이렇게 하면 최신 커널 버전과 하드웨어 간의 비호환성 문제를 해결하는 데 도움이 됩니다.
참고: 이러한 핀은 가능한 한 빨리 제거하여 최신 커널의 모든 최신 보안 패치가 시스템에 적용되도록 해야 합니다.
예를 들어 부팅 시 5.15.30-1-pve 버전을 영구적으로 선택하려면 다음과 같이 실행합니다:
# proxmox-boot-tool kernel pin 5.15.30-1-pve
팁: 고정 기능은 ESP의 콘텐츠를 동기화하기 위해 proxmox-boot-tool을 사용하는 시스템뿐만 아니라 모든 Proxmox VE 시스템에서 작동하며, 시스템이 동기화를 위해 proxmox-boot-tool을 사용하지 않는 경우 마지막에 proxmox-boot-tool 새로 고침 호출을 건너뛸 수도 있습니다.
다음 시스템 부팅 시에만 커널 버전이 부팅되도록 설정할 수도 있습니다. 이는 예를 들어 업데이트된 커널이 처음에 버전을 pin하게 만든 문제를 해결했는지 테스트하는 데 유용합니다:
# proxmox-boot-tool kernel pin 5.15.30-1-pve --next-boot
고정된 버전 구성을 제거하려면 unpin 하위 명령을 사용합니다:
# proxmox-boot-tool kernel unpin
unpin에는 –next-boot 옵션도 있지만, –next-boot로 설정된 고정 버전을 지우는 데 사용됩니다. 부팅 시 이미 자동으로 실행되므로 수동으로 고정 해제하는 것은 별 소용이 없습니다.
고정된 버전을 설정하거나 지운 후에는 새로 고침 하위 명령을 실행하여 ESP의 콘텐츠 및 구성을 동기화해야 합니다.
팁: 대화형 도구를 호출하는 경우 proxmox-boot-tool 관리형 시스템에 대해 자동으로 수행할지 묻는 메시지가 표시됩니다.
# proxmox-boot-tool refresh
3.13.8. 보안 부팅
프로엑스박스 VE 8.1부터 보안 부팅은 서명된 패키지와 proxmox-boot-tool의 통합을 통해 즉시 지원됩니다.
보안 부팅을 사용하려면 다음 패키지를 설치해야 합니다:
- shim-signed(Microsoft에서 서명된 shim 부트로더)
- shim-helpers-amd64-signed(폴백 부트로더 및 MOKManager, Proxmox 서명)
- grub-efi-amd64-signed(GRUB EFI 부트로더, Proxmox 서명)
- proxmox-kernel-6.X.Y-Z-pve-signed (커널 이미지, Proxmox 서명)
사전 서명된 다른 부트로더 패키지는 사용할 수 없으므로 부트로더로 GRUB만 기본적으로 지원됩니다. Proxmox VE를 새로 설치하면 위의 모든 패키지가 자동으로 포함됩니다.
보안 부팅의 작동 방식과 설정을 사용자 지정하는 방법에 대한 자세한 내용은 위키에서 확인할 수 있습니다.
기존 설치를 보안 부팅으로 전환하기
경고: 이 작업을 올바르게 수행하지 않으면 경우에 따라 설치가 부팅되지 않을 수 있습니다. 호스트를 다시 설치하면 보안 부팅이 가능한 경우 별도의 작업 없이 자동으로 설정됩니다. 제대로 작동하고 테스트를 거친 프로엑스박스 VE 호스트의 백업이 있는지 확인하세요!
원하는 경우 Proxmox VE를 처음부터 다시 설치하지 않고도 기존 UEFI 설치를 Secure Boot로 전환할 수 있습니다.
먼저 모든 시스템이 최신 상태인지 확인하세요. 그런 다음, 위에 나열된 대로 필요한 모든 사전 서명된 패키지를 설치합니다. GRUB는 기본 shim을 통해 부팅에 필요한 EFI 부팅 항목을 자동으로 생성합니다.
systemd-boot
systemd-boot를 부트로더로 사용하는 경우(사용되는 부트로더 결정하기 참조), 몇 가지 추가 설정이 필요합니다. 이는 proxmox VE가 ZFS-on-root와 함께 설치된 경우에만 해당됩니다.
후자를 확인하려면 실행하세요:
# findmnt /
호스트가 실제로 ZFS를 root 파일 시스템으로 사용하는 경우 FSTYPE 열에 zfs가 포함되어야 합니다:
TARGET SOURCE FSTYPE OPTIONS / rpool/ROOT/pve-1 zfs rw,relatime,xattr,noacl,casesensitive
다음으로, 적합한 잠재적 ESP(EFI 시스템 파티션)를 찾아야 합니다. 이 작업은 다음과 같이 lsblk 명령을 사용하여 수행할 수 있습니다:
# lsblk -o +FSTYPE
출력은 다음과 같이 표시되어야 합니다:
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS FSTYPE sda 8:0 0 32G 0 disk ├─sda1 8:1 0 1007K 0 part ├─sda2 8:2 0 512M 0 part vfat └─sda3 8:3 0 31.5G 0 part zfs_member sdb 8:16 0 32G 0 disk ├─sdb1 8:17 0 1007K 0 part ├─sdb2 8:18 0 512M 0 part vfat └─sdb3 8:19 0 31.5G 0 part zfs_member
이 경우 파티션 sda2와 sdb2가 대상입니다. 이 파티션은 크기가 512M이고 FSTYPE이 vfat인 것으로 식별할 수 있으며, 이 경우 ZFS RAID-1 설치에 해당합니다.
이러한 파티션은 proxmox-boot-tool을 사용하여 GRUB를 통해 부팅할 수 있도록 올바르게 설정해야 합니다. 이 명령(예: sda2 사용)은 각 개별 ESP에 대해 개별적으로 실행해야 합니다:
# proxmox-boot-tool init /dev/sda2 grub
그 후 다음 명령을 실행하여 설정을 정상적으로 확인할 수 있습니다:
# efibootmgr -v
이 목록에는 이와 유사한 항목이 포함되어야 합니다:
[..] Boot0009* proxmox HD(2,GPT,..,0x800,0x100000)/File(\EFI\proxmox\shimx64.efi) [..]
참고: 이전 systemd-boot 부트 로더는 유지되지만 GRUB가 선호됩니다. 이렇게 하면 어떤 이유로든 보안 부팅 모드에서 GRUB를 사용하여 부팅할 수 없는 경우 보안 부팅을 끈 상태에서 systemd-boot를 사용하여 시스템을 부팅할 수 있습니다.
이제 호스트를 재부팅하고 UEFI 펌웨어 설정 유틸리티에서 보안 부팅을 활성화할 수 있습니다.
재부팅 시 UEFI 펌웨어 부팅 메뉴에서 proxmox라는 새 항목을 선택할 수 있어야 하며, 이 항목은 미리 서명된 EFI 심을 사용하여 부팅됩니다.
어떤 이유로든 UEFI 부팅 메뉴에서 proxmox 항목을 찾을 수 없는 경우, 사용자 지정 부팅 항목으로 \EFI\proxmox\shimx64.efi 파일을 추가하여 수동으로(펌웨어에서 지원하는 경우) 추가해 볼 수 있습니다.
참고: 일부 UEFI 펌웨어는 재부팅 시 proxmox 부팅 옵션을 삭제하는 것으로 알려져 있습니다. 이는 proxmox 부팅 항목이 디스크 자체는 부팅 옵션이 아닌 디스크의 GRUB 설치를 가리키고 있는 경우 발생할 수 있습니다. 가능하면 UEFI 펌웨어 설정 유틸리티에서 디스크를 부팅 옵션으로 추가하고 proxmox-boot-tool을 다시 실행해 보세요.
팁: 사용자 지정 키를 등록하려면 함께 제공되는 보안 부팅 위키 페이지를 참조하세요.
보안 부팅과 함께 DKMS/타사 모듈 사용
보안 부팅이 활성화된 시스템에서 커널은 신뢰할 수 있는 키로 서명되지 않은 모듈의 로드를 거부합니다. 커널 패키지와 함께 제공되는 기본 모듈 세트는 커널 이미지에 포함된 임시 키로 서명되며, 해당 커널 이미지의 특정 버전에서 신뢰하는 임시 키로 서명됩니다.
DKMS로 빌드된 모듈이나 수동으로 빌드된 모듈과 같은 다른 모듈을 로드하려면 보안 부트 스택에서 신뢰하는 키로 서명해야 합니다. 이를 달성하는 가장 쉬운 방법은 mokutil을 사용하여 Machine Owner Key(MOK)로 등록하는 것입니다.
dkms 도구는 /var/lib/dkms/mok.key 및 /var/lib/dkms/mok.pub에 키쌍과 인증서를 자동으로 생성하여 빌드 및 설치하는 커널 모듈에 서명하는 데 사용합니다.
인증서 내용은 다음을 사용하여 확인할 수 있습니다.
# openssl x509 -in /var/lib/dkms/mok.pub -noout -text
다음 명령을 사용하여 시스템에 등록합니다:
# mokutil --import /var/lib/dkms/mok.pub input password: input password again:
mokutil 명령은 (임시) 비밀번호를 두 번 요청하며, 이 비밀번호는 프로세스의 다음 단계에서 한 번 더 입력해야 합니다! 시스템을 재부팅하면 키/인증서를 확인하고 mokutil을 사용하여 등록을 시작할 때 선택한 비밀번호를 사용하여 등록을 확인할 수 있는 MOKManager EFI 바이너리로 자동 부팅되어야 합니다. 그 후, 커널은 DKMS로 빌드된 모듈(등록된 MOK로 서명된 모듈)을 로드할 수 있어야 합니다. 원하는 경우 MOK를 사용하여 사용자 지정 EFI 바이너리 및 커널 이미지에 서명할 수도 있습니다.
DKMS로 관리되지 않는 사용자 지정/타사 모듈에도 동일한 절차를 사용할 수 있지만 이 경우 키/인증서 생성 및 서명 단계는 수동으로 수행해야 합니다.
3.14. 커널 동일 페이지 병합(KSM)
Kernel Samepage Merging(KSM)은 Linux 커널에서 제공하는 선택적 메모리 중복 제거 기능으로, Proxmox VE에서 기본적으로 활성화되어 있습니다. KSM은 다양한 물리적 메모리 페이지에서 동일한 콘텐츠를 스캔하고 해당 페이지에 매핑된 가상 페이지를 식별하는 방식으로 작동합니다. 동일한 페이지가 발견되면 해당 가상 페이지가 모두 동일한 물리적 페이지를 가리키도록 다시 매핑되고 이전 페이지는 해제됩니다. 가상 페이지는 ‘copy-on-write’로 표시되므로 가상 페이지에 쓰면 새 메모리 영역에 쓰여지고 공유된 실제 페이지는 그대로 유지됩니다.
3.14.1. KSM의 의미
가상화 환경에서는 유사한 운영 체제 또는 워크로드를 실행하는 여러 VM이 잠재적으로 많은 공통 메모리 페이지를 공유할 수 있으므로 KSM을 사용하면 메모리 사용량을 최적화할 수 있습니다.
그러나 KSM은 메모리 사용량을 줄일 수 있는 반면, VM을 사이드 채널 공격에 노출시킬 수 있으므로 보안 위험도 있습니다. 연구에 따르면 KSM의 특정 특성을 악용하여 동일한 호스트의 두 번째 VM을 통해 실행 중인 VM에 대한 정보를 유추할 수 있는 것으로 나타났습니다.
따라서 Proxmox VE를 사용하여 호스팅 서비스를 제공하는 경우, 사용자에게 추가적인 보안을 제공하기 위해 KSM을 비활성화하는 것을 고려해야 합니다. 또한 KSM 비활성화는 법적 요구 사항일 수 있으므로 해당 국가의 규정을 확인해야 합니다.
3.14.2. KSM 비활성화하기
KSM이 활성화되어 있는지 확인하려면 다음 출력을 확인하면 됩니다:
# systemctl status ksmtuned
그렇다면 즉시 비활성화할 수 있습니다:
# systemctl disable --now ksmtuned
마지막으로 현재 병합된 모든 페이지를 병합 해제하려면 실행합니다:
# echo 2 > /sys/kernel/mm/ksm/run
