Proxmox VE에 있는 VM을 S3 호환 오브젝트 스토리지로 백업하고자 합니다. 그러나 PBS는 오브젝트 스토리지를 지원하지 않습니다.
상업용 제품의 프리 에디션 사용을 고려해보니 BDRSuite Free Edition, Veeam Backup & Replication Community Edition도 있습니다. 그러나 Windows 기반입니다. Windows가 코어 기반으로 라이센스가 바뀌면서, 특히 가상화 환경에서 라이센스가 복잡(?)해져서 좀 멀리하고 싶습니다. BDRSuite는 리눅스도 지원하나 Free Edition은 Windows 버전만 다운로드가 됩니다.
그래서 선택한 것이 Storware Backup and Recovery 입니다. Community License 백업 가능한 VM 갯수는 최대 5개입니다. 위 두 제품에 비해서 적은 감은 있지만, 컨테이너 호스트 1~2개가 핵심인 제 용도로는 충분합니다.
- 라이센스 참조: https://storware.eu/licenses/
Storware Backup and Recovery 커뮤니티 라이센스 얻기와 다운로드
- https://storware.eu/licenses/free/ 페이지에서 양식 내용을 입력하고 “GET THE LICENSE” 단추를 클릭합니다.
- “Storware Backup & Recovery Free License” 메일이 도착했는지 확인합니다. 첨부파일에 “license.key” 파일이 있어야 합니다.
- https://repo.storware.eu/storware/current/iso/storware-br-current.iso 에서 설치에 필요한 ISO 파일을 다운로드 받습니다. 파일 크기는 약 3.2GiB고, 제 경우 20분 넘게 걸렸습니다. 다운로드 속도가 좀 느린편입니다.
Proxmox VE에 Storware Backup and Recovery 설치
Storware Backup & Recovery는 server와 node로 구분되어 있고, 통합해서 설치할 경우에 ISO 설치시 최소 요구사항은 다음과 같습니다.
- 64bit 8 코어
- 10G RAM
- 30G: 설치 디스크
- 데이터 스테이징 디스크: 200GiB 이상, 계산식: (제일 큰 가상머신 크기) * (동시 백업 수)
- OS 유형: Linux
- OS 버전: CentOS 8 64bit
- https://docs.storware.eu/deployment/component-requirements
- 가상 머신을 만들고 부팅하면 콘솔에서 그림과 같은 화면을 볼 수 있습니다. Install Software Backup & Recovery를 선택하고 Enter 키를 누릅니다. 참고: 꼭 Proxmox VE에 설치할 필요 없습니다.
- 설치과정은 일반적인 CentOS, RHEL 설치과정과 비슷합니다. Installation Destination에서 OS를 설치할 디스크 선택, Network & Host Name에서 네트워크 관련 설정, Time & Date에서 표준시간대 설정 등을 해주면 됩니다.
- 설치가 끝나고 리부팅 되고 나면, 콘솔에 그림과 같은 화면이 표시됩니다.
- 화면에 5분 정도 기다리라고 안내되어 있습니다. 몇분 기다리다보면 자동으로 리부팅이 한번 됩니다. 이후 부팅되면 달라진 콘솔 화면을 볼 수 있습니다. 접속 주소, 초기 ID/암호 등이 안내되어 있습니다.
- 웹브라우저로 설치할 때 지정한 주소로 접속합니다. 초기 사용자 이름은 admin, 암호는 vPr0tect 입니다.
- Settings > License 탭에서 Choose file to upload를 클릭해서 이메일로 받은 라이센스 키 파일을 업로드 합니다. 키 파일이 업로드되면 그림 처럼 VALUE 값들이 변한 것을 확인할 수 있습니다.
참고: OVA를 다운로드 받아서 하는 방법도 있으나, ISO로 새로 VM 만드는게 도리어 쉬어 보입니다. Ansible에 롤(role) 추가하고 플레이북으로 설치하는 방법도 있습니다.
- https://docs.storware.eu/deployment/installation/installation-using-ansible-playbook
CentOS, RHEL, SELS, Debian/Ubuntu 등 대표적인 Linux를 지원합니다.
Storware Backup and Restore의 Proxmox VE 백업 방식
Storware Backup and Restore는 SSH Transfer 방식과 Export storage repository 방식 2가지 유형을 지원합니다. 사용할 방식에 따라 구성해야하는 내용과 특징에 차이가 있습니다.
이 글에서는 간단히 해볼 수 있는 SSH Transfer 을 사용해 보겠습니다. SSH Transfer 방식은 QCOW2 유형의 이미지만 지원하는 것에 주의하시기 바랍니다.
Proxmox VE 환경과 관련된 내용은 아래 URL에서 자세히 볼 수 있습니다.
- https://docs.storware.eu/protecting-virtual-machines/virtual-machines/proxmox-ve
Configuration wizard 통한 구성
- Dashboard에 보면 Configuration wizard라는 단추가 있습니다. 이 단추를 클릭해서 구성 마법사를 시작합니다.
- 언어를 선택하고, Next를 클릭합니다. 아쉽게도 아직 한국어는 지원하지 않습니다.
- 백업할 소스를 선택하고 Next를 클릭합니다. 여기서는 한가지만 선택할 수 있습니다. 나중에 메뉴를 통해 추가할 수 있습니다.
- Proxmox VE 접속에 필요한 정보를 입력하고, Next를 클릭합니다. Trust certificates도 꺼주었습니다.
- Proxmox VE와 연결해서 인벤토리 정보를 가져옵니다. 잠시 기다렸다가 100%가 되면 Next를 클릭합니다.
- 백업 데이터를 저장할 저장소 유형을 지정합니다. MinIO를 사용할 거라 Amazon S3 / S3-compatible하고, Next를 클릭합니다. 여기서도 한가지만 선택할 수 있습니다. 나중에 메뉴를 통해 추가하고, 정책에 따라 선택적으로 사용할 수 있습니다.
- 접속 정보를 입력하고 Next를 클릭합니다.
- 다시 한번 입력한 내용 확인하고, Next를 클릭합니다.
- 정책 구성을 시작합니다. Proxmox VE에서 가상머신을 백업할거라 VIRTUALIZATION PROVIDERS에서 Backup을 선택하고, Next를 클릭합니다.
- 백업 정책 이름을 입력하고, Next를 클릭합니다.
- 백업할 VM을 선택하고, Next를 클릭합니다. 테스트용으로 하나만 선택했습니다.
그림
- 백업 정책에 포함될 저장소, 보존 수 등을 설정합니다. Enable Secondary Backup Destination을 활성화하면 한 정책으로 두 곳의 저장소에 보관할 수도 있습니다.
- 백업 정책에 적용할 스케쥴을 설정하고, Next를 클릭합니다. 이 글에서는 기본값 상태에서 넘어가겠습니다. 기본값은 밤 10시에 1주일에 1번 토요일에 풀 백업, 일~금요일은 증분 백업하도록 설정되어 있습니다.
- 선택한 정책 내용을 확인하고, Finish를 클릭합니다.
그러나, 위자드에서 빠진게 좀…
눈치 빠른 분들은 아셨겠지만… 위에 내용 처럼 위자드 따라서 하면 동작 안합니다.
- Backup Destinations > Object Storage 메뉴를 선택합니다.
- 위자드에서 만들어진 Backup Destinations(MinIO – IDC00) 줄에 마우스를 올리고, 오른쪽 끝으로 이동해서 Settings 아이콘(연필 모양)을 클릭합니다.
- Amazon S3 / S3-compatible settings 탭을 클릭합니다.
- API URL에 오브젝트 스토리지 접속 URL을 입력하고, SAVE를 클릭합니다. 테스트를 위해 Record backup time after store도 선택해 주었습니다.
- Backup Destinations(MinIO – IDC00) 왼쪽의 체크 상자를 선택하고, Test connectivity를 클릭합니다.
- 웹 창 제일 아래의 WORKFLOW EXECUTIONS CONSOLE 을 클릭하면 진행 중인 워크플로우를 확인할 수 있습니다. Test connectivity가 잘 완료되었는지 확인합니다.
백업 가즈아~!
위자드에서 만든 정책이 밤 10시라 수동으로 한번 확인해 보겠습니다.
- Virtual Environments > Instances 메뉴를 선택합니다.
- 백업할 VM의 이름 옆에 체크 상자를 선택하고, Backup 단추를 클릭합니다.
- 백업 진행 내용을 확인하고, Backup을 클릭합니다.
- 백업이 진행되면 VM에서 스냅샷이 만들어진게 관찰됩니다.
- 화면 아래의 WORKFLOW EXECUTIONS CONSOLE 을 통해서 진행 상태를 확인합니다.
- 백업이 다 끝나고 Instances에서 해당 VM을 클릭하면 그림과 같은 화면이 나옵니다.
MinIO에서 backup 버킷에 관련 오브젝트들이 생성된 것을 확인할 수 있습니다.
복원 가즈아~!
간단하게 백업했던 VM을 한번 복원(Restore) 해보겠습니다.
- Virtual Environments > Instances에서 해당 VM을 클릭합니다.
- Restore 아이콘(위 화살표+디스크)을 클릭하고, Restore to virtualization provider를 선택합니다.
- 백업 위치, 복원할 가상화 환경을 선택하고, Next를 클릭합니다.
- 복원할 디스크 이름 및 스토리지를 확인하고, Next를 클릭합니다.
- VM에 연결할 네트워크 인터페이스를 확인하고, Next를 클릭합니다.
- 복원 과정 중의 기타 옵션을 선택하고, Summary를 클릭합니다. 이 경우 기존에 VM이 켜져있는 상태라 Delete if virtual environment already exists를 선택했습니다. 참고: 가상머신을 끄고 복원할까? 기대했으나 중첩되서 그런가 다른 이름의 가상머신으로 복원됐습니다.
- 선택한 내용을 다시 한번 확인하고, Restore를 클릭합니다.
- 화면 아래의 WORKFLOW EXECUTIONS CONSOLE 을 통해서 진행 상태를 확인합니다.
- 복원이 끝나면 그림과 같은 화면을 볼 수 있습니다.
- Proxmox VE에서 가상 머신이 복원된 것을 확인할 수 있습니다.
테스트하면서 느낀점
- Linux 기반이다: 복잡한 Windows 라이센스 고민할 필요 없다.
- CentOS에 바로 설치할 수도 있어서 로컬 저장소 구성이 자유(?)롭다.
- Proxmox VE의 VM 백업이 잘 된다
- MinIO에 저장 잘 된다
- 로컬 저장소와 원격 소산을 한번에 진행 가능.
- 백업은 컴퓨팅 환경 전반에 상당한 부하를 주는 작업이다. 어떻게 보면 스토리지 설계보다 더 어려운게 백업일 것 같다. 서버+네트워크+스토리지+@를 해야하니까~
테스트하면서 알게된 팁
- root의 초기 암호도 vPr0tect
- 시간대는 서버는 설치할 때, 사용자는 로그인하고 User Profile에서 설정
- 최초 설치 후에 워크플로우에 Failed 항목(Backup destination initialization)이 있다. 수동 구성시에는 수동으로 로컬 저장소 초기화해 주어야 함.
- SSH Transfer 방식은 간단하지만, SSH로 인해 백업 데이터 전송 속도에 제한이 생길 수 있다
맺음말
Proxmox VE와 오브젝트 스토리지라는 시나리오로 간단히 한번 사용해 봤습니다. 나름 오랜(?) 기간 개발되어온 제품이라 다양한 기능을 제공하고 있습니다. 다음에는 사용 중인 Microsoft 365 환경을 오브젝트 스토리지로 한번 해봐야겠습니다.
Proxmox VE 환경에서 PBS 이외의 백업 솔루션 또는 전반적인 백업 솔루션으로서 Storware Backup and Restore에 관심있는 분들에게 조금이나마 도움이되었으면 합니다.
참고 자료
- https://www.youtube.com/@Storware
- https://youtube.com/playlist?list=PLQsNr7mO_bwy3KOd5sAXIV4vPPuitpQVJ&si=L8A2JDEUptphxN8W
- https://storware.eu/free-technical-courses/
- https://docs.storware.eu/
