지난주에 VMware VCF(Cloud Foundation) 4.2에서 사용할 수 있는 기능인 vSAN DPㅔ(Data Persistence Platform)에 대해 게시했습니다. 이 기사에서는 vSpher with Tanzu와 함께 Minio Operator를 설정한 후 S3 Object Store를 사용하여 Minio Tenant를 만들었습니다. 다시 말해, 몇 번의 클릭만으로 Tanzu 네임스페이스가 있는 vSphere에 사내 S3 Object Store를 할당할 수 있었는데, 이는 매우 멋진 일이었습니다.
VCF 4.2에서 사용할 수 있는 다른 Supervisor 서비스 중 하나가 Velero vSphere Operator입니다. Velero는 Kubernetes에서 매우 유명한 백업 및 마이그레이션 툴이기 때문에 많은 분들이 이미 Velero에 대해 잘 알고 계실 것입니다. 이 Velero vSphere Operator의 목적은 vSphere의 Kubernetes 개체를 Supervisor Cluster와 Guest Cluster 모두에서 Tanzu로 백업 및 복원하는 기능을 제공하는 것입니다. 물론 이러한 백업은 어딘가에 저장해야 하므로, 새로운 DP Minio Operator에서 새로 생성한 온프레미스 S3 Object Store에 저장하는 것은 어떨까요? 계획처럼 들리네요!
이 설정에는 여러 단계가 포함됩니다. 자세한 내용을 알기 전에 먼저 여기서 간략하게 설명합시다.
- S3 개체 저장소에 대한 새 네임스페이스 및 Minio Tenant를 생성합니다. Minio 연산자의 활성화는 이전 게시물에 설명된 단계와 동일하므로 표시되지 않습니다. 한 가지 중요한 점은 이 배포에서 TLS를 사용하지 않도록 설정하므로 테넌트를 생성할 때 고급 구성 설정을 사용해야 한다는 것입니다.
- Velero vSphere Operator를 배포합니다. 이렇게 하면 자체 네임스페이스가 자동으로 생성됩니다.
- velero-vsphere 설치 관리자를 다운로드합니다. 이는 외관상 표준 Velero 설치 프로그램과 유사하지만 vSphere with Tanzu와 함께 작동하도록 특별히 작성되었습니다.
- Velero 클라이언트를 바탕 화면으로 다운로드하여 백업 작업을 시작할 수 있습니다. 이것은 표준 Velero 바이너리입니다.
- S3 URL 및 S3 로그인 자격 증명과 같은 항목을 정의하는 Velero 설치 관리자 스크립트를 생성합니다. 이것은 정말 긴 명령줄 구문을 피하기 위한 것입니다.
- Velero 설치 관리자 스크립트를 실행합니다. 이 단계에서는 Velero 서버 및 백업 드라이버를 배포하고 vSphere with Tanzu에서 개체를 백업/복원하는 기능을 제공합니다.
- Velero 클라이언트를 사용하여 백업 및 복원을 테스트합니다.
이제 구체적인 단계에 대해 자세히 알아보겠습니다. S3 개체 저장소를 백업 저장소로 사용할 수 있는 네임스페이스에 사용할 수 있다고 가정하여 1단계를 생략하겠습니다. 기억해야 할 두 가지가 있습니다. 첫 번째는 Velero vSphere Operator가 이 초기 버전의 인증서를 지원하지 않으므로 TLS를 사용하지 않도록 설정해야 합니다. 이렇게 하려면 테넌트 생성 중에 고급 모드로 들어가야 합니다. 고급 모드 옵션이 있는 위치를 보여주는 샘플 구성입니다.
TLS 및 인증서에 대한 의존성을 해제하려면 보안 섹션으로 이동할 때 TLS 사용 확인란을 선택 취소합니다. 향후 Velero vSphere Operator에 인증서 지원을 포함하기 위해 노력하고 있습니다.
사용자 지정 레지스트리 또는 에어 갭 레지스트리에서 이러한 이미지를 배포할 때 주의해야 할 또 다른 항목은 테넌트 설정에서 이 정보를 다시 제공해야 한다는 것입니다. 이전에 에어 갭 레지스트리에서 Minio Operator를 배포한 경우 레지스트리 설정이 테넌트에 자동으로 적용되지 않습니다. 대신 고급 모드를 통해 사용자 지정 이미지와 사용자 지정 이미지 레지스트리 세부 정보도 제공해야 합니다. 이 단계는 선택 사항이며 채워지지 않으면 기본적으로 이미지가 외부 도커 허브에서 자동으로 당겨집니다. 이 화면의 모양은 다음과 같습니다.
마지막으로 테넌트를 설정한 후에는 테넌트가 생성될 때 액세스 키와 키 ID 자격 증명도 기록해야 합니다. 이 예에서는 S3 Minio 개체 저장소(Tenant)가 velero-ns라는 네임스페이스를 배포했습니다. Minio 테넌트가 성공적으로 배포되었으면 다음과 같이 해당 개체가 velero-ns 네임스페이스에 표시됩니다.
$ kubectl config get-contexts
CURRENT NAME CLUSTER AUTHINFO NAMESPACE
* 20.0.0.1 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local
cormac-ns 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local cormac-ns
minio-domain-c8 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local minio-domain-c8
velero-ns 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local velero-ns
$ kubectl config use-context velero-ns
Switched to context "velero-ns".
$ kubectl get all
NAME READY STATUS RESTARTS AGE
pod/velero-console-779694f649-d66hc 1/1 Running 0 13h
pod/velero-zone-0-0 1/1 Running 0 13h
pod/velero-zone-0-1 1/1 Running 0 13h
pod/velero-zone-0-2 1/1 Running 0 13h
pod/velero-zone-0-3 1/1 Running 0 13h
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/minio LoadBalancer 10.96.1.113 20.0.0.7 443:30942/TCP 13h
service/velero-console LoadBalancer 10.96.3.46 20.0.0.5 9090:31166/TCP,9443:30217/TCP 13h
service/velero-hl ClusterIP None <none> 9000/TCP 13h
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/velero-console 1/1 1 1 13h
NAME DESIRED CURRENT READY AGE
replicaset.apps/velero-console-779694f649 1 1 1 13h
NAME READY AGE
statefulset.apps/velero-zone-0 4/4 13hVelero vSphere Operator 사용
이제 S3 개체 저장소를 백업 저장소로 사용할 수 있게 되었으므로 Velero vSphere Operator에 관심을 돌릴 수 있습니다. Velero vSphere Operator를 사용하도록 설정하려면 Cluster > Supervisor Services > Services로 이동하십시오. Velero는 현재 사용할 수 있는 새로운 슈퍼바이저 서비스 중 하나입니다. 이 옵션을 선택하고 ENABLE 링크를 클릭합니다.
다시 한 번 채워야 할 첫 번째 정보는 Velero 이미지가 저장되는 리포지토리입니다. 이 작업은 비워둘 수 있으며 익명 자격 증명(MiniO Operator와 동일)을 사용하여 도커 허브에서 이미지를 가져옵니다. 그러나 도커에서 최근에 구현한 속도 제한으로 인해 사용자 자신의 자격 증명을 사용하여 도커 허브에 로그인하고 이미지를 수동으로 끌어와 로컬 리포지토리에 저장할 수 있습니다. 네가 얼마나 자주 이 일을 하느냐에 달려 있다. Docket 허브에서 이미지를 끌어와 로컬 Harbor 저장소로 올렸기 때문에 Velero vSphere Operator 활성화 단계에서 이 정보를 제공했습니다.
다음으로, EULA의 조건에 동의합니다.
이 작업은 velero-vsphere-domain-c8의 경우 새 네임스페이스 생성으로 진행됩니다. 이 시점에서 흥미로운 점은 4개의 Pod가 vSphere with Tanzu Supervisor 클러스터에서 인스턴스화되었음에도 불구하고 vSphere UI에서 생성된 Pod VM이 없다는 것입니다. 그 이유는 Velero vSphere Operator Pods가 제어면 노드 선택기와 함께 배포되어 작업자 노드가 아닌 제어면에서 실행되기 때문입니다. 예를 들어, 다음은 내 vSphere with Tanzu 환경의 모든 노드(제어 평면 및 작업자) 목록입니다. Velero vSphere Operator용 Pods를 표시할 때 모두 제어부 노드에서 실행되고 있습니다. 따라서 vSphere UI에 포드 VM으로 표시되지 않습니다. 이것은 내가 이 연산자를 배치하기 전까지 내가 알지 못했던 행동이었다. 왜 그런지 물어보는 게 좋을 거야. 즉, 제어부 노드가 vSphere 관리 네트워크에 액세스할 수 있고 vCenter 서버와 통신할 수 있습니다. 제어면 노드에 배포된 포드도 이 네트워크에 액세스할 수 있는 반면, 작업자 노드에 배포된 일반 포드 VM은 자신이 상주하는 네임스페이스 생성의 일부로 할당된 네트워크에만 액세스할 수 있습니다.
$ kubectl get nodes NAME STATUS ROLES AGE VERSION 42163b88513505fa695d51fa2e2aa1f0 Ready master 10d v1.18.2-6+38ac483e736488 421642a81662a903edcbeef9e388b75e Ready master 10d v1.18.2-6+38ac483e736488 42165fe73f7731599e9a8f75e27aefc3 Ready master 10d v1.18.2-6+38ac483e736488 esxi-dell-m.rainpole.com Ready agent 10d v1.18.2-sph-83e7e60 esxi-dell-n.rainpole.com Ready agent 10d v1.18.2-sph-83e7e60 esxi-dell-o.rainpole.com Ready agent 10d v1.18.2-sph-83e7e60 esxi-dell-p.rainpole.com Ready agent 10d v1.18.2-sph-83e7e60 $ kubectl config use-context velero-vsphere-domain-c8 Switched to context "velero-vsphere-domain-c8". $ kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES velero-vsphere-operator-5fd45db6b6-4ncv7 1/1 Running 0 30h 10.244.1.5 42165fe73f7731599e9a8f75e27aefc3 <none> <none> velero-vsphere-operator-webhook-79ffbdcd69-dcsqf 1/1 Running 0 30h 10.244.1.5 42165fe73f7731599e9a8f75e27aefc3 <none> <none> velero-vsphere-operator-webhook-79ffbdcd69-h5v2q 1/1 Running 0 30h 10.244.1.4 42163b88513505fa695d51fa2e2aa1f0 <none> <none> velero-vsphere-operator-webhook-79ffbdcd69-xz86q 1/1 Running 0 30h 10.244.1.2 421642a81662a903edcbeef9e388b75e <none> <none>
Velero Client 및 vSphere Operator CLI 다운로드
여기에서 Velero Client(작성 당시 버전 1.5.3)를 사용할 수 있습니다. 여기에서 Velero vSphere Operator(작성 시 버전 1.1.0)를 사용할 수 있습니다. 둘 다 다운로드하여 압축을 푼 다음 선택적으로 $PATH에 추가합니다. 한 가지 추가 단계는 클라이언트가 작업할 컨텍스트를 구성하는 것입니다(기본적으로 네임스페이스 벨레로를 예상함). 내 네임스페이스는 velero-ns이므로 클라이언트에게 해당 컨텍스트를 사용하도록 해야 합니다.
$ velero client config set namespace=velero-ns $ velero client config get namespace: velero-ns
Velero Operator CLI 설치 관리자 스크립트 생성
명령줄에 설치 관리자 옵션을 하나의 명령으로 입력할 수 있지만 추가할 매개 변수가 많기 때문에 스크립트에 넣는 것이 훨씬 더 쉬울 수 있습니다. 다음은 설치를 위해 만든 스크립트입니다.
#!/bin/sh
NAMESPACE="velero-ns"
BUCKET="backup-bucket"
REGION=minio
S3URL="http://20.0.0.5/"
PublicURL="http://20.0.0.5/"
VELERO_IMAGE=20.0.0.2/cormac-ns/velero:v1.5.1
VSPHERE_PLUGIN=20.0.0.2/cormac-ns/velero-plugin-for-vsphere:1.1.0
AWS_PLUGIN=20.0.0.2/cormac-ns/velero-plugin-for-aws:v1.1.0
./velero-vsphere install \
--namespace $NAMESPACE \
--image $VELERO_IMAGE \
--use-private-registry \
--provider aws \
--plugins $AWS_PLUGIN,$VSPHERE_PLUGIN \
--bucket $BUCKET \
--secret-file ./velero-minio-credentials \
--snapshot-location-config region=$REGION \
--backup-location-config region=$REGION,s3ForcePathStyle="true",s3Url=$S3URL,publicUrl=$PublicURL먼저 몇 가지 변수를 살펴보겠습니다.
- NAMESPACE – Velero 서버 구성 요소를 설치할 네임스페이스입니다. S3 오브젝트 저장소와 동일한 네임스페이스에 배치하여 모든 응용프로그램 네임스페이스에서 벗어나 보다 쉽게 작업을 수행할 수 있도록 합니다.
- BUCKET – 백업을 위해 S3 개체 저장소에 생성한 버킷입니다. 이 설정은 Minio S3 브라우저 클라이언트 또는 Minio S3 콘솔에서 생성할 수 있습니다.
- 지역 – 확실하지 않지만 S3 개체 저장소의 버킷 경로와 관련하여 가능합니다. 기본값은 미니오입니다. 나는 그것이 다른 것으로 설정된 것을 본 적이 없다.
- S3 URL – Velero 백업/복원 작업이 S3 개체 저장소에 액세스하는 방법. 저는 여기 오브젝트 스토어의 외부 주소를 사용하고 있습니다.
- Public URL – Velero 클라이언트가 S3 개체 저장소에 액세스하는 방법(예: 로그 보기) 다시 말씀드리지만, 저는 여기 오브젝트 스토어의 외부 주소를 사용하고 있습니다.
- VELERO_IMAGE – Velero 서버 이미지. 외부 도커 허브에서 이미지를 가져오는 것이 아니라 사내 하버 저장소에서 이미지를 가져오므로 이 옵션을 설정하십시오. 이미 이 이미지를 로컬 레지스트리에 끌어다 놓았습니다. 기본 도커 레지스트리에서 이미지를 가져오는 경우에는 이 설정이 필요하지 않습니다.
- Vsphere_PLUGIN – VADP를 사용하여 영구 볼륨의 스냅샷을 사용하도록 설정하는 플러그인입니다. 이미 미리 설정된 레지스트리에 푸시되어 있습니다. 기본 도커 레지스트리에서 이미지를 가져오는 경우에는 이 설정이 필요하지 않습니다.
- AWS_PLUGIN – S3 Object Store 대상을 활용하는 방법을 알고 있는 플러그인입니다. 이미 미리 설정된 레지스트리에 푸시되어 있습니다. 기본 도커 레지스트리에서 이미지를 가져오는 경우에는 이 설정이 필요하지 않습니다.
이제 설치 명령을 살펴보겠습니다. 일반 벨레로 설치와 다를 수 있는 아이템은 2개밖에 없는 것 같아요.
- –use-private-registry – 이미 개인(Harbor) 레지스트리의 이미지를 사용하여 Velero vSphere Operator를 구축했기 때문에 여기에서 이미 리포지토리 자격 증명을 제공해야 했습니다. velero-vsphere 바이너리를 통해 저장소에 자격 증명을 제공할 수 있는 방법이 없으므로 설치 관리자가 동일한 레지스트리에서 이미지를 꺼내기 때문에 자격 증명을 한 번 더 추가하지 않고도 동일한 저장소를 사용할 수 있음을 알리는 플래그입니다.
- -secret-file – 에는 Minio S3 Object Store에 대한 자격 증명이 포함되어 있습니다. 예를 들어, 이전에 Minio S3 테넌트를 구축했을 때 이러한 사항을 기록해 두었습니다.
$ cat velero-minio-credentials [default] aws_access_key_id = XWQ1TB0UJ3ZE4FMD aws_secret_access_key = JQZ0L5O4ZEKBFYZAZ25M4LA5ZIU2UKFW
자세한 내용 및 기타 구성 설정은 여기의 공식 문서에서 확인할 수 있습니다. 그러나 스크립트를 설치한 상태에서 이 스크립트를 실행하고 선택한 네임스페이스(이 경우 velero-ns)에서 Pods(파란색으로 표시됨)가 대기 상태인지 확인할 수 있습니다. 이 설치는 한 번만 수행하면 됩니다. 그런 다음 Velero 클라이언트를 사용하여 vSphere with Tanzu 환경의 이름 공간에 있는 애플리케이션을 백업할 수 있습니다.
$ ./install-on-velero-ns-from-harbor.sh
Send the request to the operator about installing Velero in namespace velero-ns
$ kubectl config get-contexts
CURRENT NAME CLUSTER AUTHINFO NAMESPACE
20.0.0.1 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local
cormac-ns 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local cormac-ns
minio-domain-c8 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local minio-domain-c8
* velero-ns 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local velero-ns
velero-vsphere-domain-c8 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local velero-vsphere-domain-c8
$ kubectl get all
NAME READY STATUS RESTARTS AGE
pod/backup-driver-6765cf5cb7-7dv8l 1/1 Running 0 2m3s
pod/velero-7bd5bcf869-c6mk9 1/1 Running 0 2m9s
pod/velero-console-779694f649-d66hc 1/1 Running 0 13h
pod/velero-zone-0-0 1/1 Running 0 13h
pod/velero-zone-0-1 1/1 Running 0 13h
pod/velero-zone-0-2 1/1 Running 0 13h
pod/velero-zone-0-3 1/1 Running 0 13h
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/minio LoadBalancer 10.96.1.113 20.0.0.7 443:30942/TCP 13h
service/velero-console LoadBalancer 10.96.3.46 20.0.0.5 9090:31166/TCP,9443:30217/TCP 13h
service/velero-hl ClusterIP None <none> 9000/TCP 13h
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/backup-driver 1/1 1 1 2m3s
deployment.apps/velero 1/1 1 1 2m9s
deployment.apps/velero-console 1/1 1 1 13h
NAME DESIRED CURRENT READY AGE
replicaset.apps/backup-driver-6765cf5cb7 1 1 1 2m3s
replicaset.apps/velero-7bd5bcf869 1 1 1 2m9s
replicaset.apps/velero-console-779694f649 1 1 1 13h
NAME READY AGE
statefulset.apps/velero-zone-0 4/4 13h좋아 보인다. 여기에 표시된 kubectl 출력과 vSphere UI에 표시되는 내용에 차이가 있다는 점에 유의하십시오. 위에 2개의 포드(벨러 및 백업 드라이버)가 표시되지만 vSphere UI에는 1개만 표시됩니다. backup-driver Pod가 제어부 노드에 배포되어 UI에 표시되지 않습니다. velero 포드는 작업자 노드에서 실행되므로 UI에서 포드 VM으로 표시됩니다.
이 단계가 완료되면 클라이언트 및 서버/운영자의 상태도 확인할 수 있습니다.
$ velero version
Client:
Version: v1.5.3
Git commit: 123109a3bcac11dbb6783d2758207bac0d0817cb
Server:
Version: v1.5.1서비스 상태를 확인하는 것도 이 시점에서 확인하는 것이 좋습니다.
$ kubectl -n velero-ns get veleroservice default -o json | jq '.status'
{
"enabled": true,
"installphase": "Completed",
"version": "v1.5.1"
}Velero 클라이언트를 사용하여 간단한 백업 수행
마지막 단계는 백업을 수행하는 것입니다. 다음에 하자. 먼저 Velero 클라이언트의 컨텍스트를 다시 한 번 확인하고 Velero가 설치된 네임스페이스에서 실행되고 있는지 확인합니다.
$ velero client config get namespace: velero-ns
다음으로 cormac-ns라는 애플리케이션 네임스페이스로 컨텍스트를 변경합니다. 여기에는 Cassandra NoSQL DB 상태 저장 세트와 웹 서버를 실행하는 Nginx 배포(백업되는 데이터 없음)가 있습니다. 이 애플리케이션은 내 vSphere with Tanzu Supervisor 클러스터에서 실행되는 포드 VM에 배포된 애플리케이션입니다.
$ kubectl config get-contexts
CURRENT NAME CLUSTER AUTHINFO NAMESPACE
20.0.0.1 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local
cormac-ns 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local cormac-ns
minio-domain-c8 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local minio-domain-c8
* velero-ns 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local velero-ns
velero-vsphere-domain-c8 20.0.0.1 wcp:20.0.0.1:administrator@vsphere.local velero-vsphere-domain-c8
$ kubectl config use-context cormac-ns
Switched to context "cormac-ns".
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
cassandra-0 1/1 Running 0 10d
cassandra-1 1/1 Running 0 10d
cassandra-2 1/1 Running 0 10d
nginx-deployment-b4d6b7cf8-cfftz 1/1 Running 0 10d
nginx-deployment-b4d6b7cf8-q29lr 1/1 Running 0 10d
nginx-deployment-b4d6b7cf8-zmfhd 1/1 Running 0 10d이제 Nginx 배포의 백업을 수행하겠습니다. 그 전에 S3 오브젝트 스토어를 살펴보도록 하겠습니다. 지금까지는 비어 있습니다. 여기에 백업 정보를 저장할 수 있는지 확인해 보겠습니다.
Velero가 백업할 항목을 선택하는 방법으로 Pod 레이블을 사용할 것입니다. 먼저, 포드에 레이블을 나열합니다. Nginx Pods에는 app=nginx 라벨이 있으므로, 나는 그것을 사용할 것이다.
$ kubectl get pods --show-labels NAME READY STATUS RESTARTS AGE LABELS cassandra-0 1/1 Running 0 10d app=cassandra,controller-revision-hash=cassandra-54d8d8874f,statefulset.kubernetes.io/pod-name=cassandra-0 cassandra-1 1/1 Running 0 10d app=cassandra,controller-revision-hash=cassandra-54d8d8874f,statefulset.kubernetes.io/pod-name=cassandra-1 cassandra-2 1/1 Running 0 10d app=cassandra,controller-revision-hash=cassandra-54d8d8874f,statefulset.kubernetes.io/pod-name=cassandra-2 nginx-deployment-b4d6b7cf8-cfftz 1/1 Running 0 10d app=nginx,pod-template-hash=b4d6b7cf8 nginx-deployment-b4d6b7cf8-q29lr 1/1 Running 0 10d app=nginx,pod-template-hash=b4d6b7cf8 nginx-deployment-b4d6b7cf8-zmfhd 1/1 Running 0 10d app=nginx,pod-template-hash=b4d6b7cf8
이제 지원을 받을 준비가 되었습니다.
$ velero backup get
$ velero backup create nginx-backup --selector app=nginx
Backup request "nginx-backup" submitted successfully.
Run `velero backup describe nginx-backup` or `velero backup logs nginx-backup` for more details.
$ velero backup get
NAME STATUS ERRORS WARNINGS CREATED EXPIRES STORAGE LOCATION SELECTOR
nginx-backup InProgress 0 0 2021-02-23 17:53:31 +0000 GMT 30d default app=nginx
$ velero backup describe nginx-backup
Name: nginx-backup
Namespace: velero-ns
Labels: velero.io/storage-location=default
Annotations: velero.io/source-cluster-k8s-gitversion=v1.18.2-6+38ac483e736488
velero.io/source-cluster-k8s-major-version=1
velero.io/source-cluster-k8s-minor-version=18+
Phase: InProgress
Errors: 0
Warnings: 0
Namespaces:
Included: *
Excluded: <none>
Resources:
Included: *
Excluded: <none>
Cluster-scoped: auto
Label selector: app=nginx
Storage Location: default
Velero-Native Snapshot PVs: auto
TTL: 720h0m0s
Hooks: <none>
Backup Format Version: 1.1.0
Started: 2021-02-23 17:53:31 +0000 GMT
Completed: <n/a>
Expiration: 2021-03-25 17:53:31 +0000 GMT
Velero-Native Snapshots: <none included>그리고 이 백업에는 전송할 데이터가 많지 않기 때문에 한두 시간이 지나면 작업이 완료되는 것을 볼 수 있을 것입니다.
$ velero backup get NAME STATUS ERRORS WARNINGS CREATED EXPIRES STORAGE LOCATION SELECTOR nginx-backup Completed 0 0 2021-02-23 17:53:31 +0000 GMT 30d default app=nginx
velero backup logs nginx-backup 명령을 사용해서 백업 로그를 사용하여 표시할 수 있지만 S3 Object Store로 전송된 항목이 있는지 확인하는 것이 더 좋습니다.
내가 보기엔 좋아. 백업에 대한 자세한 내용을 보려면 다음 명령을 실행하면 백업에 캡처된 리소스가 표시됩니다.
$ velero backup describe nginx-backup --details
Name: nginx-backup
Namespace: velero-ns
Labels: velero.io/storage-location=default
Annotations: velero.io/source-cluster-k8s-gitversion=v1.18.2-6+38ac483e736488
velero.io/source-cluster-k8s-major-version=1
velero.io/source-cluster-k8s-minor-version=18+
Phase: Completed
Errors: 0
Warnings: 0
Namespaces:
Included: *
Excluded: <none>
Resources:
Included: *
Excluded: <none>
Cluster-scoped: auto
Label selector: app=nginx
Storage Location: default
Velero-Native Snapshot PVs: auto
TTL: 720h0m0s
Hooks: <none>
Backup Format Version: 1.1.0
Started: 2021-02-23 17:53:31 +0000 GMT
Completed: 2021-02-23 17:53:46 +0000 GMT
Expiration: 2021-03-25 17:53:31 +0000 GMT
Total items to be backed up: 7
Items backed up: 7
Resource List:
apps/v1/Deployment:
- cormac-ns/nginx-deployment
apps/v1/ReplicaSet:
- cormac-ns/nginx-deployment-b4d6b7cf8
v1/Endpoints:
- cormac-ns/nginx-svc
v1/Pod:
- cormac-ns/nginx-deployment-b4d6b7cf8-cfftz
- cormac-ns/nginx-deployment-b4d6b7cf8-q29lr
- cormac-ns/nginx-deployment-b4d6b7cf8-zmfhd
v1/Service:
- cormac-ns/nginx-svc
Velero-Native Snapshots: <none included>복원
복원할 수 없다면 백업을 해두어도 별 의미가 없습니다. 이제 cormac-ns 네임스페이스에서 Nginx 배포 및 서비스를 제거하고 Velero를 사용하여 복원하겠습니다.
$ kubectl config use-context cormac-ns Switched to context "cormac-ns". $ kubectl get all NAME READY STATUS RESTARTS AGE pod/cassandra-0 1/1 Running 0 10d pod/cassandra-1 1/1 Running 0 10d pod/cassandra-2 1/1 Running 0 10d pod/nginx-deployment-b4d6b7cf8-cfftz 1/1 Running 0 10d pod/nginx-deployment-b4d6b7cf8-q29lr 1/1 Running 0 10d pod/nginx-deployment-b4d6b7cf8-zmfhd 1/1 Running 0 10d NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/cassandra ClusterIP 10.96.3.50 <none> 9042/TCP 27d service/nginx-svc LoadBalancer 10.96.1.252 20.0.0.4 443:32662/TCP,80:31832/TCP 27d service/tkg-cluster-vcf-w-tanzu-control-plane-service LoadBalancer 10.96.0.31 20.0.0.3 6443:31677/TCP 71d NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/nginx-deployment 3/3 3 3 27d NAME DESIRED CURRENT READY AGE replicaset.apps/nginx-deployment-b4d6b7cf8 3 3 3 27d NAME READY AGE statefulset.apps/cassandra 3/3 27d $ kubectl delete deployment.apps/nginx-deployment deployment.apps "nginx-deployment" deleted $ kubectl delete service/nginx-svc service "nginx-svc" deleted $ kubectl get all NAME READY STATUS RESTARTS AGE pod/cassandra-0 1/1 Running 0 10d pod/cassandra-1 1/1 Running 0 10d pod/cassandra-2 1/1 Running 0 10d NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/cassandra ClusterIP 10.96.3.50 <none> 9042/TCP 27d service/tkg-cluster-vcf-w-tanzu-control-plane-service LoadBalancer 10.96.0.31 20.0.0.3 6443:31677/TCP 71d NAME READY AGE statefulset.apps/cassandra 3/3 27d $ velero backup get NAME STATUS ERRORS WARNINGS CREATED EXPIRES STORAGE LOCATION SELECTOR nginx-backup Completed 0 0 2021-02-23 17:53:31 +0000 GMT 29d default app=nginx $ velero restore create restore-nginx --from-backup nginx-backup Restore request "restore-nginx" submitted successfully. Run `velero restore describe restore-nginx` or `velero restore logs restore-nginx` for more details. $ velero restore describe restore-nginx Name: restore-nginx Namespace: velero-ns Labels: <none> Annotations: <none> Phase: Completed Started: 2021-02-24 09:25:59 +0000 GMT Completed: 2021-02-24 09:25:59 +0000 GMT Backup: nginx-backup Namespaces: Included: all namespaces found in the backup Excluded: <none> Resources: Included: * Excluded: nodes, events, events.events.k8s.io, backups.velero.io, restores.velero.io, resticrepositories.velero.io Cluster-scoped: auto Namespace mappings: <none> Label selector: <none> Restore PVs: auto $ kubectl get all NAME READY STATUS RESTARTS AGE pod/cassandra-0 1/1 Running 0 10d pod/cassandra-1 1/1 Running 0 10d pod/cassandra-2 1/1 Running 0 10d pod/nginx-deployment-b4d6b7cf8-cfftz 1/1 Running 0 10s pod/nginx-deployment-b4d6b7cf8-q29lr 1/1 Running 0 10s pod/nginx-deployment-b4d6b7cf8-zmfhd 1/1 Running 0 10s NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/cassandra ClusterIP 10.96.3.50 <none> 9042/TCP 27d service/nginx-svc LoadBalancer 10.96.3.65 20.0.0.7 443:32575/TCP,80:30197/TCP 10s service/tkg-cluster-vcf-w-tanzu-control-plane-service LoadBalancer 10.96.0.31 20.0.0.3 6443:31677/TCP 71d NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/nginx-deployment 3/3 3 3 10s NAME DESIRED CURRENT READY AGE replicaset.apps/nginx-deployment-b4d6b7cf8 3 3 3 10s NAME READY AGE statefulset.apps/cassandra 3/3 27d
복원에 성공한 것 같습니다. nginx 서비스가 새 로드 밸런서 IP 주소(위의 파란색으로 표시됨)에서 다시 시작되었지만 배포, 복제본 세트, 서비스 및 포드가 모두 복원되었습니다. 이 예에서는 nginx 이미지가 백업되거나 복원되지 않았습니다. 이미지가 백업 및 복원된 매니페스트에 따라 동일한 레지스트리에서 꺼냈습니다.
따라서 기능 확인을 위해 매우 간단한 백업 및 복원 작업을 수행할 수 있습니다. 이 설정에 좀 더 많은 시간을 할애하고 다른 네임스페이스로 복원, 영구 볼륨(Persistent Volumes)을 사용하는 애플리케이션 백업 및 복원, TKG “게스트” 클러스터와 같은 추가 단계를 수행해야 합니다. 하지만 지금은 그것으로 충분하다.
마치면서
음, 그거 꽤 보기 좋은데요. Velero vSphere Operator를 통해 가져온 Supervisor 클러스터 개체의 백업을 저장하는 데 사용할 수 있는 대상을 제공하는 Minios S3 Object Store(vSAN Data Persistence 플랫폼 – DPP에서 프로비저닝)가 있습니다. 이러한 서비스는 vSphere with Tanzu(VCF)에서 나란히 실행 중입니다. 일이 잘 풀리기 시작하고 있다
