출처: https://blogs.vmware.com/cloud-foundation/2025/06/19/global-deduplication-in-vsan-esa-for-vmware-cloud-foundation-9-0/
vSAN Express Storage Architecture(ESA)는 2년 남짓 전 출시 이후 고객에게 매우 강력한 스토리지 플랫폼임을 입증해 왔습니다. 워크로드 성능과 효율성을 거의 즉각적으로 향상시킬 뿐만 아니라, 엔지니어링 팀이 새로운 방식으로 어려운 문제를 해결할 수 있도록 지원합니다. vSAN Data Protection에서 ESA의 놀라운 고성능 스냅샷을 통해 이러한 혁신의 훌륭한 사례를 확인해 보십시오.
VMware Cloud Foundation(VCF) 9.0의 vSAN의 경우, 이는 아마도 우리가 고객에게 소개한 가장 중요한 발전 중 하나로 이어질 것입니다. VCF 9.0(P01)의 vSAN ESA에는 글로벌 중복 제거 기능이 포함되어 있습니다. 이는 성능에 큰 영향을 미치지 않고 VCF 환경에서 스토리지 비용을 절감할 수 있는 간단하고 효과적인 방법입니다.
간단히 말해서, 저희는 vSAN ESA의 글로벌 중복 제거 기능이 시중의 다른 스토리지 솔루션만큼 우수하거나 더 우수하다고 믿습니다. 중복 제거가 무엇이고, 어떻게 작동하는지, 그리고 vSAN의 기존 스토리지 아키텍처(OSA)가 제공하는 기능과 어떻게 다른지 자세히 살펴보겠습니다.
데이터 중복 제거 – 데이터 중복 제거란 무엇이며 왜 중요한가
데이터 중복 제거는 스토리지 시스템에서 사용되는 스토리지 용량을 줄이기 위해 사용되는 기술입니다. 동일한 데이터 블록을 찾아 모든 중복 블록을 데이터의 실제 위치를 가리키는 작은 메타데이터 포인터로 대체합니다. 시스템은 중복된 데이터에서 이 여유 공간을 회수하여 여유 용량으로 제공합니다. 이를 통해 스토리지 비용을 효과적으로 절감할 수 있습니다.
스토리지 솔루션은 일반적으로 중복 제거를 구현하는 데 다양한 접근 방식을 사용합니다. 일부 설계는 컴퓨팅 리소스와 워크로드 성능에 미치는 영향을 희생하면서도 더 높은 중복 제거율을 강조하는 반면, 다른 설계는 장애 도메인, 가용 컴퓨팅 성능, 쓰기 증폭의 영향 등 스토리지 솔루션의 물리적 제약 조건을 고려하여 구축됩니다.
저희 팀은 중복 제거를 구현하는 다양한 방법을 검토했습니다. 저희 접근 방식에서 주요하게 중점을 둔 부분은 다음과 같습니다.
- 효율성과 리소스 활용도의 균형을 유지합니다. 최소한의 노력으로 최고 수준의 중복 제거를 달성하는 균형을 달성합니다.
- 성능 유지. 게스트 VM 워크로드에 미치는 영향이 거의 없거나 전혀 없도록 보장합니다.
- 확장성. 클러스터가 확장됨에 따라 시스템의 성능과 확장성이 유지되도록 해야 합니다. vSAN의 분산 아키텍처는 호스트를 추가하여 용량을 확장할 수 있기 때문에 이는 특히 중요합니다.
vSAN ESA의 글로벌 중복 제거가 이를 어떻게 달성하는지 살펴보겠습니다.
vSAN 글로벌 중복 제거의 차이점
Express Storage Architecture는 엔지니어링 팀에 중복 제거 설계에 대한 새로운 기준을 제시했습니다. OSA의 기술적 제약을 해소하고, 매우 효율적이고 유연한 중복 제거 엔진을 제공할 수 있었습니다. OSA에서 중복 제거가 어떻게 설계되었는지, 그리고 ESA에서 어떻게 구현되었는지에 대한 가장 눈에 띄는 차이점을 살펴보겠습니다.
중복 제거 도메인
vSAN OSA의 중복 제거 기능은 호스트 내 개별 디스크 그룹으로 제한된 중복 제거 도메인을 가지고 있었습니다. 이로 인해 서로 다른 디스크 그룹에 있는 동일한 블록을 중복 제거할 수 없어 중복 제거의 효과가 감소했습니다. 이로 인해 vSAN OSA가 더 높은 중복 제거율을 제공하는 데 어려움이 있었습니다.
vSAN ESA의 중복 제거 기능은 전체 클러스터를 중복 제거 도메인으로 사용하며 , 전체 클러스터에서 동일한 블록을 중복 제거할 수 있습니다. 4KB 단위의 작은 단위까지 중복을 제거하는 기능과 결합하면 중복 블록을 찾을 확률과 중복 제거 성능이 크게 향상되어 데이터 감소율이 향상됩니다. ESA에서 중복 제거 기능을 사용한다고 해서 스토리지 장치의 장애 범위가 변경되는 것은 아닙니다 . 스토리지 장치의 개별 장애는 해당 장치에만 영향을 미칩니다.
중복 제거 처리 및 성능
vSAN OSA는 데이터가 용량 계층으로 디스테이징되는 동안 인라인 방식으로 중복 제거를 수행했습니다. 쓰기 확인 응답이 게스트로 전송된 후에 중복 제거가 수행되었지만, 중복 제거 프로세스로 인해 용량 계층으로의 데이터 디스테이징 속도가 느려져 버퍼가 가득 차기 쉬워졌습니다. 스토리지 장치가 느린 환경에서는 OSA의 내부 vSAN 혼잡 처리로 인해 VM 지연 시간에 영향을 미칠 수 있습니다.
vSAN ESA는 데이터가 디스크에 저장되고 냉각된 후 중복을 제거합니다. 핫 데이터 쓰기 경로에서는 중복 제거가 발생하지 않으므로, 최근에 작성된 데이터가 곧 삭제되거나 덮어쓰기되는 경우 중복 제거 프로세스가 낭비되지 않습니다. vSAN ESA의 지능형 사후 처리 기능은 이러한 작업을 스마트하게 수행하여, 사용 가능한 CPU 사이클만 사용하여 데이터 중복 제거 시점을 동적으로 결정합니다. 이를 통해 게스트 VM 작업에 대한 간섭을 최소화하고 지연 시간을 낮게 유지합니다. 또한, 메타데이터 매핑 기능은 핫 데이터보다 콜드 데이터의 중복 제거를 먼저 식별하고 우선순위를 지정하여 처리 효율성을 유지합니다.
작동 원리
클러스터에서 중복 제거가 활성화되면 중복 제거 프로세스의 필수적인 부분인 두 개 이상의 특수 객체가 클러스터에 생성됩니다.
- 중복 제거 메타데이터 객체. 이 객체는 저장된 4KB 블록마다 해시 항목을 유지합니다. 이 해시 항목은 동일한 데이터를 포함하는 다른 인스턴스를 식별하는 데 도움이 됩니다.
- 중복 제거 데이터 객체. 이 객체는 중복 제거된 4KB 블록을 저장합니다. 전용 객체는 VM 내에서 I/O 핫스팟을 방지하기 위해 중복 제거된 데이터를 저장하는 데 사용됩니다.
ESA의 중복 제거는 후처리 작업입니다. ESA의 데이터 쓰기 경로는 ESA 중복 제거를 사용하지 않는 클러스터와 동일합니다. 데이터가 vSAN 데이터스토어에 저장되므로 클러스터의 사용량이 상대적으로 적으면 vSAN은 사용되지 않는 CPU 사이클을 사용하여 데이터 중복 제거를 시도합니다. 이 과정은 다음과 같이 진행됩니다.
- vSAN은 개별 4KB 블록을 읽고 중복 제거 메타데이터 개체에 저장될 안전한 암호화 해시를 생성합니다.
- vSAN은 중복 제거 메타데이터에서 일치하는 해시 항목을 찾습니다.
- 중복 제거 데이터 개체의 데이터와 일치하는 항목이 발견되면 블록을 메타데이터 포인터로 업데이트하고 공간을 회수합니다.
- 중복 제거 데이터 개체에 데이터가 없는 일치 항목이 발견되면 현재 데이터와 원본 데이터를 모두 중복 제거 개체로 이동하고(아래에서 설명하는 백 포인터 사용) 메타데이터 포인터로 블록을 업데이트한 후 공간을 회수합니다.
- 일치하는 항목이 없으면 데이터는 그대로 둡니다. 메타데이터 객체에 데이터가 있는 백 포인터를 포함하는 해시 항목이 생성되므로, 중복 항목이 식별되면 위에서 설명한 대로 중복 항목을 제거할 수 있습니다.
그림. VCF 9.0용 vSAN ESA의 중복 제거 프로세스.
데이터와 메타데이터를 보관하는 객체는 자체 관리되며 관리자에게 대부분 투명하게 공개됩니다. 중복 제거 엔진의 확장 또한 지능적이고 자동화됩니다. 예를 들어, 클러스터 호스트 수가 증가하면 중복 제거에 사용 가능한 처리 리소스도 증가합니다. 이렇게 중복 제거된 데이터는 클러스터 내 여러 호스트에 분산되도록 혁신적인 방식으로 샤딩됩니다. 이를 통해 뛰어난 확장성과 성능을 제공하는 동시에 리소스 사용량도 최소화됩니다. 샤딩된 데이터는 연속된 데이터의 공간적 지역성을 보존하여 단편화를 줄이고 동일한 샤드에서 대규모 읽기 요청을 처리할 가능성을 높입니다.
얼마나 효과적이나요?
vSAN ESA의 클러스터 전체 중복 제거 기능은 데이터 감소율을 획기적으로 높여줍니다. 얼마나 높을까요? 이는 데이터의 유사성, 데이터 및 워크로드의 특성, 그리고 클러스터 내 전체 데이터 양 등 여러 요인에 따라 달라집니다. 저희 내부 테스트 결과, vSAN ESA의 글로벌 중복 제거 기능은 여러 주요 스토리지 솔루션의 중복 제거 기능과 동등하거나 더 우수한 것으로 나타났습니다.
vSAN은 처음에 용량 절감 효과를 데이터 압축 및 글로벌 중복 제거를 통한 절감 효과를 포함하는 데이터 감소율로 표현합니다. 이 절감 효과는 감소율 승수 형태로 표현됩니다. 예를 들어, 데이터 감소율이 2배일 경우 사용량이 원래 크기의 50%에 불과하고, 4배일 경우 사용량이 원래 크기의 25%에 불과합니다. 스토리지 솔루션을 비교할 때 “데이터 감소”라는 용어는 표준화된 용어가 아니라는 점에 유의해야 합니다. 일부 솔루션은 데이터 감소율을 다르게 계산하거나 씬 프로비저닝과 같은 다른 데이터 감소 측면을 포함할 수 있습니다.
확장 가능한 중복 제거의 장점
클러스터 전체 중복 제거를 vSAN의 분산 아키텍처와 결합하면 흥미로운 이점을 얻을 수 있으며, 기존 스토리지 어레이에 비해 확연한 이점을 제공합니다. 일반적으로 최신 스토리지 어레이의 중복 제거 영역은 전체 어레이입니다. 환경이 확장되고 어레이가 추가되면 중복 제거 영역이 두 개로 분할됩니다. 이로 인해 동일한 데이터를 중복 제거할 수 있는 기회가 줄어들어 효과가 제한됩니다.
vSAN ESA의 중복 제거는 클러스터 전체에 적용되며 이러한 제약 조건을 따르지 않습니다. 8개의 호스트로 구성된 클러스터가 16개의 호스트로 확장되면 스토리지 용량은 두 배로 늘어나지만, 단일 중복 제거 도메인으로 유지됩니다. 데이터 양이 많을수록 적은 양의 데이터보다 중복 제거 기회가 훨씬 많아 효율성이 높아집니다. 중복 제거 도메인은 확장될 수 있지만, vSAN의 장애 경계는 확장되지 않습니다. vSAN의 분산 객체 모델이 가용성 고려 사항을 클러스터 크기와 분리하는 방법에 대한 자세한 내용은 ” vSAN 가용성 기술 ” 문서를 참조하십시오.
그림. 기존 스토리지의 한계와 vSAN의 확장 가능한 중복 제거 비교
용량 절감 그 이상
vSAN ESA의 글로벌 중복 제거 기능을 사용하면 기존 스토리지를 활용하여 더 많은 작업을 수행할 수 있습니다. 스토리지 비용 절감은 당연한 이점이지만, 그 외에도 다른 이점들이 있습니다.
- 더 간단한 설계. 효과적인 스토리지 밀도가 증가함에 따라 클러스터 설계의 일부 측면이 더 쉬워질 수 있습니다. 예를 들어, vSAN 스토리지 클러스터의 용량 요구 사항이 최소 20개의 호스트를 결정했지만, 이 20개의 호스트를 단일 랙에 수용할 수 없어 네트워크 설계가 복잡해질 수 있습니다. 중복 제거를 고려하면 클러스터는 단일 랙에 쉽게 수용할 수 있는 호스트 수를 줄이고 네트워크 요구 사항도 간소화할 수 있습니다.
- 더 나은 비용 최적화. VCF 라이선스를 통해 코어당 1TiB의 vSAN 용량을 무료로 제공받는 것을 기억하시나요? 이는 원시 용량입니다. 중복 제거를 적용하면 유효 용량이 훨씬 더 커질 수 있으며, 이는 VCF에서 중복 제거를 통해 vSAN 용량 사용 권한이 훨씬 더 중요해진다는 것을 의미합니다 .
- 표준화 개선. 즉각적인 비용 절감은 하이퍼바이저가 컴퓨팅 및 스토리지를 관리하는 데에도 적용됩니다. 이는 vSAN HCI 통합 배포든 vSAN 스토리지 클러스터를 사용하여 분산 배포든 마찬가지입니다. 배포의 일관성이 확보되고 스토리지 패브릭 비용으로 인해 불균형적으로 소모되던 예산이 확보됩니다.
유효성
이 게시물에 공유된 정보는 VCF 9.0 패치 01(P01)에 출시될 때 고객이 이 기능에 얼마나 관심을 가질지 판단하는 데 도움을 드리기 위한 것입니다. 이 기능은 현재 Broadcom의 기술 자격 요청(TQR) 프로그램을 통해 제한적으로 제공되고 있습니다. VCF 9.0 P01 릴리스에서 이 기능을 사용해 보고 싶으시다면 이 양식을 사용하여 Broadcom에 문의하여 자세한 내용을 알아보세요. 25GbE 이상의 네트워킹을 사용하는 3~16개 호스트 규모의 단일 사이트 vSAN HCI 또는 vSAN 스토리지 클러스터에서 이 기능을 활성화하려는 고객을 중점적으로 지원할 예정입니다. 처음에는 이 기능을 사용하는 동안 확장 클러스터와 같은 일부 토폴로지와 미사용 데이터 암호화와 같은 일부 데이터 서비스가 지원되지 않습니다.
요약
vSAN ESA는 제품 및 엔지니어링 팀에게 과거에는 불가능했던 기능을 제공할 수 있는 역량을 제공합니다. 새로운 기능을 제공했으며, vSAN 글로벌 중복 제거를 통해 최종적으로는 고객이 혜택을 누릴 수 있습니다.
