출처: https://blogs.vmware.com/cloud-foundation/2025/05/06/vsan-networking-network-topologies/
지난 한 해 동안 VMware Cloud Foundation(VCF)의 기본 스토리지 솔루션으로 vSAN 도입이 급증했습니다. 이는 세 가지 이유 때문일 수 있습니다. 첫째, 고객 하드웨어 교체 주기가 늘어나 최고 수준의 성능을 제공하는 vSAN Express Storage Architecture(ESA)로 전환할 수 있게 되었습니다. 또한, 라이선스된 VCF 코어당 1TiB의 vSAN 용량을 제공하는 새로운 라이선스 모델 덕분에 VCF 고객들이 vSAN을 다시 찾고 있습니다. 마지막으로, vSAN 스토리지 클러스터 (이전 명칭: vSAN Max)의 도입은 중앙 집중식 공유 스토리지를 선호하지만 하이퍼바이저에 내장된 스토리지 솔루션인 vSAN을 계속 사용하려는 고객에게 새로운 옵션을 제공합니다.
하지만 이러한 급증과 성공에는 특히 네트워킹과 관련된 의문이 제기됩니다. vSAN의 분산 아키텍처는 구축 방식과 관계없이 데이터 가용성, 성능 및 관리를 위해 네트워킹에 의존합니다. 모든 스토리지 시스템은 네트워크 패브릭에 의존하지만, 기존의 3계층 아키텍처를 사용하는 전용 격리형 네트워크 패브릭과 달리 vSAN은 일반적으로 스토리지 트래픽을 다른 트래픽과 동일한 네트워크에 집중시킵니다.
기존 스토리지와의 유사점 및 차이점
vSAN의 복원력 있는 스토리지 접근 방식은 기존 스토리지와 다르지만, 많은 원칙은 동일하게 유지됩니다. 스토리지 어레이에 파이버 채널을 사용하든, vSAN에 이더넷 네트워크를 사용하든, 스토리지 트래픽은 일반적으로 충분한 대역폭과 안정적이고 예측 가능한 경로를 통해 필요한 성능 및 가용성을 제공해야 합니다.
기존 스토리지 시스템에서는 트래픽 흐름이 상당히 명확합니다. 스토리지 I/O는 호스트의 HBA를 통해 스토리지 어레이로 전송됩니다. 스토리지 어레이는 내부 백플레인을 사용하여 인클로저 내 디스크에 복원력 있게 데이터를 기록합니다.
그림 1. 기존 3계층과 vSAN의 스토리지 패브릭 비교.
vSAN은 분산 스토리지 시스템이므로 데이터 복원력을 보장하기 위해 여러 호스트에 데이터를 기록해야 합니다. 또한 호스트 간 데이터 리밸런싱, 스토리지 정책 변경 사항 준수, 호스트 유지 관리 모드 작업, 데이터 자동 복구 등 기타 백엔드 데이터 작업도 수행합니다. 이러한 작업은 관리자가 신경 쓸 필요가 없는 자동화된 작업이지만, 이러한 작업을 적시에 완료하려면 충분한 네트워크 리소스가 필요합니다.
집계된 vSAN HCI 클러스터를 사용하면 게스트 VM의 읽기 및 쓰기 명령이 vSAN 데이터스토어와 동일한 클러스터에서 발생합니다. vSAN 스토리지 클러스터를 사용하는 분산 배포의 경우 게스트 VM의 읽기 및 쓰기 명령은 vSAN 데이터스토어와 동일한 클러스터에서 발생하지 않고 데이터스토어를 마운트하는 vSphere 호스트에서 발생합니다. 결과적으로 클라이언트 클러스터와의 프런트엔드 트래픽은 vSAN 스토리지 클러스터를 구성하는 호스트의 네트워크 연결보다 적은 대역폭을 필요로 합니다. 백엔드 vSAN 활동과 프런트엔드 게스트 I/O 요청의 비율은 워크로드 특성 및 재구축, 리밸런싱, 스토리지 정책 변경과 같은 기타 조건에 따라 달라질 수 있습니다. 백엔드 트래픽은 프런트엔드 트래픽 양의 약 3배로 추정할 수 있습니다. 이러한 증폭은 “3:1″로 표현할 수 있습니다. 다른 표현으로는 프런트엔드 트래픽이 백엔드 트래픽의 약 33%라고 할 수 있습니다. 즉, vSAN 스토리지 클러스터의 데이터스토어를 마운트하는 vSphere 호스트는 스토리지 클러스터가 사용하는 대역폭보다 적은 대역폭이 필요합니다.
그림 2. 프런트엔드 vSAN 트래픽과 백엔드 vSAN 트래픽의 관계 이해.
vSAN 스토리지 클러스터를 통한 이러한 증폭을 이해하면 vSAN 스토리지 클러스터의 데이터스토어를 자체 랙에 마운트하는 vSphere 클러스터에 대해 네트워크 스파인에서 얼마나 많은 대역폭이 필요한지 이해하는 데 도움이 됩니다.
네트워크는 다양한 방식으로 구축할 수 있습니다. vSAN을 사용하면 네트워크 설계가 매우 중요합니다! 네트워크 구축 방식에 따라 vSAN이 환경에 어떻게 배포되어야 하는지가 결정될 수 있습니다. 가상화 관리자가 vSAN에 문제가 있다고 생각했지만, 실제로는 네트워크의 알려지지 않은 문제였음을 발견하는 경우도 드물지 않습니다.
vSAN 설계 결정을 이해하기 위한 기준으로 몇 가지 일반적인 네트워크 구성을 살펴보겠습니다. 이 정보는 통합 vSAN HCI 배포 및 분산 vSAN 스토리지 클러스터 배포에 모두 적용됩니다. 가상화 팀과 네트워크 팀 모두 vSAN을 위한 안정적이고 일관된 네트워크에 필요한 사항을 파악하기 위해 협력하는 데 도움이 될 것입니다.
일반적인 네트워크 토폴로지에 대한 입문서
vSAN 스토리지 트래픽은 네트워크를 통과하는데, 이는 네트워크 아키텍처가 1.) 데이터 가용성, 2.) 최대 성능 및 성능 일관성을 부분적으로 결정한다는 것을 의미합니다.
가장 일반적인 두 가지 네트워크 아키텍처는 3계층 아키텍처와 스파인-리프 아키텍처입니다. 두 아키텍처 모두 랙에 있는 호스트를 서로 연결하는 방식이 다르기 때문에 환경 설계 시 고려해야 할 사항이 서로 다를 수 있습니다. 이러한 아키텍처는 데이터 가용성과 시스템 성능에 영향을 미칠 수 있습니다.
그림 3. 데이터 센터의 일반적인 네트워크 토폴로지.
각 토폴로지의 변형은 드문 일이 아니며, 설명된 토폴로지는 전체 인프라의 일부로만 작동합니다. 이 글에서는 네트워크 토폴로지를 전체적으로 살펴보는 대신, 하나 이상의 vSAN 클러스터를 구성하는 호스트들이 서로 어떻게 상호 작용하는지, 그리고 이러한 클러스터의 네트워크 토폴로지 설계가 성능과 가용성에 어떤 영향을 미치는지에 중점을 둡니다.
레거시 3계층 네트워크
3계층 네트워크 아키텍처는 코어, 애그리게이션, 액세스 계층으로 구성됩니다. 계층적으로 연결되어 있어 소스와 목적지에 따라 트래픽이 계층을 따라 위아래로 흐를 수 있습니다. 적절한 업스트림 대역폭을 제공하기 위해 애그리게이션 링크에 크게 의존합니다. 여러 경로가 있을 수 있으므로, 이러한 여러 경로를 관리하는 방법(STP(Spanning Tree Protocol)를 통한 차단 또는 ECMP(Enhanced Connection Management Protocol)를 통한 리디렉션)을 사용할 수 있습니다. 3계층 아키텍처는 확장이 어렵고 일관된 성능 수준을 제공하기 어렵다는 평을 받았으며, 스파인-리프(Spine-Leaf) 설계에서는 거의 선호되지 않습니다.
그림 4. 레거시 3계층 네트워크 토폴로지.
현대 스파인-리프 네트워크
스파인-리프 네트워크는 두 계층으로 구성되며, 리프 스위치는 일반적으로 랙 상단(ToR)에 위치하여 호스트에 직접 연결됩니다. 스파인은 백본 네트워크이며, 모든 리프 스위치는 스파인에 연결됩니다. 3계층 설계에 비해 스파인-리프는 몇 가지 뚜렷한 장점을 제공합니다. 하나는 손쉬운 확장성입니다. 리프 스위치 간 연결 대역폭을 개선하려면 스파인 스위치를 추가하면 됩니다. 또는 더 많은 랙과 호스트를 지원하려면 리프 스위치를 추가하면 됩니다. 또한, 이 설계는 소스와 타겟의 위치에 관계없이 두 지점 간의 네트워크 홉 수를 최소화합니다. 논블로킹 설계이므로 성능 예측 가능성이 훨씬 높습니다.
그림 5. 현대의 스파인 리프 네트워크 토폴로지.
스파인-리프 설계는 3계층 아키텍처와 다른 몇 가지 뚜렷한 특징을 가지고 있습니다. 첫째, 모든 리프 스위치는 항상 모든 스파인 스위치에 직접 연결됩니다. 하지만 가장 흥미로운 점은 일반적으로 리프 스위치 간 또는 스파인 스위치 간에 직접적인 연결이 없다는 것입니다. 이러한 특징은 이러한 네트워크가 STP와 같은 차단 메커니즘 사용을 피하는 데 도움이 되지만, 중복성 및 집계에 대한 설계 권장 사항에 영향을 미칠 수 있습니다. 경우에 따라 스파인-리프 설계에서 두 개의 ToR 리프 스위치가 링크(MLAG, VLTi 등)로 연결되는 것을 볼 수 있습니다. 그러나 이러한 방식은 진정한 Clos 스타일의 스파인-리프 아키텍처를 따르지 않습니다.
그림 6. 진정한 Clos 스타일 spine-leaf 디자인의 추가적 특징.
3계층 네트워크 아키텍처에서 ToR 스위치 간 상호 연결은 일반적이지만, Clos 방식의 스파인-리프 설계에서는 두 ToR 스위치 간에 상호 연결이 없을 수 있습니다. 이것이 왜 중요할까요? 두 개의 ToR 리프 스위치가 서비스하는 랙에 있는 호스트 간에 트래픽이 통신한다고 가정해 보겠습니다. 호스트의 케이블 연결 방식과 관계없이 트래픽이 ToR 스위치 내에 머무를 것이라고 생각할 수 있습니다. 하지만 업링크가 두 ToR 스위치를 모두 사용하기 때문에 연결을 완료하는 유일한 방법은 네트워크 스파인을 통하는 것입니다.
그림 7. 팀 구성 정책이 네트워크 스파인을 통해 트래픽을 전송하는 방식.
스파인 리프 네트워크의 경우 호스트의 업링크가 적절하게 케이블로 연결되어 있는지 확인하는 것이 중요하며, 모든 집계 기술이 실수로 스파인을 통해 데이터를 전송하지 않도록 해야 합니다.
vSAN 네트워킹에 대한 자세한 내용은 vSAN Network Design Guide를 참조하십시오 . VCF 환경의 경우 “Network Design for vSAN for VMware Cloud Foundation“를 참조하십시오.
요약
vSAN과 같은 분산 스토리지 시스템을 사용할 때 네트워크는 데이터를 복원력 있고 빠르게 저장하는 데 중요한 역할을 합니다. 사용자 환경의 네트워크 토폴로지와 vSAN 호스트 랙이 네트워크를 통해 통신하는 방식을 이해하면 스토리지 시스템에 최고 수준의 성능과 복원력을 제공하는 데 도움이 됩니다.
