2019년에 저는 일반적인 vSAN 네트워크 설계 선택 사항에 대한 업데이트를 작성했습니다. 이런 질문들이 어떻게 늙어갔는지, 또 어떤 새로운 질문들이 나왔는지를 논의하면서 하는 것이 좋은 생각이라고 생각했다. VMware vSAN Express Storage Architecture™(ESA)는 고객이 새로운 차원의 최고 성능을 실현할 수 있도록 지원하며, 보다 빠른 스토리지 처리를 통해 네트워킹 스택에 대한 수요가 증가합니다.
vSAN Express ESA 네트워킹의 새로운 기능은 무엇입니까?
vSAN ESA에는 최소 25Gbps의 네트워킹이 필요합니다. vSAN ESA AF6 및 AF High Density 노드에는 최대 성능을 제공하기 위해 50Gbps의 vSAN 네트워킹 처리량이 필요하며, ESA AF8에는 100Gbps의 네트워킹 처리량이 필요합니다. 이제 vSAN ESA는 네트워킹 스택을 전송하기 전에 데이터를 압축하여 데이터가 도달하기 전에 추가로 압축할 수 있습니다. 네트워크. 새로운 적응형 네트워킹 스택은 vSAN ESA 네트워크의 경합을 관리하는 데 도움이 됩니다.
NIC를 구입할 때 vSphere 8 고려 사항은 DPU를 고려합니다. 현재 주요 이점은 가상 시스템 네트워킹 보안에 있습니다.
vSAN용 전용 인터페이스가 필요합니까?
고성능 환경의 경우 전용 인터페이스가 인기를 끌고 있습니다. vSAN ESA 및 Tier 1 애플리케이션은 NIOC에 의존하지 않아도 됩니다. 전용 인터페이스 및 스위치는 스위치의 트래픽 원인을 분리하여 문제 해결에 도움이 될 수도 있습니다. 전용 인터페이스의 비용을 상쇄하기 위해 일반적인 구성은 vMotion을 동일한 스위치에 배치하고 vMotion을 기본적으로 스위치 A로, vSAN을 스위치 B로 설정하고 스위치 중단 시 NIOC만 필요하도록 하는 것입니다.
어떤 NIC을 찾아야 합니까?
새 호스트의 최소 속도는 25Gbps NIC여야 하며 고성능 클러스터의 경우 100Gbps를 강력하게 고려해야 합니다. “하지만 스위치를 업그레이드하지 않았습니다!”라고 생각할 수도 있습니다. 좋은 소식은 25Gbps 포트가 10Gbps SFP+ 케이블, 광학 및 스위치와 역호환되는 SFP28 인터페이스를 사용한다는 것입니다. 지금 25Gbps “Ready” 기어를 구입하고 1년 후에 스위치를 업그레이드할 수 있습니다.
vSAN RDMA에 필요한 것은 무엇입니까?
vSAN RDMA 요구 사항에 대한 설명서는 여기에서 찾을 수 있습니다.
소규모 원격 사이트의 경우 어떤 종류의 스위치를 구입해야 합니까?
이전에는 소규모 하이브리드 환경에서 비용을 절감하고 기존 스위칭을 재사용할 수 있도록 1Gbps 네트워킹이 고려되었습니다. 그러나 이러한 배치는 2노드 직접 연결 옵션으로 간주되지 않기 때문에 이러한 사용 사례가 없어졌습니다.
스위치 쇼핑을 할 때 어떤 점을 고려해야 하나요?
이 질문은 고려해야 할 몇 가지 사항으로 더 쉽게 설명할 수 있습니다.
25Gbps는 새로운 최소 구매 조건
vSAN ESA에는 명시적으로 최소 25Gbps가 필요합니다. 대부분의 경우 처리량이 필요하지는 않지만, 오늘 25Gbps 스위치를 구입하면 향후 업그레이드를 준비할 수 있습니다. 또한 더 저렴한 10Gbps 스위치가 6년(또는 더 오래된) 실리콘을 사용할 수 있기 때문에 보다 현대적인 ASIC를 사용할 수 있습니다. 이는 네트워크 인터페이스 카드에도 적용됩니다. 스위치가 10Gbps인 경우에도 최신 ASIC 25Gbps NIC를 구입하면 성능이 향상될 수 있습니다. NIC에서 특히 검색해야 할 사항에 대한 후속 블로그. 단 4개의 드라이브만 있으면 vSAN ESA를 통해 단일 25Gbps 인터페이스를 포화 상태로 만들 수 있습니다. 최고의 성능을 얻으려면 100Gbps가 향후 기본 가정이 되어야 합니다.
25 스위치가 모두 동일하지 않음
“액세스/캠퍼스 스위치”로 판매되는 스위치에 주의하십시오. 그들은 종종 제한적인 모니터링, 관리 기능을 갖게 될 것이다. 이러한 스위치는 종종 버퍼와 성능이 제한될 수 있습니다.
포트 버퍼가 작은 스위치를 주의하십시오. 장치에 10Gbps 인터페이스가 있다고 해서 로드 시 성능이 우수한 것은 아닙니다. 포트가 포화 버퍼가 되면 패킷을 떨어뜨리고 TCP를 강제로 재전송하는 대가로 약간의 지연 시간이 추가됩니다(성능에 훨씬 더 영향을 미치는 경향이 있음). 이제 포트가 정기적으로 포화 상태인 경우 더 빠른 속도(25Gbps 대 10Gbps)의 LACP(고급 소스 및 대상 TCP poprt 해시 포함)도 도움이 될 수 있습니다. 모든 vSAN 클러스터가 1GB 이상의 버퍼로 이동할 필요는 없지만, 4MB 버퍼 스위치는 32MB 버퍼 스위치보다 성능이 뛰어납니다.
공유 포트 버퍼에 주의
스위치에는 32MB의 버퍼가 있을 수 있지만 포트, 포트 그룹 또는 코어와 같은 더 작은 단위로 분할되는 경우가 많습니다. 스위치의 총 버퍼가 포화 상태가 아니지만 패킷이 계속 손실될 수 있습니다. vSAN과 일반 VM 트래픽 간에 스위치를 공유하는 경우 이 동작으로 인해 오버서브스크라이브된 업링크를 통해 대량의 트래픽이 발생하여 사용 가능한 모든 버퍼가 손실되는 것을 방지할 수 있습니다. 경우에 따라 스위치에 선택할 수 있는 버퍼 밸런싱 방법이 다를 수 있습니다. 비 vSAN 트래픽이 있는 단일 업링크 포트에서 버퍼를 사용하는 경우 버퍼 할당 모드를 변경하면 성능이 향상될 수 있습니다. 논블로킹 업링크는 좋은 시작점입니다. 6개 이상의 호스트를 사용하는 클러스터의 경우 16MB의 스위치 버퍼를 사용하는 것이 좋습니다. 대규모 고성능 클러스터의 경우 딥 버퍼 스위치(1GB 이상의 공유 버퍼 제공)를 고려하십시오. VoQ(Virtual Output Queue)를 활용하는 스위치의 경우 포트 버퍼당 1MB 이상을 사용할 수 있는지 확인합니다.
버퍼가 더 빠른 링크 속도를 대체하지 않음
100Gbps 데이터 센터 스위치는 초고속 버퍼링된 25Gbps 스위치보다 선호될 것입니다. 버퍼는 더 많은 리소스에 대한 일시적인 요구로 이어지는 포트 사용에 대한 경합이 있는 경우에만 유용합니다. 모든 포트가 라인 정격 속도 미만으로 작동하는 경우 성능이 향상되지 않습니다. 포트가 장시간 연속적으로 제한되는 경우 버퍼는 성능을 향상시키지 못합니다. 이 시점에서 링크 속도 또는 DSCP/CoS를 높이는 것은 비 vSAN 트래픽보다 vSAN 트래픽의 우선 순위를 정하는 것입니다.
스위치가 아닌 스위치는 피하십시오.
다른 스위치를 거치지 않고 한 포트에서 다른 포트로 직접 패킷을 전송하는 기능이 없는 스위치. 2019년에는 훨씬 드물지만, 이러한 “Fabric Extension” 장치는 여전히 존재하며, vMotion 또는 Storage와 같은 높은 처리량의 East West 트래픽에는 고려되지 않아야 합니다.
지연 시간은 패킷 손실만큼 심각할 수 있습니다.
Pete Koehler는 대기 시간과 패킷 손실의 영향을 설명하는 훌륭한 블로그를 가지고 있습니다.
스위치를 어떻게 구성하고 관리해야 합니까?
스위치 모니터링
우수한 엔터프라이즈급 스위치를 사용하면 포트 오류를 기록할 수 있습니다. CRC 오류는 물리적 케이블(더러운 파이버, 구부러진 케이블, 차폐되지 않은 케이블의 간섭)에 문제가 있음을 나타냅니다. 이 문제는 SNMP에서도 모니터링할 수 있습니다. 이러한 문제를 신속하게 식별할 수 있도록 syslog를 Log Insight로 구성하고 vRealize Operations에서 스위치의 SNMP 카운터를 모니터링하도록 하는 것이 좋습니다. 스위치가 syslog 또는 SNMP를 지원하지 않는 경우 이 역시 성능이 저하될 수 있다는 경고일 수 있습니다. 버퍼 소진 모니터링을 위해 SNMP 폴링 간격이 너무 깁니다. 버퍼 소진을 알리는 스위치 경보를 사용하거나 특정 스위치 버퍼 모니터링 시스템을 구성하는 것이 좋습니다. vRealize Networking Insight와 같은 도구를 사용하여 스위치의 처리량 제약 조건을 이해하고 계층 4 원격 측정(netflow/sflow 등)을 확인하는 것도 일반적으로 좋은 방법입니다. 이를 통해 공유 인터페이스에 vSAN 트래픽에 대한 정체가 발생하는 이유를 파악할 수 있습니다(데이터베이스 백업 트래픽이 동일한 CoS 태그를 사용하여 동일한 링크를 통과할 수 있음).
호스트 모니터링
스위치에 손실된 패킷이 표시되지 않는다고 해서 문제가 없는 것은 아닙니다. 흐름 제어가 포화 포트를 제한할 수 있으며, TCP 재전송이 순서가 잘못되어 발생할 수 있으며, 환경에 따라 부적절하게 구성된 LACP 해시가 호스트에서만 표시될 수 있습니다. SNMP 및 기존 모니터링은 버스트 문제를 추적하는 것으로 제한됩니다. 이 문제를 해결하기 위해 vSAN 6.7에는 주요 네트워크 성능 통계의 1초 폴링을 지원하는 네트워크 진단 모드가 포함되어 있습니다. 스위치의 ASIC 측에서 수행되는 추가 모니터링은 버퍼에 대한 보다 세분화된 모니터링도 지원할 수 있습니다. 이러한 예로는 Arista LANZ, Cisco Active Buffer Monitoring 등이 있습니다. vSAN IO Trip Analyzer는 가능한 대기 시간 소스에 대한 더 쉬운 엔드 투 엔드 장애를 제공합니다.
스위치 수명 주기 고려
이전에 스위치에서 실행 중인 코드를 업그레이드하려면 스위치를 재부팅해야 했고 이 스위치에 대해 몇 분 동안 중단이 발생했습니다. 이중화된 스위치 경로를 통해 이 프로세스를 완화할 수는 있지만, 일반적으로 패치 적용의 양을 제한하고 지정된 유지 보수 기간으로 패치 적용을 전환했습니다. 이중화된 슈퍼바이저가 있는 고가의 섀시 스위치는 종종 이 문제를 완화합니다. 중간 지점으로서 일부 새로운 최상위 랙 스위치가 ISSU (In-Service Software Upgrades)를 지원할 수 있습니다. 주의사항이 있을 수 있으며 사소한 업데이트에만 제한이 있습니다. 이 기능은 스위치를 최신 상태로 유지하는 데 도움이 됩니다.
이 지침의 대부분은 iSCSI 및 NFS에도 적용됩니다. 일반적으로 모든 VMware 스토리지 트래픽은 고가용성, 낮은 지연 시간, 낮은 지터 및 낮은 패킷 손실 네트워킹을 선호합니다.
vSAN Stretched Cluster에 대한 ISL 또는 사이트 간 네트워킹 요구 사항이 vSAN 8 ESA GA와 함께 변경되었습니까?
출처 : https://core.vmware.com/blog/designing-vsan-networks-2022-edition-vsan-esa
