출처 : https://www.netapp.com/pdf.html?item=/media/113980-wp-4303-ontap-deep-learning.pdf
ONTAP의 아키텍처에 큰(?) 변화가 있는 것 같아서 정리해 보았습니다.
이 백서에서는 제너레이티브 AI 및 딥 러닝 워크로드를 지원하기 위해 비정형 데이터에 대한 높은 처리량과 성능에 대한 증가하는 요구 사항을 해결하기 위한 NetApp ONTAP의 아키텍처 비전을 자세히 설명합니다.
기술 동향 – 데이터의 시대
딥러닝은 인프라 혁신을 주도합니다
매일 4억 테라바이트 이상의 데이터가 생성됩니다. 그 중 무려 80%가 비정형 데이터입니다. 비정형 데이터의 폭발적 증가는 컴퓨터 과학 및 수학의 가장 현대적인 분야 중 하나인 인공 지능에서도 발전을 촉발했습니다. 점점 더 많은 데이터가 비정형 텍스트, 음성, 이미지 및 비디오 형태로 생
성됨에 따라 데이터 세트를 이해하려면 AI 분야에서 발전이 필요했습니다. 머신 러닝은 자연어 처리(NLP), 음성 인식 및 컴퓨터 비전과 같은 딥 러닝 기반 아키텍처로 대체되었습니다.
딥 러닝의 방법은 인간의 뇌에서 영감을 받은 신경망과 유사합니다. 딥 러닝은 구조화되지 않은 데이터를 효율적으로 처리하고 숨겨진 관계와 패턴을 식별할 수 있지만, 인간의 뇌와 매우 유사하게 인지 능력을 개발하기 위해서는 반복적이고 비지도 학습 기술이 필요합니다. 인간의 뇌와 마찬가지로, 데이터를 소비하고 이해하기 위해서는 대량의 고품질 데이터와 엄청난 처리 능력이 필요합니다. 예를 들어, 머신 러닝 모델은 피처당 수십에서 수백 개의 데이터 포인트가 필요할 수 있는 반면, 딥 러닝 모델은 피처당 수천 개의 데이터 포인트가 쉽게 필요할 수 있습니다.
딥 러닝 기술은 계속 발전하여 학습을 위해 데이터 패턴이나 관계에 대한 고급 인식이 필요하므로 컴퓨팅 및 저장 아키텍처의 차세대 혁신을 주도할 것입니다 .
데이터 기반 아키텍처의 진화
딥 러닝 모델 예측의 정확도는 대량의 고품질 데이터를 사용한 반복적 훈련과 피드백 루프를 통해 향상됩니다. 그러나 데이터에는 중력이 있습니다. 데이터의 중력적 특성으로 인해 AI를 위해 대량의 데이터를 지속적으로 이동하기 어렵습니다. 이는 여러 요인에 기인할 수 있습니다.
- 대량 데이터를 고속으로 이동하는 데 드는 인프라 비용. 데이터 이동은 네트워크 대역폭을 소모할 뿐만 아니라 데이터를 복사하는 데 상당한 컴퓨팅 파워가 필요합니다.
- 각각 고유한 형식으로 데이터를 유지하는 여러 플랫폼을 관리하는 복잡성. 여기에는 데이터 복제 및 저장 비용 증가가 포함됩니다.
- 데이터 개인 정보 보호 및 거버넌스 규정은 여러 플랫폼에서 데이터 권한 및 액세스 제어를 유지해야 함을 요구합니다.
- 데이터가 지속적으로 업데이트되고 AI 플랫폼은 가장 관련성 있는 예측을 제공하기 위해 최신 데이터 세트가 필요하기 때문에 위 단계의 반복적 특성.
딥 러닝 모델이 지속적으로 진화하고 높은 수준의 정밀도로 비즈니스 및 연구 결과를 추진함에 따라 고속 데이터 처리와 대규모 데이터 관리를 계속 추진할 것입니다. 이러한 데이터 작업을 간단하고 확장 가능하며 안정적이고 안전한 방식으로 관리할 수 있는 아키텍처가 데이터 센터의 주축이 될 것입니다.
따라서 데이터 기반 아키텍처는 다음과 같은 기능을 입증해야 합니다.
- 여러 하이브리드 데이터 소스에서 효율적이고 안정적으로 데이터를 수집합니다(데이터는 모든 곳에서 생성되기 때문입니다).
- 최신 병렬 및 그리드 컴퓨팅 요구 사항의 규모에 맞춰 고속의 안전한 다중 프로토콜 데이터 액세스를 제공합니다.
- 데이터 볼륨이 증가함에 따라 기본 인프라를 탄력적으로 확장합니다.
- 데이터 보안 및 개인 정보 보호 규정을 준수하는 애플리케이션 라이프사이클과 완벽하게 통합되는 정책 기반 데이터 라이프사이클 관리.
- 구조화되지 않은 데이터 자산에서 통찰력을 얻기 위한 구조화된 메타데이터 네임스페이스를 제공합니다.
데이터 기반 아키텍처를 위한 플랫폼 설계
분산 스토리지 및 파일 시스템 아키텍처는 수십 년 동안 존재해 왔습니다. 그러나 이러한 아키텍처, 특히 공유되지 않는 토폴로지에 기반한 아키텍처는 비용 효율적인 방식으로 확장되지 않습니다.
기존 아키텍처는 성능과 용량을 효과적으로 분리하지 못하므로 한 속성을 확장하려면 다른 속성을 확장해야 하므로 추가 비용이 발생합니다.
미래를 위한 스토리지 및 데이터 플랫폼을 설계하려면 데이터 센터 인프라의 핵심 원칙, 즉 컴퓨팅, 네트워크 및 플래시를 중심으로 한 세속적 추세를 자세히 살펴봐야 합니다. CPU 클럭 주파수가 정점에 도달하기 시작했지만 네트워크 대역폭은 계속 증가하고 있습니다(오늘날 800GbE에 대해 이야기하고 있습니다). 플래시는 계속해서 밀도가 높아지고(더 많은 다이 추가) 더 빨라지고 있습니다. NVMe 드라이브는 PCIe 기술의 발전으로 대역폭을 계속 확보하고 있습니다. 인프라의 다양한 구성 요소가 서로 다른 궤적을 따르고 있다는 점을 감안할 때 미래를 위한 대규모 인프라는 구성 가능 또는 분산 아키텍처에 기반해야 합니다.
진정한 구성 가능 또는 분산 아키텍처는 일반적으로 고속 및 저지연 네트워크를 통해 연결된 독립적으로 확장 가능한 단위로 컴퓨팅 및 스토리지를 분리합니다. 이를 통해 성능과 용량을 독립적으로 확장할 수 있어 사용자는 한 번에 하나의 벡터에서만 확장할 수 있는 유연성을 얻을 수 있습니다. 데이터 센터에서 컴퓨팅 새로 고침 수명 주기는 일반적으로 스토리지 새로 고침 수명 주기보다 짧습니다.
따라서 컴퓨팅과 스토리지를 분산하면 기술 새로 고침이 간소화됩니다. 분산 아키텍처는 또한 최종 사용자에게 간소화된 소비 모델을 제공하여 사용자는 최적화할 벡터를 하나만 선택하고 그에 따라 확장할 수 있습니다.
ONTAP 기반 AI 데이터 플랫폼
분산형 인프라의 핵심 원칙에 기반
오늘 우리는 NetApp ONTAP에서 새로운 디자인 센터를 공개합니다. 이 디자인 센터는 높은 대역폭과 확장성이 필요한 워크로드에 완벽하게 적합하며 NetApp AFF와 ASA를 포함한 ONTAP 기반 제품군의 새로운 진입자가 될 것입니다.
딥 러닝 시대와 고해상도 이미지 및 비디오 스트리밍을 위해 구축된 이 새로운 아키텍처는 데이터 인프라의 비용 효율적인 확장을 제공합니다. RDMA 기능을 활용하는 고대역폭 및 저지연 이더넷 네트워크를 통해 상호 연결된 독립적인 컴퓨팅 및 스토리지 장치로 구성됩니다. 아키텍처의 모듈성 덕분에 물리 법칙에 따라 관리되는 전례 없는 수준의 규모에서 작동할 수 있습니다.
컴퓨팅 장치는 스토리지 및 데이터 관리 기능을 구동하는 데 필요한 핵심 소프트웨어 알고리즘을 호스팅합니다. 각 장치는 추가 메타데이터 및 데이터 서비스로 장식될 ONTAP OS 인스턴스를 실행합니다. 더 많은 컴퓨팅이 추가됨에 따라 스토리지 및 데이터 관리 기능은 선형적으로 성능을 확장합니다. 소프트웨어 로직은 새로운 컴퓨팅 유닛을 자동으로(그리고 원활하게) 동화하고 새로 추가된 컴퓨팅 유닛에서 기존 워크로드를 (재)균형 조정합니다.
스토리지 유닛은 높은 수준의 안정성(6x9s)을 제공하는 고밀도 디스크 인클로저입니다. 고속 NVMe 드라이브를 처리하는 데 필요한 고대역폭 및 중복 이더넷 네트워크를 사용하여 연결됩니다. 시스템 용량이 부족하면 추가 스토리지 유닛을 추가할 수 있습니다. 컴퓨팅 유닛에서 실행되는 소프트웨어 알고리즘은 원활하게 새로운 스토리지 유닛을 감지하여 글로벌 용량 풀에 추가하고 할당 로직에 새 용량 풀에서 공간을 할당하도록 가르칠 수 있습니다.
그림 1: 분산 인프라의 ONTAP
ONTAP에서 지능형 데이터 기능 구현
딥 러닝은 비정형 데이터에서 작동합니다. 정의된 비정형 데이터는 분류, 레이블 지정, 주석 달기 또는 직접 기능을 추출하는 데 활용할 수 있는 구조가 없습니다. 따라서 원시 형태의 비정형 데이터는 AI에 직접적으로 유용하지 않습니다. AI 훈련 또는 추론에 관련성을 갖기 위해서는 이를 둘러싼 맥락적 구조가 필요합니다. 따라서 비정형 데이터는 가치를 도출하기 위해 사전 처리 또는 데이터 정리가 필요합니다. 이러한 작업은 번거롭고 시간이 많이 걸리며 종종 데이터를 다른 플랫폼으로 일시적으로 이동해야 하므로 인프라 비용이 증가하고 보안 위험이 발생하며 데이터 사일로가 생성됩니다.
새로운 구성 가능한 인프라 프레임워크를 통해 컴퓨팅 유닛을 시스템에 동적으로 추가할 수 있습니다. ONTAP은 이러한 추가 컴퓨팅 유닛을 활용하여 지능형 데이터 기능을 수행하여 비정형 데이터의 구조화된 뷰를 도출하는 데 도움을 줄 수 있습니다. 이 비정형 데이터의 구조화된 뷰를 통해 AI 소프트웨어 생태계와 원활하게 통합할 수 있습니다. ONTAP의 기존 데이터 관리 기능과 결합하면 모델이 학습된 데이터에 대한 AI 모델의 추적성을 확립하는 데 도움이 됩니다.
AI용 ONTAP 데이터 플랫폼은 데이터를 저장하고 보호할 뿐만 아니라 데이터에서 통찰력을 도출할 수 있는 기능을 갖춘 포괄적인 데이터 플랫폼입니다. 세 가지 주요 아키텍처 기둥에는 파일, 객체 및 블록 프로토콜을 통한 데이터의 고대역폭 저장 및 검색을 위한 핵심 스토리지 관리 기능, 업계를 선도하는 데이터 수명 주기 관리를 구동하는 데이터 보호 기능, 비정형 데이터에 대한 구조화된 뷰를 제공하고 정책 기반 데이터 분류를 수행하는 새로운 지능형 데이터 기능이 포함됩니다. 이 세 가지 기능을 결합하면 ONTAP이 AI를 데이터에 적용하는 데 도움이 되는 포괄적인 데이터 플랫폼으로 격상됩니다!
그림 2: ONTAP에 호스팅된 지능형 데이터 기능
핵심 아키텍처 원칙
단일 스토리지 풀
이 새로운 아키텍처의 핵심 원칙 중 하나는 여러 스토리지 유닛(인클로저)의 디스크에서 단일 스토리지 풀을 구성할 수 있다는 것입니다. 새로운 디스크 인클로저가 추가되면 시스템에 추가 용량이 자동으로 추가되고 총 용량이 확장됩니다. 따라서 NetApp WAFL 물리적 블록 공간이 이제 여러 디스크 인클로저에 분산되어 단일 확장 가능한 네임스페이스가 생성됩니다. 이 아키텍처 구조는 시스템에 단순성, 유연성 및 탄력성을 제공합니다. 스토리지 프로비저닝, 관리 및 기술 갱신을 간소화합니다. 새로운 모듈형 블록을 시스템에 추가하고 기존 블록을 원활하게 폐기할 수 있습니다.
그림 3: 단일 스토리지 풀
단일 스토리지 풀은 시스템의 모든 데이터 및 메타데이터 블록에 대한 전체 보기를 제공합니다. 이제 전체 시스템의 용량을 사일로 없이 단일 글로벌 풀로 관리할 수 있습니다. 이는 ONTAP OS를 실행하는 각 컴퓨팅 유닛 또는 노드가 용량을 제공하는 스토리지 유닛에 대한 전체 보기를 가지고 직접 통신할 수 있기 때문에 가능합니다. WAFL 블록 할당 알고리즘은 항상 쓰기를 지시할 최상의 디스크 세그먼트를 선택합니다.
독립적으로 일관되고 확장 가능한 마이크로 파일 시스템 인스턴스
기존의 분산 스토리지 시스템은 글로벌 트랜잭션 또는 잠금 관리를 활용하여 데이터의 일관성을 유지합니다(특히 쓰기 후 읽기 시나리오를 처리하기 위해). 이러한 종류의 설계 선택은 종종 시스템의 확장성을 제한합니다. 분산 트랜잭션 또는 잠금 관리가 번거로울 수 있습니다.
대규모 분산 시스템의 노드 간에 보호된 리소스에 쓰기 가드 또는 펜스를 설정하려면 상당한 오버헤드를 추가하고 확장성과 성능을 모두 방해할 수 있는 멱등 통신 프로토콜이 필요합니다.
확장성이 뛰어난 분산 시스템을 구축하는 지속 가능한 방법은 핵심 작업을 분산하고 일관성을 가장 높은 수준에서 유지하는 기능 간에 느슨한 결합을 설정하는 것입니다. 이는 병렬 컴퓨팅, 딥 러닝 및 멀티 테넌트 AI 서비스에 필요한 규모로 운영할 때 중요합니다.
NetApp에서는 독립적으로 일관된 마이크로 파일 시스템 인스턴스의 개념을 도입하여 이러한 핵심 원칙에 따라 작업하고 있습니다. 각 마이크로 파일 시스템 인스턴스는 완벽하게 작동하는 파일 시스템으로 작동하며 데이터 및 메타데이터 작업에서 일관성을 제공합니다. 각 인스턴스는 디스크에 할당 영역이라고 하는 패리티 보호 세그먼트 세트를 포함하는 자체 리소스 세트로 작동합니다. 마이크로 파일 시스템 인스턴스 간의 리소스 할당은 특정 임계값에 도달하면 동적으로 조정할 수 있습니다. 이러한 작업은 백그라운드에서 수행되며 애플리케이션 성능에 영향을 미치지 않습니다. 시스템 전체는 이러한 모든 마이크로 파일 시스템 인스턴스를 단일 스토리지 풀에 통합적으로 정렬하여 구성됩니다. 마이크로 파일 시스템 인스턴스 간에 공유되는 리소스는 참조 계산되고 매우 낮은 오버헤드 멱등 기술을 통해 조정되어 모든 마이크로 파일 시스템 인스턴스에서 일관성이 유지되도록 합니다. 각 마이크로 파일 시스템 인스턴스는 주어진 시점에서 리소스에 대한 독점적 소유권을 가지므로 다른 인스턴스와 병렬로 파일 시스템 내부 데이터 구조에서 안전하게 작동할 수 있습니다. 이 접근 방식은 새로운 컴퓨팅 유닛(노드)이 추가됨에 따라 성능을 선형적으로 확장할 수 있습니다. 컴퓨팅 유닛이 추가됨에 따라 마이크로 추가 인스턴스를 인스턴스화하고 새로운 컴퓨팅 유닛에 다시 분산하여 성능을 확장할 수 있습니다.
그림 4: 독립적인 마이크로 파일 시스템 인스턴스
이러한 마이크로 파일 시스템 인스턴스는 프런트 엔드 또는 애플리케이션 지향 구조에서 분리됩니다. 예를 들어, 파일 공유를 마운트하고 데이터 및 메타데이터 작업을 수행하는 파일 시스템 클라이언트는 요청을 처리하는 마이크로 파일 시스템 인스턴스가 무엇인지 알 수 없습니다. 클라이언트는 마운트 중에 규정된 의미론에 따라 파일 서버와 통신합니다.
파일 시스템 데이터에 대한 병렬 액세스
파일 시스템 데이터에 대한 병렬 또는 동시 액세스를 활성화하는 것은 모든 분산 파일 시스템의 핵심 설계 목표 중 하나입니다. 이는 애플리케이션 구동 데이터 및 메타데이터 작업뿐만 아니라 백그라운드 작업, 특히 핵심 데이터 구조를 수정하는 작업에도 적용됩니다.
모든 대규모 파일 시스템에서 병렬 처리를 구동하려면 다음 3개 하위 시스템 계층에서 병렬로 작업을 분산해야 합니다.
- 클라이언트 및 서버 측 프로토콜 스택
- 파일 시스템 네임스페이스 및 객체 관리 서브시스템
- 디스크 레이아웃을 관리하는 파일 시스템 블록 계층
새로운 설계 패러다임을 통해 ONTAP은 3개 하위 시스템 모두에서 이러한 병렬 처리를 달성할 수 있습니다. 특별한 클라이언트 측 소프트웨어가 필요 없이 표준 액세스 프로토콜을 활용하여 이를 수행할 수 있습니다.
그림 5: 표준 프로토콜을 통한 병렬 액세스 파일 시스템
시스템 전체의 엔드투엔드 병렬 액세스는 각 하위 시스템에서 다음 방법과 알고리즘을 통해 활성화됩니다.
프로토콜 계층: pNFS(병렬 NFS)와 같은 프로토콜은 여러 데이터 서버를 통해 동일한 내보낸 파일 경로에 대한 병렬 액세스를 허용합니다. 또한 파일 서버는 프로토콜 계층을 통해 여러 노드에서 단일 파일에도 병렬로 액세스할 수 있는 파일 레이아웃을 게시할 수 있습니다. 이제 서버는 주어진 파일의 다른 익스텐트에 대해 다른 IP 액세스 포인트를 게시할 수 있습니다. 주어진 익스텐트에 대한 애플리케이션 IO는 가장 빠른 액세스 경로를 얻기 위해 자동으로 해당 노드로 리디렉션됩니다.
객체 수준 동시성: ONTAP의 다중 파트 액세스 토폴로지와 알고리즘을 사용하면 각 개별 파일은 파일의 여러 파트 또는 익스텐트의 모음입니다. 이러한 각 파일 파트에는 고유한 식별자가 있어 이러한 고유 식별자를 사용하여 주어진 파일에 여러 컴퓨팅 유닛 또는 노드에서 병렬로 액세스할 수 있습니다. 이를 통해 시스템 내에서 더 많은 컴퓨팅 단위가 확장됨에 따라 단일 파일 시스템 객체(일명 파일)의 선형 확장도 가능합니다.
데이터 블록에 대한 액세스: WAFL 온디스크 레이아웃은 파일 공유 내의 각 개별 파일 또는 파일 모음이 여러 디스크 인클로저에 데이터 블록을 분산하여 대규모 병렬 처리 및 액세스 동시성을 구동하도록 보장합니다. ONTAP OS의 각 인스턴스는 백엔드 디스크 인클로저에서 고대역폭 연결을 갖추고 RDMA 구조를 활용하여 성능을 극대화하고 엔드 투 엔드 서비스 품질을 보장할 수 있습니다.
세 가지 하위 시스템 모두 높은 동시 액세스를 위해 설계되었으므로 ONTAP은 시스템 활용도를 극대화하고 시스템 전체에서 광범위한 병렬 처리를 지원하여 AI 교육 및 추론 워크로드의 요구 사항을 충족할 수 있습니다.
쓰기 증폭을 체계적으로 줄이기
쓰기 증폭을 관리하는 것은 특히 고처리량 쓰기 집약적 데이터 스토리지 시스템을 설계할 때 시스템 설계에서 중요한 기능입니다. 높은 쓰기 증폭 계수(WAF)로 인해 시스템 비용이 증가하고, 전체 시스템 처리량이 감소하며, 플래시 미디어(SSD)의 내구성에 부정적인 영향을 미쳐 수명이 단축됩니다.
동적 로드 밸런싱
컴퓨팅 유닛에서 스토리지 유닛으로의 다대다 연결 토폴로지에서 단일 스토리지 풀을 구성하는 기능이 이 아키텍처의 초점입니다. ONTAP OS 인스턴스를 실행하는 각 컴퓨팅 유닛 또는 노드는 전체 스토리지 풀에 대한 완전한 가시성을 갖고 있으며 동일한 경로 길이를 통해 시스템 전체의 모든 데이터(또는 메타데이터) 블록에 액세스할 수 있습니다. 이를 통해 시스템 내의 모든 컴퓨팅 유닛에 클라이언트 워크로드를 균등하게 분산할 수 있습니다. 시스템은 주어진 컴퓨팅 노드의 과부하 조건을 적극적으로 모니터링하고 다른 컴퓨팅 노드에 과도한 부하를 재분배할 수 있습니다.
노드 장애가 발생한 경우 장애가 발생한 노드에서 처리되는 IO 부하는 시스템의 모든 생존 노드에 균등하게 분산될 수 있습니다. 클라이언트가 pNFS와 같은 병렬 액세스 프로토콜을 통해 데이터에 액세스하는 경우 파일 서버는 이러한 시나리오에서 클라이언트에 대한 새 액세스 레이아웃을 게시할 수도 있습니다. 새 레이아웃은 클라이언트를 리디렉션하여 파일 서버에서 광고한 다른 경로를 통해 동일한 파일 또는 파일 세그먼트에 액세스하도록 합니다. 파일 서버는 하나 이상의 클라이언트에 대해 각 파일 시스템 객체 또는 엔터티에 대한 새로운 레이아웃을 지능적으로 매핑하여 로드가 생존 노드에 고르게 분산되도록 합니다.
시스템 로드의 변화와 장애 시 모두 자동으로 로드 밸런싱하는 이러한 기능은 시스템에서 효율적인 리소스 활용을 보장합니다. 효율적인 리소스 활용은 시스템 활용을 극대화하고 시스템의 총 소유 비용을 개선합니다. 또한 서비스 품질을 효과적으로 관리하기 위해 시스템에서 원하는 수준의 여유 공간을 유지합니다.
구조화된 메타데이터 엔진
구조화된 메타데이터 엔진은 ONTAP에 도입된 지능형 데이터 기능의 핵심 요소입니다. 이 메타데이터 엔진은 일반 속성, 확장된 속성 또는 객체 태그(객체 스토리지의 경우)인지 여부에 관계없이 데이터의 속성을 관리합니다. 추가 데이터 분류기를 인스턴스화하여 사용자 정의 정책에 따라 데이터를 처리하고 분류할 수도 있습니다.
메타데이터 엔진은 데이터 속성(또는 메타데이터)을 인라인으로 추출합니다. 속성이 추출되면 메타데이터 엔진이 이 메타데이터를 인덱싱하고 저장하여 빠른 조회를 가능하게 합니다. 쿼리 인터페이스를 통해 애플리케이션은 이 메타데이터를 쿼리할 수 있습니다. 쿼리 인터페이스는 정확한 키워드를 알 수 없는 경우 데이터에 대한 의미 검색을 활성화하도록 확장 가능합니다. 또한, 메타데이터에 대한 변경 사항을 알리도록 구독하는 애플리케이션은 메타데이터 엔진에서 구현한 트리거링 메커니즘을 통해 알림을 받을 수 있습니다.
그림 6: 메타데이터 엔진 워크플로
AI 워크로드의 특징 중 하나는 시스템당 시스템 객체 밀도(파일 및 디렉토리)가 증가한다는 것입니다. 이는 모델 학습 또는 추론에 필요한 모든 아티팩트를 통합하는 기능입니다. 이러한 통합의 부작용은 기존 파일 시스템 크롤링이 완료되는 데 지나치게 오랜 시간이 걸린다는 것입니다. 메타데이터 엔진은 메타데이터 세트를 통해 빠른 인덱스 및 검색 기능을 제공하여 이 문제를 해결합니다. 데이터 레이블링, 분류, 기능 추출 또는 생성 AI 추론 사용 사례에 배포된 RAG 프레임워크를 위해 배포된 AI 소프트웨어 생태계는 메타데이터 엔진에서 제공하는 비정형 데이터의 구조화된 뷰를 활용하여 데이터의 가치 실현 시간을 크게 단축할 수 있습니다.
NetApp은 분리를 통해 데이터에 AI를 제공합니다.
미래로 빠르게 전진합니다. 딥 러닝 모델은 계속 진화하고 기하급수적으로 증가하는 데이터 포인트를 추진하여 더 정밀하고 정확한 결과를 위해 노력할 것입니다. 새로운 모델 아키텍처도 더 복잡한 데이터 세트에서 학습하도록 진화할 수 있습니다. 매우 큰 데이터 세트를 이동하는 데 따른 인프라 과제와 플랫폼 복잡성은 특히 보안 및 개인 정보 보호 규정이 더욱 성숙해짐에 따라 힘들어질 것입니다.
동시에 AI는 어디에나 존재하며 인간의 삶에 혁신적인 영향을 미칠 것입니다. 데이터를 저장, 수신, 전송하는 대부분의 기기에는 AI가 장착되어야 합니다. AI의 민주화로 인해 많은 에지 기기에 특히 추론을 위한 AI 가속 컴퓨팅이 장착되고 있습니다.
모델 및 벡터 양자화 기술은 복잡한 모델이 더 적은 리소스로 작동할 수 있도록 발전하고 있습니다. AI는 에지, 코어 및 점점 더 많은 데이터 센터로 이동하고 있습니다. 어디에나 존재할 것입니다.
AI 추론 기능은 데이터가 있는 곳에서 바로 제공될 수 있으며 제공되어야 합니다. 분리를 통해 NetApp은 AI 가속 컴퓨팅을 데이터가 있는 곳에 가깝게 가져와 고객이 데이터 자산의 전체 가치를 그 자리에서 얻을 수 있도록 합니다!
추론을 위한 생성 AI 프레임워크 구축의 과제
대규모 언어 모델(LLM)을 훈련하려면 기본 컴퓨팅 및 데이터 인프라에서 상당한 역량이 필요합니다. 기본 모델을 재훈련하는 데 드는 비용은 매우 높습니다. 기업 또는 조직별 데이터로 LLM을 미세 조정하는 것도 번거롭습니다. 데이터는 끊임없이 변경되므로 미세 조정된 모델이 최신 컨텍스트나 정보와 최신이 아닐 수 있습니다. Retrieval Augmented Generation(RAG)은 LLM이 배포될 때 추론에 사용되는 매우 일반적인 기술입니다. 이는 LLM의 출력을 범위를 벗어나고 LLM이 훈련된 데이터 소스보다 더 관련성이 높은 데이터 소스로 맥락화하는 프로세스입니다.
구조화되지 않은 데이터는 그대로 RAG에 사용할 수 없습니다. RAG에 사용할 준비가 되어야 합니다. RAG 프레임워크를 구축하는 데 따른 과제는 다음과 같습니다.
- RAG에 사용된 데이터의 최신성 유지
- 보안 및 개인정보 보호 정책에 따라 데이터 분류
- 저장 및 검색을 위해 증분 데이터를 효율적으로 청킹 및 임베딩
- 벡터 데이터베이스 관리
RAG에 사용된 데이터의 최신성 유지 보안 및 개인정보 보호 정책에 따라 데이터 분류 저장 및 검색을 위해 증분 데이터를 효율적으로 청킹 및 임베딩 벡터 데이터베이스 관리
데이터의 최신성 유지: RAG 프레임워크를 구축하는 데 따른 가장 큰 과제 중 하나는 검색(Retrieval)에 사용된 데이터의 최신성을 유지하는 것입니다. 이를 반복적으로 대규모로 수행하는 것은 까다롭습니다. 과제는 데이터 세트의 증분적 변경 사항을 식별하는 데 있습니다. 변경된 데이터 세트를 정확하게 식별할 수 없는 경우 LLM이 사용자 프롬프트에 가장 최신의 응답을 제공하지 못할 수 있습니다. 이는 환각으로 해석될 수 있습니다.
데이터 분류: 보안 및 개인정보 보호 정책은 AI에 사용된 데이터가 민감하거나 PII 정보가 있는 경우 분류되어야 한다고 명시합니다. 일부 사용자는 이러한 시나리오에서 데이터 세트를 익명화하는 정책을 가질 수 있습니다. 정책은 벡터 데이터베이스에 임베딩 생성 및 저장하기 전에 데이터를 익명화하도록 명시할 수도 있습니다.
청킹 및 임베딩 효율성: 이는 검색을 위해 데이터를 준비하는 데 매우 중요한 단계입니다. 적절한 청크 크기와 벡터 임베딩의 차원을 식별하는 것이 중요합니다. 응답 정확도, 우수한 쿼리 성능 및 지속적으로 증가하는 벡터 데이터베이스를 관리하는 오버헤드 간에 균형을 맞춰야 할 수 있습니다.
벡터 데이터베이스 관리: AI 실무자가 빠르게 식별함에 따라 벡터 데이터베이스의 콘텐츠를 관리하는 것은 매우 어려울 수 있습니다. 청킹 및 임베딩 방법에 따라 벡터 데이터베이스는 실제 데이터 세트보다 적어도 한 자릿수 이상 빠르게 커질 수 있습니다. 이는 데이터베이스 인덱스도 데이터와 함께 커져 인덱스 조회를 메모리에서 제공할 수 없기 때문에 쿼리 성능에 상당한 영향을 미칩니다. 이를 극복하기 위해 AI 실무자는 서버에서 메모리를 과도하게 프로비저닝하여 인프라 비용이 크게 증가합니다.
그림 7: RAG를 위한 데이터 준비
ONTAP은 데이터 과제를 해결하여 추론의 가치 실현 시간을 개선합니다.
구성 가능한 인프라의 유연성은 시스템에 컴퓨팅 파워를 독립적으로 추가할 수 있는 기능입니다. ONTAP은 추가 컴퓨팅을 활용하여 데이터를 “AI Ready”로 만듭니다. 데이터 과학자는 자체 생성 AI 애플리케이션과 LLM을 도입하여 RAG 프레임워크를 구축할 수 있습니다. ONTAP은 간단하고 경제적이며 확장 가능한 방식으로 RAG의 “Retrieval” 단계에 데이터를 제공할 준비가 된 상태로 유지합니다.
데이터 엔지니어링 과제를 해결하기 위한 체계적인 관점을 통해 ONTAP의 Intelligent Data 기능은 ONTAP 데이터 플랫폼 내에서 데이터를 AI 준비 상태로 만들어 데이터 과학자가 간편하게 사용할 수 있도록 합니다! NetApp의 강력한 SnapDiff API는 가장 효율적인 방식으로 데이터의 증분적 변경 사항을 추적합니다. ONTAP의 메타데이터 엔진은 이러한 변경 사항을 기록하고 트리거 기능을 활용하여 데이터 분류, 청킹 및 임베딩 생성을 위한 다운스트림 작업을 시작합니다. ONTAP 내의 특수 알고리즘은 벡터 데이터베이스의 디스크 및 메모리 내 공간을 크게 줄여주는 압축성이 높은 벡터 임베딩을 생성합니다(인프라 비용을 크게 줄임). 검색 중 새로운 메모리 내 재순위 알고리즘은 고정밀 의미 검색을 보장합니다.
생성된 임베딩은 ONTAP 볼륨으로 지원되는 통합 벡터 데이터베이스에 저장되므로 벡터 데이터베이스는 ONTAP 데이터 관리 모델을 상속합니다. 이를 통해 배포된 모델과 함께 NetApp Snapshot 복사본과 데이터 버전 관리가 가능합니다. 잘 알려진 AI 생태계 소프트웨어와 통합하면 검색의 기반이 된 데이터 세트에 대한 RAG 기반 예측을 추적할 수 있습니다.
비정형 데이터 추론을 준비하기 위한 주요 데이터 과제를 해결함으로써 ONTAP은 AI 추론의 가치 실현 시간을 개선할 뿐만 아니라 추적성 또는 설명 가능성을 위해 데이터 버전을 지정합니다.
그림 8: ONTAP 지능형 데이터 기능으로 데이터를 AI 준비 상태로 만듭니다.
ONTAP 엔지니어가 ONTAP에 내장했습니다!
마지막으로, 이러한 모든 혁신은 ONTAP의 필수적인 부분이 될 것입니다. 이러한 혁신은 ONTAP의 입증된 복원력 기능을 기반으로 구축되었습니다. ONTAP 데이터 무결성 검사, 증분 체크섬, 손실된 쓰기 보호, 자동 재패리티 및 WAFL 오류 감지 및 복구 검사의 전체 제품군이 이 새로운 아키텍처에서 제공됩니다.
ONTAP의 모든 멀티 테넌시, 보안, 랜섬웨어 방지 및 높은 상호 운용성을 갖춘 데이터 보호 기능 세트(NetApp SnapMirror 기술 활용)는 계속 지원되며, 더 중요한 것은 동일한 ONTAP API를 통해 제공됩니다. 이는 데이터 관리의 판도를 바꿀 것입니다!
재조정해 보겠습니다.
ONTAP은 통합 및 비정형 데이터 워크로드를 위한 세계 최고의 스토리지 운영 체제입니다.
가장 포괄적인 프로토콜 목록을 통해 데이터에 대한 높은 처리량 액세스를 제공합니다. 소프트웨어 및 하드웨어 혁신을 통해 최고 수준의 안정성을 보장합니다. 업계를 선도하는 데이터 관리 및 데이터 보호 기능을 갖추고 있으며, 여기에는 가장 효율적인 스냅샷 및 복제 기술과 SnapMirror 기술의 안정성, 효율성 및 상호 운용성이 결합되어 있습니다. 지구상에서 가장 안전한 스토리지로 간주되며 랜섬웨어 공격을 인라인으로 높은 정밀도로 감지할 수 있습니다.
모듈성을 기반으로 하는 새로운 디자인 센터를 통해 ONTAP은 데이터 중심 아키텍처의 비전을 되살리고 있습니다.
랙 공간(밀도)과 전력(지속 가능성)을 절약하면서 업계를 선도하는 성능으로 AI를 위한 최상의 인프라를 제공하기 위한 체계적인 관점을 취하고 있습니다.
ONTAP은 스토리지와 컴퓨팅의 분리를 활용하여 AI를 데이터에 적용하고 사용자가 데이터 자산에 대한 통찰력을 얻을 수 있도록 하는 Intelligent Data 기능을 추가하고 있습니다. 또한 구조화되지 않은 데이터를 다른 플랫폼을 도입하는 데 드는 복잡성과 비용 없이 AI 지원 데이터로 변환하고 있습니다. 데이터 관리에 대한 생각을 재조정할 때입니다!
