혁신적인 데이터 스토리지 기술 및 서비스를 제공하는 IT 선도 기업 퓨어스토리지가 AI 및 고성능 컴퓨팅(HPC)의 가장 까다로운 요구사항을 충족하도록 설계된 업계 최고 성능의 데이터 스토리지 플랫폼인 플래시블레이드//EXA (FlashBlade//EXA™)를 최초 공개했다. 기존 데이터 스토리지 방식은 AI의 잠재력을 제한해왔지만, 플래시블레이드//EXA는 플래시블레이드를 기반으로 한 검증된 아키텍처를 통해 메타데이터 병목현상을 극복하며, 대규모 AI 및 HPC 워크로드에서 흔히 발생하는 높은 동시성과 방대한 메타데이터 작업을 처리할 수 있도록 설계됐다. 초기 테스트 결과, 플래시블레이드//EXA는 단일 네임스페이스에서 초당 10테라바이트 이상의 읽기 성능을 제공할 것으로 예상되며, 업계 최고 성능의 스토리지 솔루션으로 새로운 기준을 세웠다.
플래시블레이드//EXA 아키텍처는 데이터와 메타데이터를 독립적으로 확장할 수 있으며, 상용 서드파티 데이터 노드를 활용해 거의 무제한에 가까운 확장성을 제공하고 다차원적인 성능을 지원한다. 또한 표준 프로토콜과 네트워킹을 통해 배포, 관리 및 확장을 단순화하여 복잡성을 대폭 줄였다.
스토리지 패러다임 전환 주도
더 강력해진 GPU는 AI 모델 학습의 속도와 규모를 획기적으로 증가시켰다. 모델의 크기와 복잡성이 폭발적으로 성장함에 따라, 스토리지 솔루션도 AI 및 HPC의 연산 강도, 데이터의 양과 다양성에 원활히 대응해야 하는 새로운 패러다임 전환이 요구되고 있다.
기존 스토리지 시스템은 현대 AI의 요구를 충족하도록 설계되지 않았다. 대규모 AI 및 HPC 환경에서 기존 시스템은 병렬 및 동시 읽기/쓰기, 메타데이터 성능, 초저지연, 비동기 체크포인팅, 예측 가능한 고처리량 등에서 심각한 한계를 드러낸다.
현대적인 스토리지 솔루션은 대규모 확장성을 제공하는 대규모 병렬 분산 아키텍처를 통해 유연성을 제공해야 하며, 이를 통해 스토리지가 AI의 발전 속도를 가속화할 수 있도록 해야 한다.
AI 및 HPC 워크로드를 위한 최신 스토리지 아키텍처
기존 고성능 스토리지 아키텍처는 예측 가능하고 규칙적인 워크로드와 원시 성능 확장에 초점을 맞춘 전통적인 HPC 환경에 최적화되어 있었다. 그러나 오늘날의 AI 워크로드는 텍스트, 이미지, 비디오 등 다양한 데이터를 포함한 복잡하고 멀티 모달 형태로, 수만 개의 GPU가 이를 동시에 처리하는 환경에서 작동한다. 이러한 급격한 변화는 다양한 데이터 유형과 높은 동시성을 효율적으로 관리하기 위해 방대한 성능 확장과 함께 고도화된 메타데이터 최적화를 요구한다.
플래시블레이드//EXA는 AI 워크로드의 과제를 해결하기 위해 설계된 솔루션으로, 뛰어난 성능과 메타데이터 관리 기능을 제공한다. 이 분산형 대규모 병렬 아키텍처는 확장 가능한 스토리지 유연성을 가능하게 한다. 이를 통해 기업은 변화하는 멀티 모달 모델에 적응하고, 신뢰성을 최적화하며, GPU 활용도를 높이는 동시에 AI 모델 학습과 추론 속도를 가속화하고 대기 시간을 제거할 수 있다. 또한, 퓨어스토리지의 메타데이터 엔진과 퓨리티(Purity) 운영체제를 비용 효율적인 상용 데이터 노드와 결합함으로써 기업은 업계 최고의 가격 대비 성능 비율을 달성할 수 있다.
플래시블레이드//EXA는 퓨어스토리지의 10년간 혁신을 바탕으로 AI 및 HPC 환경에 변혁적인 스토리지를 제공하며, 주요 기능은 다음과 같다.
업계 최고의 확장 성능 제공: 퓨어스토리지의 검증된 메타데이터 기능을 활용해 AI 파이프라인 효율성을 극대화하고 학습 및 추론 워크플로에서 지연을 최소화한다. 대규모 병렬 처리와 확장 가능한 메타데이터 IOPS를 통해 고속 AI 요구를 지원하며, 단일 네임스페이스에서 초당 10테라바이트 이상의 성능을 제공한다.
관리 복잡성 감소: 메타데이터 병목현상을 제거하고, 대규모 AI 데이터셋을 수동 조정이나 추가 구성 없이 처리할 수 있도록 높은 메타데이터 성능, 가용성, 복원력을 제공한다.
AI 혁신 가속화: 고도로 구성 가능하고 분산된 아키텍처를 통해 진화하는 AI 및 HPC 환경을 지원하며, 업계 표준 프로토콜을 활용해 유연성과 확장성을 극대화한다. 또한, 고속 엔비디아 커넥트X NIC, 스펙트럼 스위치, 링크X 케이블, 그리고 가속화된 통신 라이브러리를 통합하여 제공한다.
플래시블레이드//EXA는 2025년 여름 출시 예정이다.
퓨어스토리지 아시아 태평양 및 일본 지역 VP 겸 CTO 마크 조빈스(Mark Jobbins)는 "한국은 AI 도입을 선도하는 국가이며, AI 및 HPC 분야에서 많은 흥미로운 활용 사례를 보여주고 있다. 플래시블레이드//EXA는 대규모 AI 및 HPC 프로젝트를 수행하면서 기존 스토리지 시스템의 메타데이터 및 성능 병목 현상에 직면했던 조직에게 완벽한 솔루션이다."라고 전했다.
퓨어스토리지 최고기술책임자(CTO) 롭 리(Rob Lee)는 “플래시블레이드//EXA는 데이터와 메타데이터를 독립적으로 확장할 수 있는 대규모 병렬 아키텍처를 통해 세계에서 가장 크고 까다로운 데이터 환경에서도 타의 추종을 불허하는 성능, 확장성, 적응성을 고객에게 제공한다. 스토리지는 이제 대규모 HPC와 AI 진화의 속도를 가속화하는 역할을 하고 있다.”라고 강조했다.
엔비디아 스토리지 네트워킹 기술 부문 부사장 롭 데이비스(Rob Davis)는 ”데이터는 엔터프라이즈 AI 팩토리의 연료로, AI 애플리케이션의 성능과 신뢰성에 직접적인 영향을 미친다. 엔비디아 네트워킹을 통해 플레시블레이드//EXA 플랫폼은 모델 학습, 파인 튜닝, 최신 에이전틱 AI 및 추론 요구 사항을 충족하면서 데이터 보안, 확장성 및 성능을 유지하며 조직이 AI 기술의 잠재력을 최대한 활용할 수 있도록 지원한다.”라고 말했다.
펭귄 솔루션스(Penguin Solutions)의 피트 만카(Pete Manca) 사장은 “펭귄 솔루션스는 고객이 AI 인프라를 대규모로 구축할 수 있도록 지원하는 전문 기업이다. 우리는 관련된 복잡성과 레거시 스토리지 시스템이 고성능 AI 인프라에 악영향을 줄 수 있다는 것을 잘 알고 있다. 플래시블레이드//EXA는 최신 AI 및 HPC 워크로드의 요구사항을 고려하여 맞춤형으로 설계되었다. 오늘날의 대규모 데이터센터를 구동하는 데 필요한 대역폭, 대규모 관리 용이성, 구성 가능한 분리형 아키텍처를 제공한다. 집약적인 AI 환경과 HPC 애플리케이션에 이상적인 솔루션이라고 생각한다."고 전했다.
무어 인사이트 & 스트래티지(Moor Insights & Strategy)의 부사장 겸 수석 애널리스트인 매트 킴볼(Matt Kimball)은 “AI는 스토리지 시장에 혁신을 가져왔다. 레거시 스토리지 환경은 AI와 HPC에 요구되는 대규모 병렬 처리를 감당할 수 없다. 최신 스토리지 및 데이터 플랫폼은 대규모 기반 모델을 훈련하는 GPU와 가속기에 지속적으로 전력을 공급하고, 가장 까다로운 수준의 워크로드를 지원해야 한다. 하지만 고성능 스토리지에는 복잡성이 수반된다. 퓨어스토리지는 플래시블레이드//EXA를 통해 메타데이터 성능의 잠재력을 극대화하는 동시에 이러한 환경 관리와 관련된 복잡성을 제거한다. 플래시블레이드//EXA가 기대만큼의 성능을 발휘한다면, 모든 규모의 조직에 실질적인 가치를 제공할 것이다."라고 전망했다.
|
