AI 컴퓨팅 기술 분야의 선두주자인 엔비디아가 지난 15일(화) 산타클라라 컨벤션 센터(Santa Clara Convention Center)에서 열린 AI 인프라 서밋(AI Infra Summit)에서 엔비디아 베라 루빈(NVIDIA Vera Rubin), DSX MaxLPS를 비롯한 AI 팩토리 플랫폼의 최신 기술과 주요 파트너 협력 성과를 공개했다.
이날 엔비디아 하이퍼스케일 및 고성능 컴퓨팅 부문 부사장 이안 벅(Ian Buck)은 AI 팩토리 효율성을 주제로 발표했다. AI 인프라 서밋은 인프라 기술 업계의 ‘코첼라(Coachella)’로 불릴 만큼 대규모 행사로 성장했으며, 올해 참석자 수는 지난해 3,500명에서 8,000명 이상으로 늘었다.
이안 벅 부사장은 엔비디아 플랫폼 전반에서 진행되고 있는 새로운 협력 사례를 소개했다.
아마존(Amazon)의 안나푸르나 랩스(Annapurna Labs)는 엔비디아와 함께 NVHBM 맞춤형 고대역폭 메모리 기술을 위해 협력하고 있다.
d-매트릭스(d-Matrix)는 NV링크 퓨전(NVLink Fusion)을 통합해 엔비디아 베라 CPU와 d-매트릭스 랩터(Raptor) XPU를 결합하고, 대규모 환경에서 초저지연 추론을 제공한다.
엔비디아와 파트너들은 새로운 성과도 공개했다.
에메랄드 AI(Emerald AI)와 엔비디아는 실리콘밸리 파워(Silicon Valley Power)와 협력해 상용 AI 팩토리를 위한 유연 부하(flexible-load) 프로그램을 시연했다.
람다(Lambda)는 엔비디아 DSX MaxLPS를 통해 와트당 성능을 23% 향상했다.
핀터레스트(Pinterest)는 엔비디아 블랙웰(Blackwell) 플랫폼과 엔비디아 다이나모(Dynamo) 추론 소프트웨어를 활용해 시각적 탐색에 대화형 AI를 적용하고 있다.
이번 발표는 에이전틱 AI가 새로운 유형의 워크로드를 만들어내며 AI 인프라에 더 높은 성능과 효율성, 확장성을 요구하는 가운데 이뤄졌다.
엔비디아는 이러한 과제에 대응하기 위해 베라 루빈 시스템, 다이나모 추론 소프트웨어, 네모(NeMo) 라이브러리, 엔비디아 네트워킹을 아우르는 풀스택 AI 팩토리 플랫폼을 제공한다. 여기에는 스케일업 컴퓨팅을 위한 엔비디아 NV링크, 수천 개의 노드를 연결하는 스펙트럼-X 이더넷(Spectrum-X Ethernet)과 커넥트X 슈퍼NIC(ConnectX SuperNIC), 블루필드(BlueField) 기반 컨텍스트 메모리 스토리지, 인프라 보안을 위한 블루필드 DPU가 포함된다.
AI 인프라의 핵심 성능 지표는 최고 성능에서 실제 검증된 메가와트당 에이전틱 토큰으로 빠르게 전환되고 있다. 이에 따라 AI 팩토리는 이제 실리콘부터 전력망까지 전 영역에 걸쳐 공동 설계돼야 한다. 엔비디아 DSX MaxLPS는 AI 팩토리 전반의 전력을 최적화해 메가와트당 최대 1.4배 더 많은 토큰을 처리할 수 있도록 한다. 또한, NV링크는 대규모 가속 컴퓨팅을 하나의 고성능 시스템으로 통합할 수 있도록 지원한다.
이를 통해 엔비디아의 AI 인프라는 더 많은 토큰을 생성하고 효율성을 높이며, 고객이 동일한 전력으로 더 높은 가치를 창출할 수 있도록 지원한다.
|
