AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr)가 인터랙티브 AI 추론 가속기인 엔비디아 그록 3 LPX(NVIDIA Groq 3 LPX)의 본격적인 양산에 들어갔다고 발표했다. 엔비디아 베라 루빈(Vera Rubin) 플랫폼을 확장하는 그록 3 LPX는 반응성이 뛰어난 에이전틱 시스템의 초고속 토큰 생성을 지원해 AI 추론 성능을 크게 향상시킨다.
에이전틱 시스템은 수백, 수천 단계에 걸친 추론 과정에서 방대한 양의 토큰을 생성할 수 있다. 따라서 에이전트의 실시간 추론•행동과 복잡한 작업을 완료하기 위해서는 토큰 생성 속도를 높이는 것이 매우 중요하다.
베라 루빈 NVL72 시스템은 모든 AI 팩토리를 위한 가장 다재다능한 학습 및 추론 플랫폼을 제공한다. 엔비디아 그록 3 LPX는 토큰 생성 속도를 획기적으로 높여 베라 루빈 NVL72의 추론 성능을 확장하며, 대량의 컨텍스트를 처리하는 워크로드에 최상의 사용자 경험을 제공한다. 이를 통해 에이전트가 극한의 속도로 작동할 수 있도록 지원한다.
엔비디아 그록 3 LPX는 AI 추론의 한계를 확장하고 있다. 그록 3 LPX는 오픈소스 에이전틱 모델 젬마 4 31B(Gemma 4 31B)를 대상으로 에이전틱 시스템에 필수적인 10만 토큰 컨텍스트를 적용한 아티피셜 애널리시스(Artificial Analysis) 벤치마크에서 초당 3,400개의 출력 토큰이라는 기록적인 성능을 달성했다. 이는 해당 모델에서 지금까지 기록된 가장 빠른 성능이다.
그록 3 LPX는 코딩과 같은 에이전틱 작업을 몇 시간이 아닌 단 몇 분 만에 수행할 수 있도록 지원하며, 가장 유사한 대체 플랫폼 대비 에이전트와 지연 시간에 민감한 워크로드에서 4배 빠른 응답 속도를 제공한다.
엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “추론은 AI 성장의 원동력이다. 엔비디아 그레이스 블랙웰(Grace Blackwell)과 NVL72는 전례 없는 성능과 효율성 향상을 통해 거대 언어 모델(large language model, LLM) 추론에 혁신을 가져왔다. 베라 루빈은 에이전틱 AI 시대를 위해 워크로드에 최적화된 AI 팩토리 구성으로 이러한 비전을 확장하며, 초고속 토큰 생성을 위한 LPX로 성능의 한계를 한층 더 끌어올린다. 이는 지능이 생산되는 방식을 혁신하며, 전 세계적으로 AI 컴퓨팅 수요가 증가하는 가운데 AI 처리량, 효율성, 응답성 측면에서 또 한 번의 획기적인 도약을 가능하게 한다”고 말했다.
그록 3 LPX, 인터랙티브 AI 추론 가속기
에이전틱 AI는 두 가지 뚜렷한 컴퓨팅 과제를 제시한다. 하나는 방대한 양의 컨텍스트를 효율적으로 처리하는 것이고, 다른 하나는 매우 낮은 지연 시간으로 토큰을 생성하는 것이다.
엔비디아 그록 3 LPX는 베라 루빈의 상호작용성 향상을 위해 특별히 설계됐다. 이는 개별 사용자를 위한 토큰이 생성되는 속도를 의미하며, 에이전트가 각 작업 단계를 얼마나 빠르게 완료할 수 있는지를 결정한다.
생성 속도가 빨라지면 에이전트는 반응성이 뛰어난 사용자 경험을 유지하면서 파일 검토, 코드 작성•테스트, 도구 호출, 결과 검증, 반복 작업에 더 많은 시간을 할애할 수 있다.
그록 3 LPX로 가속화되는 AI 클라우드
AI 클라우드는 AI 경제의 원동력으로 자리 잡고 있으며, 기업과 개발자들이 대규모 학습, 추론(reasoning), 인퍼런스(inference)을 위한 첨단 인프라를 활용할 수 있도록 지원한다. 지연 시간에 민감한 대규모 추론 워크로드를 처리하는 서비스 제공업체에 엔비디아 그록 3 LPX는 검증된 랙 스케일 시스템에서 차별화된 컴퓨팅을 구축할 수 있는 기반을 제공한다.
선도적인 AI 클라우드 기업 네비우스(Nebius)는 자사의 생산용 추론 플랫폼인 네비우스 토큰 팩토리(Nebius Token Factory)에 엔비디아 그록 3 LPX를 도입할 계획이다. 이를 통해 개발자들은 뛰어난 응답성을 갖춘 에이전틱 AI 애플리케이션을 위해 초고속 토큰 생성 기능을 활용할 수 있다.
네비우스 최고기술책임자(CTO) 다닐라 슈탄(Danila Shtan)은 “생성은 AI 시스템의 실제 응답 속도를 결정하는 추론 단계이며, 엔비디아 그록 3 LPX는 바로 이 과정을 가속화하기 위해 설계됐다. 우리는 네비우스 토큰 팩토리를 통해 이를 실제 운영 환경에 도입하는 최초의 AI 클라우드 기업으로서, 개발자들이 새로운 스택으로 마이그레이션할 필요 없이 기존 API를 그대로 사용하면서 에이전트 루프의 모든 단계가 즉각적으로 이뤄지는 경험을 제공한다”고 말했다.
네비우스에 이어, AI 추론에 특화된 클라우드 기업 그록(Groq)도 해당 플랫폼을 가장 먼저 도입하는 기업 중 하나가 될 계획이다.
AI 팩토리를 위한 극한의 공동 설계
엔비디아 베라 루빈은 7개의 칩과 5개의 특수 설계된 랙 전반에 걸친 극한의 공동 설계(extreme codesign)를 통해 가장 포괄적인 AI 팩토리 플랫폼을 제공한다.
엔비디아 베라 루빈 NVL72와 그록 3 LPX는 프론티어 모델 개발사와 오픈 모델 서비스 제공업체를 비롯한 AI 팩토리의 다양한 워크로드 요구사항을 충족한다.
이러한 랙 플랫폼에는 엔비디아 블루필드®-4 DPU(BlueField®-4 DPU)가 탑재되며, 엔비디아 베라 CPU(Vera CPU) 랙, 엔비디아 베라 블루필드-4 STX(Vera BlueField-4 STX) 스토리지, 엔비디아 스펙트럼TM-6 SPX 이더넷(SpectrumTM-6 SPX Ethernet)과 결합해 멀티 에이전트 시스템을 최적화함으로써 와트당 최고 처리량과 최저 지연 시간의 인퍼런스를 제공한다.
|
