엔비디아가 기존 HBM4E보다 높은 대역폭과 전력 효율을 제공하는 커스텀 고대역폭 메모리 'NVHBM'을 공개했다.
NVHBM의 가장 큰 특징은 기존 XPU 또는 GPU에 위치하던 메모리 컨트롤러를 HBM 스택 내부의 베이스 다이로 옮긴 것이다. 이를 통해 XPU에서 메모리 인터페이스가 차지하던 면적을 줄이고, 확보한 공간을 연산 유닛이나 캐시 등 실제 AI 연산에 필요한 회로에 활용할 수 있게 된다. 엔비디아는 관련 인터페이스 면적을 최대 67% 줄이고, XPU에서 연산에 활용할 수 있는 영역을 최대 25% 늘릴 수 있다고 설명했다. 또한 NVHBM은 표준 HBM4E 대비 스택당 메모리 대역폭을 최대 30% 높이는 동시에 HBM 소비전력은 최대 15% 줄일 수 있어 메모리 성능과 전력 효율 개선을 기대할 수 있다.
대규모 AI 모델은 연산 성능뿐 아니라 모델 가중치와 데이터를 지속적으로 전달하는 메모리 대역폭의 영향을 크게 받는 만큼, NVHBM의 대역폭 향상은 AI 추론 및 학습 과정에서 발생하는 메모리 병목을 줄이는 데 도움이 될 것으로 기대되며, 메모리에서 사용하는 전력을 줄이면 동일한 전력 한도 내에서 연산부에 더 많은 전력을 배분할 수 있으며, 대규모 데이터센터에서는 전력 공급과 냉각 부담을 낮추는 효과도 기대할 수 있다.
NVHBM은 HBM4E 이후의 새로운 JEDEC 메모리 규격이라기보다 기존 HBM 기술을 AI 가속기에 맞게 커스텀한 기술로, 엔비디아는 이를 NVLink Fusion 생태계에도 통합해 자체 GPU뿐 아니라 파트너가 개발하는 커스텀 XPU에서도 NVHBM을 활용할 수 있도록 할 예정이다. |
