마이크론에서 HBM 메모리의 업계 최고 속도를 달성했다고 알려왔다
마이크론은 자사의 8단 24GB HBM3 Gen2 제품이 기존 제품 대비 최대 50% 개선된 1.2TB/s 이상의 대역폭을 달성했으며, 전력대 성능비도 2.5배 이상 개선되었다고 발표했다.
마이크론은 8단 HBM3 Gen2 24GB 메모리를 통해 GPT-4와 같은 대규모 언어 모델 훈련이나 AI 추론, 데이터 센터 등에서 전력 효율과 고용량 메모리에 대한 요구를 충족시켜 줄 수 있다고 자신감을 표명했다.
또한 대규모 언어 모델의 훈련 시간을 30% 이상 단축시키는 것은 물론이고, 약 1천만개의 GPU가 설치된 AI 데이터 센터의 경우 HBM 큐브당 5W의 전력 절감 효과를 볼 수 있고, 이는 5년간 최대 5억 5천만 달러의 운영 비용 절감으로 이어져 TCO 절감 효과도 기대할 수 있다고 주장했다.
이번 제품은 마이크론의 1β 공정 칩을 쌓아 올려 구현한 것으로, 마이크론은 2024년 1분기에 12단의 36GB 모델 샘플링을 시작한다는 계획과 함께, 2026년 이후 차세대 HBM 메모리는 최대 64GB 용량에 2TB/s 이상의 대역폭 구현, 2024년 말 32GHz 속도와 24Gb(3GB) 용량의 GDDR7 칩 개발 목표도 제시했다. |
