AMD 는 자이프라(Zyphra)가 AMD GPU 및 네트워킹 플랫폼을 활용해 훈련된 최초의 대규모 전문가 혼합(Mixture-of-Experts, MoE) 파운데이션 모델인 ZAYA1을 개발, 대규모 AI 모델 학습 분야에서 중요한 성과를 달성했다고 발표했다. 이번 성과는 AMD 인스팅트(Instinct) MI300X GPU와 AMD 펜산도(Pensando) 네트워킹 및 AMD ROCm 오픈 소프트웨어 스택을 활용한 것으로, 자이프라가 공개한 기술 보고서에서도 자세히 소개됐다.
자이프라는 이번 모델이 추론, 수학, 코딩 등 다양한 영역에서 기존 주요 오픈 모델 대비 경쟁력 있는 성능을 보였으며, 이를 통해 AMD 인스팅트 GPU가 대규모 AI 워크로드에 적합한 성능과 확장성을 갖추었음을 입증했다고 밝혔다.
AMD 인공지능 그룹의 AI 및 엔지니어링 부사장 에마드 바르숨(Emad Barsoum)은 “AMD는 가속 컴퓨팅 분야의 리더십을 통해 자이프라와 같은 혁신 기업이 AI의 한계를 확장할 수 있도록 지원하고 있다”며, “이번 성과는 복잡한 대규모 모델 학습에 있어 AMD 인스팅트 GPU와 펜산도 네트워킹이 제공하는 유연성과 성능을 보여주는 중요한 사례”라고 말했다.
자이프라의 크리틱 푸탈라스(Krithik Puthalath) CEO는 “효율성은 자이프라의 핵심 철학으로, 모델 아키텍처 설계와 학습 및 추론 알고리즘 개발, 최적의 가격 대비 성능을 제공하는 하드웨어 선택까지 모든 과정에 반영되어 있다”며 “ZAYA1은 이러한 철학을 반영한 결과물로, AMD 플랫폼에서 대규모 학습을 구현한 첫 사례가 되어 매우 뜻깊게 생각한다.”고 말했다.
그는 이어서 “이번 성과는 모델 아키텍처를 반도체 및 시스템과 함께 공동 설계하는 접근 방식이 얼마나 강력한지 보여준다. 자이프라는 AMD, IBM과의 협력을 더욱 강화해 차세대 첨단 멀티모달 파운데이션 모델을 구축하게 될 것을 기대하고 있다.”고 전했다.
AMD 인스팅트 GPU 기반의 효율적인 대규모 학습
AMD 인스팅트 MI300X GPU는 192GB의 고대역폭 메모리를 탑재해 높은 비용을 필요로 하는 전문가 활용, 또는 텐서 샤딩(tensor sharding) 등의 복잡한 절차 없이 자이프라의 학습 효율성을 크게 향상시켰다. 이를 통해 전체 모델 스택의 처리량을 높이고 복잡성은 줄였다. 또한 AMD 최적화 분산 I O를 활용해 모델 저장 시간이 10배 이상 빨라져 학습 안정성과 효율성도 개선됐다. 전체 83억 개 파라미터 중 활성 파라미터가 7억 6천만 개에 불과한 ZAYA1 Base는 큐원3(Qwen3) 4B, 젬마3(Gemma3) 12B, 라마3(Llama 3) 8B, 올모E(OLMoE) 등 주요 모델과 동등하거나 그 이상의 성능을 제공한다.
자이프라는 AMD 및 IBM과 더욱 긴밀히 협력해 AMD 인스팅트 GPU와 AMD 펜산도 네트워킹으로 구성된 대규모 학습 클러스터를 설계 및 구축했다. 이 클러스터는 최근 공개된 AMD와 IBM의 공동 엔지니어링 시스템을 기반으로 하며, AMD 인스팅트 MI300X GPU와 IBM 클라우드의 고성능 패브릭 및 스토리지 아키텍처를 결합해 ZAYA1의 대규모 사전 학습을 위한 기반을 제공한다. 또한 이번 협력을 통해 고비용의 전문가 활용이나 텐서 샤딩 없이 학습을 수행할 수 있게 됐다.
|
