데이터센터 겨냥 4배 빨라진 AI 추론 성능, 사피온 X330 발표 기자간담회

2023-11-16 15:46
이수원 수석기자 swlee@bodnara.co.kr

글로벌 AI 반도체 기업 사피온(SAPEON)이 데이터센터용 AI 반도체 'X330'을 발표했다.

사피온은 2022년 SK텔레콤에서 스핀오프하여 AI 반도체 글로벌 시장 공략에 주력하고 있는 팹리스 기업으로 SK ICT연합(SK텔레콤, SK하이닉스, SK스퀘어)의 협력의 첫 결과물이다.

사피온은 지난 11월 15일 오후 SK T-타워 4층 SUPEX HALL에서 국내 미디어들을 대상으로 기자간담회를 개최하고 전작 대비 속도가 4배 향상된 데이터센터용 AI 반도체 X330을 출시한다고 밝혔다.

사피온 X330은 추론용 NPU로서 전작인 X220에 비해 응용범위가 표준 기술 기반 하에 대폭 확대되었다. 따라서 보다 다양한 분야와 산업군에서 손쉽게 활용할 수 있는 NPU다. AI 추론을 위한 최고 수준 연산기, 초저전력 설계, 초고속 I/O, 그리고 거대 언어 모델(Large Language Model, LLM) 지원을 특징으로 한다.

TSMC 7nm 공정을 기반으로 하는 X330은 전작인 X220 대비 4배 이상의 연산 성능, 2배 이상의 전력 효율을 확보하여 경쟁사의 5nm 제품 대비 연산 성능이 약 2배, 전력 효율은 1.3배 이상 우수하다. 확장 카드 형태로 출시되는 X330은 고객의 니즈에 따라 컴팩트(Compact)와 프라임(Prime) 두 가지 모델을 선택할 수 있다.

X330 컴팩트는 16/8/4bit 정수 연산((INT)만 지원하던 이전 세대(X220)와 달리 16/8bit 부동소수점 연산(FP)이 가능해지면서 8bit 성능이 367 TFLOPS로 4.2배 가량 높아졌으며 GDDR6 메모리를 탑재해 메모리 용량은 2배, 대역폭은 6배가 증가했다. 또한 최신 PCIe Gen5 x16 인터페이스를 지원한다.

소비 전력이 75~120W로 최대 1.8배 가량 증가했으나 성능이 4배 이상 올라갔으므로 와트당 성능으로 보면 훨씬 개선된 거라고 할 수 있다.

X330 프라임은 컴팩트의 2배에 해당하는 734 TFLOPS의 성능과 32GB의 GDDR6 메모리, 512GB/s 메모리 대역폭을 갖췄으며 소비 전력은 250W까지 증가했다. 기존 X220 엔터프라이즈와 비교했을 때 동일한 와트 당 성능 향상을 경험할 수 있다.

또한 X330은 동영상 관련 프로그램의 처리 속도 향상을 위해 비디오 코덱 및 포스트 프로세싱 IP를 내장하고 있다. X330에 내장된 하드웨어 IP를 통해 4채널 4K 60fps 동영상 입력 처리가 가능하다.

다만 최근 출시되는 아키텍처들이 AV1 코덱 지원까지 추가되는 것에 비해 X330 인코더는 H.264, VP8. MPEG-4, MJPEG만 지원하며, 디코더는 여기에 HEVC(H.265)가 추가되는 정도다.

사피온의 최고 기술 책임자(CTO)로 합류한 마이클 쉐바노우(Michael C. Shebanow)는 모토로라(Motorola), 사이릭스(Cyrix), AMD, 엔비디아(NVIDIA), 삼성전자까지 다양한 회사를 거치면서 반도체 설계 분야에 종사해왔다.

그는 사피온의 X330이 전작 대비 성능은 4배, 전력 효율성은 2배 향상된 점을 강조하고 기존 GPU보다 X330 시리즈를 사용하는 것이 이산화탄소 절감 효과와 기업의 ESG 달성에 도움이 될 것으로 분석했다.

사피온은 향상된 성능 및 전력효율을 제공하는 X330을 통해 LLM(Large Language Model) 지원을 추가하여, 전반적인 TCO(총소유비용, Total cost of ownership)을 개선함으로써, AI서비스 모델 개발 기업 및 데이터 센터 시장 공략에 적극 나설 계획이다. 사피온은 X330반도체 HW와 함께 서버 장착시 성능을 최적화할 수 있는 ONNX(개방형 신경망 교환, Open Neural Network Exchange) 기반의 SW Stack을 지원하며, AI 추론 플랫폼 소프트웨어 및 SDK(소프트웨어 개발 도구)도 함께 제공한다.