OpenAI가 브로드컴 및 Celestica와 함께 개발한 첫 커스텀 AI 가속기 할라피뇨(Jalapeño)를 공개했다.
이번 제품은 범용 AI 가속기가 아닌 ChatGPT, Codex, API, 향후 에이전트형 AI 제품에 필요한 LLM 추론 워크로드를 기준으로 처음부터 설계된 OpenAI의 첫 'Intelligence Processor'로, OpenAI는 할라피뇨에 대해 LLM을 위한 최고의 추론 플랫폼으로 소개했다
할라피뇨는은 OpenAI가 직접 운영하는 서비스 환경에서 얻은 데이터를 설계에 반영한 것이 특징으로, 모델, 커널, 메모리 이동, 네트워크, 서빙 패턴을 분석해 연산 자원과 메모리, 네트워크 구성을 균형 있게 배치해 이론상 최대 성능에 가까운 실제 활용률을 목표로 한다고 밝혔다. 범용 가속기가 아니라 LLM 추론에 맞춘 전용 구조라는 점에서 ChatGPT 같은 대규모 실시간 AI 서비스에 최적화된 형태다.
OpenAI는 현재 최종 성능을 측정 중이지만 초기 테스트 기준으로 기존 최상위 AI 가속기보다 와트당 성능이 크게 향상된 것으로 평가 중이며, 자세한 기술 보고서는 향후 공개할 예정이다.
할라피뇨의 칩 설계와 최적화 일부에는 OpenAI의 자체 AI 모델이, 실리콘 구현과 네트워크 기술은 브로드컴이 담당했으며, Celestica는 보드, 랙 시스템, 생산 인프라 통합을 담당한다.
실제 배치 계획은 2026년 말로 예정되었으며, OpenAI와 브로드컴은 할라피뇨를 단일 제품으로 끝내지 않고 여러 세대에 걸친 컴퓨트 플랫폼의 출발점으로 삼을 계획이다. 브로드컴은 MS 및 다른 파트너와 함께 기가와트급 데이터센터 배치를 추진 중이다.
이번 발표는 OpenAI가 모델과 서비스뿐 아니라 이를 구동하는 하드웨어 인프라까지 직접 설계하는 풀스택 전략을 강화하기 위한 움직임으로 분석된다. AI 사용량이 계속 늘어나는 상황에서 할라피노가 가 실제 서비스 비용과 접근성 개선으로 이어질 수 있을지가 관전 포인트다. |
