인텔은 새롭게 공개된 MLPerf Client v0.6 벤치마크에서 완전한 NPU 지원을 달성한 유일한 기업으로 평가받았다고 발표했다. 이번 발표는 대규모 언어 모델(LLM)에서 클라이언트 NPU 성능을 측정한 업계 최초이자 표준화된 평가 사례다. MLPerf Client v0.6 결과에 따르면, 인텔® 코어™ Ultra 시리즈 2(Intel® Core™ Ultra Series 2) 프로세서는 GPU와 NPU 모두에서 일반적인 사람이 읽는 속도보다 훨씬 빠르게 출력 결과를 생성할 수 있다.
다니엘 로저스(Daniel Rogers) 인텔 PC 제품 마케팅 부문 총괄은 “인텔은 클라이언트 PC 플랫폼에서 AI 워크로드를 위한 NPU 가속화와 업계 최고 수준의 GPU 성능을 구현하며 업계를 선도하고 있다는 점을 자랑스럽게 생각한다”며, “이번 성과로 인텔은 하드웨어와 소프트웨어 간의 심층적인 상호-최적화, 그리고 모든 PC에서 AI를 보편화하겠다는 인텔의 노력을 보여줄 수 있었다”고 전했다.
인텔은 인텔 코어 Ultra 시리즈 2 프로세서를 통해 CPU, GPU, NPU 전반에서 전례 없는 AI 연산 성능을 제공함에 따라 AI PC 혁신을 선도하고 있다.
MLPerf Client v0.6은 Llama 2 7B 모델 기반의 4가지 콘텐츠 생성 및 요약 작업을 평가한다. 인텔은 NPU와 내장 인텔® Arc™ GPU에서 업계를 선도하는 성능을 입증했다.
인텔은 NPU 응답 속도에서 최고 기록을 달성했으며, 첫 토큰을 생성하는 데 단 1.09초밖에 걸리지 않아 프롬프트 입력 직후 즉시 반응할 수 있다. 또한 초당 18.55토큰의 처리 속도를 기록해 실시간 AI 상호작용을 끊김 없이 지원한다. GPU 부문에서도 인텔은 경쟁사보다 더 빠르게 첫 토큰을 생성하며, NPU와 GPU를 아우르는 AI 가속 기술 리더십을 다시 한 번 입증했다.
MLPerf의 NPU 벤치마킹:
인텔, AMD, 마이크로소프트, 엔비디아, 퀄컴 등 MLCommons 컨소시엄 소속 기업들이 공동 개발한 MLPerf Client v0.6은 기존 GPU 중심 테스트를 넘어, NPU 전용 벤치마킹까지 포함하도록 확장했다.
인텔 NPU 하드웨어 팀과 OpenVINO™ 소프트웨어 팀 간의 긴밀한 협업을 바탕으로, 인텔 코어 Ultra 프로세서는 최종 벤치마크에서 NPU 평가 요구사항을 완전히 충족한 유일한 프로세서로 기록됐다.
|
