MS에서 온디바이스 AI 구현을 위한 SLM(Small Language Model)인 뮤(Mu)를 발표했다.
MS는 지난해 온디바이스 AI 구동이 가능한 코파일럿+PC 규격을 발표하며 40 TOPS 이상 성능의 NPU를 요구사양에 포함 시켰다. 이번에 발표된 SLM 뮤는 이렇게 시스템에 통합된 NPU를 활용해 사용자의 자연어 쿼리를 이해하고, 기존 검색 상자에 통합 가능한 AI 에이전트를 구현하는데 있다.
뮤는 온디바이스에서 초당 100개 이상의 토큰을 제공하도록 디자인 되었으며, 해당 모델 인코더-디코터의 첫 토큰 레이턴시는 47% 개선되었고, 비슷한 크기의 디코더 전용 모델 대비 디코딩 속도는 4.7배 빨라졌다. 330M 인코더-디코더 언어 모델인 뮤는 특정 구성 요소에 가중치를 공유해 전체 매겨변수 수를 줄이고, 동급 성능의 비슷하게 미세 조정된 Phi-3.5-mini와 비교해 크기는 거의 1/10 수준으로 줄였다.
MS는 뮤 SLM을 통해 45TOPS 성능의 NPU가 통합된 스냅드래곤 X 엘리트/ 플러스가 쓰인 서피스 랩탑 7에서 초당 200개 이상의 토큰 출력이 가능하다는 점을 강조했으며, 윈도우 11 인사이더 프리뷰 빌드 26200.5651에서 접할 수 있다.
