MS에서 온디바이스 AI 구현을 위한 SLM(Small Language Model)인 뮤(Mu)를 발표했다.
MS는 지난해 온디바이스 AI 구동이 가능한 코파일럿+PC 규격을 발표하며 40 TOPS 이상 성능의 NPU를 요구사양에 포함 시켰다. 이번에 발표된 SLM 뮤는 이렇게 시스템에 통합된 NPU를 활용해 사용자의 자연어 쿼리를 이해하고, 기존 검색 상자에 통합 가능한 AI 에이전트를 구현하는데 있다.
뮤는 온디바이스에서 초당 100개 이상의 토큰을 제공하도록 디자인 되었으며, 해당 모델 인코더-디코터의 첫 토큰 레이턴시는 47% 개선되었고, 비슷한 크기의 디코더 전용 모델 대비 디코딩 속도는 4.7배 빨라졌다. 330M 인코더-디코더 언어 모델인 뮤는 특정 구성 요소에 가중치를 공유해 전체 매겨변수 수를 줄이고, 동급 성능의 비슷하게 미세 조정된 Phi-3.5-mini와 비교해 크기는 거의 1/10 수준으로 줄였다.
MS는 뮤 SLM을 통해 45TOPS 성능의 NPU가 통합된 스냅드래곤 X 엘리트/ 플러스가 쓰인 서피스 랩탑 7에서 초당 200개 이상의 토큰 출력이 가능하다는 점을 강조했으며, 윈도우 11 인사이더 프리뷰 빌드 26200.5651에서 접할 수 있다.
닉네임
비회원
보드나라 많이 본 뉴스
SK하이닉스, 2028년에도 소비자 DRAM 공급 부족 전망
FSR 레드스톤 정식 발표, 지원용 AMD 소프트웨어 25.12.1 출시
삼성전자, 개인 소비자용 SSD 시장 철수설 부인
보드나라 많이 본 기사
9800X3D 같은 고성능 CPU의 핵심 캐시로 알아보는, 인기 CPU와 성능 향상의 관계 [PC흥망사 16-1]
