MS에서 온디바이스 AI 구현을 위한 SLM(Small Language Model)인 뮤(Mu)를 발표했다.
MS는 지난해 온디바이스 AI 구동이 가능한 코파일럿+PC 규격을 발표하며 40 TOPS 이상 성능의 NPU를 요구사양에 포함 시켰다. 이번에 발표된 SLM 뮤는 이렇게 시스템에 통합된 NPU를 활용해 사용자의 자연어 쿼리를 이해하고, 기존 검색 상자에 통합 가능한 AI 에이전트를 구현하는데 있다.
뮤는 온디바이스에서 초당 100개 이상의 토큰을 제공하도록 디자인 되었으며, 해당 모델 인코더-디코터의 첫 토큰 레이턴시는 47% 개선되었고, 비슷한 크기의 디코더 전용 모델 대비 디코딩 속도는 4.7배 빨라졌다. 330M 인코더-디코더 언어 모델인 뮤는 특정 구성 요소에 가중치를 공유해 전체 매겨변수 수를 줄이고, 동급 성능의 비슷하게 미세 조정된 Phi-3.5-mini와 비교해 크기는 거의 1/10 수준으로 줄였다.
MS는 뮤 SLM을 통해 45TOPS 성능의 NPU가 통합된 스냅드래곤 X 엘리트/ 플러스가 쓰인 서피스 랩탑 7에서 초당 200개 이상의 토큰 출력이 가능하다는 점을 강조했으며, 윈도우 11 인사이더 프리뷰 빌드 26200.5651에서 접할 수 있다.
닉네임
비회원
보드나라 많이 본 뉴스
삼성전자, One UI 9.0 업데이트로 갤럭시 S25 시리즈 고속 충전 너프?
위처 3 리마스터 대응, AMD 소프트웨어 26.9.2 드라이버 배포
MS 윈도우 11 26H2 버전 정식 배포 시작
보드나라 많이 본 기사
노트북의 게임-허브-로컬 AI 솔루션, 기가바이트 AORUS RTX 5060 Ti AI BOX 제이씨현
애플의 가변 조리개와 폴더블 스마트폰, 아이폰 18 Pro 시리즈 및 아이폰 듀오 공개
메인스트림 게이머의 심리적 마지노선 가격 모델, 라데온 RX 9070 GRE vs RTX 5070 성능 비교
