MS에서 온디바이스 AI 구현을 위한 SLM(Small Language Model)인 뮤(Mu)를 발표했다.
MS는 지난해 온디바이스 AI 구동이 가능한 코파일럿+PC 규격을 발표하며 40 TOPS 이상 성능의 NPU를 요구사양에 포함 시켰다. 이번에 발표된 SLM 뮤는 이렇게 시스템에 통합된 NPU를 활용해 사용자의 자연어 쿼리를 이해하고, 기존 검색 상자에 통합 가능한 AI 에이전트를 구현하는데 있다.
뮤는 온디바이스에서 초당 100개 이상의 토큰을 제공하도록 디자인 되었으며, 해당 모델 인코더-디코터의 첫 토큰 레이턴시는 47% 개선되었고, 비슷한 크기의 디코더 전용 모델 대비 디코딩 속도는 4.7배 빨라졌다. 330M 인코더-디코더 언어 모델인 뮤는 특정 구성 요소에 가중치를 공유해 전체 매겨변수 수를 줄이고, 동급 성능의 비슷하게 미세 조정된 Phi-3.5-mini와 비교해 크기는 거의 1/10 수준으로 줄였다.
MS는 뮤 SLM을 통해 45TOPS 성능의 NPU가 통합된 스냅드래곤 X 엘리트/ 플러스가 쓰인 서피스 랩탑 7에서 초당 200개 이상의 토큰 출력이 가능하다는 점을 강조했으며, 윈도우 11 인사이더 프리뷰 빌드 26200.5651에서 접할 수 있다.
닉네임
비회원
보드나라 많이 본 뉴스
마이크로소프트, 윈도우 업데이트 후 PC 시작 불가 문제 조사
후지필름, 굴곡형 2축 회전 기구 Z 시리츠 4K 초단초점 프로젝터 ZUH6000 발표
RTX 5090 4개도 OK, ASUS Pro WS 3000W PSU 발표
보드나라 많이 본 기사
보다 합리적 미니ITX 보드가 필요하다면?,MAXSUN 미니 ITX 메인보드 3종
등장은 늦었지만 무서운 잠재력, AMD 라데온 RX 9060 XT 16GB
시원한 Full HD 게임 경험, 기가바이트 지포스 RTX 5060 Eagle OC ICE 제이씨현
