MS에서 온디바이스 AI 구현을 위한 SLM(Small Language Model)인 뮤(Mu)를 발표했다.
MS는 지난해 온디바이스 AI 구동이 가능한 코파일럿+PC 규격을 발표하며 40 TOPS 이상 성능의 NPU를 요구사양에 포함 시켰다. 이번에 발표된 SLM 뮤는 이렇게 시스템에 통합된 NPU를 활용해 사용자의 자연어 쿼리를 이해하고, 기존 검색 상자에 통합 가능한 AI 에이전트를 구현하는데 있다.
뮤는 온디바이스에서 초당 100개 이상의 토큰을 제공하도록 디자인 되었으며, 해당 모델 인코더-디코터의 첫 토큰 레이턴시는 47% 개선되었고, 비슷한 크기의 디코더 전용 모델 대비 디코딩 속도는 4.7배 빨라졌다. 330M 인코더-디코더 언어 모델인 뮤는 특정 구성 요소에 가중치를 공유해 전체 매겨변수 수를 줄이고, 동급 성능의 비슷하게 미세 조정된 Phi-3.5-mini와 비교해 크기는 거의 1/10 수준으로 줄였다.
MS는 뮤 SLM을 통해 45TOPS 성능의 NPU가 통합된 스냅드래곤 X 엘리트/ 플러스가 쓰인 서피스 랩탑 7에서 초당 200개 이상의 토큰 출력이 가능하다는 점을 강조했으며, 윈도우 11 인사이더 프리뷰 빌드 26200.5651에서 접할 수 있다.
닉네임
비회원
보드나라 많이 본 뉴스
MS, 코파일럿 키 변경 기능 공식 지원 계획
AMD 라이젠 7 5800X3D 10주년 모델 인도 시장 등록, 글로벌 출시될까?
써멀 그리즐리, 12V-2x6 안전성 위한 WireView Pro II 케이블 통합 모델 출시
보드나라 많이 본 기사
디자인과 성능 모두 시원한 게임 환경,기가바이트 지포스 RTX 5080 AERO OC SFF 제이씨현
하이브리드 워크를 위한 최고의 선택,ATEN Essentials US 스위치 3종
반도체 대란이 만든 PC 시장 변화, 완제품PC 구매에서 업그레이드의 시대로 가려면 필요한 것은?
