메타가 클라우드 서버 없이 개인 PC에서 직접 구동하는 것을 목표로 개발한 오픈 웨이트 AI 에이전틱 모델 'Muse Glimmer'를 공개했다.
Muse Glimmer는 약 296억 개 파라미터를 갖춘 30B급 모델로 Meta Superintelligence Labs가 개발했으며, Apache 2.0 라이선스로 모델 가중치가 공개됐다. 일반적인 대화형 AI보다 로컬 AI 에이전트 활용에 초점을 맞춰 다단계 추론과 도구 호출, 오류 발생 시 복구 및 재시도, 코딩, 이미지와 화면 인식 등을 하나의 모델에서 처리하도록 설계됐다.
OpenClaw를 비롯한 AI 에이전트 실행 환경과 연동할 수 있으며 최대 13만1072개 이상의 컨텍스트를 지원하며, 일정 관리와 메시지 작성, 파일 정리처럼 개인 정보나 PC 내부 데이터에 접근해야 하는 작업을 외부 클라우드로 보내지 않고 사용자의 PC에서 처리하는 것을 목표로 한다.
인터넷 연결 없이 사용할 수 있다는 점과 함께 응답 지연을 줄이고 개인 데이터를 로컬에 유지할 수 있다는 것도 로컬 실행의 장점으로 제시됐다.
30B급 모델을 소비자용 하드웨어에서 실행하기 위해 약 4비트 양자화 기술도 적용됐다. 원래 정밀도의 Muse Glimmer는 55GB 이상의 메모리가 필요하지만 양자화를 통해 언어 모델 크기를 20GB 미만으로 줄였다.
메타가 공개한 기준에 따르면 풀 프리시전 모델은 64GB VRAM, K-Quant-Dynamic 버전은 32GB VRAM, K-Quant-17GB 버전은 24GB VRAM을 갖춘 GPU가 목표 사양이며, 이에 따라 일반적인 8GB 또는 16GB 그래픽카드보다는 24GB 이상의 그래픽 메모리를 갖춘 하이엔드 GPU가 실질적인 로컬 구동 대상이다.
Muse Glimmer는 Hugging Face를 통해 공개됐으며, 메타는 llama.cpp와 MLX, ExecuTorch를 비롯해 Ollama와 LM Studio 등 주요 로컬 AI 실행 환경 지원을 확대할 계획이다.
|
