AI 컴퓨팅 기술 분야의 선두주자인 엔비디아가 엔비디아(NVIDIA) RTX GPU와 DGX 스파크(DGX Spark)에서 오픈클로(OpenClaw)와 거대 언어 모델(large language model, LLM)을 완전히 로컬로 실행하는 방법을 공개했다.
오픈클로(구 클로드봇(Clawdbot)•몰트봇(Moltbot))는 사용자의 컴퓨터에서 구동되는 ‘로컬 우선(local-first)’ AI 에이전트로, 다양한 기능을 결합해 유용한 어시스턴트 역할을 수행한다. 대화를 기억하고 이에 맞춰 스스로를 조정하는 것은 물론, 로컬 환경에서 지속적으로 실행되며 파일과 앱의 맥락 정보를 활용하고 새로운 ‘스킬’을 통해 기능을 확장할 수 있는 점에서 주목받고 있다.
오픈클로의 주요 활용 사례는 다음과 같다:
개인 비서: 이메일, 달력, 파일에 접근해 일정을 자율적으로 관리할 수 있다. 파일과 이전 메일의 맥락을 기반으로 이메일 답장을 작성하고, 사전에 요청한 알림을 전송하며, 달력에서 가능한 일정을 확인해 회의를 자동으로 조율할 수 있다.
선제적 프로젝트 관리: 사용 중인 이메일이나 메시징 채널을 통해 프로젝트 진행 상황을 정기적으로 확인하고, 상태 보고를 전송하거나 필요시 후속 조치와 알림을 보낼 수 있다.
연구 에이전트: 앱에서 제공되는 개인화된 맥락을 바탕으로 인터넷 검색 결과와 파일을 결합한 보고서를 생성할 수 있다.
오픈클로는 로컬 또는 클라우드 환경에서 실행 가능한 LLM을 기반으로 구동된다. 다만 클라우드 기반 LLM은 상시 실행되는 오픈클로의 특성으로 인해 상당한 비용이 발생할 수 있으며, 개인 데이터를 업로드해야 하는 부담이 있다.
엔비디아 RTX GPU와 DGX 스파크에서 오픈클로와 LLM을 완전한 로컬 환경으로 실행할 경우, 비용 절감과 데이터 프라이버시 유지를 동시에 실현할 수 있다.
엔비디아 RTX GPU는 AI 연산을 가속하는 텐서 코어(Tensor Core)와 오픈클로 실행에 필요한 올라마(Ollama), 라마.cpp(Llama.cpp) 등 다양한 도구를 지원하는 쿠다(CUDA) 가속을 통해 워크플로우에 최적의 성능을 제공한다. 특히 DGX 스파크는 상시 구동 환경에 최적화된 설계와 128GB 메모리를 기반으로 더 큰 로컬 모델을 실행할 수 있어, 높은 정확도와 성능을 구현할 수 있다.
|
