엔비디아에서 개인용 챗봇 서비스인 챗 위드 RTX(Chat With RXT)를 공개했다.
챗 위드 RTX는 최소 8GB 이상 VRAM이 탑재된 지포스 RTX 30 시리즈 이상 그래픽 카드가 장착된 윈도우 11 이상 OS 기반 PC에서 구동되며, 검색 증강생성(RAG), 엔비디아 텐서RT-LLM(TensorRT-LLM) 소프트웨어, 엔비디아 RTX 가속화 등을 사용해 로컬 지포스 기반 윈도우 PC에 생성형 AI 기능을 제공한다.
사용자는 PC의 로컬 파일을 데이터셋으로 미스트랄(Mistral)이나 라마 2(Llama 2)와 같은 오픈소스 LLM(대규모 언어 모델)에 연결해 상황에 맞는 빠른 답변을 얻을 수 있다. 사용자가 메모나 저장해둔 콘텐츠 대신 챗봇에 검색어를 입력하면, 챗 위드 RTX가 사용자가 지정한 로컬 파일을 스캔해 상황에 맞는 답변을 제공한다.
이 도구는 .txt, .pdf, .doc/.docx, .xml 등 다양한 파일 형식을 지원한다. 애플리케이션에서 해당 형식의 파일들을 포함한 폴더를 지정하면 해당 파일들을 라이브러리에 로드할 수 있으며, 유튜브(YouTube) 동영상 혹은 재생 목록의 정보도 포함할 수 있다. 이를 통해 선호하는 인플루언서 동영상의 콘텐츠 기반의 추천 여행지나 공개 교육 자료 기반으로 튜토리얼을 안내 받을 수 있다.
챗 위드 RTX는 윈도우 RTX PC와 워크스테이션에서 로컬로 실행되고, 사용자 데이터는 디바이스에 그대로 유지되므로 민감한 데이터를 제3자와 공유하거나 인터넷에 연결하지 않고도 처리할 수 있다. 자세한 내용과 다운로드는 엔비디아 홈페이지서 확인할 수 있다.
한편, 엔비디아는 2월 23일까지 진행되는 엔비디아 RTX PC 기반 생성형 AI 개발자 콘테스트를 진행 중으로, 참가자는 생성형 AI 기반 윈도우 앱 또는 플러그인을 등록할 수 있다. 참여자들에게는 지포스 RTX 4090 GPU, 엔비디아 GTC 오프라인 콘퍼런스 입장권 등의 경품 당첨의 기회가 주어진다. |
