엔비디아가 엔비디아(NVIDIA) 창립자 겸 CEO인 젠슨 황(Jensen Huang)이 지난 12일 수요일 데이터브릭스 데이터 + AI 서밋 2024(Databricks Data + AI Summit 2024)에서 데이터브릭스 공동 창립자 겸 CEO인 알리 고드시(Ali Ghodsi)와 대담을 진행했다고 밝혔다. 젠슨 황은 이날 가속 컴퓨팅이 기업의 데이터 처리와 분석을 혁신하고 있다고 강조했다.
젠슨 황과 알리 고드시는 모든 인텔리전스를 활용하기 위해 엔비디아 가속 컴퓨팅과 데이터브릭스 포톤(Photon)의 통합을 발표했다. 포톤은 데이터브릭스의 빠른 데이터 처리를 위한 엔진으로, 최고 수준의 성능과 비용 효율성으로 데이터브릭스의 SQL을 구동하도록 설계됐다.
젠슨 황은 엔비디아가 포톤 가속화를 가능하게 하는 일련의 라이브러리를 구축하는 데 5년이 걸렸다고 설명했다. 포톤 가속화는 사용자가 데이터를 더 신속하고 비용 효율적으로 처리하며 훨씬 적은 에너지를 소비하도록 지원한다.
양사는 데이터브릭스의 오픈 소스 모델 DBRX가 이제 엔비디아 API 카탈로그에서 제공되는 엔비디아 NIM 마이크로서비스로 사용 가능하다고 발표했다.
엔비디아 NIM 추론 마이크로서비스는 어디서나 배포할 수 있도록 완전히 최적화되고 사전 구축된 컨테이너로 모델을 제공한다.
마이크로서비스는 애플리케이션에 생성형 AI 모델을 추가하는 간단하고 표준화된 방법을 제공함으로써 엔터프라이즈 개발자의 생산성을 획기적으로 높여준다.
지난 3월에 출시된 DBRX는 전적으로 데이터브릭스 기반으로 구축됐으며, 데이터브릭스 고객과 파트너가 사용할 수 있는 모든 도구와 기술을 활용한다. 이는 개발자들을 위한 확장 가능한 엔드투엔드 AI 플랫폼인 엔비디아 DGX 클라우드(DGX Cloud)로 훈련을 진행했다.
기업들은 엔터프라이즈 데이터로 DBRX를 맞춤 설정해 고품질의 기업별 모델을 만들 수 있다. 또는 참조 아키텍처로 전문 모델들을 혼합한 맞춤형 DBRX 스타일을 구축할 수도 있다.
젠슨 황은 데이터 처리 가속화는 엄청난 기회라며 모든 사람이 가속 컴퓨팅과 생성형 AI를 활용하길 바란다고 말했다.
엔비디아 전문가들은 데이터브릭스 데이터 + AI 서밋 2024의 엔비디아와 함께하는 생성형 AI의 개발과 배포, ETL 처리를 위한 아키텍처 분석: CPU 대 GPU, 스파크 래피즈(Spark RAPIDS) ML: 스파크 클러스터(Spark Clusters)에서의 GPU 가속 분산 ML 등과 같은 세션에 참여했다. 이들은 세션 참석자들과 함께 엔비디아와 데이터브릭스가 AI와 데이터 인텔리전스의 어떻게 미래를 이끌고 있는지 함께 살펴봤다.
|
