quickmenu
PC 뉴스 홈  

엔비디아 이더넷 네트워킹, 엑스AI가 구축한 슈퍼컴퓨터 콜로서스 가속화

2024-10-30 09:48
편집부 press@bodnara.co.kr

엔비디아(CEO 젠슨 황)가 엔비디아(NVIDIA) 이더넷(Ethernet) 네트워킹 기술을 통해 엑스AI(xAI)가 구축한 세계 최대 AI 슈퍼컴퓨터 콜로서스(Colossus)를 가속화하고 있다고 밝혔다.

 

미국 테네시주 멤피스에 위치한 엑스AI의 콜로서스 슈퍼컴퓨터 클러스터는 엔비디아 스펙트럼-X(Spectrum-X™) 이더넷 네트워킹 플랫폼을 사용해 10만 개의 엔비디아 호퍼(Hopper) GPU로 구성된 대규모 시스템을 구현했다. 스펙트럼-X™ 플랫폼은 표준 기반 이더넷을 사용해 멀티 테넌트, 하이퍼스케일 AI 팩토리에 뛰어난 성능을 제공하도록 설계됐으며, 원격 직접 메모리 액세스(RDMA) 네트워크를 지원한다.

콜로서스는 세계에서 가장 큰 AI 슈퍼컴퓨터로, 엑스AI의 그록(Grok) 거대 언어 모델(Large Language Model, LLM) 제품군을 훈련하는 데 사용된다. 이 모델은 엑스 프리미엄(X Premium) 구독자를 위한 챗봇 기능을 제공하는 데도 활용된다. 현재 엑스AI는 콜로서스의 규모를 두 배로 늘려 총 20만 개의 엔비디아 호퍼 GPU로 구성하는 작업을 진행 중이다.

엔비디아와 엑스AI는 지원 시설과 최첨단 슈퍼컴퓨터를 단 122일 만에 구축했다. 일반적으로 이 정도 규모의 시스템을 구축하는 데 수개월에서 수년이 걸리는 기간을 생각하면 매우 빠른 속도이다. 첫 번째 랙이 바닥에 설치한 시점부터 훈련이 시작되기까지 단 19일이 걸렸다.

초대형 그록 모델을 훈련하는 동안 콜로서스는 전례 없는 네트워크 성능을 달성했다. 네트워크 패브릭의 세 계층 모두에서 이 시스템은 플로우 충돌로 인한 애플리케이션 지연 시간 저하나 패킷 손실이 전혀 발생하지 않았다. 또한, 스펙트럼-X 혼잡 제어를 통해 95%의 데이터 처리량을 유지했다.

표준 이더넷으로는 이러한 수준의 성능을 대규모로 달성할 수 없는데, 이는 데이터 처리량이 60%에 불과하면서 수천 건의 플로우 충돌을 일으키기 때문이다.

스펙트럼-X 플랫폼의 핵심은 최대 800Gb/s의 포트 속도를 지원하는 스펙트럼 SN5600(Spectrum SN5600) 이더넷 스위치로, 스펙트럼-4(Spectrum-4) 스위치 ASIC을 기반으로 한다. 엑스AI는 전례 없는 성능을 위해 스펙트럼-X SN5600 스위치와 엔비디아 블루필드-3 슈퍼NIC(BlueField-3 SuperNIC)를 함께 사용하기로 선택했다.

AI용 스펙트럼-X 이더넷 네트워킹은 이전에는 인피니밴드(InfiniBand)에서 독점적이었던 낮은 지연 시간과 짧은 테일 레이턴시로 매우 효과적이고 확장 가능한 대역폭을 제공하는 고급 기능을 제공한다. 이러한 기능에는 엔비디아 다이렉트 데이터 배치(Direct Data Placement) 기술을 사용한 적응형 라우팅, 혼잡 제어, 향상된 AI 패브릭 가시성과 성능 격리가 포함된다. 이러한 모든 기술은 멀티 테넌트 생성형 AI 클라우드와 대규모 엔터프라이즈 환경에 필수적인 요구 사항이다.

닉네임 lock
비회원

보드나라 많이 본 뉴스
보드나라 많이 본 기사

보드나라 최신 기사
[10/30] 넷마블 <뱀피르>, 신규 영지 ‘티하’ 추가 및 전 클래스 밸런스 개선 등 대규모 업데이트 예고  
[10/30] AMD 라이젠에 최적화된 게이밍 메모리,ESSENCORE KLEVV DDR5-6000 CL30 BLOT V WHITE AMD 패키지 서린  
[10/30] 위즈코어 ‘캐드 파서’, 수십 년 쌓인 도면을 AI 설계 자산으로 바꾼다  
[10/30] 엔비디아, 글로벌 파트너십 기반 AI 인프라 공급망 구축 전략 소개  
[10/30] 라이엇 게임즈, LoL 2027년 첫 콘텐츠 공개  
[10/30] 인텔 GPU D270(크레센트 아일랜드), AI 추론 넘어 고성능 컴퓨팅(HPC)까지 영역 확장  
[10/30] AWS, 개발 프로세스 단위로 업무 맡는 AI 에이전트 '키로 봇' 출시  
[10/30] '탱크 Z' 닌텐도 스위치판, 11월 26일 글로벌 발매 결정!  
[10/30] 로컬 AI 구동 전용 캐시 탑재 SSD, 오리코 FlashMem FM9800 발표  
[10/30] 삼성 갤럭시 S27, OneUI 9.5에 에이전트 AI 탑재?  
[10/30] 아이나비시스템즈, 네이버 이노베이션 사우디 SD맵 구축 프로젝트 참여…중동 사업 확대 본격화  
[10/30] 유니티, 인디 스튜디오 지원 프로그램 '유니티 펠로우십' 출범  
[10/30] 디지몬 슈퍼럼블, 정식 서비스 4주년 기념 대규모 업데이트… ‘파워디지몬’ 신규 지역 PART1 공개  
[10/30] MS 365 서버 80% 이상 먹통 사태 원인, 윈도우 서버 버그의 연쇄 발동  
[10/30] 대원씨티에스, 이음매 없는 곡면 유리로 완성한 개방 NZXT 올인원 케이스 'H5 시리즈' · 'H7 시리즈' 출시  
[10/30] 돈 있어도 못 산다? 메모리 공급 부족 2027년 상반기 절정 전망  
[10/30] PC 시장 침체 은폐 의혹, 인텔 주가 29% 폭락에 주주 집단소송  
[10/30] 서린씨앤아이, AGI RD238 DDR5 서버 메모리 3종 출시  
[10/30] 마이크로닉스, 탁 트인 개방감의 PC 케이스 ‘쿨맥스 트렌디’ 출시  
[10/30] 알리바바 그룹, 차세대 AI 모델 큐웬4-Max 공개  
로그인 | 이 페이지의 PC버전
Copyright NexGen Research Corp. 2010