메타(META)가 급등하는 서버 메모리 비용에 대응하기 위해 구형 서버에서 회수한 DDR4 메모리를 최신 서버에 재활용하는 방안을 도입한다.
메타는 PCIe 5.0 x16 인터페이스를 사용하는 CXL 2.0 Type-3 메모리 확장 ASIC인 Vistara를 개발, 기존 서버에서 회수한 DDR4 메모리를 활용해 DDR5만 지원하는 최신 AMD EPYC Turin 서버에 계층형 메모리 구조를 구현하는 방식으로 활용을 꾀한다.
DDR5 메모리 수요가 AI 데이터센터 확대로 크게 증가하면서 가격과 공급 부담이 커졌고, 이에 기존 서버에서 회수한 DDR4 메모리를 활용해 사실상 저비용 메모리 확장 효과를 노린 것으로, 각 ASIC은 2개의 72비트 DDR4 메모리 채널을 지원하며, 64GB DIMM 사용 시 최대 256GB까지 확장할 수 있다. 현재 메타는 폐기 서버에서 회수한 32GB DDR4 모듈을 사용해 ASIC당 128GB 구성을 적용하고 있다.
실제 서버 구성도 구체적으로 공개됐다. 메타는 158코어 AMD EPYC Turin 프로세서 1개에 Vistara ASIC 2개를 PCIe 5.0 x8 링크로 연결하는 MemServer 플랫폼을 사용한다. 이 서버는 기본적으로 DDR5-6400 768GB를 탑재하고, 여기에 CXL 연결 DDR4-2400 256GB를 더해 총 1TB 메모리 구성을 만든다.
메타는 CXL로 연결된 DDR4 메모리를 별도 NUMA 노드로 노출하고, 리눅스가 자주 접근하지 않는 콜드 페이지를 느린 DDR4 영역으로 옮기도록 구성했다. 반대로 자주 사용하는 데이터는 대역폭이 높은 로컬 DDR5에 유지한다. DDR4 CXL 영역의 대역폭은 76GB/s, 로컬 DDR5 영역은 614GB/s 수준으로 차이가 크다.
메타는 CXL을 통한 메모리 확장이 시스템 덕에 메모리 부족으로 인한 작업 실패와 재시작, 자원 단편화 부담을 줄여 관련 오버헤드를 33% 낮추고, 분산형 추론 워크로드에서는 필요한 서버 수를 최대 25% 줄이는 효과도 확인됐다고 밝혔다.
|
