NEO Semiconductor가 AI 반도체의 내부 캐시와 HBM 용량 부족을 동시에 해결하기 위한 차세대 메모리 플랫폼 NEO.AI를 발표했다.
NEO.AI는 AI 프로세서 내부에 탑재되는 X-SRAM과 외부 고대역폭 메모리용 3D X-DRAM을 결합한 구조다. 연산 장치와 가까운 캐시 용량을 늘리는 동시에 HBM 자체의 저장 용량도 확대해 메모리에서 발생하는 병목을 줄이는 것이 목표다.
X-SRAM은 일반적인 6T SRAM보다 적은 2개의 트랜지스터로 하나의 비트를 저장해 메모리 밀도를 최대 5배 높이는 기술로, 온칩 캐시가 커지면 GPU나 AI 가속기가 연산에 필요한 데이터를 HBM에서 반복적으로 불러오는 횟수가 줄어든다. 이에 따라 연산 장치 활용률과 처리 성능을 높이고 데이터 이동 과정에서 발생하는 소비전력도 줄일 수 있다. X-SRAM은 2nm와 3nm 나노시트 CMOS 공정에도 적용할 수 있도록 설계됐다.
3D X-DRAM은 기존 평면형 DRAM 셀을 계속 미세화하는 대신, 3D 낸드처럼 메모리 셀을 수직으로 적층해 일반적인 DRAM 대비 최대 10배의 용량을 확보하는 기술이다. NEO Semiconductor는 이미 양산 중인 3D 낸드 제조 기술을 활용할 수 있어 다른 3D DRAM 구조보다 개발과 생산 부담을 낮출 수 있으며, 이미 개념 증명 검증이 성공적으로 완료되었음을 알렸다.
NEO.AI가 상용화되면 더 많은 AI 모델 데이터와 중간 연산 결과를 프로세서 가까이에 보관할 수 있다. 대형 AI 모델 구동을 위한 가속기 수를 줄이고, 데이터센터의 전력 소비와 시스템 구축 비용을 낮추는 효과가 기대된다. |
