d-Matrix의 혁신적인 AI 컴퓨팅 플랫폼, Corsair 소개
- GPU와 유사한 PCIe 카드, 10PFLOPs FP4 컴퓨팅 파워와 2GB SRAM 제공
- SRAM은 일반적으로 프로세서의 캐시(L1~L3)로 소량 사용됨
- 비용이 더 비싼 HBM 메모리 대신 LPDDR5 사용
실리콘밸리의 스타트업 d-Matrix가 마이크로소프트의 지원을 받아 기업 환경에서 LLM의 빠르고 소규모 추론을 위해 설계된 칩렛 기반 솔루션을 개발했어요. 이 아키텍처는 수정된 SRAM 셀을 사용하여 속도와 에너지 효율성을 극대화하는 전자식 메모리 내 컴퓨팅 방식을 채택하고 있답니다.
d-Matrix의 현재 제품인 Corsair는 “첫 번째 AI 컴퓨팅 플랫폼”으로 소개되며, 전체 높이와 길이의 PCIe 카드에 두 개의 d-Matrix ASIC과 각 ASIC당 네 개의 칩렛이 탑재되어 있어요. 총 9.6 PFLOPs FP4 컴퓨팅 파워와 2GB의 SRAM 기반 성능 메모리를 제공하죠. 전통적인 설계가 비싼 HBM에 의존하는 것과 달리, Corsair는 최대 256GB의 LPDDR5 용량 메모리를 사용하여 더 큰 모델이나 배치 추론 작업을 처리할 수 있어요.
d-Matrix는 Corsair가 인기 있는 Nvidia H100과 비교해 10배 더 나은 상호작용 성능, 3배의 에너지 효율성, 3배의 비용 성능을 제공한다고 주장하고 있어요.
기술 혁신의 도약
d-Matrix의 제품 책임자인 Sree Ganesan은 EE Times와의 인터뷰에서 “현재의 솔루션은 기존 아키텍처에서 메모리 벽에 부딪히고 있어요. 더 많은 컴퓨팅을 추가하고 더 많은 전력을 소모해야 하는데, 이는 지속 가능한 경로가 아니죠. 더 많은 FLOPS와 더 큰 메모리로 개선할 수 있지만, d-Matrix는 메모리 대역폭과 메모리-컴퓨트 장벽 혁신에 집중했어요”라고 설명했어요.
d-Matrix의 접근 방식은 메모리 내에서 직접 계산을 가능하게 하여 병목 현상을 제거하고 있어요. Ganesan은 “우리는 메모리 내에서 곱셈-누적이 이루어지는 디지털 메모리 내 컴퓨트 코어를 구축했어요. 이로 인해 매우 높은 대역폭을 활용할 수 있는데, 150TB/s에 달해요”라고 덧붙였답니다.
CEO인 Sid Sheth는 EE Times에 2019년에 설립된 회사가 하이퍼스케일러의 피드백을 통해 추론이 미래라는 것을 알게 되었다고 밝혔어요. “2019년에는 추론만으로는 큰 기회로 인식되지 않았지만, 2022년 이후 ChatGPT의 등장으로 모든 것이 바뀌었어요. 우리는 회사 초기에 트랜스포머 네트워크에 베팅했죠”라고 말했답니다.
Corsair는 2025년 2분기에 대량 생산에 들어가며, d-Matrix는 reasoning 작업과 더 큰 메모리 용량을 지원하기 위해 3D 스택 DRAM을 통합한 차세대 ASIC인 Raptor를 계획하고 있어요.