AI 시대, 메모리 전쟁의 서막
최근 인공지능(AI) 혁명이 가속화되면서, 컴퓨팅 성능만큼이나 중요한 요소가 부각되고 있습니다. 바로 ‘메모리 대역폭’인데요. 수천 개의 그래픽처리장치(GPU)가 집약된 거대한 AI 데이터센터에서는 데이터 처리 속도보다 메모리 대역폭이 병목 현상을 일으키는 핵심 요인으로 떠올랐습니다. 수십 년간 플롭스(FLOPS)에 집중했던 엔지니어들은 이제 데이터를 얼마나 빠르게 옮길 수 있는지가 AI 인프라의 효율성을 좌우한다는 새로운 철칙에 직면하게 된 것이죠.
이러한 상황에서 차세대 고대역폭 메모리인 고대역폭 메모리 4(HBM4)가 AI 시장의 판도를 바꿀 핵심 기술로 주목받고 있습니다. HBM4는 전례 없는 칩당 대역폭을 약속하며, 어떤 기업이 AI 시장을 지배할지, 혹은 사라질지를 결정할 중요한 열쇠가 될 것으로 보입니다. 이는 단순한 성능 향상을 넘어, 차세대 AI 모델을 훈련하는 데 걸리는 시간을 몇 달에서 몇 주로 단축하고, 수익성 있는 추론을 가능하게 하는 결정적인 차이를 만들어낼 수 있습니다.
HBM4, AI 성능의 새로운 기준
올해 초, 국제반도체표준협의기구(JEDEC)는 고성능 AI를 위한 HBM4 메모리 표준을 최종 확정했습니다. 새로운 HBM4는 이전 버전인 HBM3보다 더 높은 핀당 속도와 인터페이스 폭을 제공하는데요. 구체적으로는 2,048비트 인터페이스에서 핀당 8Gbps를 목표로 하며, 메모리 스택당 2TB/s의 대역폭을 제공합니다. 이는 현재 HBM3 칩의 약 두 배에 달하는 대역폭으로, AI 가속기 발전에 상당한 영향을 미칠 것으로 기대됩니다.
용량 면에서도 큰 발전이 있습니다. HBM4는 최대 16개의 메모리 다이(die)를 적층할 수 있으며, 다이당 24Gb 또는 32Gb의 밀도를 지원하여 스택당 최대 64GB의 용량을 구현할 수 있습니다. 이는 단일 HBM4 모듈이 오늘날 고성능 GPU 전체 메모리만큼의 데이터를 담을 수 있다는 의미입니다.
속도 향상과 더불어 HBM4는 전력 효율성도 고려하여 설계되었습니다. 낮은 입출력(I/O) 전압과 코어 전압을 허용하여 에너지 효율을 개선했죠. 이러한 발전은 대규모 언어 모델(LLM) 훈련이나 거대 추천 시스템 운영 등 테라바이트급 데이터를 GPU를 통해 끊임없이 이동시켜야 하는 생성형 AI의 요구 사항에 정확히 부합합니다. 더 빠르고 넓은 메모리는 이러한 병목 현상을 줄여 각 GPU가 데이터를 더 신속하게 처리할 수 있도록 돕습니다.
하지만 HBM4의 개발과 제조는 만만치 않은 도전 과제입니다. 현재 대량으로 HBM4를 공급할 수 있는 DRAM 및 3D 스태킹 기술 전문성을 갖춘 메모리 공급업체는 SK하이닉스(SK hynix), 마이크론(Micron), 삼성(Samsung) 단 세 곳뿐입니다. 이들이 대량 생산에 성공하느냐 실패하느냐는 엔비디아(Nvidia), AMD, 브로드컴(Broadcom)과 같은 기업들의 차세대 GPU 및 AI 가속기 하드웨어 로드맵에 직접적인 영향을 미칠 것입니다.
선두 주자: SK하이닉스
SK하이닉스는 HBM4 시장에서 확실한 선두 주자로 평가받고 있습니다. 2015년 AMD GPU에 1세대 HBM을 공급한 이래 HBM2, HBM2E, HBM3 공급을 주도하며 HBM 분야에서 꾸준히 선두를 지켜왔습니다. 카운터포인트 리서치(Counterpoint Research)에 따르면, 2025년 2분기 SK하이닉스의 시장 점유율은 62%로 경쟁사들을 크게 앞서고 있습니다. 이러한 지배력은 엔비디아와의 강력한 협력 관계에서 비롯됩니다.
공식 JEDEC 사양이 발표되기도 전에 SK하이닉스는 이미 HBM4 샘플링을 시작했습니다. 실제로 2025년 3월에는 세계 최초로 12단 HBM4 샘플을 출하하며 스태킹 기술 준비를 완료했음을 입증했습니다. SK하이닉스는 HBM4 설계 개발을 완료하고 대량 생산 준비를 마쳤다고 발표하기도 했습니다.
SK하이닉스의 HBM 개발 책임자인 조주환 상무는 “고객의 요구 사항을 충족하는 성능, 전력 효율성, 신뢰성을 갖춘 제품을 적시에 공급하여 시장 출시 시기를 맞추고 경쟁 우위를 유지할 것”이라고 밝혔습니다.
2025년 9월까지 SK하이닉스는 HBM4가 모든 사양을 충족함을 확인했습니다. 핀당 10GT/s로 작동하며, 이는 기준인 8GT/s보다 25% 빠른 속도입니다. 이 10GT/s 속도 등급은 엔비디아의 블랙웰(Blackwell) 세대 GPU 요구 사항에 정확히 부합합니다. SK하이닉스는 자사의 설계가 JEDEC 사양을 초과할 수 있음을 시사했는데, 이는 엔비디아가 요구하는 성능 여유 공간을 제공하기 위함으로 보입니다.
SK하이닉스는 HBM4 DRAM 다이에 검증된 1b DRAM 공정(5세대 10나노급 노드)을 사용하고 있습니다. 이는 최첨단 기술보다는 약간 오래된 노드이지만, 낮은 결함 밀도와 높은 수율을 제공하여 12개의 다이를 함께 적층할 때 매우 중요합니다. DRAM 레이어 아래에 위치하는 베이스 로직 다이(base logic die)에 대해서는 어떤 노드를 사용하는지 공개하지 않았지만, TSMC 12나노급 또는 5나노급이 사용될 것으로 추측됩니다.
SK하이닉스의 철학은 “먼저 안정적으로 작동하게 만든 다음 성능을 끌어올린다”는 것으로 보이며, 이는 HBM 시장에서 보수적이면서도 꾸준한 리더십과 일치합니다. 2025년 하반기 현재, SK하이닉스는 고객이 필요로 하는 즉시 HBM4 생산을 늘릴 준비가 되어 있습니다. 정확한 출하 날짜는 발표되지 않았지만, 모든 징후는 최종 검증이 완료된 후 2026년 초에 대량 출하가 시작될 수 있음을 시사합니다.
엔비디아의 주력 GPU가 HBM4의 첫 번째 목적지가 될 것은 분명합니다. 업계 보고서에 따르면 SK하이닉스 HBM4는 루빈(Rubin) GPU 플랫폼에 처음 통합될 예정입니다. 또한, 엔비디아와 SK하이닉스의 긴밀한 관계를 고려할 때, 2026년 블랙웰 GPU용 초기 메모리 모듈의 대부분을 SK하이닉스가 공급할 가능성이 높습니다. 이는 SK하이닉스가 HBM4를 대규모로 가장 먼저 출하하는 데 유리한 위치를 차지하게 합니다.
SK하이닉스의 시장 선두는 올해 상당한 재정적 이득으로도 이어졌습니다. 2025년 2분기에는 전체 매출의 77%가 HBM 및 관련 AI 메모리에서 발생했다고 보고했습니다. 현재의 지배력에도 불구하고 HBM4 공급 경쟁은 아직 끝나지 않았습니다. 경쟁사들도 맹렬히 추격하고 있습니다.
맹추격자: 마이크론
마이크론은 HBM 시장에 뒤늦게 뛰어든 후발 주자였습니다. 하지만 지난 한 해 동안 삼성의 시장 점유율을 넘어 21%를 기록하며 삼성의 17%를 앞질렀습니다. 몇 년 전만 해도 HBM 시장에서 거의 존재감이 없었던 마이크론에게는 상당한 발전입니다. 이러한 변화의 촉매제는 생성형 AI에 대한 수요 급증이었습니다.
마이크론의 성공은 주로 HBM3E를 기반으로 합니다. GPU 및 가속기를 포함한 6개 HBM 고객사와 공급 계약을 체결했습니다. 마이크론은 엔비디아 AI GPU의 공급업체가 되는 데 성공했습니다. 이는 엔비디아가 역사적으로 이중 공급 전략을 통해 두 공급업체로부터 메모리를 조달해왔기 때문이며, 마이크론이 SK하이닉스와 함께 그 파이의 일부를 차지하게 된 것입니다.
2025년 하반기까지 마이크론의 HBM 사업은 크게 확장될 것으로 예상됩니다. 2025년 9월 분기 보고서에 따르면 HBM 사업 매출이 거의 20억 달러에 달했다고 합니다. 이는 HBM이 단기간에 틈새 제품에서 회사 전체 매출의 두 자릿수 비중을 차지하는 제품으로 성장했음을 의미합니다. 마이크론은 심지어 2025년 전체 HBM 생산량이 완전히 매진되었고, 2026년 물량도 대부분 선주문되었다고 밝혔습니다.
이러한 기세를 타고 마이크론은 2025년 6월 HBM4 샘플을 출하하기 시작했습니다. 이 기술은 36GB, 12단 스택을 주요 고객사(그중 하나가 엔비디아로 알려짐)에 제공했습니다. 지난 몇 달 동안 마이크론은 실리콘을 더욱 개선했습니다. 2025년 4분기에는 HBM4 샘플이 핀당 11Gbps 이상의 속도로 작동하여 스택당 2.8TB/s 이상의 대역폭을 제공한다고 발표했습니다.
마이크론 HBM4는 2026년에 대량 생산에 들어갈 것으로 예상됩니다. 이미 2026년 HBM3E에 대한 수십억 달러 규모의 계약을 확보했으며, 클라우드 거대 기업과 GPU 공급업체를 포함한 주요 구매자들은 2026년 공급망의 일부로 마이크론을 기대하고 있습니다. 엔비디아가 블랙웰 메모리를 SK하이닉스와 마이크론으로부터 이중으로 조달할 것으로 예상되는 만큼, SK하이닉스가 모든 수요를 충족하지 못하거나 엔비디아가 이중 공급 유연성을 원할 경우 마이크론이 그 공백을 메울 준비가 되어 있습니다.
도전하는 거인: 삼성
삼성은 HBM4 경쟁에서 다소 이례적인 위치에 놓여 있습니다. 막대한 제조 역량에도 불구하고 삼성은 초기 HBM 세대에서 뒤처지는 모습을 보였습니다.
삼성의 어려움은 HBM3E에서 분명하게 드러났습니다. SK하이닉스와 마이크론이 고객사를 위해 8단 및 12단 HBM3E 생산을 늘리는 동안, 삼성은 12단 스택의 인증을 받는 데 어려움을 겪었습니다. 엔비디아의 HBM3E 품질 및 성능 기준을 충족하는 데 18개월과 여러 번의 시도가 필요했다고 알려졌습니다. 2025년 3분기에 이르러서야 삼성은 5세대 HBM3E 12단 스택이 모든 테스트를 통과하며 엔비디아의 검증을 최종적으로 통과했습니다.
지금까지 삼성 HBM은 AMD의 MI300 시리즈 가속기에만 탑재되었습니다. 그러나 엔비디아의 인증을 받으면서 삼성은 액체 냉각 AI 서버에 사용될 12단 HBM3E 3만~5만 개를 구매하기로 합의했습니다. 삼성의 HBM3E는 2025년 중반부터 AMD의 가속기에도 출하되고 있습니다.
이러한 지연의 주요 원인 중 하나는 삼성이 12단 HBM3E와 향후 HBM4에 최첨단 1c DRAM 공정(6세대 10나노급 노드)을 사용하려 했으나, 수율 문제에 부딪혔기 때문입니다. 2025년 7월 현재, 1c 공정의 파일럿 생산 수율은 65%에 불과하여 대량 생산에 큰 걸림돌이 되었습니다. 삼성은 DRAM 설계를 재조정하고 수정하며, 베이스 다이를 개선하고 열 관리를 강화해야 했습니다.
삼성은 2026년 상반기에 HBM4 대량 생산을 시작하는 것을 목표로 하고 있습니다. 2025년 3분기에는 엔비디아의 초기 검증을 위해 대량의 HBM4 샘플을 출하하기 시작했습니다. 하지만 삼성은 AMD(및 오픈AI)와의 파트너십을 심화하는 전략적 비장의 무기도 가지고 있습니다. 2025년 10월, AMD가 오픈AI에 인스팅트(Instinct) MI450 GPU 시스템을 공급하는 중요한 계약을 체결했다는 소식이 전해졌습니다. 삼성은 AMD의 MI450 가속기용 HBM4의 주요 공급업체로 알려져 있습니다.
결론: 2026년, 메모리 전쟁의 분수령
궁극적으로 HBM4 공급 경쟁은 제로섬 게임이 아닙니다. 세 공급업체 모두 생성형 AI를 위한 최고 성능의 메모리 모듈을 제공하기 위해 한계에 도전할 것입니다. 진정한 승자는 기술적 난관을 극복하고 대규모로 제품을 공급할 수 있는 기업이 될 것입니다.
더 넓은 시장을 위해서는 세 기업 모두 성공하는 것이 이상적입니다. 이는 공급 제약을 완화하고 연구원과 기업의 AI 역량을 증대시킬 수 있기 때문입니다. 어쨌든 2026년은 이 메모리 경쟁에서 결정적인 한 해가 될 것입니다. 어떤 공급업체가 실제로 대량으로 먼저 제품을 선보일지, 그리고 누가 이번 경쟁에서 진정으로 승리하고 누구의 AI 제품 계획이 조정되어야 할지 지켜보는 것은 매우 흥미로운 일이 될 것입니다.