GPU 위에 HBM 올린다…제조사들이 메모리 올리는데 사활 건 이유 [고든 정의 TECH+]

최근 열린 ‘핫 칩스 2026’ 행사에는 삼성과 SK 하이닉스가 공개한 미래 고대역폭 메모리(HBM) 로드맵이 관심을 끌었습니다. HBM4까지 발전한 상태에서 두 회사 모두 같은 발열과 전력 소모 증가, 복잡도 증가 같은 문제에 직면한 상태이며 비슷하지만 약간 다른 방식을 통해 이 문제를 풀어가기 위해 노력하고 있습니다. 아마도 가장 비슷한 점은 궁극적으로 HBM 메모리를 그래픽처리장치(GPU) 같은 프로세서 위에 올리려고 한다는 점일 것입니다.

일단 SK 하이닉스는 HBM4E와 HBM5에서 당면한 문제를 해결하기 위해 몇 가지 해결책을 몇 가지 제시했습니다. 이미 올해 초 CES에서 SK 하이닉스는 HBM4 16단(16Hi) 제품을 공개하면서 용량 48GB 용량, 대역폭 2.9TB/s의 스펙을 자랑한 바 있습니다.

이처럼 높은 용량과 대역폭은 여러 층의 D램 다이를 관통하는 TSV(실리콘 관통 전극) 덕분입니다. HBM4에서는 TSV 수가 이미 2만 개를 넘어섰고 HBM의 최하층에 있는 베이스 다이는 GPU와 데이터를 고속으로 주고받기 위해 1만 6148개의 베이스 마이크로 범프로 실리콘 인터포저와 연결되어 있습니다. 문제는 앞으로입니다.

다음 세대 HBM 메모리에서는 속도를 더 높이기 위해 TSV 간 거리를 지금보다 더 줄여 18㎛ 미만으로 낮춰야 하는데, 이미 마이크로 범프 간 간격이 너무 줄어든 상황입니다. 따라서 아예 범프 없이 인터포저에 직접 접합하는 하이브리드 본딩(hybrid bonding) 기술이 시도되고 있습니다. 현재 12-Hi 하이브리드 본딩 HBM이 검증 완료된 상태이고 앞으로 16-20Hi 스택 하이브리드 본딩 기술을 개발해 장기적으로 HBM4E/HBM5에 적용할 계획입니다.

하지만 하이브리드 본딩 기술이 발열 문제는 해결해 주지 못합니다. 그래서 SK 하이닉스는 iHBM (ICE-HBM)이라는 냉각 기술을 개발 중입니다. 이는 열이 많이 발생하는 부위에 높은 열전도율과 전기 절연성을 갖춘 냉각 소자를 내장하여 열 저항을 30% 이상 줄이는 기술입니다.

다만 더 장기적으로 보면 HBM – 실리콘 인터포저 – GPU/CPU의 구조는 늘어나는 전력 소모와 복잡도를 감당하기 점점 힘들어집니다. 가장 좋은 방법은 아예 메모리와 프로세서 간격을 최대한 짧게 만들기 위해 아예 붙여 버리는 것입니다. 그러면 전기적 신호가 매우 짧은 거리를 이동하기 때문에 전력 소모가 줄어들고 속도도 빠르게 할 수 있습니다.

이와 같은 접근법은 삼성전자도 크게 다르지 않습니다. 삼성은 3단계 로드맵을 제시했는데, 우선 첫 단계로 베이스 다이를 고급 로직 공정으로 옮겨 신호를 주고받는 물리적 층인 PHY를 작게 만들고, 메모리 컨트롤러 같은 프로세서 영역을 베이스 다이로 옮길 수 있는 면적을 확보할 예정입니다. 동시에 iHBM과 비슷하지만 조금 다른 냉각 기술인 HPB(Heat Path Block)를 도입해 PHY 영역의 약 50%를 커버하고 피크 온도를 35% 이상 낮출 계획입니다.

두 번째 단계에서는 베이스 다이에 더 많은 기능을 넣어 HBM을 ‘똑똑한 메모리’로 만들고 마지막 단계에서는 아예 HBM을 프로세서 위로 올려 실리콘 인터포저라는 중간 단계를 생략하고 바로 프로세서와 메모리를 고속으로 연결합니다. 이 단계는 기존처럼 가로 방향(lateral)으로 통신하던 방식을 없애고, 수직으로 메모리가 올라가기 때문에 z축이라는 의미에서 zHBM이라고 명명했습니다.









삼성전자는 zHBM을 도입하면 전력 효율 약 70% 향상, D램 대역폭 2.3배 이상 증가, D램 모듈당 약 100W 전력 절감 등의 효과를 거둘 수 있을 것으로 기대하고 있습니다. 다만 해결해야 할 문제도 적지 않습니다.

중간 단계인 실리콘 인터포저를 없애고 아예 프로세서 위에 수직으로 메모리를 올리면 메모리와 프로세서 간 거리를 최대로 좁힐 수 있지만 대신 발열 제어가 어려워집니다. 소비자용 프로세서인 라이젠 X3D의 경우에도 프로세서 위에 캐시 메모리를 올린 후 발열 제어가 어려워 1세대에서는 클럭을 높이는 데 제한이 있었습니다. 이미 전기 먹는 하마가 된 지 오래인 GPU나 서버 CPU는 문제가 더 심각할 수밖에 없습니다. 현재도 수랭식 시스템으로 겨우 열을 제어할 수 있는 상황입니다.

따라서 초기 프로세서 적층형 HBM은 발열 관리를 위해 별도의 열전달 경로를 배치하고 I/O 전력을 대폭 줄이면서 메모리를 16층(16Hi)이 아니라 4층(4Hi) 정도 낮은 높이로 올릴 가능성이 높습니다. 그래도 이미 전력 소모가 감당하기 힘든 수준인 GPU 위에 역시 전기를 많이 먹는 메모리를 올리는 일은 쉽지 않을 가능성이 높습니다.

다만 이제까지 수많은 기술적 어려움을 돌파하면서 성장한 기업들인 만큼 앞으로 새로운 돌파구를 만들어 결국 문제를 해결할 것으로 기대합니다.

고든 정 과학 칼럼니스트 jjy0501@naver.com