HBM이 뭐길래: AI 시대 메모리 전쟁과 HBM3E 대역폭의 비밀

AI 가속기 한 장에 수천만 원. 그 가격표의 핵심에 HBM(High Bandwidth Memory)이라는 메모리가 있다. GPU 연산 코어가 아무리 빨라도 데이터를 제때 공급받지 못하면 놀게 된다. AI 모델은 수십~수백 GB의 가중치를 끊임없이 읽어야 하는데, 이 '데이터 공급 능력'이 곧 대역폭이고, 그 대역폭의 끝판왕이 HBM이다.

1. 일반 D램과 뭐가 다른가

보통의 DDR5나 LPDDR5는 메모리 칩이 기판 위에 옆으로 늘어선다. 데이터가 오가는 길(I/O 폭)이 칩당 수십 비트로 제한적이다. HBM은 발상을 바꿨다. D램 다이를 수직으로 쌓고(스택), TSV(Through-Silicon Via, 실리콘 관통 전극)로 위아래를 직접 꿰뚫어 연결한다. 그 결과 한 스택의 데이터 통로가 1024비트에 달한다. 폭이 넓으니 클럭이 낮아도 총 대역폭이 폭발적으로 커진다.

2. 세대별 대역폭 진화

HBM은 세대를 거치며 스택당 대역폭과 용량을 키워왔다.

세대	핀 속도(대략)	스택당 대역폭(대략)	스택당 용량(대략)
HBM2	약 2.0~2.4 Gbps	약 256 GB/s	4~8GB
HBM2E	약 3.2~3.6 Gbps	약 410~460 GB/s	8~16GB
HBM3	약 6.4 Gbps	약 819 GB/s	16~24GB
HBM3E	약 9.2~9.8 Gbps	약 1.2 TB/s 이상	24~36GB

핵심은 인터페이스 폭이 1024비트로 고정된 상태에서 핀 속도를 끌어올려 왔다는 점이다. HBM3E 스택 하나가 초당 1TB가 넘는 데이터를 토해낸다. GPU에 이런 스택을 6~8개 붙이면 시스템 전체 대역폭은 수 TB/s에 이른다.

3. GPU와 어떻게 연결되나: 인터포저

HBM 스택과 GPU 다이는 실리콘 인터포저라는 미세 배선 기판 위에 나란히 올라간다. 이걸 2.5D 패키징이라 부른다.

[ GPU 다이 ]   [ HBM ][ HBM ][ HBM ][ HBM ]
──────────── 실리콘 인터포저(미세 배선) ────────────
──────────────── 패키지 기판 ────────────────────

GPU 바로 옆에 메모리를 붙이고 인터포저로 수천 가닥의 짧은 배선을 연결하니, 신호가 멀리 갈 필요가 없어 전력 효율과 속도가 모두 좋아진다. 다만 이 정교한 패키징(대표적으로 CoWoS 방식)이 까다로워, AI 가속기 공급의 진짜 병목이 메모리가 아니라 '패키징 캐파'인 경우도 많다.

4. 왜 HBM이 돈이 되나

• 희소성: 만들 수 있는 회사가 사실상 SK하이닉스·삼성전자·마이크론 셋뿐이다.
• 난도: 다이를 10단 이상 쌓으며 TSV 정렬과 발열을 잡아야 한다. 수율 확보가 어렵다.
• 고부가: 일반 D램보다 비트당 가격이 몇 배 높다. AI 수요가 폭발하며 '없어서 못 파는' 상황이 이어졌다.

그래서 메모리 업체들에게 HBM은 사이클을 타는 범용 D램과 달리, 수익성을 떠받치는 프리미엄 제품이 됐다.

5. 한계와 다음 라운드

HBM도 만능은 아니다. 인터포저 패키징 비용이 비싸고, 스택을 높이 쌓을수록 발열 배출이 어렵다. 그래서 다음 세대(HBM4)는 인터페이스 폭을 2048비트로 2배 넓히고, 베이스 다이에 로직을 결합하는 방향이 거론된다. 한편 모든 메모리가 HBM일 필요는 없어, 용량은 크지만 대역폭이 덜 급한 영역엔 후술할 CXL 메모리 같은 대안도 함께 쓰인다.

한 줄 정리

HBM은 D램을 수직으로 쌓아 TSV로 꿰뚫고, GPU 바로 옆에 인터포저로 붙여 초당 수 TB의 데이터를 공급하는 메모리다. AI 연산의 진짜 병목인 '데이터 공급'을 푸는 열쇠라 AI 시대의 황금알이 됐다.