.. 차니쓰 리서치

CHANESS RESEARCH

AI 칩 속 탑 8개 HBM

반도체 · 패키징 · 2026-10-02 · 유튜브 주식을 요리하다

엔비디아 AI 칩 옆에 붙은 '작은 탑' 여덟 개, HBM 이야기예요. 핵심은 두 가지 — 디램 칩을 8층으로 쌓아 데이터 통로를 1,024개로 늘린 것, 그리고 그 층들을 구멍(TSV)과 작은 돌기(마이크로범프)로 위아래로 이은 것.

한눈에 흐름

GPU→HBM(쌓은 디램)→TSV(관통 기둥)→마이크로범프

계산하는 GPU 바로 옆에 디램을 여러 층 쌓아 붙이고, 층 사이는 실리콘을 뚫은 금속 기둥(TSV)과 작은 돌기(마이크로범프)로 이어요.

30초 이해

이게 뭔가요?GPU 바로 옆에 붙인, 디램 칩을 여러 층 쌓은 메모리예요. 이름은 HBM이고, 이 AI 칩에는 여덟 개가 붙어 있어요.

뭐가 어렵나요?GPU는 계산이 아주 빠른데 데이터가 그 속도를 못 따라와요. 그리고 칩을 쌓으면 층끼리 어떻게 이을지가 또 문제가 돼요.

어떻게 푸나요?메모리를 칩 바로 옆에 붙이고, 데이터 통로를 1,024개로 늘렸어요. 층 사이는 TSV와 마이크로범프로 이어요.

장면으로 따라가기

옆으로 넘겨 보세요 → (9장면)

1칩 속에 숨은 탑 여덟 개

엔비디아 AI 칩 하나에 작은 탑 여덟 개가 숨어 있어요.

2계산은 빠른데 데이터가 느리다

가운데 GPU는 계산이 아주 빨라요. 그런데 데이터가 그 속도를 못 따라와요.

3메모리를 바로 옆에 붙인다

그래서 메모리를 칩 바로 옆에 붙였어요. 이 탑이 바로 HBM이에요.

48층으로 쌓고 통로는 1,024개

디램 칩을 8층으로 쌓고, 데이터 통로를 1,024개로 늘렸어요. 가깝기만 한 게 아니라 길도 넓어진 거예요.

51초에 1.2TB 넘게

그 덕분에 스택 하나가 1초에 1.2TB가 넘는 데이터를 보내요.

68장을 쌓아도 1mm 미만

칩 한 장이 종이보다 얇아서, 8장을 쌓아도 높이가 1mm가 안 돼요.

7쌓은 칩끼리 어떻게 이을까

쌓는 건 해결했는데 새 문제가 생겨요. 층층이 쌓은 칩을 서로 어떻게 연결할까요?

8칩에 구멍을 뚫는다, TSV

실리콘을 위아래로 관통하는 금속 기둥을 만들어요. 이게 TSV예요.

9칩과 칩 사이는 마이크로범프

칩과 칩 사이는 마이크로범프라는 작은 돌기가 이어 붙여요. 영상 속 TSV와 범프의 크기는 원리를 보여주는 그림이에요.

비유로 이해하기

💡 좁은 길 한 개 vs 넓은 고속도로로 생각해 보세요

창고가 아무리 가까워도 길이 좁으면 물건이 한꺼번에 못 나와요. HBM은 창고(메모리)를 바로 옆에 두고, 길도 1,024차선으로 넓힌 셈이에요.

창고를 옆으로 넓게 짓는 대신 위로 8층 쌓았어요. 층마다 엘리베이터(TSV)가 뚫려 있어서 위아래로 짐이 오가요.

층과 층 사이를 붙이는 작은 돌기가 마이크로범프예요. 그래서 여덟 장을 쌓아도 높이는 1mm가 안 돼요.

숫자로 보기

8개AI 칩 하나에 붙어 있는 HBM 탑의 수

8층탑 하나에 쌓은 디램 칩의 층수

1,024개스택 하나의 데이터 통로 수

1.2TB/s 넘게스택 하나가 1초에 보내는 데이터 양

산업에서 왜 중요한가

AI는 계산만 빠르다고 빨라지지 않아요. 데이터를 얼마나 빨리 대 주느냐가 속도를 좌우해서, GPU 옆에 HBM을 붙이는 구성이 AI 칩의 기본이 됐어요.
쌓는 층이 늘수록 TSV와 마이크로범프로 이어야 할 곳이 많아져요. 그래서 칩을 쌓고 붙이는 후공정 기술이 더 중요해지고 있어요.

누가 만드나

세계 큰손 (해외)

Micron (미국)HBM3E 메모리를 만드는 회사. 8층(24GB)과 12층(36GB) 제품이 있어요

TSMC (대만)GPU와 HBM을 한 패키지에 묶는 CoWoS 패키징을 맡는 회사

국내

SK hynixHBM3E를 만들고, 층 사이를 채우는 MR-MUF 방식을 쓰는 회사

한미반도체HBM처럼 칩을 쌓아 붙이는 TC본더·하이브리드 본더 장비를 만드는 회사

해외 회사는 업계에 널리 알려진 대표 업체만 골랐고, 국내 회사는 참고 자료에 이 주제와 관련해 나온 곳만 적었습니다. 회사 소개일 뿐 투자 추천이 아닙니다.

더 깊이 — 원문 요약·용어 정리·출처

같은 산업(반도체) 다른 편