AI 시대의 반도체, HBM

반도체에 관심 있다면 최근 많이 들어봤을 말. HBM. High bandwidth memory. 고대역폭 메모리. 이 녀석 덕분에 삼성전자와 SK하이닉스가 불황을 탈출할 거라는 말도 나온다. HBM은 AI 컴퓨팅이라는 새로운 시장에 적합한 메모리이기 때문이다. 

 

 

HBM이란 무엇인가

High Bandwidth Memory, HBM이 뭔지에 대해 간단히 짚고 넘어가 보자. HBM은 기존의 메모리인 DRAM을 여러층으로 적층하고 이걸 한방에 구멍을 빵빵 뚫어서 전기신호가 이동할 수 있는 통로를 만들어 준 녀석이다. 수직 적층을 했다는 것에는 두 가지 의미가 있다. 첫째는 용량이 늘어난다는 것이다. 마치 전원주택단지보다 아파트에 사람이 더 밀집해서 사는 것과 같은 원리다. 두 번째는 전기신호의 이동거리가 짧아진다. 예를 들면 다섯 집 건너사는 철수네 놀러 간다고 했을 때 전원주택 단지는 5개의 필지를 건너가야 철수네 갈 수 있지만 아파트에서는 5층만 내려가면 된다. 사실 이건 반도체 업계에서 새로운 개념은 아니다. 이미 비휘발성 스토리지 시장인 NAND에서는 2D에서 3D로 성공적인 전환을 해낸 바 있다.

 

물론 2D NAND에서 3D NAND로의 전환과 DRAM에서 HBM으로 전환은 전혀 다른 의미를 가진다. NAND의 경우에는 처음부터 하나의 웨이퍼 기판 위에서 3D로 제조가 된다. 하지만 HBM의 경우에는 여러개의 웨이퍼 위에 제조된 칩을 하나로 묶는 패키징 공정이다. 따라서 제조단가 측면에서 상당한 차이가 있다. 진정한 의미의 3D DRAM은 SK하이닉스, 마이크론 등 메모리 회사에서 열심히 개발하고 있다고 하니 앞으로를 기대해 봐야 하겠다. 

 

https://www.thelec.kr/news/articleView.html?idxno=21522 

"3D D램 개발방향, 비트라인 수직으로 세우는 형태로 진행 중" - 전자부품 전문 미디어 디일렉

 

 

HBM을 가능하게 한 핵심 기술 TSV

 

 

여튼 이야기가 잠깐 샜는데 다시 HBM으로 돌아와 보자. HBM을 가능하게 한 기술은 여러 가지가 있지만 가장 핵심적인 것은 TSV다. Through silicon via. 풀어보자면 실리콘 관통 전극이다. 여러 층으로 적층 되어 있는 DRAM 칩들에 한방에 구멍을 뚫고 이를 관통해 내는 전기신호 이동 통로를 만들었다는 것이다. 쉽게 말하면 적층 된 DRAM 층간 엘리베이터를 만들었다고 보면 된다.

 

TSV가 적용되지 않았던 기존의 칩들은 와이어 본딩 방식을 사용했다. 와이어 본딩이란 전선을 이용해서 칩과 칩을 이었다는 것이다. 따라서 전선이 연결되는 공간이 따로 필요했다. 그것도 연결되는 지역마다 다 공간을 차지한다. TSV를 적용하면 그럴 필요가 없다. 엘레베이터가 건물 밖으로 연결된 걸 본 적이 있나? 엘리베이터는 건물 안에 있다. 엘리베이터실 한 개 정도의 공간만 있다면 건물 내의 모든 층을 연결할 수 있다. TSV도 마찬가지다. 기존의 와이어본딩 방식에 비하여 공간을 엄청나게 적게 차지한다. 게다가 층과 층사이를 직접 이동하게 되기 때문에 신호의 이동속도도 엄청나게 빨라진다. 

 

자, 이정도 봤으면 AI 컴퓨팅 시대에 HBM이 왜 중요한지 이해할 수 있을 정도의 HBM 관련 지식은 생겼다고 볼 수 있다. 더 자세한 내용에 대해 알고 싶다면,  아래 글을 참고해 보자. SK 하이닉스에서 직접 TSV기술을 홍보하기 위해 만든 자료이다. 

 

https://news.skhynix.co.kr/post/seominsuk-column-types-of-packages-2

[반도체 후공정 4편] 반도체 패키지의 종류 (4/11)

 

AI 컴퓨팅과 HBM

AI 컴퓨팅은 두 가지로 나눌 수 있다. 바로 학습과 추론. 학습은 말그대로 컴퓨터가 배우는 것이다. 고양이 사진을 보고 이것은 고양이야 라로 컴퓨터가 인식하게 되는 것이 바로 학습이다. 추론은 학습한 내용을 바탕으로 컴퓨터가 대답하는 것이다. 고양이에 대해 학습한 컴퓨터에게 호랑이 사진을 보여주고 이게 뭐니라고 질문을 했을 때 고양이라고 말할지 고양이가 아니라고 대답할지 확인해 보는 게 추론이다. 제대로 학습된 컴퓨터라면 고양이가 아니라고 말할 것이고, 아직 덜 학습했다면 고양이라고 대답할 것이다.

 

AI 컴퓨팅에서 학습은 단순한 곱하기와 더하기로 이루어진 아주 간단한 연산이다. AI는 이러한 단순한 곱셈과 덧셈의 반복연산을 수 없이 많이 반복하면서 데이터를 학습하고, 그 결과를 Weight라는 값들로 받아낸다. 그리고 이 weight들을 잘 저장해 두고 사용자가 대답을 요구할 때마다 추론하는데 사용한다. 즉, AI를 하는 회사들은 자기들의 AI 알고리즘을 활용해서 Weight들을 만들어두고, 이 weight들을 저장해 둔 칩을 자신들의 회사 제품에 탑재해서 판매한다. 

 

이 AI 학습에 가장 적합한 연산 소자는 현재까지는 GPU다. 물론 GPU의 G는 graphic을 의미하지만, 현재 GPU는 그래픽 보다는 AI 연산분야에서 더 핫하게 주목받고 있다. 미분 적분을 하고 복잡한 연산을 하는 데는 CPU를 활용하는 게 적합하지만, 단순무식하게 곱셈과 덧셈을 빠르게 반복하는 데는 GPU가 더 유리하다. 물론 CPU로도 AI 학습을 하는 것은 가능하지만 용도가 적합하지 않다는 것을 말하는 것이다. AI 학습에 CPU를 활용한다는 것은 마치 카톡만 하려고 스마트폰을 사는데 최신형 아이폰을 사는 것과 마찬가지다. 쓸데없이 오버스펙이라는 말이다. 

 

여기까지 읽었다면 AI 학습에 적합한 메모리 소자의 두 가지 특성을 확인할 수 있다. 첫째는 엄청난 횟수의 단순 반복 연산, 두 번째는 빠르게. 이제 생각 나지 않는가? HBM의 특징. 용량이 크다. 빠르다. 

 

AI와 HBM 시장

 

 

 

 

 

 

HBM은 현재 삼성전자와 SK하이닉스가 전체 시장의 90%이상을 차지하고 있다. 시장조사 업체인 트렌드포스에 따르면 SK하이닉스 50% 삼성전자 40%다. DRAM 시장 점유율이 두 회사 합쳐서 23년 1분기 기준 67.1%인데도 우리는 전 세계 DRAM 시장을 한국에서 독식하고 있다고 말할 정도인데, HBM 시장은 한국 밖에 없다고 봐도 무방할 수준이다.

 

AI 산업은 이제 시작인 산업이다. 거기에 4차산업혁명이라는 말을 붙일 정도로 그 파급력과 시장 성장세는 어마어마할 것으로 보인다. Chat GPT, Google Bard 등 굴지의 회사들이 AI를 사용한 서비스들을 내어놓고 있는 것만 봐도 그렇다. 거기에 Meta, 아마존, Tesla 등 이름만 대면 알만한 회사들도 조금만 검색해 보면 나오는 말은 다 AI 다. AI 빠지면 기술 회사라고 말하기 어려운 것처럼 보일 정도다. HBM은 AI의 성장과 궤를 같이할 수밖에 없다. 삼성전자나, SK 하이닉스 입장에서 바라봤을 때는 2017년경 클라우드 서버 시장이 급성장하면서 퀀텀 점프를 이뤄낸 것과 같은 폭발적인 신 시장이 떡 하니 다가오고 있는 것과 같은 양상이다. 

 

물론 HBM 하나만 믿고 있다가는 AI용 메모리 시장에서 뒤쳐질 수 있다. 앞서 잠시 언급하였지만 DRAM 적층 시장에서 game 체인저가 될 수 도 있을 3D DRAM 기술도 있기 때문이다. 

 

 

반도체 투자자라면 알아야 할 지표 : DXI 지수

반도체 투자자라면 알아야 할 지표 : DXI 지수

 

AI 반도체 개발 경쟁 구도

AI 반도체 개발 경쟁 구도

 

인도의 반도체 생산 진출기

인도의 반도체 생산 진출기