챗 GPT가 불러오는 반도체 시장 상승기류(2)

지난 포스팅에 이어서 챗 GPT의 등장이 반도체 시장에 미치는 영향에 대하여 알아보겠습니다. 메모리 반도체의 두 근간인 DRAM과 NAND에 대하여 간략히 알아보고, 챗 GPT와 같은 AI 챗봇의 등장이 DRAM NAND 시장을 어떻게 변화시킬지에 대해 알아보겠습니다. 기술과 관련된 이야기가 많이 나올 예정입니다. 어려울 수 도 있지만 이 정도 내용은 알고 계셔야  현재 격변하고 있는 메모리 반도체 시장에 대하여 이해할 수 있으니 끝까지 읽어봐 주시기를 바랍니다. 

 

 

AI 챗봇과 반도체 시장

이미 앞선 포스팅에서 챗 GPT와 같은 AI 챗봇이 반도체 시장에 어떤 의미를 가지는지 알아보았습니다. AI 챗봇의 등장은 AI 시장을 본격적으로 수면 위로 드러내는 역할을 했으며, 이 때문에 데이터 처리량과 데이터 저장용량의 증가가 뒤따를 것이기 때문에 메모리 반도체 시장이 최근의 불황을 벗어날 수 있는 기회를 맞이했다고 볼 수 있습니다. 자세한 내용은 아래 포스팅 확인 바랍니다.

 

챗 GPT가 불러오는 반도체 시장의 상승 기류 (1)

챗 GPT가 불러오는 반도체 시장의 상승 기류 (1)

 

AI 챗봇과 DRAM, NAND

그렇다면 AI 챗봇은 한국 메모리 반도체의 주요 생산 품목인 DRAM과 NAND에 어떤 영향을 주는지 알아보도록 하겠습니다. 이를 이해하기 위해서는 DRAM과 NAND에 대하여 간략한 이해가 필요합니다. DRAM은 속도가 굉장히 빠른 메모리입니다. 하지만 전기가 공급되지 않으면 기억력을 상실한다는 특징이 있습니다. NAND는 속도가 느립니다. 하지만 DRAM과 다르게 한번 기억을 하면 절대로 잊어먹지 않습니다. 그렇기 때문에 DRAM은 컴퓨터가 데이터들을 계산하고 처리하는 동안에 사용하는 값들을 임시로 기억하는 데 활용합니다. NAND는 처리가 다 끝난 데이터들을 저장해 주는 역할을 합니다. 쉽게 말해서 인간이 수학을 공부하는 과정에 비교해 보자면 컴퓨터의 CPU를 뇌, DRAM은 책상 위에 있는 연습장, NAND는 책장이라고 할 수 있습니다. CPU가 계산을 하면 DRAM은 임시로 연습장에 계산 과정을 적어가면서 풀이를 합니다. 빠르게 빠르게 적어가면서 계산을 합니다. 연습장에 적은 내용은 다시 볼 필요는 없으므로 버리게 됩니다. 그러고 나서 공부를 마친 뒤 정답을 다 적은 문제지와 오답과정등 앞으로 나중에 봐야 할 내용은 NAND가 적어서 책장에 보관합니다. 그리고 CPU는 NAND에 저장된 내용을 필요할 때마다 꺼내서 확인해 봅니다. 이처럼 DRAM은 연습장과 같이 임시로 데이터를 보관하고 날려버린다는 점에서 휘발성 메모리라고 하고, NAND는 영원히 데이터를 보관한다는 점에서 비휘발성 메모리라고 합니다. 그렇다면 이제 이 휘발성, 비휘발성 메모리와 AI 챗봇의 관계에 대해 알아봅시다. 

 

AI 챗봇과 DRAM

AI 챗봇이 등장하면서 처리해야 할 데이터의 양이 엄청나게 증가하며 데이터를 처리하는 속도도 지금보다는 훨씬 빨라져야 합니다. AI 챗봇 알고리즘은 인간과 컴퓨터가 자연언어로 소통하는데 필요한 데이터들을 수집해 오고 이를 조합하여 인간에게 필요한 대답을 만들어야 합니다. 인간이 던지는 질문들은 단순하지 않습니다. 지금까지 뉴스에 나오는 내용들만 봐도 심오한 질문들이 많이 나오는데요, 인류의 운명이 어떻게 될 거라고 보는지, AI는 지구를 정복할 계획이 있는지 없는지 등 철학적이고 심오한 질문들도 AI에게 많이 물어보고 있습니다. 이런 심오한 질문에 대해 AI가 인간처럼 대답하려면 파편적인 데이터를 취합해서는 할 수 없습니다. 어마어마한 양의 데이터들을 모아서 학습하고 여기서 인간이 생각하는 것처럼 데이터를 처리해서 인간의 언어로 이를 바꿔서 말해줘야 합니다. 여기엔 어마어마한 양의 연산이 들어가게 됩니다. 연산의 양이 늘어난다는 것은 필요한 DRAM의 양이 많아진다는 것을 의미합니다. 또한, 챗 GPT와 같은 AI 알고리즘 사용자는 날이 갈 수 록 점점 늘어날 것이므로 DRAM 수요도 점점 더 늘어날 것으로 볼 수 있습니다. 

 

뿐만 아니라 AI 챗봇의 등장은 더욱 진일보한 DRAM 연구 개발까지도 요구합니다. 챗 GPT를 실제로 써본 분들은 느끼셨겠지만 아직 챗 GPT는 인간처럼 빠릿빠릿하게 대답해주지는 못합니다. 대답하는데 지연시간이 존재합니다. 아직까지는 챗 GPT가 너무 신기해서 이 정도 시간은 기다려 줄 수 있겠지만, 앞으로는 어떨까요? 아마 답답하게 느껴질 것입니다. 예전에 3G 통신망을 사용할 때와 지금의 5G 통신망을 비교해 보시면 이해가 되실 텐데요, 지금 시점에서 3G통신망으로 데이터를 받아보려면 너무 느려서 답답합니다. 챗 GPT가 대답하는 게 느려진다면, 아마 사용하지 않게 될 것입니다. 챗 GPT 사용자가 더 많아진다면 더 답답해질 것입니다. 왜냐하면 챗 GPT는 서버에 있는 컴퓨터들의 데이터 처리량에 의존하기 때문입니다. 사용자가 많아지면 동시에 질문하는 사용자들이 많아질 텐데 그렇다면 한 번에 다 대답해 주기는 어렵게 될 것이고, 이는 결국 대답하는 속도로 이어지게 됩니다. 결국 AI 챗봇들이 원활하게 동작하려면 DRAM의 데이터 처리 속도가 더 빨라져야 합니다. 데이터 처리 속도가 빨라지기 위해서는 두 가지 방법이 있습니다. 첫 번째는 데이터가 이동하는 길이 넓어져 처리 속도가 빨라지는 것, 두 번째는 데이터 이동경로 자체가 짧아지는 것입니다. 

 

 

첫 번째로 필요한 기술은 HBM, high bandwidth memory입니다. 데이터가 지나다니는 길을 넓혀서 빠르게 데이터가 왔다 갔다 할 수 있도록 만드는 것입니다. 현재의 DRAM이 왕복 1차선 도로라면 HBM을 적용하면 왕복 8차선 도로가 된다고 생각하시면 됩니다. 즉 DRAM 칩을 여러 개를 적층 하여 마치 데이터가 지나가는 길이 넓어진 것과 같은 효과를 만들어 준 것이 바로 HBM입니다. 데이터가 고속도로를 지나갈 때 길이 8배가 넓어졌으니 길이 덜 막히므로 처리 속도 자체가 빨라지게 됩니다. 

 

두 번째로 필요한 기술은 PIM, processor in memory입니다. processor란 컴퓨터의 두뇌, 즉 CPU를 말합니다. 이 CPU를 메모리 위에 얹어버린다는 것이지요. 기존에는 CPU가 있고 메모리가 따로 있어서 CPU와 메모리사이의 데이터가 전선을 통해 이동해야 해서 시간이 오래 걸렸다면, PIM 기술을 적용하면 Memory와 CPU가 붙어있기 때문에 물리적인 거리가 짧아지는 것입니다. 예를 들면 지금은 서울에서 대전까지 135km이지만 이걸 13.5km로 붙여버리는 것입니다. 물리적으로 거리가 1/10이 되었으니 시간도 1/10으로 줄어들게 될 것입니다. 

 

HBM과 PIM 기술은 이미 개발되어서 시장에 선보인 바 있습니다. 삼성전자에서는 2021년 HBM과 PIM이 결합된 HBM-PIM을 발표한 바 있으며, 2023년에는 HBM3-PIM을 선보였습니다. HBM과 PIM이 지속적으로 개발되는 것은 결국 메모리가 AI시대에 대응하기 위한 노력을 보여줍니다. SK 하이닉스 역시 마찬가지로 GDDR6-AiM이라는 이름으로 PIM을 2021년 6월 선보인 바 있습니다. 

 

AI의 등장은 현재의 CPU-DRAM-NAND로 이어지는 폰노이만 구조에서 벗어나 새로운 컴퓨팅 구조의 등장을 촉발시키고 있습니다. 이미 PIM을 통해서 Processor와 Memory가 점점 붙어가는 모양새로 기술개발이 이루어지고 있다는 것을 알 수 있습니다. 앞으로는 PIM을 넘어서서 메모리셀 자체가 연산능력을 가지는 메모리로 개발될 것입니다. 이미 유수의 연구자들이 이와 같은 형태의 메모리에 대하여 연구하고 있고 관련된 논문들이 쏟아져 나오고 있습니다.

 

 

AI 챗봇과 NAND 

NAND는 전기 공급 없이도 데이터 저장이 가능한 메모리입니다. 메모리를 잘 모르는 분들이 메모리 하면 떠올리는 장치입니다. SSD나 USB와 같은 저장 장치들이 NAND를 사용하여 만들어집니다. SSD를 구매할 때 가장 먼저 따지게 되는 것이 용량입니다. 1 Tb니 512 Gb 하는 것들이 SSD의 용량을 의미합니다. 스마트 폰을 구매할 때도 용량을 따지게 되는데 이 역시 스마트폰 안에 들어가는 NAND의 용량을 말합니다. 이처럼 NAND는 데이터를 저장하는 용량이 매우 중요한 메모리입니다.

 

AI 챗봇은 계속해서 데이터를 생산해 내게 됩니다. 인간이 만들어내는 데이터보다 더 많은 양의 데이터를 폭발적으로 만들어 낼 것입니다. 데이터베이스를 서버에 구축해 놓고 학습해 둔 AI 챗봇이 사용자의 질문에 대답해 가는 과정에서 새로운 데이터를 만들어 가고 이를 학습해 가는 과정을 거치며 발전해 갈 텐데, 이 과정에서 생산되는 데이터를 저장하기 위해서 필요한 것이 바로 NAND입니다. 

 

 

AI 시장에 대응하기 위한 NAND 기술은 어떤 것이 있을까요, NAND는 용량을 효과적으로 늘리기 위한 방향으로 발전해 나가고 있습니다. 우선은 우리가 인터넷 기사로 가장 쉽게 접할 수 있는 층수 증가입니다. NAND는 동일한 면적에 얼마나 많은 양의 메모리 셀을 넣을 수 있는지가 데이터 용량을 결정하는 가장 중요한 요소입니다. 그래서 뉴스를 보다 보면 삼성전자가 236층 NAND를 개발하고 있다거나 마이크론이 232층의 NAND를 개발했다는 기사들이 나오는 것입니다. 

 

층수 증가와 더불어 NAND에 중요한 것은 하나의 메모리 셀에 여러 개의 얼마나 많은 데이터를 저장할 수 있는가입니다. 우리가 SSD를 구매할 때 볼 수 있는 SLC, MLC, TLC와 같은 표현이 하나의 메모리 셀에 들어가는 데이터 수를 의미합니다. SLC의 S는 single, MLC의 M은 Multi, TLC의 T는 triple을 의미합니다. 그리고 뒤에 붙는 LC는 level cell을 의미합니다. 즉,  SLC는 셀 하나당 하나(single)의 bit을 저장할 수 있고, MLC는 2개(multi)의 bit을, TLC는 3개(Triple)의 bit을 저장할 수 있습니다. 제가 이 글을 쓰고 있는 2023년에는 TLC까지만 양산되고 있지만 2024년부터는 TLC를 넘어 QLC가 개발되어 하나의 메모리 셀당 4개의 bit이 저장되는 NAND가 개발될 예정입니다. 같은 층수의 NAND를 사용하더라도 QLC는 SLC 보다 4배 큰 용량을 가질 수 있는 것입니다. 따라서 NAND를 만드는 회사들은 층수를 높이는 것과 동시에 하나의 셀에 넣을 수 있는 데이터 숫자를 늘리기 위한 노력을 계속해 오고 있습니다.

 

 

AI 시장에 있어서 DRAM과 NAND를 비교해 보자면, DRAM은 AI를 쾌적하게 사용할 수 있도록 하는 역할이라면 NAND는 앞으로 AI가 발전하기 위해 필요한 데이터들을 저장해 두는 역할을 합니다. 즉 챗 GPT로 대표되는 AI 챗봇의 등장은 DRAM과 NAND 시장을 모두 폭발적으로 성장할 것이라고 예측할 수 있습니다. 

 

여기까지 챗 GPT부터 시작하여 메모리 반도체 시장이 어떻게 변화할 것인지에 대해 알아보았으며, 메모리 반도체의 핵심인 DRAM과 NAND가 AI 산업의 본격적인 등장에 대응하여 어떻게 발전해나가고 있는지에 대하여 알아보았습니다. 더 나아가 AI의 등장은 메모리와 연산장치가 하나로 합쳐지도록 하며 전통적인 컴퓨터의 데이터 처리 구조인 '폰 노이만' 구조를 해체하고 있다는 것 까지도 알아보았습니다. 이는 메모리 반도체 회사들 간의 기술력 싸움이 다시 시작되고 있다는 것을 의미합니다. 기술력에서 뒤처지는 회사는 시장에서 완전히 도태될 수 도 있습니다. 이는 AI 챗봇의 등장으로 메모리 반도체 시장에 순풍이 불어온 것에도 불구하고 마냥 주가가 오를 것이라고 낙관론을 펼치기는 어렵다는 것을 말합니다. 메모리 반도체 회사인 삼성전자와 SK 하이닉스는 국내 주식시장을 대표하는 회사들이지만 늘 위기론에 휩싸이는 회사이기도 합니다.  지금은 AI의 본격적인 등장과 함께 격변하는 메모리 반도체 시장에 대하여 관심을 가지고 지켜봐야 할 때가 아닌가 합니다.