HBM, GPU...너넨 하는 일이 뭐니?
인공지능(AI)은 사실 이전부터 광범위하게 활용되어온 용어입니다. 사실 '갖다붙이기 나름'인 측면도 있어서, 요즘은 웬만한 가전·디지털 기기에는 다 'AI 기능'이 탑재됐다는 식으로 소개되기도 하죠. 일종의 마케팅 용어로 다소 남용되기도 하는 게 현실입니다.
따라서 지금은 AI의 범위를 흔히 아는 '챗GPT', 그리고 '딥시크'와 같은 대규모언어모델(Large Language Model, LLM)로 좁혀보겠습니다.('생성형 AI', '대화형 AI'라는 표현도 대규모언어모델과 동일한 뜻을 담고 있습니다.)
여러분은 '대규모언어모델'이라는 단어에 어떤 인상을 가지시나요? 뭔가 ▲굉장히 많은 언어 데이터를 저장하고 있을 것 같고 ▲한번에 많은 것을 계산하는 복잡한 프로그램 같은 것을 연상하신다면, 네 맞습니다. 그게 정답입니다.
대규모언어모델, 즉 생성형 AI는 ①한번에 많은 데이터를 동시에 계산하고, 그 과정에서 ②매우 많은 데이터(패러미터)를 다룬다는 점이 특징입니다. 그리고 이 두가지 특징은 바로 주요 'AI 칩'으로 꼽히는 그래픽처리장치(GPU), 그리고 그 안에 들어가는 고대역폭메모리(HBM)의 특징과 직접적으로 연결됩니다.
방금 생성형 AI는 특징 중 하나를 ①한번에 많은 데이터를 동시에 계산한다고 했죠? 조금 더 구체적으로 말하면, 단순하고 쉬운 계산을 동시에, 아주 많이 필요로 합니다. 그리고 그걸 가장 잘 하는 장치가 현재까지는 바로 그래픽처리장치(GPU)였던 거예요.
물론 GPU는 이름처럼 게임 등에서 계산된 그래픽 화면을 모니터로 표시해주는 역할을 합니다. 여러분은 모니터 해상도에서 1920x1080등의 표기를 흔히 보셨을 텐데요. 이건 모니터 안에 탑재되어 빛을 발하는 점, 그러니까 '픽셀(pixel)'의 개수를 의미하죠. 이 점의 갯수가 많으면 더 높은 해상도로 화면을 볼 수 있는 거고요.
GPU는 바로 이 각각의 픽셀(빛나는 점)이 언제, 어떤 색의 빛을 나타내야 할지 계산하는 장치입니다. 1920x1080 해상도면......픽셀의 갯수는 대략 20만 7천 개군요. GPU는 이 20만 7천개의 점이 각각 어떤 빛을 나타내야 할지, 매 순간 실시간으로 계산해서 여러분의 눈 앞에 보여주고 있는 겁니다. 이 뉴스레터를 보고 있는 여러분의 스마트폰·PC의 GPU가 그 역할을 담당하고 있죠. 해상도가 높다면 이 점의 갯수가 더욱 많아지니, GPU의 성능이 더 좋아야 할 테고요.
즉 GPU는 태생적으로 20만 개 이상의 비교적 단순한 계산을, 동시에·많이 할 수 있는 장치입니다. 아까 생성형 AI의 특징이 뭐라고 했죠? 아하, ①한번에 많은 데이터를 동시에 계산한다 고 했군요.
벌써, 우리는 '왜 AI에 그래픽처리장치(GPU)가 필요한지'에 대한 대답을 얻었습니다. ①한번에 많은 데이터를 동시에 계산하는 장치가 필요한데, 이걸 가장 잘 하는 게 현재까지 GPU였던 거예요.
그럼 아까 생성형 AI의 특징 중 하나로 ②매우 많은 데이터(패러미터)를 다룬다고 했는데, 이건 아마 고대역폭메모리(HBM)이 필요한 이유와 이어지지 않을까요? 바로 그렇습니다.
고대역폭메모리란, 조금 쉽게 말하면 말 그대로, 용량이 많은(대역폭이 높은) 메모리입니다. 메모리(Memory)는 그 영어 단어처럼 '기억장치'를 뜻하는데요. 이를테면 여러분이 수학 문제를 풀 때, 기억력이 좋으면 암산이 편할 겁니다. 왜냐하면 이전에 계산하던 숫자를 잊어버려서, 적어놓은 숫자를 다시 확인하는 일이 적어질 테니까요.
그리고 컴퓨터 장치가 메모리에서 하는 역할이 바로 이 머릿속 '암산 기억력'에 해당합니다. 우리의 기억력이 좋으면 암산이 훨씬 수월해지는 것과 똑같은 원리로, 메모리가 ②대량의 데이터(패러미터)를 기억하고 있어야, GPU가 ①한번에 많은 데이터를 동시에 계산 하는 데 편한 거죠.
그런데, 이걸 수월하게 수행하려면 '기억장치(메모리)'의 저장 공간이 많을 수록 좋겠군요? 특히 대규모언어모델(LLM)처럼, 아주아주 많은 데이터를 다룬다면요. 네. 저장 공간의 용량이 많은 메모리, 다시 말해 고대역폭메모리(HBM)가 필요한 이유가 이거예요. 사람이 암산을 할 때, 머릿속의 '작업대'가 넓으면 넓을 수록 좋은 것처럼. 그래픽처리장치(GPU)가 대규모의 언어 데이터를 처리할 때는, 고용량의 기억장치(HBM)가 있으면 유리한 겁니다.
HBM의 특징은, '고대역폭메모리'라는 이름처럼 ②대량의 데이터(패러미터)를 기억하는데 유리하다는 점입니다. 구조적으로는 작은 메모리 칩을 수직으로 쌓아올리는 방식을 통해 용량을 높였기 때문에, 작은 크기에 높은 용량을 구현할 수 있지만, 칩 각각이 모두 고장이 없어야 전체가 고장이 없는 구조라서 수율 문제가 높고 기술적 난이도가...... 네, 그렇습니다. SK하이닉스가 어째서 승승장구하고 있느냐면, 기술적 난이도가 높은 일을 잘 해내고 있기 때문입니다.
여태까지의 내용을 한번 정리해보겠습니다.
대규모언어모델(LLM)은 그 단어에 대한 인상처럼 ▲굉장히 많은 언어 데이터를 다루고 ▲한번에 많은 것을 계산하는 복잡한 프로그램입니다. ②굉장히 많은 데이터를 다룬다는 점에선 고대역폭메모리(HBM)가, ①한번에 많은 것을 계산한다는 점에선 그래픽처리장치(GPU)가 유리합니다.
다만 언제까지 대규모언어모델(LLM)이 더 많은 데이터 처리(HBM 역할)를 요구할지, 그래픽처리장치(GPU)가 'AI에 가장 적합한 칩' 지위를 언제까지 유지할 수 있을지에 대해서는 논쟁의 여지가 있습니다.
| 
