그동안 고성능 생성형 AI 모델을 개인 기기에서 실행하는 일은 불가능에 가까웠습니다. '온디바이스 AI'로 선전되는 기능은 사용자들의 호기심을 충족시켜 주기는 하지만, 실생활에 전문적인 용도로 쓰이기에는 어려운 성능을 가진 경우가 대부분이었죠.

최근에는 이런 상황이 점차 변화를 맞고 있는데요. 챗GPT와 경쟁할 수 있는 수준의 오픈소스 AI 모델 '딥시크 R1'이 등장하고, 이 모델을 개인 사용자들이 직접 소유한 기기에서 구동할 수 있는 길이 열렸기 때문입니다.

그 과정에서 특히 주목받는 'AI 칩'이 있는데요. 그래픽처리장치(GPU)와 중앙처리장치(CPU)가 통합된 'APU'가 주인공입니다. 아이패드·맥북에 탑재되는 애플 'M 시리즈', 그리고 노트북용으로 생산되는 AMD '라이젠 AI Max' 시리즈가 이에 해당합니다.

하드웨어에 관심이 많은 분들은 '온디바이스 AI'라는 선전 문구를 흔히 들어보셨을 겁니다. 흔히 온라인 서비스가 아닌, 내가 가진 기기로 생성형 AI를 직접 구동할 수 있다는 의미로 사용됩니다. 하지만 직접 '온디바이스 AI'를 지원한다는 기기를 사용해 본 분들은 해당 기능에 썩 만족스럽지 않았을 겁니다. 해당 기기가 지원하는 대부분의 기능은 클라우드 서비스로 제공되는 '챗GPT' 등에 비해서 성능이 크게 떨어지기 때문입니다.

사실 내막을 뜯어보면 원인은 단순합니다. '딥시크 쇼크'로 잘 알려진 중국 오픈소스 AI 추론 모델, '딥시크 R1' 원본 모델의 경우 6,710억개의 패러미터를 가지고 있고, 이를 실행하기 위해서는 404GB 수준의 메모리(RAM)가 필요한 것으로 알려져 있습니다. 이게 어느정도인지 감이 안 오신다면, 엔비디아가 출시한 약 500만원 상당의 데스크톱 그래픽카드, '지포스 RTX 5090'이 32GB 용량의 메모리를 탑재하고 있습니다. 즉 'RTX 5090' 10개를 묶어서 사용한다고 하더라도 '딥시크 R1' 원래 모델은 제대로 사용할 수 없다는 의미입니다.

물론 엔비디아 AI 전용칩의 경우 고대역폭메모리(HBM)을 탑재합니다. SK하이닉스가 납품하는 HBM3E 등의 제품이 이에 해당하고, 이를 탑재한 엔비디아 '블랙웰 B300' 칩은 288GB에 달하는 메모리 용량을 자랑하죠. 물론 가격은 최소 수천만 원을 호가합니다.

그렇다면 개인이 진정한 '온디바이스 AI'를 비교적 저렴하게 구동해볼 수는 없을까요?

딥시크는 '지식 증류' 기법을 통해 자사 AI에 사용되는 패러미터를 줄이고, 결과적으로 보다 적은 용량의 메모리로 양질의 생성형 AI를 구동할 수 있도록 했습니다. 증류 모델 중 가장 큰 모델인 '딥시크 R1 70b(4bit 양자화)' 모델은 원본의 1/10 수준인 700억개의 패러미터를 가졌고, 100GB 미만의 메모리(VRAM)으로 구동할 수 있습니다. 경량화됐는데도 6,710억 개 패러미터의 원본 모델 '딥시크 R1'과 유사한 성능을 보이죠.

그렇다면 이 '딥시크 R1 70b' 모델 정도는 일반 사용자 입장에서 구동해볼 수 있지 않을까요? 이 시점에서 유용한 게 바로 중앙처리장치(CPU)와 그래픽처리장치(GPU)가 통합된 칩, APU입니다. 애플이 아이패드·맥북에 탑재하는 'M' 시리즈 칩, 그리고 AMD가 출시하는 '라이젠 AI Max' 제품군이 대표적인 APU로 꼽을 수 있겠습니다.

APU에 초점을 맞춘 이유는, GPU에 상대적으로 저렴하게 메모리를 확장할 수 있기 때문입니다.  엔비디아 등 GPU에 탑재된 메모리는 제조사가 '넣어주는 대로' 쓸 수 밖에 없지만, APU와 사용되는 메모리는 사용자에게 선택권이 조금 더 폭넓게 주어집니다. 애플의 경우, M3 울트라 칩과 512GB 메모리(RAM) 탑재한 '맥 스튜디오'를 정확히 1,484만원(1TB 저장공간)에 판매하고 있죠. 물론 어마어마한 가격이지만, 'RTX 5090'에 탑재된 메모리가 32GB 용량임을 감안하면 상대적으로 '가성비가 높다'라고 이야기할 수 있는 겁니다. 개인이 원본 '딥시크 R1'을 구동하고 싶다면 '가장 합리적인' 선택지가 됩니다.

반면 '70b' 증류 모델의 경우, AMD의 노트북용 APU가 유의미한 선택지로 부상하게 됩니다. '라이젠 AI Max+ 395' APU의 경우 최대 128GB의 통합메모리를 지원하며, 이 중 96GB를 GPU 메모리로 할당할 수 있습니다. 실제로 해당 칩을 탑재한 노트북이 출시가격은 대략 500만원 대로 예상되는데, 이 칩으로 '딥시크 R1 70b' 모델을 구동할 수 있게 되는 겁니다.

그런데 얼마 전, AMD 리사 수 CEO는 중국 웨이보에 게시된 인터뷰에서 '라이젠 AI Max' 시리즈를 데스크톱 PC 버전으로도 출시할 것이라고 언급했습니다. 데스크톱 버전의 라이젠 AI Max 칩 시리즈가 등장한다면, 사용자가 자유롭게 DDR5 메모리를 직접 구매해 용량을 상승시킬 수 있죠.

이를테면 삼성전자 DDR5-5600 32GB 메모리는 현재 15~16만원 선에 거래되고 있는데요. 해당 메모리로 4개 구매해서 데스크톱용 APU에 장착한다면, 128GB의 통합 메모리를 갖추게 되어 70b로 증류한 딥시크 R1 모델을 구동할 수 있습니다. 즉 시스템 구성에 따라 300만원 대 이하의 PC 구성에서도 '온디바이스 AI'를 유의미한 성능으로 사용할 수 있게 되는 것입니다.

이제 막 '라이젠 AI Max' APU를 탑재한 노트북들이 하나 둘 등장하고 있고, 이에 따른 성능 테스트 자료도 쌓이고 있는데요. 생성형 AI를 제한 없이 개인 기기에서 구동하고 싶다면, 차세대 APU의 성능에 주목해 보는 것도 좋겠습니다. 단순 GPU 성능도 이제 외장형 그래픽카드를 바짝 쫒아온 상황이기 때문입니다.

마침 동료 기자분이 '라이젠 AI Max' 시리즈가 탑재된 노트북 리뷰를 진행했으니, APU의 성능이 어느정도인지 궁금하시다면 해당 기사를 살펴보시죠

최근 PC 게임을 즐기는 방법 중 하나로 '핸드헬드 게이밍 PC'가 떠오르고 있습니다. 그래픽카드를 비롯한 기존 PC 부품의 가격이 너무 비싼 반면, 핸드헬드 게이밍 PC의 경우 상대적으로 저렴한 가격에 휴대성도 챙겼기 때문입니다. 한편 이런 종류의 PC는 TV 등과 연결해 사용하는 경우도 많은데요. TV에 연결하기 위해 데스크톱을 옮기는 건 번거롭지만, '핸드헬드 PC'를 TV에 연결하는 건 비교적 간단하기 때문입니다. 다만 이런 제품에는 연결 단자가 제한적이므로 별도의 허브 역할을 하는 독을 같이 사용하곤 하는데요. 레이저(Razer)가 선보인 독(Dock) 제품, '레이저 핸드헬드 독 크로마'도 이 중 하나입니다. USB-C 연결을 통해 다양한 휴대용 게임기 및 태블릿과 호환되며, 4K 출력과 PD 충전, 크로마 RGB 조명을 지원합니다. '핸드헬드 PC'를 콘솔처럼 활용하고 싶은 사용자들에게 유용할 것 같네요.

CHERRY XTRFY PIXIU 75 BLACK은 다기능 노브와 LCD 디스플레이를 탑재해 포인트를 준 미니 키보드입니다. 트렌디한 디자인에 유선·무선·블루투스 등 다양한 연결 방식도 지원합니다. 저렴한 외국산 키보드의 경우 무선 기능이나 소프트웨어 분야에서 모자란 성능을 보여줄 수 있는데, 체리는 이 부분에서 믿음직하다 하겠습니다.

게임에 진심인 분들이라면 '지연시간'에 민감할 수밖에 없습니다. Wi-Fi 7은 이전 세대 대비 지연시간이 대폭 줄어든 것이 특징인데요. ASUS RT-BE92U는 최신 Wi-Fi 7 규격을 지원하는 고성능 공유기로, 빠른 무선 속도와 넓은 커버리지를 제공합니다. 최대 9700Mbps의 속도와 Smart AiMesh 기능, 다양한 보안 옵션까지 갖춰서 고화질 영상 스트리밍이나 온라인 게임 등 대역폭이 중요한 작업을 위주로 인터넷을 사용한다면 Wi-Fi 7 공유기를 골라보는 것도 좋겠습니다.

PC사랑 매거진을 1년 정기구독하면 삼성전자 SL-C513W 컬러 레이저 프린터를 22% 할인된 금액에 구매할 수 있는 이벤트를 진행합니다.

이벤트 기간 4월 1일부터 30일까지, 229,000원인 삼성전자 SL-C513W 컬러 레이저 프린터를 180,000원에 구매할 수 있습니다.(자세한 내용은 링크에서 확인하실 수 있습니다.)

벤큐가 비대칭 광학 모니터 조명 신제품 '스크린바 프로'를 출시했습니다. 어두운 곳에서 PC를 사용할 때, 시력 보호용 조명으로 유용해 보입니다.