LPU는 기존 GPU와 달리 AI 모델을 학습시키는 것이 아니라, 이미 학습된 모델을 실제 서비스에서 구동하는 ‘추론’ 작업에 특화된 구조입니다. 특히 실시간 응답이 중요한 생성형 AI 환경에서 요구되는 초저지연과 빠른 토큰 생성 속도에 초점을 맞췄습니다.
외신들은 이번 발표를 단순한 신제품 공개가 아니라, AI 산업 구조 변화의 신호로 해석하고 있습니다. 그동안 AI 경쟁이 대규모 모델을 얼마나 빠르게 학습시키느냐(학습)에서 실제 서비스에서 얼마나 빠르고 효율적으로 응답을 생성하느냐(추론)으로 이동하고 있다는 언급은 꽤 자주 들렸는데요. 엔비디아가 추론 칩을 공개하면서 이제 진짜 AI 시장의 무게추가 '추론'으로 기울고 있다는 거죠.
그렇다면 왜 엔비디아는 이제 와서야 추론 전용 칩을 내놓았을까요. 업계에서는 이를 ‘필요의 문제’로 해석합니다. 그동안 AI 시장의 병목은 학습에 있었고, 대규모 GPU 클러스터를 얼마나 빠르게 구축하느냐가 경쟁력을 좌우했습니다. 엔비디아 역시 이 지점에서 압도적인 지위를 확보하며 막대한 수요를 흡수해 왔습니다.
하지만 생성형 AI가 실제 서비스 단계로 확산되면서 상황이 달라졌습니다. 이제는 모델을 한 번 학습시키는 것보다, 수억 명의 사용자가 동시에 요청을 보낼 때 이를 얼마나 빠르고 저렴하게 처리하느냐가 더 중요한 문제가 됐습니다. 즉, ‘학습 중심 시장’이 ‘추론 중심 시장’으로 넘어가는 전환점에 도달한 셈입니다.
문제는 이 영역에서 엔비디아가 선도 사업자가 아니라는 점입니다. 구글 TPU, 아마존의 자체 AI 칩, 그리고 Groq와 같은 스타트업들이 이미 추론 최적화 구조를 앞세워 경쟁을 벌이고 있습니다.
그럼에도 불구하고 엔비디아의 참전은 시장의 판도를 바꾸는 변수로 작용할 가능성이 큽니다. GPU가 학습을, LPU가 추론을 담당하는 구조가 자리 잡을 경우, AI 인프라는 ‘학습용 + 추론용’으로 이원화되며 새로운 표준이 형성될 수 있기 때문입니다. 엔비디아가 자사 하드웨어에서만 구동되는 AI 생태계 'CUDA'를 꽉 잡고 있다는 점은 어마어마한 이점으로 작용합니다.
다만 이번 LPU의 의미를 두고는 엇갈린 시각도 존재합니다. 가장 큰 이유는 해당 기술이 엔비디아의 자체 설계가 아니라, 회사가 투자한 AI 반도체 스타트업 Groq(그록)의 기술을 기반으로 하고 있기 때문입니다. 외신들은 이를 두고 “엔비디아가 필요에 따라 외부 기술을 도입하며 추론 시장에 본격 진입한 것”이라고 해석했습니다.
시장 관점에서도 이번 발표는 ‘선도’보다는 ‘추격’에 가깝다는 평가가 나옵니다. AI 학습 분야에서는 엔비디아가 사실상 독점적 지위를 구축했지만, 추론 시장은 이미 구글 TPU, 아마존 자체 칩 등이 경쟁을 벌이고 있는 영역입니다. 이 때문에 일부에서는 “엔비디아가 추론 시장에서는 늦게 움직였다”는 분석도 제기됩니다.
그렇다고 해서 LPU가 GPU를 대체하는 구조로 이어질 가능성은 낮습니다. 오히려 두 칩은 역할을 분담하는 방향으로 진화하고 있습니다. GPU가 대규모 연산과 모델 계산을 담당하고, LPU가 실제 서비스 단계에서의 응답 생성 속도를 담당하는 식입니다. 이는 향후 AI 데이터센터 구조 자체가 ‘학습용 + 추론용’으로 이원화될 가능성을 시사합니다.
결국 이번 GTC의 핵심은 새로운 칩 하나가 아니라, 엔비디아의 전략 변화에 있습니다. GPU로 AI 시대를 연 엔비디아가 이제는 추론이라는 새로운 전장에 본격적으로 발을 들이면서, AI 반도체 경쟁은 한 단계 더 확장되는 국면에 들어선 것으로 보입니다.
