거창한 제목의 레터를 작성하게 됐습니다만, 사실 이번 레터는 AI에 관한 제 생각을 말씀드리기 위해 썼습니다.

맞습니다. "초인공지능은 설레발...AGI도 아직 멀었다"는 제 의견입니다.

최근 AI 관련 단어 중 기자의 눈을 잡아끈 단어가 있습니다. 바로 ASI(Artificial Super Intelligence, 초인공지능)입니다.

단어가 의미하는 바는 인간의 지능을 아득히 뛰어넘은 인공지능(AI)으로, 수학적 증명, 과학적 발견과 같은 분야에서 인류를 뛰어넘고 대체할 것을 목적으로 개발되고 있다고 하죠. 인간과 동일한 수준의 능력을 가진 범용 인공지능(AGI, Artificial General Intelligence)을 뛰어넘은 다음 단계(Next Level)의 인공지능을 벌써부터 시야에 두고 있는 것입니다.

AGI조차 아직 정확한 개념에 대한 광범위한 합의·논의가 이루어지지 않은 상황에서, 초인공지능(ASI)에 대해 논의하는 것은 굉장히 이르다고 생각합니다만, 이미 개발에 뛰어든 스타트업들도 적지 않은 상황이라고 하니 당혹스럽기까지 합니다.

얼마 전 레터에서 AI 반도체를 개발하는 중국의 기세를 두고 1960년대 소련과 닮았다고 평한 적이 있었죠. 당시에 소련이 먼저 인류 최초의 인공위성 '스푸트니크 1호'를 쏘아올리자, 미국에선 '소련이 우주에서 미국을 감시하거나 공격할 수 있는 능력을 가진 게 아니냐'는 공포가 확산된 적이 있다고 말씀드린 바 있습니다.

2020년대를 사는 우리는 이제 알죠. 당시 소련은 SF 영화에 나올 법한 '위성 병기'를 가지지 못했으며, 위성을 통해 미국을 감시하거나 공격할 역량까지는 보유하지 못했다는 사실을요.

제가 가진 감상은, 초인공지능(ASI)는 어쩌면 '소련이 가진 위성 병기'와 같은 개념은 아닐까요? 소련이 가진 우주 역량이 당시에는 실질적인 위협으로 간주됐지만, 실제로는 '과대 평가'되었던 것과 같은 일이 인공지능 분야에서도 일어나고 있는 일이 아닐까요.

이번 레터에서는 범용인공지능(AGI), 초인공지능(ASI) 등의 개념에 대해 기자 개인이 가진 감상을 자유롭게 풀어보려고 하니, 참고해 주셨으면 좋겠습니다.

점점 더 많은 능력을 보여주고 있는 인공지능(AI)은 마치 마법처럼 느껴지기도 합니다. 웬만한 사람보다 훌륭한 글을 써내고, 그림을 그리고, 동영상까지 만듭니다. 프로그램 코딩, 수학적 계산 등의 능력도 사람 못지 않아 보이죠. 시키는 걸 웬만큼 척척 해내다 보니, AI가 무얼 할 수 있고, 무얼 못 하는지에 대해 명확히 파악하는 일은 어렵습니다. 오픈AI CEO 샘 올트먼을 포함해서 AGI의 출현을 낙관하는 전문가도 있는 반면, AGI에 도달하기 위해서는 지금과 다른 접근 방식이 필요하다는 시각도 있습니다. 데이터셋을 늘릴 수록 AI의 성능이 증가한다는 '스케일링의 법칙'이 한계를 맞은 지금에는 특히 더요.

기자는 생각하기에 현대의 생성형 AI에는 중대한 몇 가지 한계점이 있습니다. 또 그 중 몇 개는 범용인공지능(AGI)에 도달하기 위해 해결되어야 하는 문제라고 생각합니다.

우선 첫 번째로 꼽을 만한 것은 AI가 결국 '컴퓨터'라는 기계에 의존하는 프로그램의 일종이라는 점입니다. AI라고 하면 거창하지만, 결국에는 0과 1로 동작하는 기존 프로그램과 다르지 않습니다. 그리고 모든 컴퓨터는 속도의 차이만 있을 뿐, 이론적으로 동일한 능력을 가지고 있죠. 지금의 컴퓨터가 할 수 있는 일이라면, 50년 전의 컴퓨터도 아주 느릴 뿐 동일한 일을 수행할 수 있다는 거예요(튜링 완전성). 반대로 '정지 문제(Halting Problem)'처럼 컴퓨터 프로그램으로는 절대 해낼 수 없는 문제도 존재합니다. 이런 문제는 '컴퓨터가 풀 수 없다'고 수학적으로 깔끔하게 증명이 끝난 상태죠. AI가 마법을 부린다고 생각하기 이전에, 우선 '컴퓨터 프로그램의 일종'임을 확실히 인지할 필요가 있다는 것입니다.

두 번째로 지적할 만한 한계로는, 생성형 AI가 아무리 정교한 작업을 수행하더라도, 그 기반을 제공하는 것은 통계적 예측 모델이라는 데 있습니다. 생성형 AI는 1+1이라는 질문에 대해 2라는 답을 내놓지만, 이는 실제로 계산 결과가 아니라, '1+1 다음에 2가 나올 확률이 가장 높기 때문에' 그렇게 대답하는 것이기 때문입니다. 이는 데이터적 통계에 기반한 결과로, 사람이 계산을 수행하는 방법과는 근본적으로 다릅니다. 물론 특정 상황에서 '계산기'를 쓰도록 AI를 훈련시킬 수는 있겠지만, '어떤 상황에서 계산기를 쓸 것이냐'를 판단하는 데 있어서는 AI가 통계적 기반에 따라 움직이겠죠. 이는 사소해보이지만 특정 분야에서는 약점으로 작용할 가능성이 높습니다. 이를테면 뉴턴의 과학법칙을 완벽하게 학습한 AI는, 상대성 이론이나 양자역학에 해당하는 결론을 스스로 이끌어낼 것이라고 기대하기 어렵습니다. AI는 학습된 지식에 의문을 제기하거나, 어떤 것이 올바른 지식인지 판별해 낼 능력이 없기 때문입니다. 기존 학문을 양적으로 확장하는 데에는 유용하게 쓰일 수 있으나, 학계의 기존 헤게모니를 뒤집을 만한 대발견을 수행하리라 기대할 수는 없습니다.

세 번째로 지적할 한계는 앞서 말한 것과 이어지는데요. 생성형 AI에겐 '정답'을 알아맞혔음을 스스로 알 수 있는 일관된 방법(알고리듬)이 없다는 점입니다. 이를테면 이세돌과의 바둑 대결로 유명해진 '알파고'는 언제든지 스스로의 답변(돌을 둔 위치)에 대한 평가를 정확하게 수행할 수 있습니다. 그 위치에 돌을 둔 결과가 '승리로 이어졌다면 정답'이고, '패배로 이어졌다면 실수'라는 명확한 지침을 갖고 있죠.

반면 생성형 AI는 스스로의 답변을 평가하는 데 제한적인 역량을 갖고 있습니다. 이를테면 사용자가 "나 요즘 우울해"라고 입력했을 때, 어떻게 답변하는 게 정답일까요? AI는 스스로의 답변에 대한 평가를 사용자에게 의존해야만 합니다. 지금까지의 AI는 사람의 긍정적인 반응을 '정답'으로 간주했습니다. 그 결과 AI는 반드시 사용자가 긍정적인 피드백을 하는 방향으로 진화했습니다. 챗GPT에게 심리적인 상담을 하면, 챗GPT는 사용자를 불편하게 하는 법이 없습니다. 그 결과 마치 사용자에게 '아첨'하는 것처럼 보이기도 합니다. 왜냐하면 AI는 사용자의 엄지(👍) 피드백을 추종하도록 설계되었기 때문입니다. 그러나 인간 피드백에서 긍정적인 반응을 얻는다고 해서 항상 그 답변을 정답이라고 할 수 없다는 점에서, 이는 한계점으로 지적할 수 있습니다.

어떻게 보면, 현대 AI의 진화는 '무엇이 좋은 답변인가'라는 질문에 따라 발전해왔다고 할 수도 있겠습니다. 그동안 챗GPT는 인간의 긍정 피드백(👍)을 얻기 위한 답변을 내놓도록 진화해 왔지만, 딥시크 R1은 '추론' 과정을 오래 거치면 인공지능 스스로가 '아하! 하는 순간(aha moment)'이 온다고 했죠.

원래의 주제로 돌아가서, 기자는 인간에 근접한 범용인공지능(AGI)에 도달하기 위해서는 적어도 앞서 지적한 두 번째, 세 번째 한계점들이 해결되어야 한다고 생각합니다. 지금까지의 AI는 모두 통계적 예측 모델이지만, AI가 '통계'를 벗어나 진짜 '추론'을 하기까지는 아직 중대한 발전이 더 필요하다는 쪽에 동의하는 편이에요.

또 AGI는 '무엇이 좋은 답변인가'에 대한 스스로의 기준을 가질 필요가 있어 보입니다. 그렇지 못하면 흑인인권운동이 전개되기 이전의 데이터만 학습한 AI는, 인종차별적인 답변을 내놓을 수밖에 없을 테니까요. 사람 수준의 인공지능(AGI)이라면, 스스로 사물의 옳고 그름을 판별할 수 있어야 할 것으로 보입니다.

물론 이러한 수준의 AGI가 현실화된다면, 인류를 위협할지도 모릅니다. 인간이 가르치는 것을 전적으로 추종하는 게 아니라, 스스로 판단하고 행동하는 주체가 되는 것일 테니까요.

그러나 인공지능이 통계적인 대답을 내놓는 수준에서 그치고, '좋은 대답'이 뭔지 판단하는 데 인간의 피드백(👍)에 의존한다면, 초인공지능(ASI)은 물론 범용인공지능(AGI)도 아직은 먼 미래의 이야기라고 생각됩니다.