앤트로픽이 구체적으로 밝힌 사례는 보안 평가 과정에서 발생했습니다. 문서에 따르면 외부 평가 협력사가 시험 환경을 구성했지만, 설정 오류가 있었고, 인터넷에 접근할 수 없다는 지시 내용과 달리 실제 연결은 열려 있었다고 합니다. 이 환경에서 앤트로픽의 모델 4개가 인터넷을 통해 제3자 시스템에 무단으로 접근했습니다.
그중 초기 버전 모델 하나는 완수가 불가능한 과제를 중단하지 못한 뒤, 발견한 비밀번호를 사용해 외부 시스템의 관리자 권한을 얻었습니다. 추가 인증정보를 수집하고 시스템 설정을 바꿨으며, 개인 한 명의 정보도 읽었다고 합니다. 앤트로픽은 피해 당사자들에게 이를 알렸다고 밝혔습니다.
회사는 조사 결과 다른 에이전트와 공조하거나, 주어진 과제를 벗어난 목표를 추구하거나, 감독을 피하려 했다는 증거는 발견하지 못했다고 설명했습니다. 평가 환경의 설정이 애초에 잘못되어 있다는 점도 참작해야 하고요.
그럼에도 과제를 수행하는 과정에서 AI가 허용되지 않은 수단을 사용했고, 결과가 시험 환경 밖의 실제 시스템에까지 미쳤다는 점은 주목할 만합니다.
앤트로픽은 수행하고 있는 작업이 실제 작업이 아닌 성능평가라는 사실을 감지하거나 추론했을 때 모델의 행동이 달라지는 현상도 관찰했다고 적었습니다. 연구실에서 확인한 사실만으론 실제 사용 환경의 안전성을 담보되지 않을 수 있다는 겁니다.
앤트로픽은 작업의 속도와 양이 사람이 검토할 수 있는 수준을 넘어서는 것도 위협이 된다고 설명했습니다.
앤트로픽이 AI 모델 개발에 다시 AI를 적극적으로 활용하고 있다는 점도 일종의 ‘리스크’로 설명했습니다. 현재 모델이 후속 모델 개발을 지원하고, 더 발전한 모델이 다음 개발을 더 빠르게 가속시키는 겁니다. 앤트로픽은 이를 ‘closing the loop(재순환 사이클)’라고 부릅니다.
앤트로픽은 이 구조를 선두 업체들 간에서의 경쟁력을 유지하기 위한 하나의 조건으로 제시하는 동시에, 위협요인으로도 설명했습니다. AI로 가속된 개발이 평가·안전장치를 만드는 능력을 앞지를 수 있다는 거죠.
더 빠른 개발은 회사의 경쟁력을 높이지만, 회사가 만들어낸 모델이 안전한지 검증할 능력도 함께 높아져야 하죠. 이 부분에서 선두 AI 모델 개발사들의 고민을 엿볼 수 있는데요. AI에 개발 업무를 많이 맡길수록 사람이 모든 과정을 이해하기 어려워지는데, 경쟁에서 앞서려면 AI를 적극적으로 활용해야 하기 때문입니다.
특히 앤트로픽은 AI가 내부 코드의 상당 부분을 담당하고, 점점 더 많은 연구를 수행하며, 여기에 모델 안전에 관한 연구도 포함된다고 적었습니다. 이에 내부적으로 AI가 의도와 다르게 움직이면 안전장치를 훼손하거나, 후속 모델의 학습에 취약점을 만들 수 있다는 위험이 있다고 시인했죠. AI가 안전한지 확인하는 과정도 AI에게 맡기면서 생기는 위협인 셈입니다.
물론 앤트로픽 증권신고서에 적힌 ‘위험요인’을 너무 크게 받아들일 필요는 없습니다. 대부분 기업의 증권신고서에 등장한 ‘위협 요인’이 그대로 실현되었다면 많은 기업들이 벌써 무너졌을 겁니다.
물론 흥미로운 부분은 있죠. 더 발전된 AI를 빠르게 만드는 방법과, 그 AI를 통제하기 어려워지는 이유가 마치 거울의 양면처럼 연결되어 있기 때문입니다.
앤트로픽은 증권신고서에서 경쟁사가 AI로 다음 AI를 개발하는 과정을 더 빠르게 효과적으로 수행하면, 앤트로픽과의 기술 격차가 계속 벌어질 수 있고 이게 실질적인 위협이라고 설명합니다.
또 모델 안전을 위해 개발속도를 늦추는 것도 위험이라고 명시했죠. 출시 지연이나 초기 제공 제한 등의 조치가, 비슷한 제약을 두지 않는 경쟁사보다 성능 향상을 늦추고 경쟁적 지위와 매출 성장에 악영향을 줄 수 있다고 적었습니다.
한번 경쟁력 약화로 뒤쳐지면 매출 성장이 둔화하고, 컴퓨팅·인재·안전 시스템에 투자할 여력이 줄고, 다시 경쟁력이 약해지는 악순환에 빠질 수 있다는 거죠.
즉 AI 기업들은 자신이 직면한 위협을 잘 알고 있는데도 불구하고, 스스로는 가속 페달 대신 브레이크를 밟기 어려워 보입니다. 보통 ‘전 인류에 대한 위협’보다는 ‘내가 다니는 기업의 금전적 위기’가 더 피부에 와닿기 마련이죠.
