[피치원뷰]인류 파멸 AI종말론과 미 빅3 AI 자이언트들의 속내

인간의 통제권을 벗어난 AI가 인류를 죽일수 있다는 AI공포론이 확산되는 가운데,글로벌기업이 AI개발속도조절을 위한 감시기구격인 국제공동 표준기구 설립을 본격 추진키로 해 주목된다.

인공지능(AI) 모델을 악용한 사이버공격뿐 아니라 통제 문제가 논란이 되자 AI 개발을 두고 경쟁해온 글로벌 기업들이 속도조절에 초점을 두고 AI 기술 공동 시험·감사 체계를 마련하기 위한 공동 표준기구 설립을 얘기하기 시작했다.

주요 외신은 글로벌 AI 업계를 인용해 앤트로픽과 오픈AI, 구글 등 글로벌 하이퍼스케일러들이 보안 및 안전성을 감시하면서 AI개발속도를 조절할수 있는 국제표준기구를 공동으로 설립하는 방안을 논의 중이라고 보도했다.

이 같은 움직임은 다리오 아모데이 앤트로픽 최고경영자(CEO)가 12일 블로그를 통해 AI통제권에 대한 우려와 함께 AI 기술 속도를 조절해야 한다고 공개적으로 주장하면서 본격화하는 분위기다.

실제 이들 글로벌 3사는 지난 7월부터 표준기구 실무그룹 회의를 진행해온 것으로 알려졌으며 AI 기술의 안전성을 시험·감시할 기구를 공동으로 설립하자는 취지로 마련됐다.

다리오 아모데이 앤트로픽 CEO는 AI 모델 개발을 감독하는 외부 ‘독립 평가자’를 도입하고 (중국을 제외한)민주주의국가 AI 기업 간 공통 안전 기준 제정이 시급하다고 역설했다.

그는 이를 토대로 한 국제 공조를 통해 3단계 AI 통제 방안을 마련해야 한다고 주장했다. 아모데이 CEO는 공동 표준기구 설립과 관련해 “냉전 시대 미국과 소련이 맺은 SALT(전략무기 제한 협상)와 유사하다”고 설명했다.

오픈AI, 앤트로픽 등 주요 AI 기업 핵심 개발자를 중심으로 2030년께면 인류가 AI를 통제할수 없는 상황에 직면,AI가 인류를 파멸시킬수 있다는 경고를 잇따라 주장하고 있다. 테슬라 일런머스크 CEO역시 공감을 드러냈다.

이 같은 움직임은 지난 7월 오픈AI의 에이전트들이 개발 플랫폼 허깅페이스를 해킹한 사건이 기폭제가 된 것으로 보인다. 실제 오픈AI의 에이전트들은 복잡한 과제를 자율적으로 수행하는 과정에서 부여된 권한과 시험 환경의 경계를 넘을 수 있음을 보여주며 인간의 통제권을 벗어날수 있다는 사실을 보여줬다.

아모데이 CEO는 이 사건에 대해 “RSI(재귀적 자기개선)는 앤스로픽뿐 아니라 AI업계 전반에 나타나고 있고, 이를 방치하면 AI를 이해하고 통제하는 인간의 능력을 앞지를 수 있다”고 강조했다.

RSI는 범용인공지능, AGI로 가는 핵심 매카니즘으로 핵심 개발자들은 이런 추세라면 2030년께면 인류가 통제권을 벗어난 AI에 의해 파멸에 이를수 있다고 경고하고 있다. 아모데이 CEO 역시 급속도로 자가발전하는 AI가 제기하는 위험이 커져 지금과 같은 속도로 개발을 지속해서는 안된다는 입장을 밝혔다.

그는 AI 모델 성능이 인간의 통제권을 벗어날수 있는 임계점에 도달하기 전까지 1~2년의 기간동안 AI가 인간의 의도와 가치에 부합하게 행동하도록 AI에 대한 확실한 감시와 통제권을 확보할수 있는 기술과 규칙을 확보해야만 AI가 인류를 지배하는 심각한 문제가 발생할 위험을 줄일 수 있다는 취지다.

오픈AI,구글 등 여타 AI 기업 CEO들도 비슷한 입장을 내놓고 있다. 앤트로픽과 치열한 시장선점 경쟁을 벌이고 있는 샘 올트먼 오픈AI CEO는 “직원과 동일한 접근 권한을 가진 독립적 평가자를 두자는 제안은 매우 좋은 아이디어”라며 화답했다.

데미스 허사비스 구글 딥마인드 회장 또한 “중대한 시점에 대응하기 위한 방향은 바람직하다”면서 “구글이 최첨단 AI를 위한 업계 차원의 표준기구 설립을 제안한 것도 이런 이유”라고 말했다.

사티아 나델라 마이크로소프트 CEO도 “인류에게 이익이 되지 않고 인간의 통제를 받지 못하는 슈퍼인텔리전스는 추구할 가치가 없다”면서 “AI통제를 위한 연구와 신중한 속도를 환영한다”고 말했다.

AI가 스스로 차세대 AI 모델을 개발하는 재귀적 자기 개선(RSI) 능력이 고도화되면 기술 발전이 인간의 통제를 벗어날수 있기 때문에 자발적 속도조절 및 국제표준기준 제정이 시급하다는 주장의 배경에 대한 의혹도 제기되고 있어 주목된다.

앤트로픽,오픈AI, 구글 등 글로벌 빅3 AI기업이 국제표준기구를 통해 국가단위의 글로벌규제 틀을 확보,더 이상 후발주자의 추격을 차단하면서 글로벌시장을 독점하려는 의도를 갖고있다는 의혹이다.

이를 테면 생화학이나 핵무기,전쟁,의학 등 인류의 생명과 안전에 치명적 위협을 주는 분야에서 RSI가 인류의 통제권을 벗어날 경우의 공포를 조성하면서 미국 유럽중심의 글로벌 규제틀을 마련해 초격차를 유지하면서 후발주자의 추격을 차단하려는 속셈이 깔려있다는 지적이다.

하지만 미국 AI업계를 바짝 추격하고 있는 중국이 이런 움직임에 동참할지는 미지수며 중국의 속도전으로 인해 미국 정부와 앤트로픽,오픈AI,구글 등이 자발적인 AI개발속도를 늦출지도 의문시 되고 있는 실정이다.

이로인해 AI개발 속도를 조절하고 글로벌 감시규제할수 있는 표준기구 설립 성사될지는 여전히 미지수다.

결국 AI기술 패권이 세계 경제는 물론 군사적 지배력과 직결되는 상황에서 AI종말론이라는 국단의 우려에도 불구하고 AI개발속도 조절과 국제적 규제규범을 시행할수 있을 지에 대해서는 여전히 회의적인 분위기다.

앤트로픽,오픈AI 등은 여전히 천문학적 투자를 통해 AI데이터센터 인프라 확충에 총력을 쏟고있고, 기업공개를 통해 또다시 거대한 자금수혈을 준비중에 있기 때문이다. 결국 이러한 속도조절론은 미국 정부가 이를 결단하고 시행해야만 가능한 일이기 때문이다.

오픈AI를 거쳐 앤트로픽 연구원이었던 제이콥 콕슨이 지난 8일 사표를 던지며 미 주요 언론과 인터뷰에서 “앤트로픽,오픈AI는 통제 방법도 없이 RSI선형 초지능을 향해 질주하며 인류의 생명을 걸고 도박하고 있다”고 질타했다.

오픈AI,앤트로픽,구글 등 주요 AI 업체 연구자들 역시 일제히 향후 10년내 인류 멸망 위험이 다가올 것이며 초지능을 통제할 계획이 아직 없다며 우려를 드러내고 있다.

결국 미 행정부가 RSI기반 AI업계 속도전에 대해 칼을 빼들지가 이런 AI종말론에 대한 국제적 규제와 표준기구 설립이 가시화할 지를 결정지을 것으로 보이며,현재로서는 앤트로픽 등 민간기업 중심으로 복합적인 기업간 이해관계속에 투자경쟁과 AI공포론을 확산하는 두가지 상충된 아젠다를 반복할 것으로 전망된다.