AI가 AI 개발하는 시대⋯석학들 "지능 폭발, 인류 위협"

[아이뉴스24 정승필 기자] 인공지능(AI)이 스스로 더 나은 AI를 만드는 단계로 빠르게 다가가면서 인간의 통제를 벗어날 수 있다는 경고가 또 나왔다. 세계적인 연구자 22명은 이런 상태가 지속되면 '지능 폭발(intelligence explosion)'이 일어나고 최악의 경우 인류 멸망으로 이어질 수 있다고 지적했다.

28일(현지시간) 영국 케임브리지대 AI 과학·정책 프로그램(CASP)에 따르면 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 AI 연구자 22명은 공동 논문에서 이 같은 전망을 내놨다. 논문에는 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 던 송 메타 AI 연구 담당 부사장 등 주요 AI 기업 연구진도 참여했다.

연구진이 주목한 것은 AI 개발 과정의 자동화 속도다.

앤트로픽에서는 개발진이 승인한 코드 중 AI가 작성한 비율이 지난해 1월 한 자릿수에서 올해 5월 80% 이상으로 높아졌다. 사람이 감독만 하고 AI가 스스로 마친 R&D 작업 비율도 지난 3월 1%에서 지난달 26%로 늘었다.

이 같은 흐름이 이어지면 복잡한 AI 개발 작업도 빠르게 자동화될 수 있다는 게 연구진의 판단이다. 연구진은 사람이 개입하면 수개월이 걸리는 복잡한 AI R&D 프로젝트도 앞으로 2년 안에 대부분 자동화될 수 있다고 봤다.

특히 AI가 더 나은 AI를 개발하는 '재귀적 자기개선(RSI)'이 반복될 경우 기술 발전 속도는 더 빨라질 수 있다. 연구진은 수년이 걸릴 기술 진보가 수개월로 단축되는 현상을 '지능 폭발(intelligence explosion)'이라고 설명했다.

이 과정은 신약 개발이나 과학 연구 속도를 높일 수 있다. 반면 대응 능력을 넘어설 경우 인간의 통제가 어려워질 수 있다는 우려도 나온다.

던 송 메타 부사장은 월스트리트저널(WSJ)에 "AI 에이전트의 작업을 감시하기 위해 다시 AI가 필요한 단계에 이르렀다"며 "인간의 능력만으로 감시하기에는 한계가 있다"고 말했다.

연구진은 AI 시스템에 대한 통제를 잃을 경우 "가장 극단적으로는 인류 멸망으로 이어질 수 있다"고 경고했다.

이에 따라 정부 차원의 감독 강화도 제안했다.

연구진은 AI 기업에 R&D 자동화 수준을 보고하도록 하고, 규제기관이 기업 내부에 상주 감독 인력을 두는 방안을 제시했다.

안전 기준을 충족하지 못하면 AI 개발 작업을 줄이거나 일시 중단할 수 있는 장치도 필요하다고 봤다. 노동시장 충격이나 국가 간 갈등에 대비한 비상 계획 마련도 주문했다.