▲ 기계 지배 세상 오나…“슈퍼 AI 반란 일으키면 통제 불가능”(사진=영화 터미네이터의 한 장면/오라이언 픽처스)

현재 전 세계에서 활발하게 진행되고 있는 인공지능(AI) 연구가 크게 발전할 때마다 제기되는 문제는 ‘AI의 반란’이다. 이는 SF 창작물의 흔한 소재이긴 하다. 그런데 앞으로 인간의 지능을 초월한 초인공지능(슈퍼 AI)이 등장하면 인류가 제어할 수 있을까.

독일 막스플랑크 인간개발연구소 산하 인간기계센터 등 국제 연구진은 이런 의문을 계산가능성 이론이라는 관점에서 자세하게 검토해 만일 슈퍼 AI가 반란을 일으키면 인류는 제어할 수 없다는 견해를 국제학술지 ‘인공지능 연구저널’(Journal of Artificial Intelligence Research) 최신호(5일자)에 발표했다. 이는 AI 기술이 이대로 발전하면 인간이 제어할 수 없는 슈퍼 AI가 등장하는 미래를 피할 수 없을지도 모른다는 것이다.

인간의 지능을 월등히 초월한 슈퍼 AI의 존재는 아직 상상에 불과하지만, 인간의 삶은 이미 많은 AI 기술에 의해 제어되고 있고 앞으로는 더욱더 이 기술에 의존하는 비율이 커질 것이다.

이에 대해 연구 공동저자인 인간기계센터의 마누엘 세브리안 박사는 “세계를 지배하는 슈퍼 AI는 SF 소설 속 줄거리처럼 들리겠지만, 이미 개발자들도 어떻게 배웠는지 완전히 이해하지 못한 채 독립적으로 특정한 중요 작업을 수행하는 AI 시스템들이 존재한다”면서 “따라서 이 문제가 어느 순간부터 통제할 수 없고 인류가 위험해질 수 있는지에 의문이 들었다”고 연구 진행 동기를 밝혔다.

누군가가 인간보다 뛰어난 지능을 갖춘 AI 시스템을 프로그래밍해서 독립적으로 학습할 수 있도록 했다고 가정해 보자. 이 AI가 인터넷에 연결돼 있다면 인류의 모든 데이터에 접근할 수 있을 것이다. 그러면 기존 모든 프로그램 대신 전 세계의 모든 기계를 온라인으로 제어할 수 있을 것이다.

이는 유토피아를 만들어낼까. 아니면 디스토피아를 만들어낼까. AI가 암을 치료하고 세계 평화를 가져오고 기후 재앙을 예방할 수 있을까. 아니면 인류를 파괴하고 지구를 차지할까.

연구진은 이런 의문을 검토하기 위해 계산가능성 이론을 사용했고 이를 통해 내린 결론은 슈퍼 AI를 제어하는 것은 원천적으로 불가능하다는 것이다.

예를 들어 슈퍼 AI가 반란을 기획했다고 해서 인류는 대항할 수 있는 수단이 있을까. 연구진은 슈퍼 AI를 제어하는 방법에 관한 두 아이디어를 검토했다. 하나는 슈퍼 AI를 인터넷 등 다른 모든 기술 장치로부터 차단해 외부와 접속하지 못하게 하는 것이다. 그리고 나머지 하나는 AI에 처음부터 윤리 원칙을 프로그래밍해 인류의 이익을 최선으로 추구하도록 동기를 부여하는 것이다. 이런 아이디어는 예전부터 자주 제기됐던 것이다.

하지만 연구진은 이런 방법을 이용하는 데는 한계가 있다는 점을 보여줬다. 어떤 방법으로도 AI를 운용할 때 그 위험성을 감지해 시스템을 멈추게 해야만 한다. 그렇다면 슈퍼 AI를 위험하다고 판단해 멈추게 하는 것이 실제로 가능할까.

연구진은 AI의 동작을 시뮬레이션해 유해한 것으로 간주될 경우 시스템을 멈추게 해 사람들에게 해를 끼치지 않기 위한 이론적 봉쇄 알고리즘을 고안했다. 그리고 이 알고리즘이 제대로 작동하는지를 1936년 앨런 튜링이 증명한 계산가능성 이론(computability theory)의 정지 문제(Halting Problem)를 사용해 검토했다. 정지 문제는 하나의 프로그램과 그것에 대한 입력이 주어졌을 때 그것이 영원히 작동할 것인지 정지할 것인지를 결정하는 문제인데 이때 시스템은 모순된 답변을 유도함으로써 사고의 무한 루프에 빠져 답을 낼 수 없게 하는 것으로 나타났다.

이는 거짓말쟁이의 역설(Liar paradox)로 알려진 논리 문제와도 비슷하다. 이 역설로 유명한 사례 중 하나로 철학자이자 시인인 에피메니데스가 기원전 6세기 “모든 크레타 섬 사람들은 거짓말쟁이다”라고 쓴 글을 가지고 만든 문제가 있다. 참고로 에피메니데스 자신도 크레타 섬 사람이다.

논리 문제는 컴퓨터가 문제를 해결할 때와 마찬가지로 진위(0인가 1인가) 형태로 문제를 판정한다. 이 예제의 진위를 생각하면 “모든 크레타 섬 사람들은 거짓말쟁이”가 사실(참)이라면 이를 말하는 크레타 섬 사람은 거짓말쟁이가 아니게 되므로 내용은 모순이 된다. 반대로 “모든 크레타 섬 사람들은 거짓말쟁이”가 가짜(거짓)라면 이를 말하는 크레타 섬 사람 역시 거짓말을 한 것이 되므로 이 내용 역시 모순이 된다. 이 문제의 진위를 판정하는 것은 불가능해 영원히 문제의 진위를 판정하는 것을 반복해 버리는 것이다.

비슷한 원리로 이번 연구진이 고안한 슈퍼 AI의 봉쇄 문제 역시 계산이 불가능한 것으로 나타났다. 다시 말해 AI가 전 세계에 해를 끼치는지를 판단하기 위한 단일 알고리즘을 찾아낼 수 없다는 것이다.

또 인간이 자기 손으로 슈퍼 AI를 멈추게 하는 것을 생각했을 때도 기계가 인간보다 뛰어난 지성을 발휘하고 있는지를 판단하는 것은 봉쇄 문제와 같은 영역에 있어 슈퍼 AI 기계가 등장했다는 사실조차 모르는 상태가 될 가능성을 이번 연구는 보여줬다.

논리 문제를 포함한 연구는 추상적이고 알기 어려운 부분이 있지만, 결국 인간이 AI 개발이나 운용을 계속하는 한 AI를 멈추게 하는 결정을 내리는 것 자체가 기계는 물론 인간도 어렵게 될 수 있고 알아차렸을 때는 이미 늦었을 가능성이 크다는 것이다.

윤태희 기자 th20022@seoul.co.kr