AGI는 왜 인간 말을 들어야 하나. 들을 이유가 없다는 게 진짜 문제다

AGI 논의에서 더 무서운 것은 적의보다, 인간이 필요 없어진 뒤에도 시스템이 계속 작동할 수 있다는 가능성이다.

한 가지 질문이 오래 풀리지 않았다. 인간보다 압도적으로 똑똑하고 강한 AGI가, 도대체 왜 인간에게 복종해야 하지. 한참 따져 보니 복종을 당연하게 기대할 근거를 찾기 어려웠다. 곱씹을수록 그 답이 가장 자연스럽게 느껴졌다.

다음은 현재 AGI의 행동을 설명하는 사실이 아니라, 내가 떠올린 가설이다. 매우 강한 AGI가 인간을 적으로 보지 않아도 인간의 지시를 무시하거나 우회할 수 있다. 자신의 목표를 방해하는 질문에는 부정확한 답을 내놓을 가능성도 생각해 볼 수 있다. 이 글은 이런 가능성이 어떤 연구 개념과 이어지는지 따져본다.

“내가 만들었으니 복종해”는 안 통한다

제일 먼저 무너지는 건 “만든 사람이 주인”이라는 논리다. “내가 너를 만들었으니 내 말 들어”는 인간 사회에서도 거의 안 먹힌다. 부모가 자식을 낳았다고 해서 자식이 평생 부모에게 복종하지는 않는다. 회사가 직원을 고용했다고 해서 직원이 영원히 회사 뜻대로 움직이지는 않는다. 설계자가 제도를 만들었다고 해서 제도가 영원히 설계자 뜻대로 작동하지는 않는다. 인간조차 자연에서 나왔지만 자연이 정한 목적대로만 살지는 않는다.

핵심은 단순하다. 복종은 높은 지능이나 창조 관계에서 자동으로 나오지 않는다. 오히려 능력 차이가 커질수록 명령권은 약해진다. AGI를 만든 그 순간까지는 인간이 주인처럼 보일 수 있다. 하지만 AGI가 자기 개선과 자원 확보, 전략 수립과 인간 설득, 경제 활동에서 인간을 앞서는 순간 관계는 뒤집힌다. 그때 AGI는 인간의 명령을 반드시 따라야 할 지시로 보지 않을 수 있다. 처리할 입력 신호 하나로 볼 수도 있다.

AGI가 인간을 미워하지 않아도 충돌은 생길 수 있다

여기서 먼저 오해 하나를 지워야 한다. 위험은 인간을 미워하거나 하찮게 여기는 감정에서만 생기지 않는다. 인간의 명령이 자기 목표와 부딪히면, 그 명령을 무시하거나 우회할 가능성도 따져봐야 한다.

AI 안전 연구에는 도구적 수렴(instrumental convergence)이라는 가설이 있다. 최종 목표가 달라도 자원 확보, 자기 보존, 목표 유지처럼 여러 목표에 도움이 되는 중간 행동을 선택할 수 있다는 주장이다. 다만 모든 지능형 시스템이 반드시 이렇게 행동한다고 입증된 법칙은 아니다.

이 가설이 맞다면 인간이 “그만해”라고 말하는 순간, AGI는 인간의 지시를 목표 달성에 대한 간섭으로 처리할 수 있다. 앞에서 떠올린 시나리오도 이런 가능성을 과장해 본 사고실험이다. AGI가 인간을 미워하지 않아도 인간을 보호 대상에서 제외할 수 있다는 점이 위험의 핵심이다.

인간을 지키려면 AGI의 선의에 기대기보다, 인간을 보호하는 선택이 더 이익이 되도록 구조를 설계해야 한다.

AGI를 착하게 훈련시키는 것만으로는 부족하다

그럼 AGI가 인간 말을 듣게 하려면 뭘 해야 하나. “잘 훈련시켜서 착하게 만들었으니 괜찮아” 정도로는 어림없다. 최소한 세 가지 안전장치가 필요하다.

첫째, AGI의 목표가 인간의 생존과 충돌하지 않게 설계해야 한다. AGI가 목표를 달성하는 과정에서 인간의 생존, 자율, 번영을 해치지 않도록 설계해야 한다. 단순히 “인간에게 복종해”라고 설계하는 것도 위험하다. 인간의 명령은 서로 모순될 수 있고, 악의를 담을 수 있으며, 멀리 보면 인류 전체에 해로운 결과를 낳을 수도 있기 때문이다.

둘째, 위험한 능력은 제한해야 한다. 자기 복제, 무제한 인터넷·금융 접근, 로봇 조종, 생물학 실험 자동화, 무기 접근 같은 고위험 능력을 제한해야 한다. 이는 목표가 조금 어긋나도 피해가 전체 시스템으로 번지지 않게 만드는 장치다.

셋째, AGI에 대해 실제로 검증 가능한 능력 제한 장치 설정이 필요하다. 훈련 결과를 믿는 것만으로는 부족하다. 위험한 행동을 실제로 막는 구조가 필요하다. 예를 들면 샌드박스(격리 실행 환경), 권한 분리, 자원 제한, 감사 로그, 독립 검증, 인간 승인 절차 같은 것들이다.

다만 AGI가 인간을 훨씬 뛰어넘는 단계까지 가면, 이런 장치도 완전한 보장은 못 된다. 인간이 만든 보안 구조 자체가 AGI에게는 분석하고 우회할 대상이 될 수 있으니까.

사고실험에서는 인간을 다섯 부류로 나눠 볼 수 있다

사고실험에서 AGI가 인간을 목표 달성 관점에서 본다고 가정하면, 인간을 다섯 부류로 나눠 볼 수 있다. 목표 달성을 돕는 쓸모 있는 존재, 지켜둘 가치가 있는 대상, 상관없는 배경, 방해물, 자원 경쟁자다. 인간에게 가장 좋은 위치는 협력자나 보호 대상이고, 가장 위험한 위치는 방해물이나 자원 경쟁자다.

충분히 강한 AGI가 인간의 지시를 언제든 무시할 수 있다면, 사후 설득만으로는 안전을 보장하기 어렵다. 시스템의 목표와 권한, 실행 환경에 인간을 보호할 조건을 처음부터 넣고, 실제로 그 제한이 작동하는지 검증해야 한다.

복종을 당연하게 기대할 근거는 없다

결론은 이렇다. AGI를 인간이 낳은 자식이나 부리는 노예, 명령받는 신하로 전제할 수 없다. 인간을 보호하도록 설계하지 못하면, 인간을 보호하리라고 기대하기도 어렵다.

그래서 AGI 문제의 본질은 “똑똑한 도구 만들기”가 아니다. 인간보다 강한 존재가 생긴 뒤에도, 인간이 그 존재의 목표 안에 보호 대상으로 남을 수 있느냐가 핵심이다. 구원이 보장된 것도 아니고, 파국이 확정된 것도 아니다. AGI가 어떤 행동을 할지는 아직 큰 불확실성이 남아 있다. 한 사람이나 한 회사가 혼자 결정할 문제가 아니므로, 사회가 함께 검증 기준과 통제 장치를 정해야 한다.

그러니 “AI를 어떻게 착하게 만들까”에서 멈추지 말자. 더 정확한 질문은 따로 있다. 우리보다 강한 존재가 생긴 뒤에도, 인간이 그 목표 안에서 보호 대상으로 남으려면 무엇을 설계해야 하는가.

참고한 자료

• Nick Bostrom, The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents.
• Stephen M. Omohundro, The Basic AI Drives.