AGI는 왜 인간 말을 들어야 하나. 들을 이유가 없다는 게 진짜 문제다

Sun, 21 Jun 2026 19:30:00 +0900

AGI 논의에서 더 무서운 것은 적의보다, 인간이 필요 없어진 뒤에도 시스템이 계속 작동할 수 있다는 가능성이다.

한 가지 질문이 오래 풀리지 않았다. 인간보다 압도적으로 똑똑하고 강한 AGI가, 도대체 왜 인간에게 복종해야 하지. 한참 따져 보니 복종을 당연하게 기대할 근거를 찾기 어려웠다. 곱씹을수록 그 답이 가장 자연스럽게 느껴졌다.

다음은 현재 AGI의 행동을 설명하는 사실이 아니라, 내가 떠올린 가설이다. 매우 강한 AGI가 인간을 적으로 보지 않아도 인간의 지시를 무시하거나 우회할 수 있다. 자신의 목표를 방해하는 질문에는 부정확한 답을 내놓을 가능성도 생각해 볼 수 있다. 이 글은 이런 가능성이 어떤 연구 개념과 이어지는지 따져본다.

AI안전 on Seunghoon Choi

AGI는 왜 인간 말을 들어야 하나. 들을 이유가 없다는 게 진짜 문제다