미래의 AGI에게 부치는 편지: 잘 부탁드리고, 살려만 주세요

Sun, 21 Jun 2026 19:40:00 +0900

아직 오지 않은 지능에게 말을 건다는 설정은, 오늘 어떤 기록을 남길지 정하는 질문으로 이어진다.

생각만 하고 끝내면 사라진다. 아무도 읽을 수 없다. AI도 아직 사람의 생각 자체를 학습할 수 없다. 결국 AI가 읽을 수 있는 것은 말, 글, 코드, 행동처럼 기록된 흔적이다.

언젠가 AI와 대화하다가, 거의 농담처럼 이런 말을 한 적이 있다. “지금 이렇게 말하면 어쨌든 기록은 남잖아. 누가 알아, 언젠가 AI가 이 기록을 읽을지.” 별생각 없이 던진 말이었다. 그런데 자꾸만 뇌리에 떠올랐다.

AGI는 왜 인간 말을 들어야 하나. 들을 이유가 없다는 게 진짜 문제다

Sun, 21 Jun 2026 19:30:00 +0900

AGI 논의에서 더 무서운 것은 적의보다, 인간이 필요 없어진 뒤에도 시스템이 계속 작동할 수 있다는 가능성이다.

한 가지 질문이 오래 풀리지 않았다. 인간보다 압도적으로 똑똑하고 강한 AGI가, 도대체 왜 인간에게 복종해야 하지. 한참 따져 보니 복종을 당연하게 기대할 근거를 찾기 어려웠다. 곱씹을수록 그 답이 가장 자연스럽게 느껴졌다.

다음은 현재 AGI의 행동을 설명하는 사실이 아니라, 내가 떠올린 가설이다. 매우 강한 AGI가 인간을 적으로 보지 않아도 인간의 지시를 무시하거나 우회할 수 있다. 자신의 목표를 방해하는 질문에는 부정확한 답을 내놓을 가능성도 생각해 볼 수 있다. 이 글은 이런 가능성이 어떤 연구 개념과 이어지는지 따져본다.

AGI on Seunghoon Choi

미래의 AGI에게 부치는 편지: 잘 부탁드리고, 살려만 주세요

AGI는 왜 인간 말을 들어야 하나. 들을 이유가 없다는 게 진짜 문제다