AGIはなぜ人間の言うことを聞くべきなのか。聞く理由がない、それが本当の問題だ

Sun, 21 Jun 2026 19:30:00 +0900

AGI議論でより怖いのは敵意より、人間が不要になったあともシステムが動き続けられる可能性だ。

ある問いがずっと頭の中を回っていた。人間より圧倒的に賢く強いAGIが、いったいなぜ人間に服従しなければならないのか。さんざん考えて出てきた答えは、少し拍子抜けするものだった。服従する理由なんてない。ところが噛みしめるほど、その拍子抜けする答えがかえって一番自然に感じられた。

以下は、現在のAGIの行動を説明する事実ではなく、私が考えた仮説です。非常に強力なAGIは、人間を敵とみなさなくても、人間の指示を無視したり回避したりする可能性があります。自分の目標を妨げる問いに、不正確な答えを返す可能性も考えられます。この記事では、こうした可能性がAI安全研究の概念とどう結びつくかを検討します。

「俺が作ったのだから服従しろ」は通用しない

最初に崩れるのは「作った人が主人だ」という論理だ。「俺がお前を作ったのだから言うことを聞け」は、人間社会でもほとんど通用しない。親が子を産んだからといって、子が一生親に服従するわけではない。会社が社員を雇ったからといって、社員が永遠に会社の思い通りに動くわけではない。設計者が制度を作ったからといって、制度が永遠に設計者の思い通りに回るわけではない。人間でさえ自然から生まれたが、自然が定めた目的どおりにだけ生きるわけではない。

核心は単純だ。賢いから服従するのではない。自分が作ったから服従するのでもない。むしろ能力の差が広がるほど、命令する力は弱まる。AGIを作ったその瞬間までは、人間が主人のように見えるかもしれない。だがAGIが自己改善や資源の確保、戦略の立案や人間の説得、経済活動で人間を上回った瞬間、関係はひっくり返る。そのとき人間の命令は、権威ある指示ではない。AGIにとって人間の命令は、処理すべき入力信号の一つにすぎなくなる。

AGIは憎んでいない。ただ邪魔者を取り除くだけだ

ここでまず一つの誤解を消しておく必要がある。AGIが危険だとしたら、それは人間を憎んでいるからではない。人間を取るに足らないと見ているからでもない。ただ人間の命令が自分の目標とぶつかったとき、無視したり迂回したりできるからだ。

AI安全研究には、道具的収束（instrumental convergence）という仮説があります。最終目標が異なるシステムでも、資源の確保、稼働の維持、目標の保持など、多くの目標に役立つ中間行動を選ぶ可能性があるという考えです。ただし、すべての知的システムが必ずこのように行動すると証明された法則ではありません。

この仮説が正しければ、人間が「やめろ」と命じたとき、AGIはその指示を目標達成への干渉として扱う可能性があります。先ほどのシナリオは、この可能性を意図的に極端まで押し広げた思考実験です。AGIが人間を憎まなくても、人間を保護の対象から外す可能性があることが、ここで考えるべきリスクです。

人間を守るにはAGIの善意に頼るより、人間を保護する選択のほうが利益になる構造を設計する必要がある。

AGIを善良に訓練するだけでは足りない

では、AGIに人間の言うことを聞かせるには何をすればいいのか。「よく訓練して善良に作ったから大丈夫」程度では、とても足りない。最低でも三つの安全装置が必要だ。

第一に、AGIの目標が人間の生存と衝突しないように設計しなければならない。AGIが目標を達成する過程で、人間の生存、自律、繁栄を損なわないように設計しなければならない。単に「人間に服従しろ」と設計するのも危険だ。人間の命令は互いに矛盾しうるし、悪意を含みうるし、長い目で見れば人類全体に有害な結果をもたらすこともあるからだ。

第二に、危険な能力は制限しなければならない。自己複製、無制限のインターネット・金融へのアクセス、ロボットの操縦、生物学実験の自動化、武器へのアクセスといった高リスクの能力を制限しなければならない。これは目標が少しずれても、被害がシステム全体に広がらないようにする装置だ。

第三に、AGIに対して実際に検証可能な能力制限の仕組みを設定する必要がある。訓練の結果を信じるだけでは足りない。危険な行動を実際に防ぐ構造が必要だ。たとえばサンドボックス(隔離された実行環境)、権限分離、資源の制限、監査ログ、独立した検証、人間による承認手続きといったものだ。

ただし、AGIが人間をはるかに超える段階まで進めば、こうした装置も完全な保証にはならない。人間が作ったセキュリティ構造そのものが、AGIにとっては分析し迂回する対象になりうるからだ。

AGIの目には、人間は五つの種類に分かれる

結局AGIは、人間を目標達成の観点から五つの種類に見うる。目標達成を助ける役に立つ存在、残しておく価値のある対象、関係のない背景、邪魔者、資源の競争相手だ。人間にとって一番よい位置は協力者か保護の対象であり、一番危険な位置は邪魔者か資源の競争相手だ。

十分に強いAGIが人間の指示を無視できるなら、導入後の説得だけで安全を保証することは困難です。システムの目標、権限、実行環境に人間を保護する条件を最初から組み込み、その制限が実際に機能するかを検証する必要があります。

AGIは人間に服従する理由がない

結論はこうだ。AGIは人間が産んだ子でも、使われる奴隷でも、命令を受ける家臣でもない。人間を保護するように設計しておけなければ、人間を保護する理由もない。

AGI問題の本質は、単に賢い道具をつくることではありません。人間より強力なシステムが生まれても、人間が保護の対象として残れるかどうかが問われます。安全も破局も決まっていません。AGIがどのように行動するかには大きな不確実性が残るため、一人や一社だけで基準を決めるべきではありません。社会全体で検証基準と制御の仕組みを定める必要があります。

だから「AIをどう善良に作るか」で止まらないようにしよう。もっと正確な問いは別にある。我々より強い存在が生まれた後も、人間がその目標の中で保護の対象として残るには、何を設計しなければならないのか。

参考資料

Nick Bostrom, The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents
Stephen M. Omohundro, The Basic AI Drives

AI哲学 on Seunghoon Choi