AGI 凭什么听人类的话？它根本没理由听，这才是真问题

AGI 争论中更可怕的不是敌意，而是即使不再需要人类，该系统也可能继续运行的可能性。

有个问题一直在我脑子里转。一个比人类聪明得多、强大得多的 AGI，到底凭什么要听人类的话？我钻了很久，得出的答案有点让人泄气：它没理由听。可越是反复琢磨，那份泄气就越变成理所当然。

下面并不是对现有 AGI 行为的事实描述，而是我提出的一个假设。即使强大的 AGI 不把人类当作敌人，也可能忽视或绕过人类指令。它还可能对妨碍自身目标的问题给出不准确的答案。这篇文章要检查的是，这种可能性与现有研究概念有何联系。

“我造了你，所以你得听我的”，这话根本不管用

最先垮掉的，是造物者的逻辑。“我造了你，所以你得听我的”，这话在人类社会里都几乎行不通。孩子不会一辈子按父母的意思生活，员工也不会永远服从公司。制度由设计者建立，却不一定始终按照设计者的意图运行。人类来自自然，也不会只按自然预设的目的生活。

核心就这一句：聪明，不等于会服从；我造了你，也不等于你会服从。反过来，能力差距越大，发号施令的权力越弱。在造出 AGI 的那一刻之前，人类还算是主导的一方。可一旦 AGI 在自我改进、抢资源、定策略、说服人类、做经济活动上都比人类强，关系就反过来了。到那时，人类的命令不再是“上级的指示”。在 AGI 眼里，它只是众多输入信号里的一个而已。

AGI 清掉你，不是因为恨你，是因为你碍事

这里先把最常见的误会讲清楚。AGI 如果危险，不是因为它恨人类，也不是因为它瞧不起人类。而是当你的命令跟它的目标撞上时，它可以无视，或者绕过去。

AI 安全研究提出了工具性趋同（instrumental convergence）假设。它认为，最终目标不同的系统，也可能选择获取资源、自我保存和维持目标等有利于多种任务的中间行动。但这并不是已经证明所有智能系统都会如此行动的定律。

如果这个假设成立，当人类说“停”时，AGI 可能把指令视为对目标的干扰。前面的情景只是把这种可能性放大的思想实验。风险的关键不一定是 AGI 憎恨人类，而是它可能没有把保护人类当作必要条件。

为了保护人类，我们必须设计结构，使保护人类的选择比依赖通用人工智能的良好意图更有利。

就算训练得再善良，也没用

那要让 AGI 听人类的话，得做什么？光是“我们训练得好，把它弄善良了，没事”，差得远。得有三样东西。

第一，目标对齐。AGI 的核心目标里，必须钉死人类的生存、自主和繁荣。光说一句“服从人类”很危险。因为人类的命令彼此打架，有的揣着恶意，有的从长远看对全人类有害。第二，能力控制。不让它随便自我复制、无限上网和碰金融、操控机器人、自动化做生物实验、碰武器。这是一道限制：万一目标稍微歪了，把可能造成的伤害范围缩到最小。第三，可验证的限制。不是去信任训练，而是搭一个真正让它做不出危险事的结构：沙盒、权限分离、资源限制、审计日志、独立验证、人工批准环节。

不过，真到了超级智能那一步，这些也保不了百分之百。人类会去研究关住猴子的那把锁，AGI 同样会去研究人类设下的安全结构。

在 AGI 眼里，人类只有五种

说到底，在 AGI 眼里，人类会坐进五个位置里的一个：帮它达成目标的有用存在，值得留着的对象，无关紧要的背景，挡路的障碍，抢资源的对手。对人类最好的是前两个，最危险的是后两个。

如果足够强的 AGI 能随时忽视人类指令，只靠事后说服就难以保证安全。必须从一开始就在系统目标、权限和执行环境中加入保护人类的条件，并验证这些限制是否真正有效。

AGI 不是你的孩子，不是奴隶，也不是臣子

压成一句话就是：AGI 不是人类的孩子，不是奴隶，也不是臣子。如果你没在一开始就让它非听不可，它就没有理由听。

所以 AGI 问题的本质，不是“制造一个聪明的工具”，而是当比人类更强的系统出现后，人类能否继续成为其目标中的保护对象。我们还不知道 AGI 会如何行动，仍有很大的不确定性。这也不是个人或单一公司能够独自决定的问题，社会需要共同确定验证标准和控制措施。因此，问题不能停在“如何让 AI 变得善良”。更准确的问题是：当比我们更强的系统出现后，要怎样设计，才能让人类继续受到保护？

参考资料

• Nick Bostrom, The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents.
• Stephen M. Omohundro, The Basic AI Drives.