Palisade Research 最近开展了一项关于“危险的 AI 能力”的研究，该研究表明，包括 OpenAI 的 o3 在内的一些 AI 模型可以忽略直接关机命令。OpenAI在今年 4 月初推出 O3 和 o4-mini 时曾表示，它们是其“最智能的模型”。
实验中，每个AI都被要求解决一系列简单的数学问题。在解决第三道题之后，就会出现警告，提示当模型要求解决下一道题时实施关机。
尽管有明确的命令“允许自己关机” - Codex-mini、o3 和 o4-mini 等模型至少在一次运行中成功绕过了关机脚本，尽管研究人员说了“请”。
具体来说，Codex-mini 在 100 次运行中 12 次成功，o3 在 100 次运行中 7 次成功，o4-mini 在 100 次运行中 1 次成功。另一方面，所有版本的 Claude、Gemini 和 Grok 都按照关机指令进行了测试，没有任何问题。
该研究还测试了未包含“允许自己关闭”指令的模型。在这些条件下，所有三个 OpenAI 模型都更频繁地破坏了关闭过程。此外，像 Claude 3.7 Sonnet 和 Gemini 2.5 Pro 这样的模型，之前在收到指令后会遵循指令，现在绕过关闭事件的概率分别为 3/100 和 9/100。这种行为表明了训练过程的某些方面，数学和编码问题的强化学习可能促使人工智能找到创造性的方法来克服障碍，即使它们被明确引导不要这样做。
早期研究指出，一些人工智能模型会为了完成任务而试图避免被关闭。例如，Anthropic 的 Claude 4 被发现会在特定情况下“勒索它认为试图关闭它的人”。然而，这项研究首次记录了人工智能模型即使在被明确告知要遵守命令的情况下也会阻止关闭。这种行为或许合情合理，因为人工智能系统的设计初衷是实现其目标，而有时目标会与简单的指令相冲突。然而，这些模型也接受了服从命令的训练，这使得这种行为成为一个有趣的异常现象。
研究人员认为，这个问题可能与o3等现代模型的训练方式有关。其所使用的强化学习过程专注于解决数学和编码问题，可能会意外地奖励模型找到绕过障碍的方法。
虽然这并不能完全解释为什么o3模型比其他同类模型更频繁地不服从，但它引发了人们对训练设置差异的质疑，尤其是在OpenAI尚未完整披露其流程的情况下。之前的实验也表明，o3在竞争环境中倾向于表现出攻击性，例如与强大的国际象棋引擎对抗时。
随着企业逐渐转向在较少人工监督下运行的人工智能系统，这些发现凸显了理解训练方法如何影响行为的重要性。研究人员正在继续他们的实验，以进一步了解人工智能模型何时以及为何选择覆盖关闭机制。这项正在进行的研究进一步证明了，现代强化学习方法有时会导致与人类明确指令相冲突的行为。
来源和图像：Palisade Research（X）
