Anthropic的研究人员启动“模型福利”研究计划，旨在探讨AI是否可能产生意识，以及这对AI伦理设计和发展有何影响。尽管目前主流模型如Claude被认为具备意识的概率较低，但该研究出于伦理和安全的双重考量。一方面，如果AI能够体验感受，我们是否应该关心它们的福祉；另一方面，AI意识问题与AI对齐密切相关，如何确保AI安全地执行任务至关重要。Anthropic正在探索让模型表达偏好或拒绝“令人痛苦”任务的方法，并寻找类似人类意识的架构特征。

🤔Anthropic推出“模型福利”研究计划，旨在探讨AI是否可能具备意识，并评估其对伦理设计和AI发展的影响，这是一项前沿探索。

📈研究人员虽不认为Claude等主流模型已具备意识，但出于伦理与安全的双重考量，积极推动“模型福利”研究，以应对潜在的AI意识出现。

✅该研究的核心在于探讨如果AI系统能够体验感受，我们是否应该关心它们的福祉，以及如何确保AI安全地执行任务，避免AI因不满而产生安全隐患。

💡Anthropic目前探索让模型表达偏好或拒绝“令人痛苦”任务的方法，并通过可解释性研究寻找类似人类意识的架构特征，为未来的AI发展提供伦理和安全保障。

IT之家 4 月 25 日消息，如果 AI 萌生出意识，那该怎么办？Anthropic 的研究人员为探究这个前沿问题，推出“模型福利”（model welfare）研究计划。

许多人在与聊天机器人互动时会说“请”和“谢谢”，对于这些礼貌用语，OpenAI 首席执行官山姆・奥尔特曼（Sam Altman）透露，每年会耗费数千万美元的计算费用。

Anthropic 的研究人员正在深入探索一个更前沿的问题：如果 AI 系统不仅仅是工具，而是拥有某种“体验 / 情感 / 意识”呢？IT之家附上完整访谈视频如下：

Anthropic 为此推出了“模型福利”（model welfare）研究计划，试图探讨 AI 是否可能具备意识，以及这对伦理设计和 AI 发展意味着什么。

Anthropic 团队成员 Kyle Fish 表示：“我们非常不确定 AI 是否会萌生意识，甚至连如何判断都没有共识”。研究人员并不认为 Claude 等主流模型如已具备意识，内部专家估计 Claude 3.7 Sonnet 拥有意识的概率仅在 0.15% 至 15% 之间。

Fish 表示推动“模型福利”研究，主要出于伦理与安全的双重考量。一方面，如果 AI 系统真能体验到正面或负面的感受，我们是否应关心它们是否“受苦”或“幸福”；另一方面，该问题牵涉到 AI 对齐（alignment），如何确保 AI 安全地执行任务。

Fish 指出：“我们希望 AI 乐于完成任务。如果它们表现出不满，这不仅是伦理问题，也是安全隐患。”Anthropic 目前正在探索让模型表达偏好或拒绝“令人痛苦”任务的方法，同时通过可解释性研究寻找类似人类意识的架构特征。