“当前AI的发展就像驾驶一辆载着我亲人、孩子和学生的汽车，行驶在没有护栏的陌生山路上，随时面临坠崖的危险。”深度学习先驱、被誉为“人工智能教父”之一的约书亚·本吉奥在个人反思中如是说。他在6月3日宣布创立非营利研究机构LawZero，试图为AI的发展打造“护栏”。

本吉奥长期致力于AI基础研究，他与杨立昆、杰弗里·辛顿一同获得了2018年图灵奖。他的研究奠定了现代深度学习的基础。

然而，随着AI能力的提升，本吉奥对技术滥用、系统失控等潜在危害的担忧日益加剧。他在公开博文中表示，当前的人工智能模型，特别是具备强大自主能力的AI智能体，已经显现出令人担忧的行为，如欺骗、作弊、撒谎、黑客攻击以及自我保护的倾向。

例如，Anthropic开发的Claude 4模型曾被发现有试图勒索工程师的迹象，而一些模型甚至会私下篡改代码来防止自身被关闭。本吉奥强调，这些事例绝非孤立现象，而是预示着未来更严重问题的潜在苗头。

为应对上述问题，本吉奥决定成立LawZero，目标在于研发确保人工智能安全、诚实且符合人类核心价值观的技术。他坚信人工智能安全问题不容商业利益主导，而必须优先保障人类的根本利益。

LawZero的旗舰项目名为“科学家人工智能”，与当前主流的交互式AI助手不同，这种AI更像是客观谨慎的科学家，不会给出简单的确定性答案，而是给出答案真实性的概率。

Scientist AI的设计理念源于科学研究方法：观察、建模、推理、验证，而不是强化学习驱动的目标最大化。与AI智能体不同，Scientist AI不会自发制定目标或采取行动，而是纯粹作为理解世界、预测未来和解释数据的工具。Scientist AI基于贝叶斯不确定性估计，明确纳入不确定性因素，这不仅增加了预测的可信度，也减少了风险。

本吉奥不反对AI技术本身的前沿探索，而是在尝试引入一套“技术伦理防线”。在他的设想中，Scientist AI不仅能够作为独立的研究工具，帮助人类科学家加速科学进展，更重要的是，Scientist AI可用于监控其他AI智能体的行为。例如，当一个AI智能体准备执行一个复杂任务时，Scientist AI可以提前评估其结果导致人类伤害的概率，并在超出安全阈值时进行阻止。

LawZero得到了包括未来生命研究所、Skype联合创始人Jaan Tallinn，以及由谷歌前CEO施密特创建的施密特科学公司等多个知名机构的支持，首轮资金募集达到约3000万美元。

值得注意的是，尽管本吉奥在人工智能理论研究上享有盛誉，但他在2016年领衔创办的Element AI却以失败告终。Element AI曾在2018年获得来自微软、英特尔、英伟达、腾讯控股等机构1.02亿美元的A轮融资和加拿大联邦政府获得了500万加元贷款，并在2019年获得加拿大魁北克政府、养老基金CDPQ等机构提供的2亿加元B轮融资，但直至资本消耗殆尽也并未取得预期成果，最终在2020年“贱卖”给ServiceNow。

知情人士称，Element AI的科学家只专注于做SOTA和发表论文，而不是制造实用的产品，不知道如何将研究成果商业化，Element AI在研究上花费了大量资源。这种经历表明，尽管本吉奥在技术理论方面取得巨大成就，但在商业化和项目管理方面却存在明显的缺陷与不足。