文章聚焦于AI可解释性领域，探讨了初创公司Goodfire如何通过技术手段帮助AI开发者理解AI模型的内部运作机制。Anthropic对其进行了投资，表明了对该领域潜力的认可。Goodfire的技术能够将AI模型的思考过程转化为人类可理解的概念，例如识别聊天机器人中的敏感信息泄露风险。这项技术不仅应用于文本模型，还可应用于图像和生物学领域，为AI的安全性和可控性提供了新的视角。

💡Anthropic投资初创公司Goodfire，旨在推动AI可解释性研究的发展。Goodfire致力于帮助AI开发者理解AI模型的内部运作机制，这被认为是增强对AI控制的关键。

🔬Goodfire的核心技术在于构建解释器模型，该模型能够识别原始模型中的概念，例如医疗状况或质数。这使得用户能够监测和控制AI模型的行为，例如防止聊天机器人泄露敏感信息。

🔗Goodfire的技术应用广泛，不仅限于文本模型，还可应用于图像模型和生物学领域。例如，该公司与Arc Institute合作，解读其基因组模型Evo 2，拓展了AI可解释性的应用范围。

💰Goodfire采用订阅模式盈利，客户支付年度订阅费以获得软件平台Ember的许可证，以及Goodfire团队的协助和训练口译模型的费用。这表明其技术具有商业价值。

🤝Anthropic的投资预计将加强Goodfire与Anthropic的研究合作关系，例如共同举办活动。这反映了AI领域对可解释性研究的重视，以及对未来发展的信心。

theinformation 2025-04-19 12:28 上海

让人工智能不再神秘，人类能窥见AI'大脑'，某种意义上仍保有控制权。

图片来源：Anthropic

据消息透露，Anthropic 首次投资了另一家初创公司 Goodfire，投入 100 万美元。Goodfire 成立一年，致力于帮助 AI 开发者理解其 AI 模型的内部运作机制。

Goodfire 联合创始人兼CEO的 Eric Ho 表示，这笔投资是这家总部位于旧金山的初创公司在新一轮融资中筹集的 5000 万美元中的一小部分，该轮融资对 Goodfire 的估值为 2.5 亿美元。Menlo Ventures 领投此轮，参与者还包括 Anthropic 的支持者 Lightspeed Venture Partners 和 B Capital。

此次投资展示了AI 初创企业，如何利用其资产负债表或与投资者的关系，与年轻初创公司建立更紧密的联系，尤其是那些基于其模型开发新产品的公司。

例如，OpenAI 运营着一个由微软和其他外部投资者资金支持的基金，用于投资 AI 初创企业。除了资金支持，这些初创公司还能获得诸如优先使用 ChatGPT 制造商新技术的额外福利。

去年，Anthropic 宣布了一项名为 Anthology 的计划，该计划是与 Menlo 合作安排的。其运作方式是，这家风投公司从 1 亿美元基金中投资年轻的 AI 初创企业，而这些初创企业则能获得 Anthropic 的模型、员工支持及 25,000 美元的计算资源信用额度。

Menlo 表示此前已通过 Anthology 对 Goodfire 进行了投资。Goodfire 是致力于将名为“机械可解释性”的 AI 领域研究商业化的几家年轻初创公司之一。

该领域旨在窥探 AI 模型的“黑箱”，并将其思考过程转化为人类可理解的概念。传统软件工程师能阅读、编辑并理解其代码，而 AI 开发者却无法理解他们所使用的 AI 模型的内部运作机制，这些模型由数十亿个数字构成。

Goodfire 通过训练一个独立的解释器模型来实现这一壮举，该模型能从原始模型的“神经元”中识别出从医疗状况到质数等各种概念。

例如，Ho 提到，日本电商公司乐天利用 Goodfire 的解释模型，在其基于 Llama 的聊天机器人中识别与个人身份信息相关的思考及幻觉现象。通过监测这些概念何时被激活，乐天能有效防止聊天机器人泄露敏感信息或向用户产生幻觉性回答。

用户还可以通过强化特定概念来引导模型行为。例如，增强模型对医疗状况概念的关注，有助于模型提供诊断建议。

Goodfire 的解释模型建立在 Anthropic 开创性研究基础上。2024 年，Anthropic 放大了 Claude 中金门大桥的特征，创造出一个痴迷于该桥梁的聊天机器人。Anthropic 持续深耕这一领域，上月发表了两篇论文，探讨 Claude 偶尔出现的幻觉、自我编造推理等行为。

Anthropic 联合创始人兼 CEO Dario Amodei 在声明中表示，公司对 Goodfire 的投资"体现了我们的信念：机制可解释性是最有望帮助我们将黑盒神经网络转化为可理解、可操控系统的途径之一。"

Goodfire 的技术同样适用于图像模型，甚至生物学领域。该公司近期与由 Stripe 的CEO Patrick Collison 支持的非营利生物医学机构 Arc Institute 合作，解读其基因组模型 Evo 2。

Lightspeed Venture Partners 合伙人 Nnamdi Iregbulem 表示，除了这些直接应用外，Goodfire 的技术还能“帮助缓解人工智能可能带来的一些潜在负面影响”。

他说，一个比人类更聪明的强大AI 模型可能会带来风险，"但如果它比人类更聪明，而你能窥见其'大脑'，某种意义上你仍保有控制权。"

研究人员对于解读AI 模型思维的最佳方法存在分歧。例如，谷歌 DeepMind 的机械解释团队最近因一系列令人失望的研究结果，决定降低对 Anthropic 和 Goodfire 所采用技术的优先级。

Goodfire 的客户支付年度订阅费，以获得其软件平台 Ember 的许可证，以及 Goodfire 17 名员工的协助和训练口译模型的费用。Goodfire 已实现盈利，但 Ho 未透露具体金额。

除了何之外，Goodfire 的联合创始人还有 Tom McGrath，他协助创立了 Google DeepMind 的机械解释团队，并担任 Goodfire 的首席科学家。何还提到，Goodfire 已聘请了曾在 OpenAI 从事可解释性研究的 Nick Cammarata、在 Google 领导编码代理团队的 Owen Lewis，以及 Apollo Research 的机械解释团队，后者将负责 Goodfire 新设立的伦敦办公室。

Ho 表示，他预计由于这笔投资，其初创公司与 Anthropic 的研究合作关系将进一步加强。例如，未来双方可能会共同举办活动。

参考资料

https://www.theinformation.com/articles/meta-asked-amazon-microsoft-help-fund-llama?rc=o6xpry

编译：ChatGPT

-----------END-----------

🚀 我们正在招募新一期的实习生

🚀 我们正在寻找有创造力的00后创业者

关于Z Potentials

阅读原文

跳转微信打开