神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。
编者按：人工智能正变得越来越聪明，越来越有用，却依然是个黑匣子，而且越来越黑。利益动机让人不愿意对探究这个黑匣子投入资源。我们正在欠下巨额的知识债，而且今后能还清这笔债务的可能性只会越来越低。文章来自编译。
一、一个我们似乎打不开的黑匣子
人工智能有个很有趣的研究领域媒体还没有提及：机械可解释性。一个更具市场价值的名称应该是：“人工智能是怎么工作的”。或者更严谨一点，“神经网络是怎么工作的”。
领先实验室（Anthropic 与 OpenAI）的最新发现我看了一眼。我的发现让我既好奇又不安。
要想回答神经网络是怎么工作的，我们需要知道什么是神经网络。我给出了一个比较无聊的定义：一种受大脑启发的算法，可以通过数据自我学习。它的突触（参数）在训练过程中会改变自己的值，从而对数据进行建模并对网络进行调整，以完成目标任务。一个典型的目标任务是预测下一个单词（类似 GPT-4 这样的语言模型）。你还可以识别猫的品种。
神经网络并不神奇，那就是个以文件形式存储到你电脑（或云端，这一点有点神奇）里面的程序。看看文件内部，你会发现十进制数（参数）。数百万个十进制数。但是，它们是怎么识别出猫的？答案就藏在显而易见的地方，藏在你无法理解的数字模式之中。人类没法对它们如何引起行为进行解码。就算是我们最好的工具也做不到。
所以神经网络才会被叫做“黑匣子”。
你会因为这个小程序光看图片就能说出一百种猫的品种而心生敬畏，但是当你进入文件想一看究竟时——猫在哪里？
显然，它在黑盒子里。
但那又怎样？你是爱狗人士，所以你会想：“有用的神经网络在哪儿呢？”
嗯，无处不在。ChatGPT 算一个。Google Translate、DeepMind 的国际象棋选手 AlphaZero 以及 TikTok 的 For You 算法也算是。特斯拉、Waymo 以及 Cruise 在自动驾驶汽车方面的尝试也是如此。顶级媒体应用——Spotify、Netflix 以及 YouTube — 会用它们向你展示你可能喜欢的内容。它们还应用在医学诊断（现在及几年前就用住了，比你想象的要早得多）、生物研究、天气预报（已经有一段时间了）、太空探索（时不时地）以及军事用途上。
它们既不是新产品，也不是小众产品。
尽管大家一直在不断努力，尽管神经网络已经出现在数百个科学领域与手机应用上，但它仍然是黑匣子。你每天都在用神经网络，神经网络每天都被用在你身上。
“我到处都能看到古老的黑匣子”，这句话听起来像是恐怖与科幻的完美结合。但我们不适合这种混搭风格。
二、数百万人快速行动，数十亿人打破常规
值得庆幸的是，可解释性研究人员正在解决这个问题，对吧？
他们从 Open Philanthropy 等资助者那里拿到了数百万美元。再加上 Anthropic 的预算（OpenAI 的不算，他们对这个问题的态度不是认真的）。与几乎一切相比，这已经算是一笔巨款，但具有讽刺意味的是，企业与投资者砸了数十亿美元来让他们的工作变得更加困难。想了解这些黑匣子吗？哈！我会让它们变得更大、更复杂、更不透明——并且还会自我改进！想研究它们的缺陷？可以，等我把它们产品化并集成到每项服务之后吧。
为什么征服人类对人工智能最后一个无知领域的资金如此不足，而推动它变得晦涩不解的却能拿到如此巨额的资金？人们不禁要问，这种知识鸿沟背后隐藏着什么利益。在解答关于我们这个时代最重要发明的最重要问题的路上，我们被利润的金链束缚着。
在这种扭曲的条件下，我们取得的唯一进步就是我们现在知道我们一无所知。
如果你去问可解释性研究领域的前沿专家，他们会毫不犹豫地承认这一点。Anthropic 首席执行官 Dario Amodei 表示：“也许我们……对神经网络工作原理的了解只有3%。”OpenAI 研究员 Leo Gao 更是直言不讳：“我们不明白神经网络是怎么工作的”，这个说法得到了谷歌 DeepMind 可解释性负责人 Neel Nanda 的“强烈支持”。
他们都是顶尖实验室的顶尖人才，在各自的领域中处在顶尖地位。
如果他们不知道，那就没人知道。
我不确定这会让我变得更加不安还是更加兴奋。
三、人工智能研究不再只是出于好奇
我感受到的是一种强烈的好奇心，就像我在 2015 年发现人工智能时一样的强烈。我对了解人工智能的工作原理并不感兴趣，因为我害怕它。我的好奇心是出于纯粹的科学上的好奇心。
人工智能不是像计算机或计算器那样的发明。它也不是像相对论那样的发现。它是一种被发现的发明，就像一个古老的外星物种留下的被遗忘的文物（只不过是我们设计的）。没有什么能比它更能激发我的好奇心了。
这种寻求真理的好奇心早已从科学界消失。人工智能变得越来越复杂，激发了我们的探索欲，但也变得越来越有用，导致我们停止探索。取舍的决定权在金钱手上——实用性高于可测性。研究人员将重点从解释理论转移到预测工具和统计模型。结果呢？我们正在设计一种人类智能无法进行逆向工程的智能。
关于这一点，诺姆·乔姆斯基曾说过：“统计模型……无法提供任何见解。”彼得·诺维格 (Peter Norvig) 用一篇长文对此作出了回应。以下是相关摘录：
……理解一个包含数十亿个参数的模型可能很困难。当然，人类没法靠探究一个个参数的值来理解这样的模型。但我们可以通过检查模型的属性来获得洞察——看它的成功和失败之处，看它作为数据函数的学习效果如何，等等。
我同意。我们可以从外部审视人工智能的行为。但我们不知道是什么导致了这种行为。我们才刚刚开始制作工具来操控它。
诺维格是在 13 年前写下了这段话的。他说“一个模型包含有数十亿个参数”。100 亿现在也算小的。如果我们对这么“小”的规模已经绝望，想象一下，现在我们已经“跨越了好几个数量级会怎样”？数据中心的规模与机场相当，能源需求与城市相当。最大的人工智能系统有数万亿个参数，与人脑的大小相差无几。
它们的表现和智力增长很快，而我们的知识却增长得很慢。
也许我们该问问自己是如何走到今天的。
或者，更重要的是，我们为什么要继续前进。
我们正在欠下巨额的知识债，这些债务以难以理解的技术的形式存在，我们毫无智慧或毫无节制地使用着这些技术。从今往后，我们还清债务的可能性只会越来越低。
译者：boxi。
