7月21日消息，被誉为“AI教父”的图灵奖得主杰弗里·辛顿与AI初创公司Cohere联合创始人尼克·弗罗斯特近日进行了一场炉边对话。作为辛顿在多伦多Google Brain实验室的首位员工，弗罗斯特如今已成为AI创业领域的领军人物。

在这场对话中，两位顶尖专家围绕AI领域的前沿议题展开深入探讨，包括：大语言模型是否真正理解人类语言？数字智能能否真正超越生物智能？哪些领域将成为AI最具潜力的应用场景？科技巨头对监管的真实态度又是如何？此外，他们还重点讨论了AI技术带来的双重危险，并就如何建立有效的安全防护体系进行了交流。

以下是辛顿与弗罗斯特的核心观点：

1.辛顿指出，大语言模型在复杂任务上出错不代表它缺乏理解能力，就像学习障碍者也能做对简单题一样。推理能力是渐进的，不是非黑即白。

2.弗罗斯特将AI与人脑的工作机制比作飞机与鸟类的飞行方式——路径不同，但效果相似。他强调AI非常实用，但不应混淆其“类人性”。

3.弗罗斯特提出“意识光谱论”：从石头、树木、大模型到人类，意识是逐级递进的；辛顿则更倾向于认为AI的主观体验可能接近人类。

4.当前模型无法像人类一样根据经验持续学习，只能通过两个阶段（预训练+强化学习）静态获得知识。更新知识仍需重训底层模型

5.弗罗斯特与辛顿都认为，“语言即操作系统”的时代即将到来。只通过自然语言，用户就能调动办公系统执行复杂任务。

6.辛顿强调AI带来的双重风险：短期内可能用于操纵选举、制造武器；长期则可能因超越人类智慧而“接管世界”。

7.辛顿认为，大模型通过压缩连接数量、寻找知识间深层联系展现出真正的“创造力”，甚至超越大多数人类。

8.辛顿认为5年内多数脑力工作将被替代；弗罗斯特认为AI存在能力天花板，许多人类任务仍无法完成。

9.辛顿直言：“奥特曼们口不对心”，AI公司表面欢迎监管，实则回避有实际约束力的规则。当前只能依赖公众舆论推动政策进展。

以下为访谈内容精华版：

图注：从左到右分别是辛顿、主持人以及弗罗斯特

01 大模型犯错≠不会思考！人类同样存在认知缺陷

问：目前AI领域正处于怎样的变革时刻？现阶段最大的难题是什么？

辛顿：大语言模型要更好地进行推理并避免低级错误，确实是一大挑战。但相比几年前的预期，今天的推理能力已经有了显著进步。过去，许多人相信经典的语言学观点，认为这项技术永远不会走得更远。每年，他们都会说技术已经无法再进步了，但每年它都在不断发展。

当然，当模型在推理时出现错误时，很多人会说：“这证明它根本不理解。”但我喜欢用一个例子来说明：假设你给一个有学习障碍的人一些简单的推理题，他能答对；但当问题更复杂时，他可能就做得不好。你不会因此说：“这意味着他根本不懂推理。”而是会说：“他在面对更复杂的问题时做得不够好。”

最近的研究表明，模型在处理简单问题时能够迅速给出答案；当问题稍微难一些时，它会花更多时间，但依然能够正确回答。而面对更复杂的问题时，虽然它不会花很多时间，但却答得完全错误。于是有人会说：“它根本就不会推理。”

事实上，它的推理能力并没有问题，它只是处理复杂问题时表现得不够好，但对简单和中等难度的问题仍然能够正确应对。当面对更复杂的问题时，它也会像人类一样出错。

问：所以你认为这些问题本质上是瓶颈，而非固有的限制？

辛顿：确实如此！

弗罗斯特：我认为目前有很多瓶颈限制了这项技术的影响力，但这些瓶颈并非都与AI本身直接相关。例如，隐私问题、部署问题以及它所接入的数据问题。即使这项技术不再进步，它依然能够比现在产生更大的影响。即使未来几年没有技术上的突破，它也会继续影响我们的生活。还有很多其他计算机科学领域的工作需要完成，才能让这项技术发挥最大影响力。

从长远来看，这项技术在很多方面和人类依然存在巨大差异。它学习的速度远远低于人类，在处理大量示例时，进步非常缓慢。我们创建的大语言模型一旦完成训练，就成了一个静态的实体。它不会像人类一样根据新经验持续学习，我们必须重新训练它。

辛顿：它是可以做到的，只是你不希望它随时都在学习，因为你无法预测它会学到什么。

弗罗斯特：不，不，实际上是技术上的限制。我们会分两个阶段训练大语言模型：一个是基础模型的训练，另一个是通过人类反馈进行强化学习。

基础模型的训练需要读取大量的文本数据，比如从开放网络抓取上万亿字节的数据，然后通过强化学习来让模型更好地与人类协作，这个阶段用的数据量要少得多。

但如果你希望给模型添加新信息，或者让它掌握新的能力，你就需要重新训练整个基础模型。因此，虽然可以通过提示来向它提供新信息，并稍微调整它的表现，但如果想让它真正“学习”新的信息，仍然需要从头开始重新训练，而这不是我们目前能随时完成的任务。

02 AI意识光谱论：石头→树木→AI→人类，你在哪一级？

问：你们在大语言模型的工作原理上有相同的看法，但在如何理解人类思维这一点上却存在分歧。辛顿教授，你的观点是神经网络做的事情和人类思维类似，而弗罗斯特的看法则不同。你们之间的分歧究竟在哪里？

弗罗斯特：我认为大语言模型非常有用，且会变得越来越好。实际上，几年前我就意识到这一点，并且因此创办了一家大语言模型公司，因为我相信这项技术会带来深远的变革。能够根据人类知识库预测下一个单词，这种能力无疑是非常有用的。但我认为，从根本上来说，大语言模型所做的事情和人类的思维机制是完全不同的。

我喜欢用“飞行”这个类比来解释：我们已经能够帮助人类飞天，飞机能飞且非常实用，但飞机的飞行机制和鸟类飞行方式完全不同。飞机通过推进力和机翼设计产生升力，而鸟类则通过拍打翅膀来产生升力。因此，虽然飞机能飞，但它的飞行原理与鸟类的飞行机制截然不同。

同理，我认为人工智能的运作机制与人类的思维方式也有很大区别。尽管人工智能非常有用，但它们的工作原理和人类思维的机制仍有很大差距。

辛顿：既然它们的机制不同，你是否认为这意味着AI根本不理解它自己在说什么？

弗罗斯特：这是另一个问题。虽然大语言模型的工作原理和人类思维不同，但它们在某些层面上又有相似之处。意识不应该被看作是一个简单的二元概念，而应该是一个光谱。石头的“意识”在这个光谱的最远端，树木的意识稍微接近人类，而大语言模型则处于光谱的中间。

辛顿：你不认同我关于它们有相同意识的观点吗？比如，当你把棱镜放在镜头前，导致指向偏差时，你不认为它会产生某种错误的主观体验吗？

弗罗斯特：我认为，把主观体验看作是一个二元的概念是错误的，我们应该认识到意识是一个光谱。石头几乎没有意识，树木有一定程度的意识，而大语言模型则位于这个光谱的中间。你如何看待这个光谱？

辛顿：我同意，大语言模型的“意识”可能更接近我们人类的意识。

问：你为何认为人类和AI系统本质上在做相同的事情？你对此的判断依据是什么？

辛顿：这一判断的关键在于对“主观体验”本质的理解。19岁时，我在剑桥读哲学，花了大量时间思考心智哲学。受到维特根斯坦和牛津语言哲学的影响，我逐渐意识到，主观体验并非像照片那样是一个实体存在。说起来有些讽刺，正是牛津语言哲学拯救了我们免于AI威胁。人们常常从根本上误解了主观体验、意识和感知的本质。

问：那么，人类在舞台上所展现的“存在感”呢？它是涌现出来的行为，还是某种内在特性的产物？

辛顿：我认为AI同样可以具备“站在舞台上的存在感”，当然，这种“存在感”与人类有差异。举个例子，AI没有像人类那样的身体反应：比如我在感到尴尬时会脸红，而AI则不会。但它仍然可以表现出尴尬的行为特征，例如它会尽量避免将来再遇到类似的情况。

03 办公场景将被彻底颠覆，语言指令时代即将到来

问：人类的智慧与人工智能的本质差异会如何影响实际系统的设计？比如人类与大语言模型的交互界面？

弗罗斯特：我认为，这将直接影响技术的应用方向。我们正在快速接近一个新的未来：办公场景将彻底改变——你只需用语言指令就能让电脑完成工作。事实上，我现在的工作流程已经越来越依赖语言交互，这个临界点离我们不远了。

辛顿：确实，这真的很疯狂！大约20年前，人们常常说：“如果我能直接跟计算机对话该多好？”“为什么我不能直接告诉打印机打印文件？”而现在，我们能够与计算机对话，且它们似乎能理解我们，这本身就让人觉得不可思议。

弗罗斯特：我依然认为这是我遇到的最美妙的技术，每次看到它的表现，我都会感到惊叹。但我认为，未来的方向不会是你打开电脑就能像和人对话一样与它交流。我不认为你会期待它像人类一样表现。

如果你看现在人们如何使用语言模型，你会发现他们已经了解，AI可以被指示完成特定任务，但如果它出错了，你就得重新开始。如果你给它正确的文件，且它能访问到相关信息，它就能给出答案。但如果它没有这些信息，它与人类不同，不能自主去寻找答案，也不知道该从哪里找。

辛顿：但是你不觉得这种界限正在逐渐模糊吗？

弗罗斯特：从本质上来说，并没有改变。尽管模型性能不断提升，使用门槛在降低，但大语言模型与人类的根本差异仍然很明显。

辛顿：我用数据来反驳你！英国SafetyX公司做过的实验显示，当普通用户与大语言模型深入交流后，许多人会在实验结束时，像与老朋友告别一样，主动向AI道一声“再见”。这或许可以暗示，人与机器在不知不觉间建立了某种微妙联系。

弗罗斯特：我认为这并不能说明什么，有两个原因：首先，早在20世纪60年代，也就是语言模型出现之前，就有实验表明，简单的启发式规则就能引发人类的情感投射，那时就已经存在类似现象。

其次，我小时候也给自己的玩偶取名字，并与它们建立了深厚的情感联系，显然它们并没有理解什么。

就我个人而言，我使用语言模型时也会使用礼貌用语，因为这样让我感觉更愉悦。但用户冷静下来后，都会意识到，模型的“体验”与人类的感知有本质不同。

辛顿：但是我觉得，越来越多的人开始把这些大语言模型看作是类生命体来对待。

问：你认为我们与这些系统的互动会带来什么影响？因为有时候，我们可能会过于相信这些系统。比如，MIT媒体实验室的最新论文指出，这类交互可能会削弱人类的批判性思维。

辛顿：我不确定。但我确实注意到，我越来越倾向于信任GPT-4，经常不假思索地相信它的输出，且常常不去核实。这种习惯可能需要改掉。

弗罗斯特：每当新技术出现，历史上教育界总是会大喊“这会让孩子变得更笨”。古希腊人就曾担心文字的普及会导致记忆力退化，这种担忧由来已久。我确实认为，随着技术的发展，它会变成我们日常生活的一部分，这必然会影响我们思考的方式和我们使用技术的方式。但从长远来看，文字、印刷术、计算机的发明最终都促进了人类智慧的发展。

04 AI接管世界倒计时？超级智能终将到来，只是时间问题

问：也许我们会变得更擅长学习如何与AI系统互动，或者我们能学会与它们优势互补？

辛顿：这肯定会发生。AI助手的好处巨大，我们每个人都会有非常聪明的AI助手，它们知道很多关于我们的事情，我们也不再需要传统的助理。但这也带来了一个巨大的负面影响——当这些AI变得比我们还聪明时，它们是否还需要我们？

问：这就涉及到风险和防护措施的问题。风险可以分为两类：短期可预见的风险和更宏观的生存性风险。你们认为，主要的生存性风险是什么？

辛顿：我认为“生存性风险”指的是AI接管整个世界。而短期的风险同样致命，包括它被用来干预选举、助推法西斯主义、用于监控人类、帮助研发自动化致命武器或生物武器（比如设计新的病毒），甚至发动新形式的网络攻击等。

问：当你提到这些系统变得比我们更聪明时，你所指的“更聪明”到底是什么意思？它们能够做什么？能否产生主观意图？

辛顿：举个例子：如果和这些AI辩论任何话题，永远是它们赢。我的“更聪明”的定义很简单：它们能在辩论中碾压你，设计出你完全想不到的方案，快速理解新事物。大多数AI研究者认为，这终将发生，弗罗斯特可能是少数的持不同意见的人。你认为这只是一个理论上的风险吗？

弗罗斯特：我觉得有几个问题需要明确：首先，现有的技术（或可预见的技术发展路径）是否会带来这样的风险？其次，人类历史上是否终将创造出媲美人类智能的机器，并产生类似的风险？

我和辛顿教授都认同第二点——未来肯定会出现超越人脑的“人工心智”，但它的发展不会那么快，且通过可预测的方式进行扩展。当前的大语言模型，即使它们的规模继续扩大，也无法达到人类智能水平，就像造得再快的飞机也永远无法变成蜂鸟一样。

辛顿：那如果是多模态模型呢？如果这些模型能够在现实世界中行动并具备感知能力，你觉得通过这些方式我们能实现目标吗？我同意你的看法，仅凭语言模型，虽然已经取得了惊人的进展，但也许我们无法仅凭语言模型达到人类智能水平。但一旦让它们在世界中行动并创建自己的子目标，我觉得我们最终会做得到。

弗罗斯特：现有的多模态模型本质上仍是序列预测模型，只不过它们的输入从文字扩展到图像或音频，然后继续预测更多的序列。所以它们依然是相同的技术，只是操作方式不同。

我认为，即使模型的规模继续增大，它们依然突破不了根本的限制。但这并不代表技术没有威胁。我认同辛顿教授对虚假信息的担忧，更加担心的是这种技术加剧了收入不平等。这项技术可能会加剧现有的经济趋势，我们必须确保它能赋能大众，而不是被少数垄断阶层所掌控。至于生物武器的威胁，我认为大语言模型不构成实质性风险。

辛顿：为什么你这么认为？相关领域的研究者可不这么看。

弗罗斯特：我们团队也在做相关研究，且已经发表了论文。

辛顿：你们有尝试让这些模型设计生物武器吗？

弗罗斯特：从广义上讲，我认为大语言模型可以帮助你更快速地访问和处理信息，并能够以超人的速度根据大量文献得出合理的结论。但是，制造生物武器的瓶颈不在于信息的获取。没有人因为无法快速处理信息或获取信息而无法制造生物武器。

问题在于缺乏实验室环境、合适的材料、以及反复试错的条件等。大语言模型并不能解决这些问题的根本瓶颈。

辛顿：但是现在根本不需要自己建实验室。你可以将序列发到云端，别人会把化学物质发回来。在美国，拜登政府曾试图强制要求那些接受测序并返回化学物质的人，检查这些序列中是否含有像新冠病毒刺突蛋白之类的成分。

然而，拜登政府没能实现这一目标，因为它需要立法，而共和党并不愿意让他取得任何胜利。实际上，在提供网络测序服务的公司中，有20%愿意进行检查，但其余80%则不愿意。

所以，你不再需要自建顶尖的实验室。你只需要发送一个序列，结果就会寄回来。

弗罗斯特：从整体来看，我认为实施这种限制是个好主意，应该早就这样做了。但我不认为神经网络是瓶颈，真正的瓶颈在于获取这些信息的渠道。

辛顿：不，既然你能通过别人的实验室来合成序列，只需要发送序列，他们就能反馈，这就不再是瓶颈。现在的瓶颈仅在于设计序列本身，而AI工具在这方面非常有用。

弗罗斯特：AI工具确实有用，比如你之前提到的蛋白质折叠就是个很好的应用案例。但我认为这和通过实验验证某个序列是否有效是完全不同的，我不认为大语言模型在这方面表现得很好。

05 人类再无独特之处？AI将全盘复制所有人类成就

弗罗斯特：我们认为大语言模型在日常生活中的价值，特别是在工作场景中的应用，更应被看作是“调度者”，而不是“先知”。我不会问模型“今天是周二，我该做什么？”，而是会说“请总结前天收到的邮件，与Salesforce文档交叉比对，然后准备文件发给同事”。

这其中每个子任务都需要调用不同的功能模块，而大语言模型的作用正是协调这些模块的调用时机。构建这样的系统非常复杂，目前大多数人的工作场景中还没有这样的应用，而这正是我们需要努力的方向。

辛顿：举个具体的例子，你不认为大语言模型能够根据“设计一种获取某人密码的新方法”这样的提示，真的找到方法吗？我认为它目前做不到，但未来可能会做到。

弗罗斯特：大语言模型在编程方面确实很有用，很多程序员都有用AI辅助编程的经验。这是因为网上有大量开源代码供模型学习，使其擅长预测代码序列。

另一个原因是可以通过强化学习优化代码生成：运行成功就奖励，失败就惩罚。理论上，你也可以将“成功获取密码”作为奖励标准来训练模型。虽然有人尝试过这种方法来提升代码能力，但每年新基准测试发布后，模型的表现往往大幅下降。

这说明，序列模型本质上是受限于训练数据的，即便在强化学习的环境下，也难以突破这个限制。所以，我认为像你说的那种情况可能性不大，当然，理论上并非完全不可能。

辛顿：我想这就是我们直觉上的差异。基本上，你认为模型缺乏创造力，只是模仿训练数据呈现的内容；而我认为它们非常富有创造力，能够发现人类未曾注意到的关联。

弗罗斯特：这很有趣，我们代表了两种不同的观点。我们认为，模型的知识来自基础训练，然后通过强化学习和人类反馈将这些知识再现出来；而你们认为，知识是通过强化学习从人类反馈或某些其他环境中直接获得的。

辛顿：举个例子来说，人脑有大约百万亿个连接，而GPT-4只有大约1万亿个连接，但它掌握的知识远远超过人类。这意味着，它必须通过发现不同知识之间的深层关联，才能在这么少的连接中压缩这么多信息。

在GPT-4尚未联网时（训练数据截至2021年4月），我曾问它“为什么堆肥茶（高品质肥料）和原子弹类似？”它回答说，时间尺度和能量级别完全不同，但接着它分析了两者的链式反应相似性：堆肥温度升高会加速产生热量。这表明它理解了堆肥茶和原子弹之间的抽象关系。

我认为，这种理解是在训练过程中形成的，而非实时推理时产生的。为了存储知识，模型必须发现这些深层关联。在各种创造力测试中，大语言模型的表现能够超过90%的人类。这还是几年前的数据，现在可能会更高。所以，我认为大模型确实很有创造力，因为它们通过训练数据看到了许多隐藏的关系，现在它们能变得非常有创意。

问：这种创造力会带来哪些实际风险？

辛顿：他们能想出一些创新的、意想不到的方法，譬如获取密码的新方式。

问：你曾提到AI系统将取代所谓的“常规脑力劳动”。你认为是否存在某些人类成就，是这些系统理论上永远无法复现的？

辛顿：没有！

问：没有？但你曾说过，你认为人类的创造力只能再坚持一段时间。你现在还这么认为吗？

辛顿：或许还能再坚持一小段时间。这是我在2022年左右看到谷歌聊天机器人Palm之前的观点。看到它能够解释笑话的笑点时，我改变了看法。这曾是我判断AI是否真正理解的测试标准。既然它们能做到这一点，我就放弃了人类有特殊性的想法。

06 “奥特曼们口不对心”：他们并不真想要监管

问：那么，我们该如何在社会层面开始思考这个问题呢？至少我们得考虑像结构性失业、社会不平等、恶意使用等危险。如何在追求技术带来机会的同时保障就业？谁来负责？

辛顿：科技巨头们总是嘴上说“我们欢迎监管”，就像OpenAI的山姆·奥特曼那样。但当你提出具体的监管方案时，他们总会说“不是这种”。他们不想要有实际效力的监管。这就像石油公司对待气候变化的态度一样。他们不相信监管，公众需要被说服相信气候变化的存在，这样才能对政治家施加压力，要求采取行动。

我认为大型AI公司就像石油公司一样，它们会施加压力，阻止政治家进行监管。唯一的反向压力来自公众，这会迫使他们进行监管。但这将非常困难，因为我们知道该怎么做来应对气候变化，那就是停止燃烧碳；但对AI技术，我们并不完全清楚该怎么做。我们仍需要大量的研究来让它变得安全。

弗罗斯特：我认为很多来自这项技术的风险，考验的是社会结构的整体可靠性。工业革命时期也经历过类似的混乱，甚至出现过使用童工的荒谬决策。

我们需要考虑如何教育人们，让他们理解这项技术的运作方式，以及它如何为他们工作。我们还需要为就业建立其他社会保障网。但我不认为在接下来的10年内，我们会看到大规模的工作岗位被取代。我这么说，是因为我认为有很多人类能够做到的事情，大语言模型做不到，而这点在未来几年内也不会改变。

07 10年？AI取代人类工作岗位的临界点

辛顿：我很惊讶你说10年，或许只需要几年。《大西洋月刊》已经报道，由于AI介入，初级律师的就业机会正在减少。

弗罗斯特：确实有些岗位会受影响，大语言模型将取代20%到30%的办公室工作，这种变革速度是惊人的。

辛顿：我认为这个进程会非常快。真正的危险在于，当替代率达到80%的时候。

弗罗斯特：不过这正是我们的分歧点——我认为AI存在能力天花板，许多人类在工作与生活中处理的事务，它们永远无法胜任。

问：在讨论这么多风险之后，能否分享你们对AI技术潜力的期待？

辛顿：医疗和教育领域将发生革命性变化，特别是教育领域，大学甚至可能被AI彻底取代。

问：你怎么看待AI在医疗领域的潜力？

辛顿：我在2016年做过一个预测，结果错得有些离谱。我当时说，到现在所有的扫描将由AI读取。而实际情况是，现在许多扫描确实是由AI读取的。例如，梅奥诊所有很多经过联邦批准的AI工具在读取扫描，但依然由人类医生进行复核。我总是把事情想得太快。

弗罗斯特：等等，你当年的预测可不是AI辅助读片，而是说所有放射科医生将失业！但数据显示，放射科医生数量反而在增加！

问：你们对大语言模型的未来发展方向感到最有希望的是什么？

辛顿：我对医疗健康领域充满希望。我们将获得更好的医疗服务，对老年人来说，这非常重要。而更棒的是，这不会让太多人失业。如果能提升医护人员的效率10倍，我们就能获得10倍的医疗服务，这太棒了。

弗罗斯特：AI技术将全方位改变我们的生活。我期待减少枯燥的文书工作——少写文档、少填表格、少发邮件，这样我就能有更多时间写诗、与朋友畅谈。大语言模型将帮我们卸下这些负担，让人们专注于更擅长、更享受的事情，它将可以提高生产力，这对加拿大经济和每个人的生活都将产生深远影响。

本文来自“腾讯科技”，编译：金鹿，编辑：海伦，36氪经授权发布。