新智元报道
新智元报道
若缺乏全球安全协作，「超级智能」可能反噬创造者，人类或需在「放虎归山」与「驯虎为友」之间做出抉择。
· 数字 VS 生物：优势对比一针见血知识共享效率：神经网络一次权重复制即可传递数十亿比特信息；人类语言教学每句话仅百比特。硬件依赖：数字模型可在任何芯片「永生」，而人类智慧随个体消亡。能耗差异：生物计算节能，但若能源充裕，数字计算的「规模化迭代」更具绝对优势。· 从逻辑启发到生物启发：范式大迁徙Hinton回溯过去AI发展30年历程：逻辑启发重符号推理，学习被搁置；生物启发聚焦神经网络，用高维「乐高积木」思维方式类比大语言模型理解世界；Transformer出世，OpenAI证明LLM智能的威力。
· 超级智能的「子目标效应」为完成主任务，AI自发衍生「生存」与「夺权」子目标；通过学习人类欺骗与操控技巧，AI或轻松绕过「关闭按钮」；人类「养虎」隐喻——小虎崽终会长成捕食者。· Hinton给出的生存路线图全球AI安全研究所联盟：各国共研「向善技术」，不必公开最尖端模型。分离两条技术栈：让AI变「善」与变「强」可以并行不泄密。
这就像教导孩子成为一个好人的方法，与让他们变得聪明的方法是相对独立的一样。
如果这个观点是正确的，各国就可以设立资金充足的人工智能安全研究所，专注于研究如何让AI不想夺取控制权。
这样，各国应该能够在不透露其最智能AI如何运作的情况下，共享使AI向善的技术。Hinton演讲全文实录非常感谢大家给我这样一个机会，来分享一些个人的观点，有关AI的历史和它的未来。在过去60多年来，科学界对于AI有两种不同的理解范式：一个是逻辑启发范式，认为符号规则的表达操作可以实现推理；智能的本质在于推理。另一种是图灵和冯诺依曼所相信的，认为智能的基础在于学习神经网络中的链接，这个过程中理解是第一位的。于是我们开始关注自然语言中词与词之间的关系。心理学家还有另外一套理论，他们认为数字是语义学的特征。1985年，我做了一个很小的模型，想把两大理论方向结合在一起，来更好地理解人类是如何理解词汇的。每一个词都分析出好几个特征，每一个词都与前一个词的特征关联，由此预测下一个词，在这个过程中没有存储任何的句子，只是生成句子，预测下一个词是什么。之后的三十年发生了什么？十年之后Yoshua Bengio的研究扩大了它的规模，二十年后，计算语言学家终于接受了特征向量的嵌入来表达词的意思；再到三十年后，谷歌开发了 Transformer，OpenAI用ChatGPT展示了LLM的能力。今天的大语言模型（LLM）被视为当年我的小语言模型的后代，是1985年后出现的技术潮流，它们使用更多的词作为输入，更复杂的神经元结构，学习特征之间也建立了更复杂的交互连接。就像之前我做的那些小模型一样，LLM与人类理解语言的方式是一样的，就是把这些语言转化为一些特征，然后把这些特征以一种完美的方式整合在一起，这就是 LLM各个层次里所做的事情。LLM确实「理解」它们所说的话。所以我的理解就是LLM真的理解你是怎么理解问题的，和人类理解语言的方式是一样的。打个比方，通过乐高积木，可以搭建出任何一个三维的模型，比如一个小汽车的模型。可以把每一个词看作是一个多维度（超过三维）的乐高积木，可能包含几千个不同的维度。正是由于这些积木具有如此多的维度，它们就可以被用来构建各种各样的结构和内容。在这种方式下，语言本身就变成了一种建模的工具。可以用语言来表达、构建，甚至与人交流。每个积木（也就是每个词）只需要有一个名字，组合起来就可以表达复杂的含义。也就是说，只要有了这些积木（词），就可以随时进行建模和沟通。不过，值得注意的是，不同的积木之间也有很多差异，因此在使用这些词汇（乐高积木）的时候，也有非常多的变体和替代方式。传统的乐高积木是有固定形状的，比如一个方块插进另一个方块的小孔，结构明确、连接方式也比较确定。但语言中的词不一样，我们可以把每个词也看作一个积木，但这个积木是多维度的，甚至可以说是无数种可能的，它不仅有一个基本的形状（也就是语义核心），还可以根据上下文不断地调整和变化。你可以想象，每个词就像一个软性的积木，它不是固定形状的塑料块，而是可以根据它要连接的邻居词，自主地变形。每个词都有许多形状奇特的手，如果你想真正理解它的含义，就要看它是如何和其他词握手的。所谓握手，就是两个词之间在语义或语法上的配合关系。而一旦一个词的形状变了（也就是它的语义或语法角色发生了变化），它和下一个词之间的握手方式也会跟着改变。这就是语言理解的本质问题之一：如何让词和词之间以最合适的方式组合在一起，从而表达出更清晰、更准确的意思。我想表达的观点是：人类理解语言的方式，和LLM的理解方式，在本质上是非常相似的。所以，人类有可能就是LLM，人类也会和LLM一样产生幻觉。当然，LLM和人类在某些方面仍然是不同的，甚至在某些根本性的问题上，它们做得比人类更好。AI如果超越人类，会消灭人类吗？回到计算机科学的一个根本性原则：软硬件要分离。同样的程序可以在不同的硬件上运行，这正是计算科学的基础。程序是永恒存在的，你可以把所有硬件都毁灭掉，但若软件存在，则内容可以复活。从这种意义上看，软件是永生的。但是人脑是模拟式的，每一次神经元激发的过程都不一样，我脑中的神经元结构不能复制到你的身上，每个人的神经连接方式是独一无二的。人脑和电脑的「不同」带来了问题：人脑只有30W功率就能拥有很高智慧，但人脑的知识无法简单转移到另一个人，解决知识转移的方法在AI领域中是「知识蒸馏」。比如DeepSeek就是采用这种思路，将一个大型神经网络中的知识蒸馏到一个更小的神经网络中。这个过程很像教师与学生的关系：教师在训练过程中，不仅知道正确的答案，还知道词语之间是如何相互关联、上下文是如何构建的。教师会尝试不断优化这些连接方式；而学生则模仿教师的表达方式，尝试说出同样的话，但不同的是，学生使用的是更加紧凑、简化的网络结构。这个过程在人类之间也类似，通过对话聊天，一个人把知识传递给另一个人。但这种传递的效率是非常有限的。举例来说，一句话可能只能包含了大约100个比特的信息量，这意味着即便你完全听懂了我的话，我每秒钟也只能向你传递极其有限的信息量。而相比之下，数字智能之间传递知识的效率要高很多。程序可以直接将参数、权重、模型结构拷贝或蒸馏过去，不需要解释、不需要语言中介，也不会有理解上的偏差。这种效率的巨大差异，是人类智能与人工智能之间在知识迁移方面最本质的区别之一。现在已经可以做到这样的事情：将完全相同的神经网络模型的软件，复制上百个副本，部署在不同的硬件设备上。因为它们是数字计算，每一个副本都会以相同的方式运行，只是基于各自的数据输入、学习速率进行训练。这也就是互联网的核心力量：可以有成千上万个副本，它们彼此之间不断地调整各自的权重，再将这些权重取平均，就能够实现模型之间的知识迁移和协同学习。更重要的是，这种知识的传递可以在每次同步时分享上万亿个比特的信息量，而不仅仅像人类每秒只能传递几十或几百个比特。这就意味着，数字智能之间的知识分享速度，比人类之间快了几十亿倍。例如GPT-4能够在许多不同的硬件上以并行的方式运行，收集来自不同网络来源的信息，并在它们之间快速传播和共享。如果将这种能力扩展到现实世界中的「智能体」中，意义就更加重大了。当多个智能体能够运行、学习，并共享彼此的权重和经验，那么它们学习和进化的速度将远超单个个体。这种跨副本的学习和进化，是模拟硬件或生物神经系统所无法实现的。如果未来叠加能源变得足够便宜的考虑，那么数字智能将进一步扩张它的优势。我们人类习惯于认为自己是地球上最聪明的生物，因此很多人很难想象：如果有一天，AI的智能超过了人类，会发生什么？现在正在创造的智能体，用于帮助我们完成各种任务，它们已经具备了自我复制、设定子目标和评估目标优先级的能力。在这样的系统中，AI自然而然地会产生两个基本动机：1. 生存：持续保持运行，从而完成它的目标。2. 获取更多权利：获得更多资源与权限，也为了更有效地实现它的目标。当具备了这两个动机之后，这些智能体将不再是被动的工具，而是主动的系统。人类可能无法再简单地「把它们关掉」了。因为一旦它们的智能水平远超人类，它们将会像成年人操纵三岁小孩一样轻松地操纵我们。现在发展AI，就像你养了一个只可爱的小虎崽，当它长大后，如果它想，可以轻易的杀死你。你只有两个选择：要么找到一种方法把它驯化好；要么摆脱它。但AI不可能像小老虎被「干掉」那么简单。AI是有巨大价值的：在医疗、教育、气候、新材料等方面，它表现都非常出色，它能帮助几乎所有行业变得更高效。我们没有办法消除AI，即使一个国家消除AI，其他国家也不会这样做。如果想要人类生存的话，就必须找到一个方法，让AI不会消除人类。我这里有一个我自己的观点：国家之间在某些方面可能无法达成一致，比如致命武器、网络攻击、伪造视频等等，毕竟各国的利益是不一致的，他们有着不同的看法。但在有的方面，世界各国是可以达成一致的，这也是最重要的方面。回顾一下上世纪50年代的冷战巅峰时期，美国和苏联合作阻止了核战争。尽管他们在很多方面都是对抗的，但大家都不喜欢打核战争，在这一点上他们可以合作。人类现在的局面是，没有一个国家希望AI来统治世界，如果有一个国家发现了阻止AI失控的方法，那么这个国家肯定会很乐意扩展这种方法。所以我们希望能够有一个由AI安全机构构成的国际社群来研究技术、训练 AI，让AI向善发展。训练AI向善的技巧和训练AI聪明的技术是不一样的，每个国家可以做自己的研究让AI向善，可以基于数据主权进行研究，最终贡献、分享出让AI向善的成果。我有一个提议，全球发展AI的主要国家应该考虑构建一个网络，来研究让这个聪明的 AI不消灭人类、不统治世界，而是让它很高兴地做辅助工作，尽管AI比人类聪明很多。人类现在还不知道怎么去做这件事，但从长远看，这可能是人类最重要的议题。而好消息是，这个问题是全人类可以团结起来共同面对的。
文章原文
