a16z 2024-12-06 13:00 北京
目前为马拉松的“局部最优冲刺”时刻，真正的AGI还有很远
图片来源：a16z
Z Highlights
AI是一场马拉松，而非一场短跑......我们需要根本性的全新想法。
即便只是达到AGI的10%，也会显著改变世界。
从某种意义上说，AI研究目前所处的局部最优状态其实是多个方面不同局部最优的组合。10年后回顾现在，架构会有所不同，硬件会有所不同，使用数据的方式也会不同，整个体系都会发生变化。
从某种意义上来说我们在把语言模型当作世界模型使用。这种情况不会持久，这只是历史上的一个非常有趣的意外。
AI对算力的需求是无限的，你永远无法满足它。
本期A16zAI播客中，a16z合伙人Martin Casado与机器学习研究的领军人物Pedro Domingos进行了对话。Pedro是华盛顿大学的名誉教授，自20世纪90年代以来一直活跃于机器学习领域，他还著有2015年广受欢迎的书籍《万能算法》（The Master Algorithm），并于最近出版了他的第一本小说《2040》。
Domingos认为尽管AI研究取得了显著进展，尤其是在大型语言模型和扩展法则（ZP注：“扩展法则”是AI领域的一个重要非正式规则，根据这一法则，AI模型的规模与其智能成正比）方面，但这只是“通往局部最优的冲刺”，距离实现真正的通用人工智能（AGI）还有很大差距。他主张我们需要突破性的全新思路，而不仅仅是扩展现有模型，强调多种研究方法的重要性。尽管他认可当前的重大进步，Domingos提倡一种更全面、少依赖数据的方法来实现AGI，指出目前在AI数据中心的大量投资可能是有误的。他对AI的未来持谨慎乐观态度，预计在未来几年将有显著进展，同时警告应警惕该领域过度的炒作。
扩展法则与当前AI架构的局限性
Pedro Domingos：我已经从事机器学习研究30年了，自90年代攻读博士学位以来。所以算是AI领域的老前辈了。我是华盛顿大学的教授，可能最为人所知的是《万能算法》一书的作者，这本书普及了机器学习知识并成为畅销书。
最近我又写了一本关于AI的书，叫《2040：硅谷讽刺》，这是一部AI讽刺小说。我仍在继续进行研究、写作，并努力向公众普及AI知识。
Martin Casado：我注意到你是名誉教授。你能描述一下这对你的日常生活意味着什么吗？
Pedro Domingos：名誉教授，正如著名的图灵奖得主所说的那样，“美妙之处在于，你只做自己想做的事，不必做任何不想做的事。”我经常开玩笑说，以前当教授时，做研究是我的业余爱好，而现在我可以全职投入研究。
Martin Casado：那你现在在研究什么呢？
Pedro Domingos：当然是在“解决AI问题”。
Martin Casado：顺便问一下，你说的“解决AI”是指AGI吗？
Pedro Domingos：不，我不仅仅指AGI，我是指超级智能。
Martin Casado：我喜欢这个。那么我们进入第一个话题。我想讨论你多次提到的观点，即AI是一场马拉松，而非一场短跑。在我看来，我们现在似乎正处于全速奔跑阶段，创新层出不穷。我也一直在关注AI发展。所以，我很想听你最初提出这一观点的背景，以及你如何看待当前AI进展和速度的“疯狂”局面。可以为我们稍微设定一下背景吗？
Pedro Domingos：完全同意。我确实深信AI是一场马拉松，而非短跑，这也是我现在所做的事情的原因。可以打个比方，爱因斯坦花了十年才提出广义相对论，而那只是一个方程。那是什么让我们认为可以在六个月内解决AI的问题？对此有几种不同的看法：一种是认为AI问题只是规模化的问题。如果只是规模化，那么我所做的事情就完全是在浪费时间，但我真的认为我们需要根本性的全新想法。
遗憾的是，如今的研究比以往任何时候都多，但实际上却比以前更单一化，这非常令人遗憾。现在的确有一种冲刺的趋势，但这只是通向局部最优的冲刺。追求局部最优并没有错。比如，在提升Transformer的速度和效率上有很多潜力可挖掘，这些改进都是好的。
但是这并不能带我们达到人类级别的智能。话虽如此，即便我们只是让Transformer变得更好，或类似于某些公司在做的事情，单这一点已经会带来巨大的影响；只是人们还不太习惯AI这种影响力巨大的技术。即便只是达到AGI的10%，也会显著改变世界。
Martin Casado：所以我想谈谈这两个问题。首先，你提到Transformer和当前的发展路径。目前的确一直在遵循扩展法则。如果你和那些大型实验室的人谈，他们可能会说，只要增加算力和数据，就能预测模型会达到的效果。所以，扩展法则看似有效。
我经常听到“扩展法则有效”的说法。但在我看来，计算机科学中没有什么是永远有效的。所以，如果让你来预测，你认为扩展法则会继续有效吗？如果不会，你觉得限制因素是什么？
Pedro Domingos：好的，我不知道扩展法则是否会一直有效，但实际上扩展法则是个颇具争议的话题。最近有一些论文指出，扩展法则基本上是一种假象，是一种由特定指标产生的结果等等。而我可以谈谈一个对我影响深远的经历。
我实际上在学术生涯的头几年——也就是90年代和2000年代初——主要在研究如何扩大机器学习算法的规模。那是规模化的第一波浪潮。然后我们到达了一个阶段，我实际上可以数学地预测在无限数据的条件下算法的学习效果。然而，它依然表现得很愚蠢。
所以我走上了现在的研究道路，这条道路让我意识到这样一句话：人类大脑并不是放大版的蚂蚁大脑。因此大家可以尽力扩大现有技术的规模，我自己也曾这么做过，这是好的。但是我们不应该产生错觉，认为扩展法则能带我们到达智能的彼岸。
顺便说一句，有些扩展法则并不像大家想象的那么好看。每当有人告诉你存在指数增长时，你其实应该想到的是“S型曲线”而非指数曲线。问题是，在哪里它会趋于平稳？
Martin Casado：所以有两个问题。我听出你的意思是我们可能需要另一种架构，我想有些人在探索这一点。但假设使用现有的架构，并假设它似乎在扩展上还行，你认为在数据或计算方面会有极限吗？我们可以继续投入数据和计算资源，并从中获得一些收益吗？还是说会逐渐遇到瓶颈？
Pedro Domingos：我们会获得一些收益，但会逐渐减少。无论是架构、数据、算法、硬件等等，这些方面都有各自的问题。所以，从某种意义上说，我们目前所处的局部最优状态其实是多个方面不同局部最优的组合。10年后回顾现在，架构会有所不同，硬件会有所不同，使用数据的方式也会不同，整个体系都会发生变化。
大型语言模型、具身性与AI的巨大分歧
Martin Casado：你认为LLM（大型语言模型）会是未来AGI或ASI的一个基础部分吗？它可能会更复杂、也许还会有其他方面的补充，但它是基础部分吗？还是说它甚至与最终解决方案无关？
Pedro Domingos：LLM的起源可以追溯到50年代，多年来它们被用于语音识别和机器翻译。人们常常忘记的是，例如从英语翻译到法语，语言模型的作用只是修饰翻译后的法语，使其更符合语言习惯。所以语言模型有其作用，但它与真实世界没有联系。
现在发生的情况是，由于我们有大量的文本内容，从某种意义上来说我们在把语言模型当作世界模型使用。这种情况不会持久，这只是历史上的一个非常有趣的意外。作为一种界面，语言模型在我用真实的知识和推理回答问题后再生成文本，这种方式可能会保留下来。但如果说大型语言模型是AI的基础，十年前你告诉我或任何人这一点，我们可能会大笑，但或许十年后我们会再次这么觉得。
Martin Casado：作为人类，我们拥有进化高度发达的大脑。大脑经历世界，我们在这个世界中构建抽象概念，比如我称呼你为Pedro，而你是一个人，诸如此类。然后在我们的脑海中我们会找出这些概念之间的联系，形成一些关于他人行为的模型，比如我会思考你可能会怎么做。接着，我们将这一切记录下来，假设是以文本的形式记录下来。也就是说，我们投入了大量的精力去理解世界、构建关系，并将其写下来。
有一种观点认为，LLM基本上只是利用了我们所有的这些工作，把它们作为缓存，然后“复述”出来。也有一种观点认为，LLM实际上能够在这些信息中推导出更深层次的概念，比如像Pedro和Martin这样的关系。那么，你的意思是，它更像是对人类工作的一种缓存吗？
Pedro Domingos：不是这样的。实际上，这两种说法都不准确。关于LLM仅仅是“随机复述”的说法，坦率地说，这是个完全错误的观点。机器学习的定义就是关于“泛化”。如果我们只是想要记住数据，那机器学习就完全是浪费时间了。
但与此同时，我也不认为它们是在“深入挖掘”某些东西。问题在于，LLM目前还无法真正深入挖掘，它们所做的只是距离数据有限的一定范围的泛化，由于数据量巨大，这使得它们的表现看起来非常出色。从某种程度上来说，它们显得比实际更聪明。我们仍在探索它们到底能做什么，不能做什么。
不过，有一点很重要：我们并没有把所有的知识都写下来。经过多年的网页知识提取尝试，我们已经明白了这一点。这些模型有时会犯一些非常愚蠢的错误，就是因为它们缺乏对世界运行方式的常识——连两岁小孩都具备的那种常识，而这部分仍然缺失。
Martin Casado：明白了。那你是否认为，像Yann提出的“世界模型”概念，至少在概念上是解决这一问题的关键？
Pedro Domingos：我在很多方面同意Yann的观点，也有一些不同意见。那些视觉研究领域的人，比如Yann、Fei-Fei和Geoffrey等人，他们的观点当然是：“语言不会带我们达到目标。”实际上，我在这个领域也做过很多工作。
Martin Casado：你能为大家详细说明一下这个分歧吗？普通听众并不了解这个巨大的分歧，实际上这很重要。因为几乎可以说大家来自两种不同的背景，导致了目前的局面。这是一个巨大的裂痕，而我们还没充分讨论它。如果你能从历史角度探讨一遍将很有帮助。
Pedro Domingos：完全可以。这个分歧可以追溯到AI发展的最初阶段，称为“具身性分歧”。问题在于，为了解决AI，我们是否需要使AI具备“具身性”？双方都有非常强而有力的论据。
实际上，传统符号主义AI完全不关注具身性。AI创始人之一的John McCarthy认为可以通过写下一系列一阶逻辑公式来解决AI问题，我一直觉得这种想法很荒谬。不过，我一生中大部分时间都在做挖掘网络数据的工作，因为这是实现进步的最短路径。可以这么说，Yann等人的错误在于认为“这就是人类智能的进化方式”，但AI并不一定要遵循相同的路径。
AI拥有不同的资源和限制，它有化石燃料，当然这也是工业革命的一部分，但另一部分是互联网，正是互联网积累了我们所有的数据。最终，这些数据是源于我们的经验，挖掘网络只是这种路径的延续，我们依然会缺失很多信息，因为我们书写的文字是写给其他人的，我假设对方已经知道一些事情，甚至不值得谈论。
机器学习最美妙的一点就是，比如我会骑自行车，但我不知道怎么解释骑自行车的方法，也无法写出一个教人骑自行车的程序，但如果让机器学习去骑自行车，它可以通过实践学习而不是通过文本去学骑自行车的方法。
Martin Casado：那么你大致站在哪一方？你更倾向于具身性派，还是文本派，或是完全不同的立场？
Pedro Domingos：我目前正在从事的研究主要还是文本模式，也就是LLM模式。因为我们有这么多数据，为什么不在这里取得进展？然而，我确实认为，最终我们将需要机器人、视频理解和互动等，或等同的某种形式，而不是单纯的模拟，才能真正达到人类级别的智能。
Martin Casado：这可能有点偏题，但我觉得每当我们尝试重构世界时，我们就会遇到大量例外情况等问题。回顾历史，每次我们走这条路，例如自动驾驶领域，都需要更高的成本、更长的时间，而且结果还差得多。
而LLM则不同，每18个月我们似乎都有显著进展。你认为我们是否会再次陷入“世界是一个复杂的地方”的那种长尾问题？
Pedro Domingos：你这么说真有趣。首先，我同意你的观点。视觉和机器人确实比语言难得多，但关键在于，它们都有“长尾”。
LLM实际上并没有真正解决这个问题。看起来好像解决了是因为它们的数据量非常庞大，让我们可以走得更远。但你仍会遇到corner case——这就是所谓的“幻觉”等等。它们在视觉领域表现得更严重，而在LLM中则隐藏得更深。这是争论的一部分——如果我们永远无法覆盖所有案例，尽管我们在某个点上拥有了足够的算力和数据，但这个世界太大，我们始终无法穷尽一切，总会有一些问题会比你预期的更能难倒LLM。
AI数据中心的繁荣：自我实现的预言？
Martin Casado：昨晚我和Mark聊到这件事，Mark Andreessen提到了一件我早已遗忘的事。在互联网的早期，有种说法是流量每年都在翻倍。每个人都开始重复这一点，大约在90年代中期，WorldCom也说流量在翻倍，于是大家开始铺设光纤网络，因为流量在翻倍。如果你的流量没在翻倍，那就好像你不是领先者。
但结果人们发现流量并没有翻倍，实际上很快就进入了收益递减状态。然而，整个行业依旧在继续扩建，最终导致了光纤过剩。这几乎是一种“集体错觉”，大家一致认为扩展正在发生，然而实际上并没有。
你认为现在是否也存在类似的情况？我不是说预测不了，而是扩展已经放缓了，但我们却不愿承认？
Pedro Domingos：这是个很好的比喻，它经常被提到。如果你了解那段历史，就会觉得现在的AI数据中心热潮很令人熟悉。我曾在Twitter上开玩笑说，在80年代是“我的超导对撞机比你的更大”，到了2000年代变成了“我的光纤网络比你的更大”，现在则是“我的AI数据中心比你的更大”。
不过这里有个有趣的转折——AI对算力的需求是无限的，你永远无法满足它。所以虽然他们的建设基于错误假设，但最终我们确实会用到这些数据中心。不过，他们现在用的是当代的GPU，这些GPU以后可能并不适用。但我敢保证，我们会找到它们的用途。
Martin Casado：在行业历史中，我们从未在带宽或算力供应过剩的情况下维持超过四年半，最糟糕的例子就是互联网泡沫破裂。所以在某种意义上，我完全同意你说的，我们最终会用上这些算力，过去70年也是如此。
但我更感兴趣的是，这是否是一种“集体错觉”？这种预测成为了自我实现的预言，大家都不敢承认增长已经停止了。所以，你认为现在也发生了类似的情况吗？还是说太早了，还看不出放缓的迹象？
Pedro Domingos：我不确定是否称其为“集体错觉”。坦率地说，有一些现状数据我并不了解，或许没有人清楚，但我们可以审视其中的假设。
假设其实分为两部分。其一，比如我最近看到Mark Zuckerberg谈到这一点——他投入了数十亿美元。如果你相信扩展法则有效，且能带我们实现人类级别的智能，那么投资大额资金确实是值得的，但这可能是错误的。其二要做到这一点，确实需要爆炸性的计算资源需求。
如果要我预测的话，我们并不需要一万亿美元来实现AGI。所以，如果花一万亿美元实现AGI，那是一个很糟糕的投资。我可以用大约一亿美元给你AGI，所以剩下的990亿美元还是省下来吧。
AI成就诺奖与未来应用的分歧：科学进展还是创意生成？
Martin Casado：Jeff Hinton刚刚获得诺贝尔奖，AI竞赛已持续了数十年。你能谈谈这意味着什么吗？既对计算机科学的意义——因为我曾在国家实验室工作，物理学家会嘲笑我们，认为我们不是真正的科学家，而现在我们有诺贝尔奖——又对该工作的具体细节呢？
Pedro Domingos：这确实是个非常奇怪的诺贝尔奖，原因有很多。试着理解诺贝尔委员会颁奖的原因是很有趣的。奇怪之处在于：物理学诺贝尔奖应当授予“伟大的物理学”成就，而Hopfield网络和Boltzmann机既不伟大，也不是物理学。
Boltzmann机确实使用了Boltzmann分布，但这并不使它们成为物理学，没人会认为这是物理学，Hopfield网络也肯定不是物理学，可能是委员会在这个不同的领域有些缺乏判断力。
一种说法是他们可能受到压力，比如“你们给了一些无关紧要的奖项，而这里有很多重要的进展”，可能他们觉得Boltzmann机非常重要；另一种可能性是这是某种政治举动，试图将AI的炒作部分引导到物理学上。他们就像是标记了一点：“嘿，你看，AI的部分进展来源于物理学。”于是现在有些人认为：“我们应该雇更多物理学家来研究深度学习，给我们更多的资金支持。”所以这或许是其中一方面。
Martin Casado：还有一种理论认为，Hinton常谈到AI安全性和需要监管，你认为这影响了决定吗？
Pedro Domingos：我不知道，也许有影响，但我的猜测是否定的，因为诺贝尔委员会确实是由真实的人组成，他们有自己的政治倾向。他们可能更倾向于像Hinton这样的左派立场，所以这可能起到了一定作用。但我不认为他们是冷酷地计划：“让我们给他一个诺贝尔奖以提高他的可信度。”
Martin Casado：就从科学方面的内容来说吧，作为外行人，我在系统方面有很深的背景。现在AI和LLM、生成AI的主要应用是创意内容的生成。经济上效果显著，比如创作图像、故事、视频等。但实际上很多进展发生在科学领域，比如合成数据的应用、科学、数学、代码等。
一种观点认为，在公理系统中，我们可以创造合成数据来推动进展，这与创造性语言不同。还有一种观点认为，在解决科学和数学问题的过程中，我们将更全面地改进一切。你怎么看待这种分歧？
Pedro Domingos：我确实认为存在一个“通用算法”的基础，这也是我写《万能算法》的原因。我相信有一个万能算法，我的研究目标就是找到它。然而，你必须意识到，这些事物确实不同。创意应用、数学、蛋白质折叠等，每一个是否是通往通用智能的路径，都是个有趣的问题。
我同意目前的“杀手级应用”是生成内容。讽刺的是，过去我给人们解释“莫拉维克悖论”（ZP注：莫拉维克悖论和传统假设不同，人类所独有的高阶智慧能力只需要非常少的计算能力，例如推理，但是无意识的技能和直觉却需要极大的运算能力）。AI的难易点正好与我的预期相反。而如今，这种创意生成的确运转得很好，但这不会是颠覆世界的经济影响。
数学方面的问题在于它是一个人工的、独立于现实世界的“宇宙”，这对AI来说容易得多。在上世纪五六十年代，游戏和数学被视为AI的“模型生物”来实验，因为它们便于起步，特别是可以自我对抗，这也是AlphaGo的原理。但数学有个问题：可以生成定理，但如何评判定理的优劣呢？仅仅让机器生成一堆定理并不够。
我对合成数据或模拟能推动AI发展的观点非常怀疑。过去50年AI的经验告诉我们这条路行不通。尤其当引入机器学习后，情况甚至更糟，因为它会对模拟数据“过拟合”，无视实际学习目标。
蛋白质折叠是个有趣的领域，因为它在一定程度上仍是个相对简单的“世界”。
Martin Casado：从经济角度来看，生成内容的确是AI的主要经济用途，目前大概是最大的应用。它不需要形式上的正确性，甚至“幻觉”也可能是好的。而另一方面，针对蛋白质折叠等高度公理化系统，有没有可能我们会因此形成两种不同的AI？
Pedro Domingos：我不这么认为。这些只是光谱上的不同点。我们在现实世界中要解决的大多数任务都结合了这两者的特点。例如，如果你只是想为一本书设计封面，你需要的只是让作者或出版商满意，最终也许是读者满意。可以这么说，这个任务的“回报函数”非常平坦。
在回报函数非常平坦的领域，生成模型表现得非常出色。但问题是，比如我现在常给公司里的人的建议就是，先在内部使用它再在外部使用。因为这样回报函数会变得稍微“锋利”一些。你不想让AirCanada的退票政策由一个聊天机器人随机生成并执行，比如有个AI一直在尝试的任务是“我来安排你的旅行和管理你的行程等”，我们都希望能实现。但问题在于，这里的回报函数出奇地“尖锐”，如果它给我双重预订了，我会非常生气。
所以目前的最佳应用领域是在回报函数“平坦”的场景，这样你可以生成大量内容，比如Ethan Mollick所说的管理计划等内容。
Martin Casado：那我有个很具体的问题：假设这些大型模型公司在数学方面取得了很大进展，解决了许多悬而未决的定理并赢得了各类比赛。这种工作对创意应用有实质性贡献吗？
还是说它们真的是分开发展的研究路径，在设计空间中的不同点，甚至可能出现分裂？因为目前一个模型可以处理这两类任务，这令人惊叹，但我怀疑数据不同会导致它们分道扬镳。
Pedro Domingos：看看LLMs和SymbolicAI吧。LLMs可以生成内容，但一旦你真正开始阅读，早几年研究人员就发现LLMs并不能提供可靠的推理。对于这类任务，需要的是推理。而有趣的是，符号AI领域的人早已熟练掌握了这些技术。你并不需要LLMs来证明定理等事情。
Martin Casado：事实上，符号AI从60年代开始就能做到这一点了。
Pedro Domingos：有很多著名的定理证明是通过符号运算完成的，因为如果你只是处理符号，那么现在的很多东西都是大材小用。如果你想通过数学考试，那需要理解题意，但对数学家来说，这并不是关键。
Martin Casado：我的直观想法是，LLMs在数学方面的表现好是因为它们能“阅读”英语，然后在数学上做些简单的运算。这样理解对吗？
Pedro Domingos：这个问题很有争议，我个人认为阅读英语确实有帮助。但是，当涉及到真正的数学时，LLMs的很多失败案例显得非常滑稽。我们有一台能做大量浮点运算的机器，你让它做简单的加法，它却出错了。
Martin Casado：你听说过最近的一些案例吗？例如，只要涉及到“911”，它就会出错。这其实是因为模型中的“9-11神经元”难以分辨出它们是在做加法还是在涉及其他内容。
Pedro Domingos：另一个例子是，你要求它生成随机数，而42却常常出现得出奇的频繁。
Martin Casado：我自己用LLM做编程时也尝试过生成随机数，我绘制了这些“随机”数的分布，结果发现它是一个极其糟糕的随机数生成器。
Pedro Domingos：不过，这也是预料之中的事情。话说回来，虽然看着有点好笑，但我相信，也不只是我相信，Transformers从原理上说具有这种组合能力——这其实就是数学和定理证明的核心。你有一些公理，将它们组合起来，推出另一个步骤，引入另一个公理。Transformers确实有这种潜力。
现在在表示层面它确实如此，但学习如何做到这一点就是另一回事了。很多人常常忘了这个，他们把“表示某物”与通过反向传播“学习它”混为一谈。显然，Transformers还没学会这一点。所以这里显然有个差距，我确实认为我们需要根本性的新算法来弥合这一差距。
AI行业未来可能会遇到“集体错觉”和资本过度投入的风险，但整体乐观
Martin Casado：我接下来想问问你个人的一些问题，然后谈谈你的书。你认识Dave Cheriton吗？
Pedro Domingos：认识。
Martin Casado：Cheriton博士是斯坦福大学的教授。他以争议性观点而闻名，但他在这些根本性的问题上常常是正确的。我一直认为你有点像AI界的Cheriton——通常持有非主流观点，但却经常被证明是正确的。
所以我的问题很简单：你是故意采取这种“争议性”立场吗，还是只是天生如此？
Pedro Domingos：我不是故意的。
Martin Casado：那你会特意去维持非共识观点吗？
Pedro Domingos：我确实是有意为之，但我的意图并不是引发争议。我人生的目标是产生最大的积极影响，其中一部分是看到一些不同于主流观点的事情，并认为它们需要被看到和讨论。我也持有很多与主流一致的看法，但我没必要去重复那些。那样会产生递减效应，
当我看到人们在某个问题上非常错误时，不论是AI还是社会问题，我可能错了，但至少我试图提出一些不同的观点。当然，有些人的性格更适合这种方式。从小我就不太尊重权威，只是说出我相信的事。我发现，随着时间推移，人们会欣赏有这样一个人：无论对错，他都在说他所认为的真相。
我在各个领域都有一些喜欢倾听的声音。比如，物理学里的Sabine Hassenfelder，她是对抗物理学主流观点的一剂良药，因为她说了很多真话。随着时间推移，你的信誉会逐渐提升，因为未来的结果会证明真理。比如，我说结果会是A，你说是B，几年后我们就会看到谁对。
Martin Casado：说到你的书，这本书真是精彩。我推荐大家去读一下。我觉得它不仅是对AI的历史回顾，也提供了一种思考AI现状的视角。或许你可以为听众概述一下这本书，以及你写这本书的动机。
Pedro Domingos：为什么我会写一本关于科技行业的讽刺小说？对于一位计算机科学家来说，这确实有点奇怪。我认识一些记者朋友，他们总想写出伟大的美国小说。我一直告诉他们，这太难了。看看你要与谁竞争，
但你了解硅谷，有人应该写一本关于它的书。我灵感的来源是《虚荣的篝火》，这是80年代的经典小说，讽刺了当时的华尔街。它不仅仅是对华尔街的讽刺，还讽刺了围绕纽约的整个世界，包括政客、活动家和记者，小说对这些角色的刻画非常精彩。AI也需要这样的讽刺作品。
但我无法说服别人来写，所以我决定自己动手。另外，当我还是研究生时，我曾在科幻写作培训班ClarionWest学习了一个半月，至少我知道怎么去写，不至于从零开始。但我当时并没有具体的构思。最终促使我写作的是两件事：首先，特别是近几年，AI的发展急剧增加了这种讽刺的必要性；其次，有一位记者让我反思，她在特朗普执政期间问我：如果有机会，你会选AI当总统吗？
我当时的回答是“不会”，但如果另一位候选人是特朗普，也许会考虑。
Martin Casado：那如果是现在呢？
Pedro Domingos：我必须尽快出版这本小说，因为书中的内容正逐渐成真。小说讽刺了科技行业和AI领域，也讽刺了政治。小说的情节是ChatGPT竞选总统，虽然书中发生了很多灾难性事件，但最终传达了一个乐观的讯息。
在小说中，有两个版本的PreziBot。PreziBot1.0是一个聊天机器人，而PreziBot2.0则代表AI应有的发展方向，以及它可以如何造福社会。尽管我通过讽刺来揭示这些事物，但优秀的讽刺作品都是基于观察的。它就像一幅漫画，往往能比照片更清晰地展示人物的特征。
《动物农场》不是关于动物在经营农场，2040年也不是关于2040年。这是一面镜子，照向2024年，告诉我们如果继续沿着这条路走会发生什么。当然，其中一部分故事发生在如今如“巴尔干化”的旧金山。但归根结底，尽管我展示了所有这些问题，我也试图指出前进的道路。所以，我希望2040年不会成为现实，我希望那本小说所描绘的场景与现实完全相反。
Martin Casado：我真的需要听听你的想法，或许听众也很想知道：你至少对AI未来有谨慎的乐观吗？还是属于那种“我们完了”的阵营？因为读你的书时，我的感觉是，这条路上似乎没有正确的方向。所以，我很希望听到你认为还是有一条出路的。
Pedro Domingos：是的，是有出路的。PreziBot2.0就是这种“众包式AI”。这正是我几天前在TEDAI上谈到的内容。我确实认为我们可以用AI构建比现有民主更好的体制。
这既不是右翼也不是左翼的理念，只是说我们的“建国之父”没有AI。而现在我们有机会做得比今天更好，且必须要做到，我们真的必须现在就开始。这本书中展示的是短期内我的悲观态度。我们目前的动态趋势——很遗憾，我们谁都无法阻止——事态会恶化。
Martin Casado：你指的是左翼和右翼之间的文化分裂？
Pedro Domingos：是的。这里有多个方面，但最重要的就是极化。极化的动态非常、非常糟糕，而我也不知道如何阻止它。但从长远来看，我还是乐观的。
也许可以称我为“担忧的乐观主义者”。这对AI以及关于AI的所有讨论同样适用。如果我们对AI保持警惕，它可能会有好的结局；如果我们不重视，它则不会，而这在之前的技术演进中已经多次发生。我对许多AI警告的最大问题在于，人们担心的方向错了，这分散了我们对真正问题的关注。我试图把大家的注意力引导到是实质性的问题上。
Martin Casado：最后我想听听你的预测，你现在正在研究AGI和ASI，你大概预测我们何时能看到真正AGI的端倪？
Pedro Domingos：未来几年AI的进展可能会让我们之前看到的进展显得微不足道。我们确实有“S型曲线”，但AI的“S型曲线”非常陡，而我们目前处于曲线的开端，所以完全有可能，2020年只是序曲。
另一方面，也有可能会出现停滞。这完全有可能。事实上，记者们最喜欢问的问题之一是：你认为我们什么时候会达到AGI？我通常的回答是：一百年左右，误差一个数量级。因为说实话，真的有可能如此。
最好的预测未来的方式是创造未来。这不是某种外来的事情，而是我们自身的选择。如果我们AI研究人员能够解决这些问题，我们将迎来指数级增长；如果不能，就不会。我的希望是，在接下来的两年中，我们能取得足够的进展，以支持当前的炒作；如果做不到，可能会出现大幅下滑甚至崩盘，这我很希望避免。
最后我想说，与互联网时代相比，今天的情况有所不同。互联网浪潮的大部分建设是靠债务支撑，而今天的AI浪潮主要是由那些拥有数千亿现金储备的大公司推动。因此，我们很难遇到当年那样的崩盘，但可能会有另一场AI寒冬。
这是我脑海中不断浮现的想法：如果真的有上帝——虽然我是无神论者——就好像是“我会带来互联网浪潮，让这些公司银行里拥有数千亿美元”。
Martin Casado：这真是一个很好的结束。Pedro，非常感谢你能够参与讨论！
原文：DisTrOandtheQuestforCommunity-TrainedAIModels
https://a16z.com/podcast/the-best-way-to-achieve-agi-is-to-invent-it/
编译：FayeYu
-----------END-----------
? 我们正在招募新一期的实习生
? 我们正在寻找有创造力的00后创业者
关于Z Potentials
