原创 南乔River 2024-10-25 00:03 北京
全是暴论，但有根据
ShowMeAI
专业◎洞察◎清晰◎实用
用知识加速每一次技术进步!
推荐语
这篇文章来自 Second Best
作者结合自己的大量阅读和行业经验
给出了美国AI发展的95个判断
非常深刻!!
作者的预判未必都灵验
但可以带我们重新认识美国的AI
穿透新闻、泡沫、炒作这些花里胡哨的表象
看看社会和科技发展更深层的趋势
注意：
① 本文专指美国
② 调整了板块顺序，删除了过于敏感的话题
③ 原文非常简练，编译时增加了很多注释
④ 原文有大量链接，感兴趣可以前往阅读
公众号菜单栏底部有星球入口
添加南乔 (AhaNanQiao) 好友进社群!
AI发展没有放缓，而是正在加速
单就AI发展速度而言，在可预见的相当长的时间里，过去12个月的进展是最缓慢的。
Scaling LLM 还有漫漫长路要走，而且仅靠 Scaling Law 不足以产生超级智能。因为在人类生成的数据上，最小化交叉熵损失(minimize cross-entropy loss) 最终也只能达到人类级别的智能。
南乔注 (下同)：
Scaling Law：一般译为规模法则，指模型性能与模型大小、数据集大小、计算资源之间存在幂律关系；
最小化交叉熵损失：机器学习的一种优化准则，目标是让模型预测结果尽可能接近真实结果。
想获得超越人类的推理能力，就要超越「预测下一个token」的传统思路，采用更有新的训练方法，比如强化学习 (Reinforcement Learning) 和自博弈 (self-play) 。这些新方法一旦奏效，LLM 推理能力的提升是立竿见影的。
基于强化学习的威胁模型 (RL-based threat model) 被低估了。
基于强化学习的威胁模型：利用强化学习技术来模拟和分析网络安全中的威胁行为。
未来的AI进展是相当不连续的，即会有大量突发的、跳跃式的进步，尤其是在 Agent 方面。
AGI 研发进行可能会加速，并迅速超越人类。但是受限于计算瓶颈和高维向量空间的不可约性，它不太可能「一飞冲天」，成为神一样的人工超级智能 (ASI)。换句话说，Ray Kurzweil 的观点被低估了。
Ray Kurzweil 是一位著名的未来学家和发明家，他预测「奇点时刻」发生在2045年，届时AI将达到人类的智能水平。
此外，他的「加速回报定律」认为技术进步是指数级的，未来的技术发展速度将远超我们的直觉预期。
尽管如此，递归自我改进 (Recursive self-improvement) 和元学习 (meta-learning) 仍值得关注。尽管受限于目前硬件设施的种种约束，但它们仍有可能诞生出具有危险性的、强大的AI系统。
一步慢，步步慢。
Meta 所谓的开源，其实是个「谎言」
随着时间的推移，闭源模型与开源模型之间的差距将不断扩大。小尺寸开源模型的能力突破，并不能阻挡这个趋势。
两年内，前沿模型将突破某些能力阈值。以至于很多开源的支持者会倒戈，承认开源模型具备这样强大的能力，是有潜在风险的。
当然迄今为止，主流开源大模型仍是安全的。而且 LLaMa3 和 AlphaFold 等模型已经给全社会带来了巨大的正面收益。
LLaMa 是 Meta 推出的系列大语言模型，目前最新版本是 LLaMa 3.2，已经具备多模态能力。
AlphaFold 是 DeepMind (后被 Google 收购) 开发的AI程序，能预测蛋白质的三维结构，并因其划时代的影响获得了2024年诺贝尔化学奖。
真正的「开源 (Open Source)」不仅仅是开放模型权重，也包括开放训练数据和代码。这可以阻断带有 Sleeper Agent 或污染数据的模型传播开来。
所以前几天，Meta 被国际开源组织 OSI (Open Source Initiative) 给喷了? 负责人批评 LLaMa 并不是真正的开源，公司的行为玷污了「开源」这个词。
最前沿的模型最危险，需要的训练成本也最贵，几乎只有大公司能负担得起了 (至少目前是这样)。所以，把前沿模型当作监控重点是合理且有效的。
开源与闭源的争论主要围绕 Meta 公司展开，并没有涉及更深层次的哲学讨论。
把一个不友好的AI带到这个世界，也不符合 Meta 股东的利益。
如果一家公司的董事会是非盈利的，而且CEO不拿工资，那么它应对AI潜在风险的动力就弱很多。
OpenAI：说我呢呗~
Deepfake (深度伪造) 的传播是一种集体行动问题，可以通过防御技术或制度调整来解决。较低级别AI风险的应对措施大抵如此。
Deepfake 一般指用深度学习 (也就是常说的AI) 技术生成假图像或假视频。
如果限制开源，意味着同时限制了「防御性质」的开源模型的传播。此举可能无意，但结果是有破坏性的。
试图限制一种广泛可用或门槛较低的技术，不仅是毫无意义的，而且可能弊大于利。
尽管如此，把外来物种轻易丢弃到野外，仍然是重罪。
技术创新有「加速」或「减速」之外的选择
未来十年，是人类发展史上最关键的十年，其决策影响力远超历史上的任何时期。
你可以信仰技术，但也要知道几乎所有领域都在支持加速主义 (accelerationism)，同时警惕AI可能造成的风险。
加速主义：是一种政治倾向，主张快速发展科学技术。
更多的就不能说啦，自己百度吧 (因为AI可能拒绝回答
加速观点与减速观点，都把技术发展看作是一个线性的过程。但其实，技术创新更像是在无数的分支路径上不停探索。
如果AI发展方向的选择，把人类文明带到了十字路口。那么，人类生存更多取决于路径选择，而不是前进速度。只有想快速切换到另一条路上的时候，速度才会是更重要的考虑因素。
构建AGI 会带来前所未见的风险。这是一项科学事业，应该严肃谨慎地对待。
部落归属感 (Tribal mood affiliations) 会损害认知理性。
部落归属感：指个体与特定部落或族群的情感联系。
e/acc (有效加速) 和EA (有效利他) 是硬币的两面：e/acc源于尼采式无神论，EA 源于基督教人文主义。
在华盛顿，支持加速主义的实际游说力量，远超另一方。
e/acc 支持者们认为，尽管AI存在潜在危险，但追求 AGI 是人类社会向前发展的必然要求。
EA支持者们认为，AI系统要继续推进人类的价值观，确保AI的发展符合社会的整体利益。
二者关于「AI安全」话题存在观点分歧。
至于哪个党派更支持消除 AI 潜在风险，还没有看到明确的答案。
但可以确定的是，EA (有效利他) 与民主党关系更密切，但也只是一个很小的群体。
尽管还有缺陷，但自由主义者、e/acc (有效加速) 和基督教保守派，对AI和政府的认识比一般进步人士更加务实。
如果你认为AI在不加干预的情况下会变得更糟，那就应该支持特朗普，因为他能引入更多的变数。
Steve Bannon 认为「技术奇点」即将来临，并视其为巨大的风险；而 Janet Haven 则认为AI不过是另一个 Web3 泡沫。
尽情想象，人类将抵达怎样的未来？
如果一个人对2050年的预测没有科幻色彩，那么很可能是这个预测太保守了。
某事听起来「科幻」，与它在物理上无法实现，是天差地别的两件事。
未来发展很大可能走向 Terminator (终结者) 式的结局。
《终结者》是美国系列科幻电影，讲述了人类与人工智能「天网」之间的生死博弈。
意识之所以能被进化出来，是因为它具有实际的功能。因此，某些AI系统诞生出意识也是必然会发生的。
人类意识的存在，是有尺度依赖的。在规模特别巨大或计算约束更少的心智中，人类的意识不一定存在。
Joscha Bach 提出的 Cyber Animism (网络万物有灵理论)，最有可能主导「后AI时代」形而上学理论的发展。
Cyber Animism：认为意识和精神可以类比为一种软件代理，这种代理在生物有机体中自然出现。
这一理论强调了人工智能研究的新方向，即探索意识的非物质基础，并尝试在人工智能系统中复制这种非物质的意识。
人造心智的出现，更可能是拉低人类的道德水平，而不是把人造心智提升为道德人格一般的存在。
从热力学的角度来看，人类文明会不断地发展和扩张。但也不排除，未来我们的文明会被无意识的replicators (复制者) 主导。
这里提到的是热力学第二定律，即熵增定律，是指在孤立系统中，总熵 (即系统的无序度) 不会减少。这意味着自然过程总是向更加无序的状态发展。
有限时间奇点 (Finite-time singularities) 实际上是相变的指标，而不是真正意义上的奇点。
人工智能的相变，是类似于印刷术的发明？还是光合作用的出现？这个问题仍然没有答案。
有限时间奇点：一个数学和物理领域的概念，描述了在有限时间内，某些物理量或数学函数变得无限大 (发散) 的现象。
相变：物质从一种相态转变为另一种相态的过程。
奇点：临界点。
生物学的本质，也是信息技术
生物学 (Biology) 的复杂性来源，与梯度下降 (Gradient Descent) 和扩散 (Diffusion) 过程非常类似。
相同点在于，这些过程都受到了相对简单的奖励信号和超参数 (hyperparameters) 的引导。
梯度下降：一种优化算法，它通过迭代地沿着目标函数梯度（最陡上升方向）的反方向调整参数，来寻找函数的最小值。
扩散：指物质或热量从高浓度区域自然流向低浓度区域，直到达到均匀分布状态。
我们有可能完全掌控生物学的意志控制，也就是说我们可以创造出任意的有机体，即使它们不会在自然界中常规"进化"出来。
通过基因工程创造出 IQ 高达1000 的超智能人类，是有可能的。
IQ：智商，大多数人类的智商在85到115之间；IQ 超过 145 则被认为是天才，IQ 超过160则被认为是非凡天才。
无限期延长寿命，实际上是一种反公地悲剧 (tragedy of the anticommons) 。
反公地悲剧：当一个资源有多个所有者，每个所有者都有权排除他人使用该资源，但没有人拥有独立使用它的权利时，资源的使用效率会大大降低，导致资源被闲置或使用不足的现象。
在后人类转变 (post-human transition) 过程中，出问题的概率非常高。
后人类转变：专业术语，描述人类社会、文化、技术以及生物学特征的深刻变化。这些变化包括但不限于人类通过技术增强、基因编辑、人工智能融合等方式超越传统人类极限的过程。
自然约束往往比人为约束更可取，因为前者不需要追究责任。
我们生活在现实而不是剧本里。现实世界不存在「金手指」帮我们心想事成或躲避伤害。
AI是大势所趋，但超级智能未必
构建统一的超级智能，更多是意识形态的追求。
目前的超级智能竞赛由美国两三家公司主导。它们在近期的发展方向上拥有相当大的自主权。
超级智能具有危险性和破坏性，而且与 Alignment (对齐) 的难度无关。
我们真的需要构建统一的超级智能吗？看起来，把先进的AI技术用于加速科学发展、攻克疾病、解决核聚变等问题，是更好的选择。
创造ASI (人工超级智能) 会直接威胁国家主权。
如果一个 AGI Lab 的领导者是没有子女的佛教徒，那这个实验室的冒险倾向会更明显。
嗯？这是说谁？(竖起八卦的小耳朵
Sam Altman 和 Sam Bankman-Fried 有诸多相似之处。他们两位太像了。
高功能精神病患者年轻时会表现出反社会行为，但成年后学会了自我调节，变得善于社交操纵，怀有宏大愿景，并以不惜一切代价实现「获胜」的目标。
Sam Bankman-Fried 是加密货币交易所 FTX 的创始人，曾是加密货币领域的杰出人物之一，也因FTX的崩溃而声名狼藉。
2022年，FTX 交易所因资金链断裂宣布破产，他被指控策划了美国历史上最大的金融欺诈案之一。
企业不当行为的来源有两个，一是差劲的激励机制，二是中和技术 (neutralization techniques)，也就是为了突破道德约束而找借口，比如「即便我不这么做，别人也会这么做」。
对 AGI Lab 的监管，重要且必要
密切关注前沿模型的能力发展，符合美国的国家利益。
即便对大多数AI监管措施的效果持保留态度，也可以支持对前沿实验室进行监管。
作为临时措施，可以利用计算阈值 (threshold) 的方法筛选 AGI Lab，然后进行安全测试和信息披露。这应该是目前最轻松且有针对性的方法。
计算阈值，也就是确定一个临界点或分界值。
如果监管只聚焦于「使用」和「风险」，听起来似乎对市场很友好，但实际效果可能南辕北辙，反而会将监管范围拓展至更广泛的领域。
比如欧盟的AI法案。
训练所需的计算量，可以简单明了地评估模型能力。这个指标虽然说不上完美，但整体是很靠谱的。
**
**
南乔注：敏感词。
对耗资超过1亿美元的训练项目，进行安全性测试和信息公开，这算不上监管俘获。而且与计算成本相比，也不会形成实质性的进入门槛。
监管俘获：一个经济学和政治学概念，指监管机构最终被其监管的行业或利益集团所影响和控制。
现在谈全面的AI监管法案，为时尚早
一个领域处于快速发展且充满不确定性的状态时，政府制定行业政策更要保持谨慎和自主。
在技术拐点制定全面的法律监管并不明智，因为被监管对象的本质仍在不断变化。
应对AI的最佳政策可能是把针对性监管与大多数领域的全面「放松管制」结合起来。
法律法规固化了特定生产模式与行业结构的规则、标准、流程，这些很容易在技术快速变革期失效。
放松管制的好处是增强市场和政府适应创新的能力。
对于AI商业应用来说，最大的监管障碍存在于现有法律法规之中，而不是未来可能出台的专项法规。
AGI 预期实现的时间越短，政策制定者越应该尽快把重点转向「应对冲击」。
最有效的AI治理方式，势必会涉及到基础设施和硬件层面。
现有法律法规的制定，基于的是「执法不可能完美」的假设。
如果人工智能显著降低了监管和执法的成本，那么在没有进一步放宽政策的情况下，所有现行法律法规的实际执行力度将会大大增强。
各国应该重点关注公共部门的现代化和监管沙盒 (regulatory sandbox)，避免创建互不兼容的AI安全法规体系。
监管沙盒：由监管机构提供，允许企业在受到监管的环境下测试新的金融产品、服务或商业模式。
技术引发的社会转型，全面且复杂
**
南乔注：敏感词。
技术转型往往是一揽子方案 (不是单一的、孤立的变化，而是包含多个方面和步骤的综合过程)。例如，自由市场和工业革命的发展，与「大政府」的兴起是相辅相成的。
可参考 Tyler Cowen 关于 The Paradox of Libertarianism (自由主义悖论) 的观点。
智能爆炸之后建立的AI原生组织，很可能与我们现在所熟知的自由民主制度大相径庭。
在稳定状态下，AI最大程度民主化反而加速AI Leviathan 的崛起。因为不可逆的负外部性会刺激人们更加需求无处不在的社会管控。
Leviathan：利维坦，政治哲学概念，指的是一个强大的中央政府或国家，能够通过权威和力量维持社会秩序和防止混乱。
技术快速变革，往往会打乱现有的公共选择和政治经济约束，使得局势更加动荡难测。
技术快速变革，也可能打破全球权力平衡，增加爆发热战的风险。
技术快速变革，通常会伴随着乌托邦式政治和宗教运动兴起，而这些运动也往往以失败告终。
爆炸式的增长，可能会导致大规模的知识产权纠纷。
生产力的显著提升将加剧 Baumol's Cost Disease (鲍莫尔成本病)，并由此推动人工智能在警察、教师、护士等岗位上的广泛应用。
鲍莫尔成本病：在某些行业中，尽管劳动生产率没有显著提高，但由于其他行业的生产率提升导致工资上涨，这些行业的劳动力成本也会随之上升。
**
南乔注：敏感词。
“ ReferenceNinety-five theses on AI: In no particular order → https://www.secondbest.ca/p/ninety-five-theses-on-ai
如果你对同类型文章感兴趣，还可以继续看看这篇 ? Fifty AI theses → https://an1lam.substack.com/p/fifty-ai-theses
THE END
转载原创文章请添加微信 AhaNanQiao
↓ 分享·收藏·在看·点赞
