雪球今日话题 3小时前
从Ilya Sutskever的视角关注AI发展
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Ilya Sutskever,这位在AI领域备受尊敬的学者和领袖,从预训练时代的终结、AI代理化、推理能力到自我意识的演进,都展现了他对AI未来发展的深刻洞察。他认为,数据作为AI的“化石燃料”正在被耗尽,AI的发展将转向智能体、合成数据和推理时计算。未来的AI将具备真正的推理能力,变得高度不可预测,并可能伴随自我意识的产生。Ilya强调,AI带来的挑战是人类史无前例的,我们需要正视并积极参与其中。他创立SSI,将“安全超级智能”作为唯一使命,并以“核安全”的标准来要求AI安全,致力于在不受商业压力干扰的情况下,稳健推进AI技术的安全发展。

💡 **预训练时代终结与AI发展新路径:** Ilya认为,随着数据使用达到“数据峰值”,传统的预训练scaling law将失效。AI的未来发展将聚焦于三大方向:一是**智能体(Agents)**,让AI能自主执行任务并与世界互动;二是**合成数据(Synthetic Data)**,生成高质量数据以训练更强大的模型;三是**推理时计算(Inference-time Compute)**,增加模型在思考和推理时的计算资源。

🧠 **AI推理能力与不可预测性:** 预测AI的未来,Ilya指出系统将实现真正的代理化,并掌握“推理”能力。与当前AI擅长的模式匹配和直觉不同,推理将使AI变得“极其不可预测”,就像顶尖国际象棋AI的走法一样,人类难以预料。他认为,AI的自我意识也将伴随这一过程产生。

🚀 **AI是人类最大挑战与机遇:** Ilya将AI带来的挑战视为“人类有史以来最大的挑战”,但也预示着巨大的回报。他强调,无论个人是否感兴趣,AI都将深刻影响人生,因此积极关注、思考并为解决AI带来的问题积蓄能量至关重要。AI最终将能够模仿人类大脑的所有功能。

🛡️ **SSI的使命:安全超级智能:** Ilya离开OpenAI后创立SSI,将“安全超级智能”(Safe Superintelligence)作为公司唯一的目标和产品。他强调,SSI的商业模式将与商业压力绝缘,以确保在安全、保障和技术进步方面不受干扰。他将SSI追求的安全定义为“像核安全一样的安全”,远高于通常的“信任与安全”标准。

Ilya Sutskever是我心中目前认为AI领域最值得信任+能力最强的人,学术上从学生时代就是泰斗Hinton的最强门生,从AlexNet、TensorFlow、AlphaGo到ChatGPT可以说一路“引领”AI产业的发展;价值观参见罢免Altman等事件,离开openAI之后通过SSI致力于构建智能安全,是个更重是非而非利益欲望导向的人,下面分享他的关键视角和思考:

一、预训练时代终结

NeurIPS 2024/12 网页链接 网页链接

Ilya认为数据是人工智能的化石燃料,它以某种方式被预先创造出来(就像化石燃料是古生物化石转化而来的一样),我们正在使用这些燃料,而且很快会把数据都用尽达到“数据峰值”(peak data),这就是预训练scaling law的失效。

但人工智能将继续发展,三条路径:

1、智能体(Agents): AI不再仅仅是被动的问答工具,而是能够自主执行任务、与世界互动的“智能体”。

2、合成数据(Synthetic Data): 如何生成高质量的合成数据来喂养更强大的模型,是他眼中一个巨大的挑战和重要的研究方向。

3、推理时计算(Inference-time Compute): 这意味着模型在接收到指令并进行“思考”和推理时,会投入更多的计算资源,而不仅仅是在训练阶段。

二、终将到来的未来

1、系统会真正实现代理化(Agentic)

2、AI会真正掌握推理能力,并呈现出高度不可预测性:当前的AI系统擅长的是模式匹配和直觉(类似人类0.1秒的反应),这是相对可预测的。但未来的AI将具备真正的“推理”能力,这将使其变得“极其不可预测”。(直觉 vs 推理,直觉是可预测的,但推理得越多,就会变得越不可预测。一个例子是,最高水平的国际象棋 AI 下棋的路数就是顶尖人类选手无法预测的,所以我们将不得不面对非常不可预测的人工智能系统,它们不会对所有有着非常大约束和局限的事物感到困惑。)

3、以上实现,人工智能的自我意识也会相伴而生,看不到理由能够妨碍这一点。

三、人类最大的挑战

多伦多大学荣誉博士演讲2025/06 网页链接

1、AI将学会人类所有能做的一切:总有一天,AI将能做我们能做的所有事,因为人类大脑本身就是一台生物计算机,数字计算机没有理由不能做到同样的事情。

2、正视挑战,主动参与: 他认为AI带来的挑战是“人类有史以来最大的挑战”,而克服它也将带来最大的回报。他告诫毕业生和公众,无论你是否感兴趣,你的人生都将极大地被AI影响,因此必须关注它、思考它,并为解决随之而来的问题积蓄能量。

四、一切围绕安全

自2024年5月离开OpenAI并于6月宣布成立SSI以来,Ilya的观点越发聚焦和明确,总结他的所有行动和言论都围绕着一个核心主题展开——以“安全”为唯一前提的超级智能

1、单一、绝对的使命: SSI的成立宣言明确指出,公司“只有一个目标和一款产品”,那就是“安全超级智能”(Safe Superintelligence),再次之前不会涉足任何其他业务,任何商业化干扰都是危险的。

2、与商业压力绝缘: 他认为,追求通用人工智能(AGI)的竞赛不应被产品发布、季度财报或激烈的市场竞争所左右,强调SSI的商业模式将确保其在安全、保障和技术进步方面免受商业压力的影响(成立之后也确实销声匿迹了,直到前阵CEO被小扎挖走,Ilya不得不自己当CEO)

3、更高标准的“安全”: 他将SSI追求的安全定义为“像核安全(nuclear safety)一样的安全”,而不是通常意义上的“信任与安全(trust and safety)”。暗示了一种更为严格、基于工程和科学原理的方法,而非仅仅是内容审核或行为规范。$谷歌C(GOOG)$ $腾讯控股(00700)$ $英伟达(NVDA)$



本话题在雪球有2条讨论,点击查看。
雪球是一个投资者的社交网络,聪明的投资者都在这里。
点击下载雪球手机客户端 http://xueqiu.com/xz]]>

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Ilya Sutskever 人工智能 AI安全 超级智能 SSI
相关文章