本文推荐了OpenAI联合创始人Ilya Sutskever的5个演讲和访谈，深入探讨了GPT的本质、局限以及OpenAI的发展历程。通过Ilya的观点，文章揭示了AI领域的一些关键议题，包括AGI的构建、预测与理解的关系、缩放定律的重要性、以及AI的可靠性和可控性等。这些演讲不仅提供了技术层面的见解，也展现了OpenAI在AI发展道路上的思考和实践，为读者提供了深刻的启发。

💡Ilya认为，预测下一个字符是通向AGI的关键。他强调，精准预测需要深度理解，这比简单地提出新想法更为重要。OpenAI通过预测来探索AI的潜能，并不断优化模型。

📈缩放定律在AI发展中至关重要。Ilya指出，大规模扩展训练数据集能够带来显著的进步，但前提是模型具有受益于规模扩展的结构。这促使研究者重新审视数据集的重要性。

🧠AI的下一个发展方向是可靠性和可控性。Ilya认为，我们需要确保模型输出的可信度，并能够控制模型行为。这反映了AI发展中对安全性和伦理的关注。

✍️编码能力对AI至关重要。Ilya认为，AI的编码能力使其能够操纵计算机学习，从而实现更广泛的应用。这突出了AI在解决复杂问题方面的潜力。

🤔Ilya认为，不要过于相信现在对AI局限性的判断。他分享了OpenAI的经验，强调了AI技术的快速发展和不断突破的可能性。这鼓励人们保持开放心态，积极探索AI的未来。

关注AI炼金术 2023-06-01 13:45 北京

卷首语每次有人问我 GPT 的本质、局限或者 OpenAI 的发展历史时，我都会强烈推荐对方去 Youtub

卷首语

每次有人问我 GPT 的本质、局限或者 OpenAI 的发展历史时，我都会强烈推荐对方去 Youtube 或者 B 站搜索 OpenAI 三个创始人（Sam Altman, Ilya Sutskever, Greg Brockman）的演讲和采访。

能听当事人本人讲的东西，就没必要找二道贩子转述。更何况，这三人的表达能力都非常出众，说话简短、精确、生动，听起来绝不会无聊。

Sam 出镜率比较高，今天先跳过，我们来推荐 Ilya 5 个演讲和访谈。这些视频对我自己启发很大，我们经常说认知决定方向和定力，也经常讲要根据实践来反馈迭代，OpenAI 一路走来的过程，是我见过的最好的、能把这两个表面矛盾道理融合讲通的案例。

每个视频，都提供了 Youtube 和 B 站版本，建议感兴趣 AI 的同学们可以都听一遍，每个人听到的故事会不一样，得到的启发也会不一样：）

AI BUSINESS

OpenAI 创始人 Ilya 伊利亚 的 5 个关键演讲

每次听 Ilya 的演讲或者采访，都会有非常多完全意料之外的启发（我这里也只列出了自己的启发片段，而不是总结他表达的主要内容）。

强烈建议自己完整听一遍，每个人的角度和获得的启发不一样。
英语 OK 的同学们尽量看 Youtube 版本，B 站版本翻译大多有点问题。



    Building AGI,Alignment, Spies, Microsoft, & Enlightenment

他把 AGI 类比成现在 Tesla 的自动驾驶，看起来啥都能干了，但实际上又离 L5 还有距离

采访者质疑 GPT 无法有突破性的创造力，他给了一个有趣的角度——如果 GPT 能够模仿一个”有洞察力、智慧和能力的人“呢？如果我们承认 GPT 能够精确模仿和预测行为，那么当TA 模仿一个有突破性创造力的人的时候，会发生什么？

“提出新想法”没有“理解现有想法、理解正在发生的事情、理解真正发生的潜在现象是什么、理解潜在的影响是什么、为什么我们以这种方式而不是另一种方式做事”重要。深度认同，鲁梅尔特也讲过类似的话

AI 下一个发展点可能是可靠性和可控性，可靠性意味着信任模型的输出，可控性意味着可以控制它

   中文版：

   Youtube 原版（推荐）：
https://www.youtube.com/watch?v=Yf1o0TQzry8





    What's Next for Large Language Models (LLMs)

GPT 的成功，来自于工程和科学的完美配合

最重要的是，能够把“预测”和“理解”这两个概念联系起来







缩放定律（Scaling Law）很重要







以往的研究，都会默认基于固定数据集来优化，这让人很方便比较算法，但也会把研究者的思路禁锢住——往往没想到大规模扩大训练数据集







各种 AI 生成能力中，编码能力很重要，因为这个能力使得 AI 可以操纵计算机







学习能力，有一部分就是泛化能力，泛化能力强的话，很少量学习就能解决大量问题







不一定要模仿生物学，而是以正确的方式受到适当启发

   中文版：

   Youtube 原版（推荐）：
https://www.youtube.com/watch?v=UHSkjro-VbE




    Fireside Chat with Ilya Sutskever and Jensen Huang

这个对话，非常清晰地表达了 Ilya 为何选择这个技术路线来探索 AGI：

他相信，预测下一个字符，会让模型发现数据底层的秘密

真正的难点不是搞数据，而是意识到预测下一个字符，是一个值得追求的目标有效的数据压缩，其实就是一种有效的无监督学习

曾经他们用 LSTM 做亚马逊商品评论的“下一个字符预测”，过程中发现模型生成了一个神经元专门用来判断“情感”（sentiment neuron）

   中文版：

   原版（推荐）：
https://www.nvidia.com/en-us/on-demand/session/gtcspring23-s52092/?ncid=so-yout-561702




   The Mastermind Behind GPT-4 and the future of AI

对人工智能感兴趣的初始动机，是对于人类意识的好奇

很重要的一个发现，就是意识到 predicting the next thing is all you need —— 做预测下一个东西的模型，可能可以通向 AGI。精准预测的前提，是深度理解。

规模并不能解决一切问题，首先要有一个可以受益于规模扩展的结构，另外也要精确判断要规模化（scale）哪些东西

不要太相信自己现在对 AI 局限性的判断，我们两年前也很确定另一些局限性，不就已经被打脸了么

LLM 极度擅长学习，但其实并不那么擅长输出。（不知道为什么，直觉这个见解很重要）

多模态很好，但纯文字可能也已经包括了很多相关信息。比如颜色，如果能直接看到颜色，当然学习效率会提高很多。但如果不能看见颜色，只能通过文字学习，在理解了各种颜色在高维向量空间的关系之后，也能知道颜色之间的关系（我的理解是，甚至于比单角度“看见”的理解可能更“对”）

语言是一个序列，图片也是，生命也是

   中文版：

   Youtube 原版（推荐）：
https://www.youtube.com/watch?v=SjhIlw3Iffs&t=13s




   Inside OpenAI

预测下一个字，是一个可以被定义的任务。相对来说，”理解“很难被定义，所以可以考虑用”预测“替代理解（背后还是”精准预测需要深度理解“的认知）
意识不是一个是或者否的问题，而是一个程度问题，比如人喝醉、疲劳时意识就比较薄弱，而昆虫和人类相比，意识也比较薄弱

为了防止权力过度集中，我们需要开源。但如果 AI 能力过于强大（比如可以自己搞生化实验室），这时开源就不安全了。好玩的是 Ilya 认为现在还没有到他说的危险时刻，所以现在不开源更多开始从竞争角度出发

早期训练需要大量数据广泛训练，才能让模型正确理解问题，后来不那么需要（感觉很像人脑……其实我们是千万年进化出了人脑，后续才可以有强学习能力）

   中文版：

   Youtube 原版（推荐）：https://www.youtube.com/watch?v=Wmo2vR7U9ck

待办清单

    直播一键预约

    邀请关注

    直播连麦报名

AI炼金术直播开放连麦名额啦，可以来直播间和徐文浩、任鑫聊聊天～如果你也在做 AI 产品，可以来聊聊你的产品思路，如果有 demo 展示就更好了，还能帮你打打广告，没准儿还会有更多资源连接～
点击填写报名表👇

阅读原文

跳转微信打开