歸藏的AI工具箱 2024年07月27日
要安全还是要发展:Open AI 宫斗第二季梳理
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

OpenAI 内部围绕安全和发展之间的矛盾再次爆发,引发了业界关注。Ilya Sutskever 宣布离开 OpenAI,并暗示将创办新公司。随后,OpenAI 超级对齐团队负责人 Jan Leike 也宣布离职,并指责 OpenAI 领导层在资源分配上存在不公平,导致安全研究工作受阻。事件引发了关于 AI 安全和发展之间平衡的讨论,一些专家认为过度强调安全会导致 AI 发展停滞,而另一些人则认为安全是 AI 发展不可忽视的重要因素。

🤔 OpenAI 领导层在公司核心优先事项上存在分歧,导致超级对齐团队在过去几个月里遇到了很多困难,包括计算资源不足等问题,使得关键研究工作变得越来越困难。Jan Leike 认为 OpenAI 应该把更多精力放在为下一代 AI 模型做准备,包括安全、监控、应变能力等方面。

🤫 OpenAI 通常会要求离职员工签署包含不贬损条款的离职协议,如果拒绝签署,他们将失去公司股权,这可能意味着损失数百万美元。这也解释了为什么之前从 OpenAI 离职的人一般不会说明自己的情况。

🚀 Sam Altman 承认公司离职文件中确实有一项关于“潜在股权取消”的条款,但表示从未真正启用过该条款。他强调安全和能力发展同样重要,并表示 OpenAI 正在努力确保模型的安全。

🤔 一些专家认为过度强调安全会导致 AI 发展停滞,而另一些人则认为安全是 AI 发展不可忽视的重要因素。人工智能还处于早期阶段,需要不断的平衡效率和安全性,而不是把安全无限放大。

💡 杨立坤认为,现在担心 AI 安全是杞人忧天,将现在担心 AI 安全的人比喻成1925年有人说“我们迫切需要弄清楚如何控制能够以接近音速跨越大洋、运输数百名乘客的飞机。”人工智能还处于早期阶段,需要很多年才能达到人类的智能水平,所以需要不断的平衡效率和安全性,而不是把安全无限放大。

原创 op7418 2024-05-19 15:22 北京

Open AI 宫斗积累的剩余矛盾终于在 GPT-4o 的发布会结束之后爆发了,感觉 Open AI 的宫斗跟快成了发布会之后的保留节目了。

Open AI 宫斗积累的剩余矛盾终于在 GPT-4o 的发布会结束之后爆发了,感觉 Open AI 的宫斗跟快成了发布会之后的保留节目了。

核心还是 Ilya 主张的安全为主的加大对模型安全投入的超级对齐团队和以 Sam、Greg 为首的主张优先发展模型效果的管理层的矛盾。

首先是 15 号长时间没有发声的 Ilya 宣布正式离开 Open AI[1],场面很和气同时还说会在合适的时候公布自己新事业的信息,Sam 和 Greg 也发了推回应和感谢了 Ilya 的付出。

然后是现任的Open AI 超级对齐团队负责人 Jan Leike 宣布离职[2],同时还曝光了 Open AI 对模型对齐团队不公平的对待。

他认为 OpenAI 领导层在公司核心优先事项上存在分歧,导致Jan Leike 的团队在过去几个月里遇到了很多困难,包括计算资源不足等问题,使得关键研究工作变得越来越困难。

同时Jan Leike 认为 OpenAI 应该把更多精力放在为下一代 AI 模型做准备,包括安全、监控、应变能力等方面。

Jan Leike 应该是离职的人中首次明确的说自己受到的不公正待遇的,然后晚上 Sigal Samuel 就发布了一篇爆料文章[3]解释了为什么之前从 Open AI 离职的人一般不会说明自己的情况。

因为OpenAI 通常会要求离职员工签署包含不贬损条款的离职协议。如果拒绝签署,他们将失去公司股权,这可能意味着损失数百万美元。

然后在 18 号 Sam 发推文承认[4],公司离职文件中确实有一项关于“潜在股权取消”的条款,但是他们从来没有真的启用过这个条款收回过任何人的股权,同时他不知道协议中有这条内容,公司也正在修改这项条款。

有趣的是2014 年还在 YC 的时候 Sam 还写过一篇博客[5],阐述了初创公司对于员工股权分配的问题并且给出了一些如何保障初创公司员工正常获取股权收益的建议。

过了十年曾经的屠龙者变成了恶龙。

同时 Sam 和 Grog 还针对 Jan Leike 的发言起草了一个声明[6]大致意思是说模型的安全和能力发展同样重要,他们也做了很多事情来保证模型的安全。这个声明看起来很长但其实都是片汤话,评论里很多人说感觉像 ChatGPT 写的。

上面就是事件目前的一个发展情况,同时社区也有一些其他的看法比如 Daniel Jeffries 认为[7]超级对齐团队的离开不是因为他们看到了他们无法应对的超级先进AI,而是因为他们研究后认为这种 AI 短时间不可能出现。

然后 Open AI 的领导层就开始缩减给超级对齐研究团队的资源开始做一些更实用的事情,比如用来构建产品改善体验。

杨立坤也表示认同上面这种说法。同时也罕见的认为 Sam 的这个操作是正确的担心现在的 AI 模型会造成安全问题是杞人忧天[8]

他将现在担心 AI 安全的人比喻成1925年有人说“我们迫切需要弄清楚如何控制能够以接近音速跨越大洋、运输数百名乘客的飞机。”

“在发明涡轮喷气发动机之前,在任何飞机能不间断飞越大西洋之前,长途客机的安全性是难以保证的。然而,现在我们可以安全地乘坐双引擎喷气式飞机飞越半个地球。这并不需要什么神奇的安全配方。而是经过了几十年的精心设计和不断改进。”

我们的人工智能还处于早期阶段需要很多年才能达到人类的智能水平,别说超过人类了,所以需要不断的平衡效率和安全性,而不是把安全无限放大。

我总体上认同杨立坤的意见,人工智能现在是很早的阶段,我们还有非常多重要的事情要做,安全很重要,但在早期阶段吃饱饭更重要。

参考资料

[1]

宣布正式离开 Open AI: https://x.com/ilyasut/status/1790517455628198322

[2]

Jan Leike 宣布离职: https://x.com/janleike/status/1791498174659715494

[3]

篇爆料文章: https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence

[4]

发推文承认: https://x.com/sama/status/1791936857594581428

[5]

一篇博客: https://blog.samaltman.com/employee-equity

[6]

一个声明: https://x.com/gdb/status/1791869138132218351

[7]

Daniel Jeffries 认为: https://x.com/Dan_Jeffries1/status/1791752281982996590

[8]

安全问题是杞人忧天: https://x.com/ylecun/status/1791890883425570823


Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

OpenAI AI 安全 超级对齐 模型发展
相关文章