虎嗅 2024年09月14日
OpenAI新模型核心贡献者有哪些?我们看到了大量华人的名字
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

OpenAI 发布的 o1 大模型在推理能力上取得了重大突破,并展现出强大的通用推理能力。该模型能够解决比以往科学、代码和数学模型更难的问题,并在高难基准测试中超越人类专家。o1 的成功离不开背后强大的研究团队,本文将深入解析 o1 项目的核心贡献者,包括推理研究和推理技术安全两方面的关键人物。

💥 **推理研究核心贡献者** OpenAI o1 的推理研究团队汇聚了来自各行各业的顶尖人才,他们在各自领域拥有深厚的专业知识和丰富的经验。例如,Ahmed El-Kishky 是一位专注于大规模机器学习、自然语言处理、图机器学习和推荐系统的研究员,他在加入 OpenAI 之前曾在 X 和 Meta 等公司任职。Daniel Selsam 则是一位在斯坦福大学获得博士学位的研究员,他曾参与 GPT-4 项目,并对大模型的推理能力有着深刻的理解。此外,还有来自 DeepMind、谷歌、苹果、微软等知名机构的研究人员,他们共同组成了一个强大的研究团队,为 o1 的成功贡献了不可或缺的力量。

💥 **推理技术安全贡献者** OpenAI o1 的安全系统团队同样由一群优秀的科学家组成,他们致力于确保模型的安全性、稳健性和可靠性。Lilian Weng 是 OpenAI 安全系统团队的负责人,她拥有丰富的经验和深厚的专业知识,在模型安全方面做出了重要贡献。此外,还有 Jieqi Yu、Kai Xiao 等来自中国的人工智能科学家,他们在各自的领域都取得了杰出成就。他们共同努力,确保了 o1 模型在强大的能力基础上,也能保证安全可靠的运行。

💥 **模型开发背后的协作与贡献** OpenAI o1 的成功并非来自单一人员的贡献,而是团队协作和共同努力的结果。从推理研究到安全系统,每个领域都汇聚了来自不同背景、拥有不同专长的科学家,他们共同构成了 o1 项目的强大力量。每个贡献者都发挥着自己的优势,共同推动了 o1 的发展,最终成就了这一具有里程碑意义的成果。

💥 **Ilya Sutskever 的影响** 尽管 Ilya Sutskever 已经离开了 OpenAI,但他仍然出现在 o1 的核心贡献者名单中。他的贡献和影响力依然存在,这表明 o1 项目是 OpenAI 团队多年努力的结晶,也预示着未来人工智能领域的发展方向。

💥 **OpenAI o1 背后的意义** OpenAI o1 的发布标志着人工智能领域取得了新的突破,它展现了大模型在推理能力方面的巨大潜力,也为未来人工智能的发展指明了方向。o1 的成功离不开背后强大的研究团队,他们的努力和贡献为我们带来了一个更加智能、更加强大的 AI 模型。

这篇文章系统梳理了 OpenAI o1模型背后的核心人才。

9月13日凌晨,OpenAI 震撼发布 o1 大模型,酝酿已久的“草莓”终于面世。

新模型能够进行复杂推理,具备真正的通用推理能力,可解决比以往的科学、代码和数学模型所能处理的更难的问题。它在一系列高难基准测试中展现出了超强实力,相比 GPT-4o 有巨大提升,甚至能在博士级别的科学问答环节上超越人类专家

虽然 o1 很强,但有趣的是,它并不会尝试去推理和解答“黎曼猜想”这类人类自己还没解决的难题,以至于 Andrej Karpathy 忍不住吐槽说它很懒。

对于 o1 模型背后的那些贡献者来说,这一天可以说非同寻常。在模型正式发布后,他们终于可以公开谈论这一成果。每个人脸上都洋溢着轻松的笑容。


OpenAI o1 幕后团队在模型发布后接受了简单的采访,解释了与 o1 相关的推理的含义、研发过程中的“Aha moment”、用强化学习训练模型来生成和磨练它自己的思维链等内容。

其中,思维链提出者 Jason Wei 在第一时间就分享了自己提炼出的经验和感悟。

Jason Wei 提到,OpenAI o1 虽然很强,但能够激发它潜力的提示却没有那么好写。因此,针对该模型的提示工程还是一个待研究的问题。

OpenAI API 文档中提及的提示建议。示例参见:https://platform.openai.com/docs/guides/reasoning/advice-on-prompting

此外,参与该模型安全相关工作的 Lilian Weng也发表了推文,表示 o1 的安全性和稳健性也得到了显著提升。这表明,“能力和安全并不是两个相互冲突的目标”。

在过去的几年,Lilian Weng 一直以博客的形式进行高质量的技术分享,几乎每篇博客都是精品,被很多 AI 研究者视为重要的参考资料。所以,在她的推文评论区,大家已经在催更了。如果后续有更新,机器之心将第一时间跟踪报道。

OpenAI o1 是一个庞大的项目,背后藏着一支强大的研究团队,Jason Wei、Lilian Weng 都是其中之一。在一个单独的博客中,OpenAI 列出了该项目的所有贡献者。有意思的是,已经离职的前首席科学家 Ilya 也出现在了核心贡献者名单中。所以,这个 OpenAI o1 就是 Ilya 所看到的吗?还是说,他看到了更了不得的东西?  

在这篇文章中,机器之心对 o1 项目的贡献者名单进行了梳理。

一、推理研究核心贡献者

Ahmed El-Kishky

Ahmed El-Kishky 是 OpenAI 的一名 AI 研究员,他于 2024 年 2 月加入该公司,至今才 8 个月的时间。在此之前,Ahmed 在 X、Meta 等公司任职。他本科毕业于塔尔萨大学、博士毕业于伊利诺伊大学厄巴纳-香槟分校,导师是韩家炜教授。

Ahmed El-Kishky 主要研究方向包括大规模机器学习,自然语言处理,图机器学习和推荐系统。

Daniel Selsam

Daniel Selsam 于 2022 年加入 OpenAI,现在是该公司的一名研究员,曾任职于微软,还在 DeepMind做过实习生。Daniel Selsam 博士毕业于斯坦福大学,他还是 GPT-4 的贡献者。

Francis Song

Francis Song 在 2022 年 6 月加入 OpenAI,至今已经 2 年多了,现在是一名技术人员。在加入 OpenAI 之前,Francis Song 是 DeepMind 的一名研究科学家。此前,他博士毕业于耶鲁大学。

Giambattista Parascandolo

Giambattista Parascandolo 现在是 OpenAI 的一名 AI 研究科学家,目前在 OpenAI 领导一个团队,专注于解决模型推理问题。他在 2021 年加入 OpenAI,至今已经三年多了。此前,他任职于 DeepMind 等机构。博士毕业于苏黎世联邦理工学院。Giambattista Parascandolo 还参与过 GPT-4 的研究。

Hongyu Ren

Hongyu Ren 在去年 7 月加入,现在是 OpenAI 的一名研究科学家,他还是 GPT-4o 、GPT-4o mini 的核心贡献者,并致力于 GPT-Next 的研究。Hongyu Ren 本科毕业于北京大学、博士毕业于斯坦福大学。此前,他在苹果、谷歌、英伟达、微软等工作过。

Hunter Lightman

Hunter Lightman 现在是 OpenAI 的一名研究工程师,于 2022 年加入。他本科毕业于宾夕法尼亚大学。

Hyung Won Chung

Hyung Won Chung 现在是 OpenAI 的一名研究科学家。研究重点是大型语言模型。在那之前,他在谷歌大脑工作,并在 MIT 攻读博士学位。

他曾参与过一些重要项目的研究工作,比如 5400 亿参数的大型语言模型 PaLM 和 1760 亿参数的开放式多语言模型 BLOOM。机器之心也曾介绍过他为一作的论文:《Scaling Instruction-Finetuned Language Models》。

Ilge Akkaya

Ilge Akkaya 在 2019 年加入,现在是 OpenAI 一名工程师,专注于程序合成研究。Akkaya 博士毕业于 UC Berkeley。还参与过 GPT-4 的研究。

Ilya Sutskever

虽然 Ilya 在今年 5 月离开了 OpenAI,但还是出现在了 o1 的核心贡献者名单中。几天前,Ilya 新成立的公司 SSI刚完成 10 亿美元的融资,估值达到 50 亿美元。关于 Ilya 与 OpenAI 的故事,大家可以参考这篇文章《突发!Ilya Sutskever 成立新公司 SSI,安全超级智能是唯一目标与产品》,了解更多内容。

Jason Wei

Jason Wei 现在是 OpenAI 一名研究员,于 2023 年 2 月加入。此前,他从 2020 年到 2023 年担任 Google Brain 的研究科学家。Jason Wei 是思维链的提出者,并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文,还参与过 GPT-4 研究。

Jonathan Gordon

Jonathan Gordon 于 2020 年加入 OpenAI,现在是 OpenAI 的一名研究科学家和团队负责人,主要研究大型语言模型,还参与过 GPT-4 的研究。此前,Gordon 博士毕业于剑桥大学。

Karl Cobbe

Karl Cobbe 早在 2018 年就加入 OpenAI,至今已经 6 年多了。他本科毕业于斯坦福大学,主要研究方向是人工智能和强化学习。曾参与过论文《Let’s Verify Step by Step》,这篇论文作者包括 Ilya Sutskever、John Schulman、Jan Leike 等知名大佬。

Kevin Yu

Kevin Yu 在 2022 年加入 OpenAI,现在为 OpenAI 一名研究员,他博士毕业于加州大学伯克利分校。

Lukas Kondraciuk

Lukas Kondraciuk 于 2022 年加入 OpenAI,现在是一名研究员。此前,他还任职于谷歌、英伟达。本科和硕士均毕业于华沙大学。还参与过 GPT-4o、GPT-4 的研究。

Max Schwarzer

Max Schwarzer 于 2023 年 11 月加盟 OpenAI, 致力于提升机器学习系统的能力。他毕业于蒙特利尔大学,曾是约书亚・本希奥建立的 Mila 实验室的博士生,专注于强化学习和自监督学习领域的研究。

Mostafa Rohaninejad

Mostafa Rohaninejad 在 2023 年 10 月加入了 OpenAI,成为 AI 科学家团队的一员。他是元学习领域知名的 SNAIL 架构的二作,详情可以参见机器之心此前的报道:《入门 | 从零开始,了解元学习》。他在加州大学伯克利分校获得了学士和硕士学位。加入 OpenAI 之前,他曾就职于工业机器人公司 Covariant,BAIR 实验室。同时,他还是一名举重运动员。

Noam Brown

Noam Brown 在 2023 年 6 月入职了 OpenAI ,现在是一名专注于多步推理、自我博弈和多智能体 AI 的研究员。他在今年五月刊发的新论文《The Update-Equivalence Framework for Decision-Time Planning》提出了一种新搜索方法,解决了模型长路径搜索的问题,有人猜测 OpenAI o1 采用了类似方法。

此前,他是 Meta FAIR 的一员,主导了曾火遍一时的 CICERO 项目。这是第一个在策略游戏《Diplomacy》中达到人类水平表现的 AI,可以参阅机器之心此前的报道:争取盟友、洞察人心,最新的 Meta 智能体是个谈判高手。

随后,他开发了第一个在无限注德州扑克中击败顶尖人类选手的 AI:Libratus 和 Pluribus。Libratus 获得了马文・明斯基奖,以表彰其杰出成就。Pluribus 登上了《Science》杂志封面,并入围了 2019 年《Science》杂志年度突破奖。机器之心也曾详细报道过 LibratusPluribus

加入工业界之前,他在卡内基梅隆大学获得了计算机科学博士学位。更早之前,他就任于联邦储备委员会的国际金融市场部门,专注于金融市场中的算法交易研究。

在推特上,有人怀疑Noam Brown是新模型的领导者,但他澄清说自己不是,并表明该项目是团队协作的产物。

Shengjia Zhao

Shengjia Zhao 于 2022 年 6 月加入,现在是 OpenAI 的一名研究科学家,主攻 ChatGPT。他是 ChatGPT、GPT-4、GPT-4o mini 的作者之一 。他的主要研究方向是大语言模型的训练和校准。此前,他本科毕业于清华大学,博士毕业于斯坦福大学。

Trapit Bansal

2022 年,Trapit Bansal 加入 OpenAI 成为了一名研究员,直接对接 Ilya Sutskever。他是马萨诸塞大学阿默斯特分校的计算机科学博士,主要研究机器学习和自然语言处理。他关于元学习的研究获得了 2018 年 ICLR 的最佳论文奖,他的多篇论文也曾入选 EMNLP、ACL Oral。

Vineet Kosaraju

Vineet Kosaraju 在 2020 年就已加入 OpenAI,是数学生成团队的一员。他在斯坦福大学完成了计算机科学的学士和硕士学位,主要研究计算机视觉与自动驾驶技术。他是现在流行的大模型能力测试集 GSM8K 的作者,是大模型可以搜索网页并产出回答的 WebGPT 技术的开发者,也是大名鼎鼎的《Let’s Verify Step by Step》论文二作。

Wenda Zhou

Wenda Zhou 于 2023 年 7 月入职 OpenAI,在此之前,他曾就职于纽约大学等机构。他本科毕业于剑桥,博士毕业于哥伦比亚大学,曾在 NeurIPS、ICLR 等顶会发表多篇论文。

他的研究兴趣集中在高维统计学、压缩感知和深度学习领域。最近,他在探索机器学习在不同情境下的应用,比如数据压缩和化学。

以上介绍的是基础贡献者,完整的“推理研究”部分的名单如下:

二、推理技术安全贡献者

在“推理技术安全”版块,OpenAI 列出了与新模型相关的贡献者。除了 Lilian Weng,里面还有很多其他华人科学家的身影。其中担任领导职位的包括:

Jieqi Yu

Jieqi Yu 是 OpenAI 的工程经理,2023 年 8 月加入 OpenAI。

她本科毕业于复旦大学,期间曾在香港科技大学短暂交流,2012 年在美国普林斯顿大学拿到电气工程博士学位。

在加入 OpenAI 之前,她在 Facebook 工作了 12 年。

Kai Xiao

Kai Xiao 是 OpenAI 的机器学习工程师,在麻省理工学院获得学士学位,随后获得计算机科学博士学位。

他在个人资料中写道,“我的博士研究主要集中在稳健可靠的机器学习方面。我有兴趣了解当前机器学习实践造成的 bias,包括我们对模型架构、训练算法和数据集的选择。此外,我还想开发一些方法,让模型更稳健地应对这些不必要的 bias。我希望,通过识别和修复这些 bias,机器学习可以为现实世界的部署做好更充分的准备。”

过去的几年,他曾在微软研究院、Deepmind、Citadel、DE Shaw、A9 和 Jane Street 实习,并于 2022 年 9 月加入 OpenAI。

Lilian Weng

Lilian Weng,中文名翁丽莲,是 OpenAI 安全系统团队负责人。

她本科毕业于北京大学信息系统与计算机科学专业,曾前往香港大学进行短期交流,之后在印第安纳大学布鲁明顿分校获得博士学位。

她 2018 年加入 OpenAI,参与了 GPT-4 项目的预训练、强化学习&对齐、模型安全等方面的工作。

正如前面所说,她的博客深入、细致,具有前瞻性,被很多 AI 研究者视为重要的参考资料。机器之心报道过的博客包括:

“安全”部分的完整名单如下:

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

OpenAI o1 大模型 推理 人工智能 团队 贡献
相关文章