机器之心 10小时前
何恺明新身份:谷歌DeepMind杰出科学家
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

谷歌迎来新成员——何恺明,他将以兼职形式加入谷歌DeepMind,担任杰出科学家。文章回顾了何恺明的学术生涯,从高考状元到MIT副教授,再到谷歌的杰出科学家,展现了他在AI领域的卓越成就。文章重点介绍了他的代表作ResNet,以及他在生成模型领域的新探索。何恺明的研究对深度学习领域产生了深远影响,他的工作风格以简洁明了著称,备受业界推崇。

🎉 何恺明加入谷歌DeepMind,担任杰出科学家,开启职业生涯新篇章。

🎓 何恺明学术背景深厚,从清华大学到香港中文大学,再到MIT副教授,展现了持续的学术追求。

🏆 ResNet是何恺明的代表作,解决了深度网络的梯度传递问题,被广泛应用于Transformer等模型中。

💡 何恺明在生成模型领域也有新探索,其研究方向备受关注,致力于推动端到端生成建模的发展。

✍️ 何恺明的工作风格以简洁明了著称,他用最直观的方式解释自己的想法,这或许将成为他在教学领域独特的优势。

机器之心报道

机器之心编辑部

恭喜谷歌。


刚刚,有网友爆料,自己在公司收到了「欢迎何恺明加入」的邮件,何恺明疑似加入谷歌。


在搜索何恺明个人主页后,我们可以确认,他确实加入了谷歌,不过是以兼职的形式,职位是谷歌 DeepMind 杰出科学家 (Distinguished Scientist)。



个人主页:https://people.csail.mit.edu/kaiming/


关于何恺明在谷歌的具体研究方向,目前还搜不到详细信息。


不过,我们可以根据他最近发表的研究推测一下。前段时间,他所在的团队发布了一篇题为「Mean Flows for One-step Generative Modeling」的论文(参见《何恺明团队又发新作: MeanFlow 单步图像生成 SOTA,提升达 50%》)。在最近的 CVPR workshop 上,他也重点介绍了这一论文所代表的方向。


在分享中,他指出,在 AlexNet 之前,逐层训练更为流行,如深度信念网络(DBN)和去噪自编码器(DAE)。但 AlexNet 之后,识别模型普遍实现了端到端训练,大大简化了模型设计和训练的复杂性。 不过,有趣的是,今天的生成模型在概念上更像是逐层训练:Diffusion 模型通过 T 个去噪步骤逐步生成,自回归模型通过 T 个 token 逐步生成。这让我们不禁思考:历史能否在生成模型领域重演?即,生成建模有没有可能也走向端到端?


何恺明的个人主页上传了这次演讲的 PPT(参见《何恺明 CVPR 最新讲座 PPT 上线:走向端到端生成建模》),感兴趣的可以去看一下。


从高考状元到被引量超 71 万的 AI 学者


2003 年,何恺明以标准分 900 分获得广东省高考总分第一,被清华大学物理系基础科学班录取。在清华物理系基础科学班毕业后,他进入香港中文大学多媒体实验室攻读博士学位,师从汤晓鸥。何恺明曾于 2007 年进入微软亚洲研究院视觉计算组实习,实习导师为孙剑博士。


2011 年博士毕业后,何恺明加入微软亚洲研究院工作任研究员。2016 年,何恺明加入 Facebook 人工智能实验室,任研究科学家。2024 年,何恺明加入 MIT,成为该校一名副教授。



何恺明的研究曾数次得奖。2009 年,当时博士研究生在读的何恺明参与的论文《基于暗原色的单一图像去雾技术》拿到了国际计算机视觉顶会 CVPR 的最佳论文奖。


2016 年,何恺明凭借 ResNet 再获 CVPR 最佳论文奖,此外,他还有一篇论文进入了 CVPR 2021 最佳论文的候选。何恺明还因为 Mask R-CNN 获得过 ICCV 2017 的最佳论文(Marr Prize),同时也参与了当年最佳学生论文的研究。


根据 Google Scholar 的统计,截至今天,何恺明的研究引用次数超过 71 万次。



此外,加入 MIT 后,何恺明开设的课程广受学生欢迎,可参考:


教授何恺明在 MIT 的第一堂课

教授何恺明在 MIT 的第二门课 ——《深度生成模型》,讲座 PPT 陆续已出


那些年,恺明发表过的「神作」


说起恺明大神的作品,最有名的就是 ResNet 了。这篇论文发表于 2016 年,迄今引用已经超过 28 万多。根据 《自然》 杂志的一篇文章,这是二十一世纪被引用次数最多的论文。



《Deep Residual Learning for Image Recognition》在 2016 年拿下了计算机视觉顶级会议 CVPR 的最佳论文奖。



同样是大神级别的学者李沐曾经说过,假设你在使用卷积神经网络,有一半的可能性就是在使用 ResNet 或它的变种。


何恺明有关残差网络(ResNet)的论文解决了深度网络的梯度传递问题。这篇论文是 2019 年、2020 年和 2021 年 Google Scholar Metrics 中所有研究领域被引用次数最多的论文,并建立了现代深度学习模型的基本组成部分(例如在 Transformers、AlphaGo Zero、AlphaFold 中) )。


如今大模型都在使用的 transformer 的编码器和解码器,里面都有源自 ResNet 的残差链接。


2021 年 11 月,何恺明以一作身份发表论文《Masked Autoencoders Are Scalable Vision Learners》,提出了一种泛化性能良好的计算机视觉识别模型,同样是刚刚发表就成为了计算机视觉圈的热门话题。



一个初入 AI 领域的新人,在探索的过程中看到很多重要研究主要作者都是何恺明,经常会不由得感到惊讶。何恺明虽然长期身处业界,但科研态度一直被视为标杆 —— 他每年只产出少量一作文章,但一定会是重量级的,几乎没有例外。


我们也经常赞叹于何恺明工作的风格:即使是具有开创性的论文,其内容经常也是简明易读的,他会使用最直观的方式解释自己「简单」的想法,不使用 trick,也没有不必要的证明。这或许也将成为他在教学领域独特的优势。


最后,恭喜谷歌,也期待大神何恺明在谷歌可以做出更多开创性工作。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com



文章原文

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

何恺明 谷歌 ResNet 深度学习 AI
相关文章