ICML 2024时间检验奖颁给了贾扬清等人10年前发表的论文“DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition”。该论文研究了深度卷积神经网络的中间层特征是否能够有效迁移到其他视觉任务中，并验证了这种方法的有效性。DeCAF是AlexNet的首个开源版本，通过它测试了这个卓越的ImageNet分类器学习到的特征是否能广泛应用于其他视觉任务。

📑 DeCAF论文提出的深度卷积激活特征（DeCAF）用于解决通用视觉识别问题，探索了预训练的深度卷积神经网络的中间层特征是否能够有效迁移到其他视觉任务中，验证了transfer learning的可行性。

📊 作者采用了AlexNet卷积神经网络架构，在ImageNet数据集上进行预训练后，冻结网络权重，提取不同层的激活作为特征，并在新任务上仅训练简单的线性分类器。

📷 实验结果显示，DeCAF在多个标准计算机视觉基准测试上都取得了优秀的表现，常常超越当时的最佳方法，证明了DeCAF特征在语义聚类方面优于传统特征。

📡 论文还详细分析了网络各层的计算时间分布，发现全连接层占用了大部分计算时间，并探讨了dropout等正则化技术的影响。

📢 DeCAF的训练速度不够快，因此作者转而使用了Caffe，这也解释了为什么一个名字中含caffeine（咖啡因）成分为零而另一个有的原因——无论是人还是机器，含caffeine都运行得更快。

关注前沿科技 2024-07-24 12:20 北京

人和机器含咖啡因都运行得更快（doge）

西风 发自 凹非寺
量子位 | 公众号 QbitAI

ICML 2024时间检验奖出炉，贾扬清共同一作论文获奖！

论文题为“DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition”，是贾扬清及其团队10年前在UC伯克利期间完成的工作。

ICML官方第一时间发推文表示祝贺，贾扬清回应道“深感荣幸DeCAF获ICML2024时间检验奖，这是人工智能发展惊人的十年”，并把其他作者艾特了个遍。

作者之一、现谷歌DeepMind副总裁、Gemini项目联合负责人Oriol Vinyals也开麦表示“非常感谢这个奖（让我感觉自己老了）”：

DeCAF是AlexNet的首个开源版本，我们通过它测试了这个卓越的ImageNet分类器学习到的特征是否能广泛应用于其他视觉任务。事实证明，这个想法在今天仍然与最好的多模态模型非常相关！

两位老搭档也在评论区叙上了旧：

ICML今年是其举办的第41届，投稿量9000+，接受率27.5%。除了时间检验奖，最佳论文奖也已出炉，Stable Diffusion 3论文等上榜。

获得时间检验奖的这篇论文，目前谷歌学术被引6012次：

先来看这篇论文都讲了什么。

著名框架Caffe的前身

这篇论文提出了一种名为DeCAF（Deep Convolutional Activation Feature）的深度卷积激活特征，用于解决通用视觉识别问题。

主要是探索了在ImageNet等大规模标记数据集上预训练的深度卷积神经网络，其中间层特征是否能够有效迁移到其他视觉任务中，即transfer learning的可行性。

作者采用了Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever 2012年提出的AlexNet卷积神经网络架构，包含5个卷积层和3个全连接层。在ImageNet数据集上进行预训练后，冻结网络权重。

提取了不同层的激活作为特征，具体包括DeCAF5、DeCAF6和DeCAF7（最后一个隐藏层的激活）。并在新任务上仅训练简单的线性分类器，同时保持DeCAF特征不变。

为了验证这种方法的有效性，作者在多个标准计算机视觉基准测试上进行了实验，包括对象识别（Caltech-101）、域适应（Office数据集）、细粒度识别（Caltech-UCSD鸟类数据集）和场景识别（SUN-397）。

实验结果显示，DeCAF在所有这些任务上都取得了优秀的表现，常常超越当时的最佳方法。

使用t-SNE算法将高维特征映射到2D空间，展示了DeCAF特征在语义聚类方面优于GIST和LLC等传统特征。

即使在训练样本稀缺的情况下，如单样本学习，DeCAF仍然表现出色。论文还详细分析了网络各层的计算时间分布，发现全连接层占用了大部分计算时间。

此外，论文还探讨了dropout等正则化技术的影响，特别是在DeCAF6和DeCAF7层上的应用。

最终作者开源了DeCAF特征提取工具和预训练模型。

有网友看到这篇论文在十年后的今天获奖后，突然反应过来“这是不是Caffe的起源？”

贾扬清也做出了回复：

DeCAF的训练速度不够快（我们估计训练时间需要超过一个月），因此我们转而使用了Caffe。这就是为什么一个名字中含caffeine（咖啡因）成分为零而另一个有的原因——无论是人还是机器，含caffeine都运行得更快。

最佳论文奖

除时间检验奖，ICML 2024最佳论文奖也出炉了，今年获奖论文共有10篇。

其中包括Stable Diffusion 3论文“Scaling Rectified Flow Transformers for High-Resolution Image Synthesis”。

Pika联合创始人兼CTO Chenlin Meng参与的“Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution”这项工作也获奖了。

参考链接：
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796

— 完 —

量子位年度AI主题策划正在征集中！

欢迎投稿专题 一千零一个AI应用，365行AI落地方案

或与我们分享你在寻找的AI产品，或发现的AI新动向

点这里?关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~