一项来自北大、北邮和华为的研究，颠覆了人们对深度学习架构的认知。他们提出的DiC模型，一个纯卷积的扩散模型，在图像生成任务中展现出卓越的性能和推理速度。DiC模型的核心在于对3x3卷积的重新设计和优化，证明了即使是简单的卷积网络，经过精心设计也能在AIGC领域取得突破。与基于Transformer的扩散模型相比，DiC在计算开销和推理速度上具有显著优势，为AIGC的发展提供了新的思路。

💡 DiC模型的核心是重新审视并优化了深度学习中最基础的3x3卷积，构建了一个纯卷积的扩散模型。

🚀 DiC模型采用了U-Net沙漏型架构，通过编码器和解码器的上下采样，弥补了3x3卷积感受野受限的问题，从而在更大范围覆盖原始图像区域。

⚙️ 为了增强模型对条件信息的响应，DiC采用了分阶段嵌入、最佳注入位置和条件门控机制，实现了对生成过程的精细控制，从而提升了生成质量。

📈 实验结果表明，DiC模型在性能上超越了广受欢迎的DiT模型，并且在推理速度上实现了显著提升，例如，DiC-XL的吞吐量是DiT-XL/2的近5倍。

2025-07-11 16:28 北京

经过精心设计，简单的卷积网络依然能在生成任务中登峰造极。

当整个 AI 视觉生成领域都在 Transformer 架构上「卷生卷死」时，一项来自北大、北邮和华为的最新研究却反其道而行之，重新审视了深度学习中最基础、最经典的模块——3x3 卷积。

他们提出的 DiC (Diffusion CNN)，一个纯卷积的扩散模型，不仅在性能上超越了广受欢迎的 Diffusion Transformer (DiT)，更在推理速度上实现了惊人的提升。这项工作证明了，经过精心设计，简单的卷积网络依然能在生成任务中登峰造极。

论文标题：DiC: Rethinking Conv3x3 Designs in Diffusion Models

论文链接：https://arxiv.org/abs/2501.00603

项目主页/代码：https://github.com/YuchuanTian/DiC

引言从 Stable Diffusion 到 Sora，基于 Transformer 的扩散模型已经成为 AIGC 领域的绝对主流。它们强大的可扩展性和卓越的生成效果令人惊叹，但也带来了巨大的计算开销和缓慢的推理速度，成为实际应用中的一大瓶颈。

我们真的只能在 Transformer 这条路上走到底吗？

在这篇论文中，研究者们给出了一个响亮的否定答案。他们大胆地抛弃了复杂的自注意力机制，回归到了最纯粹的 3x3 卷积，并构建了一个兼具速度与性能的全新扩散模型架构——DiC。

返璞归真：为什么选择 3x3 卷积在 AI 硬件和深度学习框架（如 cuDNN）的加持下，3x3 卷积是硬件支持最好、优化最彻底的算子之一。得益于像 Winograd 这样的高效算法，它的计算速度远超其他类型的操作，是实现高吞吐量的关键。

然而，3x3 卷积也存在一个致命弱点：感受野受限。这使得它在需要全局信息的生成任务中，天然弱于拥有全局感受野的 Transformer。之前的工作大多认为，Transformer 中的自注意力机制是大型生成模型 Scaling Law 的关键。

DiC 的作者们正是要挑战这一「常识」。

DiC 的基本模块主要由两个 Conv3x3 组成

DiC 的进化之路：从平庸到卓越研究者们并非简单地堆叠卷积层。他们通过一系列精巧的设计，一步步将一个平庸的卷积网络打造成了性能怪兽。这个过程清晰地展现在了论文的路线图（Roadmap）中：

架构选择：U-Net Hourglass 是关键

研究发现，对于纯卷积模型，传统的 U-Net 沙漏型架构比 Transformer 中流行的直筒形 Transformer 堆叠架构更有效。通过编码器中的下采样和解码器中的上采样，模型可以在更高层级用同样的 3x3 卷积核覆盖更广的原始图像区域，从而有效弥补了感受野不足的问题。在此基础上，DiC 减少了跳连的频率，降低了 U-Net 频繁跳连带来的计算冗余。

全方位的条件注入

优化为了让模型更精准地响应条件（如类别、文本等），DiC 进行了一套精密的「三连击」优化。首先，它采用分阶段嵌入（Stage-Specific Embeddings），为 U-Net 不同层级的特征提供专属的、维度匹配的条件嵌入。其次，通过实验确定了最佳的注入位置，让条件信息在卷积块的中间层介入，以最高效地调制特征。最后，DiC 引入了条件门控（Conditional Gating）机制*，通过动态缩放特征图，实现了对生成过程更精细的控制。这套组合拳确保了条件信息被恰到好处地利用，极大地提升了模型的生成质量。

激活函数替换

将常用的 SiLU 替换为 GELU，带来了一定的效果提升。

惊人的实验结果：性能与速度双丰收超越 DiT，性能更优

在同等计算量（FLOPs）和参数规模下，DiC 在各个尺寸上都显著优于 DiT。以 XL 尺寸为例，DiC-XL 的 FID 分数（越低越好）从 DiT-XL/2 的 20 降低到了 13，IS 分数（越高越好）也大幅提升，生成图像的质量和多样性都更胜一筹。

DiC 生成能力的超越已经足够亮眼，而速度的优势则更具颠覆性。由于纯卷积架构对硬件的高度友好，DiC 的推理吞吐量（Throughput）远超同级别的 Transformer 模型。例如，在相同模型参数量和算力的情况下，DiC-XL 的吞吐量达到了 313.7，是 DiT-XL/2（66.8）的近 5 倍！

Scaling Law 上的探索

研究者们积极探索 DiC 图像生成能力的上限，发现模型收敛速度快。当不使用 cfg 时，在相同设定下 DiC 的收敛速度是 DiT 的十倍；在使用 cfg 时，FID 可以达到 2.25。

DiC 生成效果出众，输出图像十分逼真

大图上的探索

当生成图像尺寸扩大时，Transformer 的二次方复杂度问题会急剧恶化。而 DiC 的线性复杂度使其优势更加突出。实验表明，在 512x512 分辨率下，DiC-XL 模型可以用比 DiT-XL/2 更少的计算量，远超后者的速度，达到更好的生成效果。

结论与展望DiC 的出现，有力地挑战了「生成模型必须依赖自注意力」的固有观念。它向我们展示了，通过深入的理解和精巧的架构设计，简单、高效的卷积网络依然可以构建强大的生成模型。卷积，在视觉 AIGC 的广阔天地中仍然大有可为！

论文已被 CVPR2025 接收，更多内容，请参考原论文。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com

阅读原文

跳转微信打开