PaperWeekly 18小时前
CVPR 2025 | 一行Dropout干翻多类异常检测?Dinomaly用“极简主义”刷出SOTA
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文提出Dinomaly,一种创新的多类别无监督异常检测(Multi-class UAD)方法,旨在解决传统UAD模型在处理多类别异常时的性能瓶颈。Dinomaly的核心理念是“少即是多”,通过简化模型设计和引入巧妙的机制,首次实现了多类别统一模型在性能上逼近甚至超越单类别专用模型。文章详细介绍了Dinomaly如何利用Foundation Model的自重建框架、Dropout噪声瓶颈、Linear Attention以及松散的重建约束来克服“过泛化”问题,并在多个数据集上取得了SOTA性能。该方法已被集成到Intel Anomalib工具库,具有极强的可扩展性和易用性。

💡 Dinomaly的核心创新在于其“少即是多”的哲学,旨在解决多类别无监督异常检测(Multi-class UAD)中,由于“正常”分布多样性导致的模型性能下降问题。通过简化模型设计,Dinomaly实现了性能的显著提升,首次使多类别统一模型能够媲美甚至超越单类别专用模型。

🚀 Dinomaly的实现策略包括:1. 利用DINOv2等Foundation Model提取的通用表征进行自重建,强调“What I cannot create, I do not understand”。2. 巧妙运用Dropout作为特征层面的噪声瓶颈,阻断“过泛化”现象,即“Dropout is all you need”。3. 采用“不聚焦”的Linear Attention,避免模型学习简单的恒等映射,即“One man’s poison is another man’s meat”。4. 通过松散的特征约束和Hard Mining,给Decoder更多自由度,防止其学得过好,即“The tighter you squeeze, the less you have”。

📈 Dinomaly在多个数据集(如MVTec AD, VisA, Real-IAD)的69个类别上验证了其卓越性能,在多个场景下达到了多类别UAD的SOTA水平,甚至超越了单类别UAD的性能。此外,Dinomaly展现出强大的可扩展性,其性能随骨干模型尺寸、ImageNet linear-probing精度和图像分辨率的增加而提升,并适配多种预训练架构。

🛠️ Dinomaly方法简洁优雅,易于扩展,自开源以来已获得广泛关注。其后续工作也发表在CVPR 2025和ICML 2025等顶级会议,并在异常检测竞赛中取得优异成绩。该模型已被集成至Intel的开源异常检测工具库Anomalib,方便用户使用和进一步研究。

🌟 Dinomaly的出现标志着多类别无监督异常检测领域的一个重要突破,它证明了通过精巧的设计和对现有机制的创新运用,可以极大地提升模型的性能和实用性,为工业质检、医学影像等领域的异常检测应用提供了更优的解决方案。

原创 让你更懂AI的 2025-07-25 18:17 北京

异常检测也能all in one?

太长不看版:最简单的 trick 刷最高的点,让多类异常检测性能首次逼近甚至超越单类模型水平!现已加入 Intel Open Edge 异常检测工具库 Anomalib。

论文标题:

Dinomaly: The Less Is More Philosophy in Multi-Class Unsupervised Anomaly Detection

作者单位:

清华大学,北京理工大学,上海交通大学

论文地址:

https://arxiv.org/abs/2405.14325

项目地址:

https://github.com/guojiajeremy/Dinomaly

Anomalib:

https://github.com/open-edge-platform/anomalib/issues/2782


解决了什么痛点(导读)

无监督异常检测(Unsupervised Anomaly Detection,UAD)任务仅仅利用正常样本建模,来检测任何偏离正常分布的异常样本。其在工业质检,医学影像,安防监控,自动驾驶等领域有着极其重要的应用。

想象一下,如果一个工厂要检测 30 种不同产品的缺陷: 

传统方案:需要训练 30 个独立模型,好麻烦,存储成本巨大 

现有多类别统一模型:性能大幅下降,技术原理却又很复杂,实用性受限 

本文提出 Dinomaly:一个模型搞定所有类别,模型超简洁,性能还更强!


一些直觉

多类别异常检测(Multi-class UAD)的模型性能显著差于单类别异常检测(class-separate UAD),是由于多个类别组成的“正常”分布更加多样、更加难以建模。

在最常用的的基于重建方法中,这个问题之前被描述为恒等映射现象(identity mapping)。而我们认为:这都怪 Decoder 学得太好了,以至于重建能力 over-generalization 到了未见异常上。


本文方法:Less is More!

1. “What I cannot create, I do not understand”:基于 Foundation Model 的自重建框架

A side: create(重建)不出来,就不 understand(异常);B side: backbone 需要有强大的表征能力

利用 DINOv2 等自监督预训练模型提取通用且具有判别性的特征表示,利用重建误差检测异常

2. “Dropout is all you need”:Dropout 噪声瓶颈

巧妙利用现有的 Dropout 机制,将 Dropout 视为一种特征层面的噪声异常,阻断 over generalization

无需复杂的噪声和伪异常生成,简单有效

3. “One man’s poison is another man’s meat”:注意力涣散的注意力

Linear Attention 被诟病难以 focus? 那我们故意使用“不聚焦”的 Linear Attention!

避免 Attention 学会简单的恒等映射

4. “The tighter you squeeze, the less you have”:松散的重建约束

打破 Encoder-Decoder 逐层、逐像素重建对应的严格约束

利用松散的 feature groups 和 hard mining,给 Decoder 更多自由度(Freedom!),避免学的太好,以至于过泛化。


性能表现惊艳

我们在包含工业质检图像,医学图像的 6 个数据集,69 个类别上验证了我们的模型,其中:

MVTec AD:多类 UAD SOTA(98.5%),单类 UAD SOTA(99.8%),Dinomaly-Large(99.8%)

VisA:多类 UAD SOTA(95.5%),单类 UAD SOTA(98.9%),Dinomaly-Large(98.9%)

Real-IAD:多类 UAD SOTA(86.4%),单类 UAD SOTA(89.4%),Dinomaly-Large(90.1%)

Real-IAD,MPDD,BTAD,Uni-Medical,都是 SOTA!首次让多类统一模型性能媲美甚至超越单类专用模型。

此外,Dinomaly 具有极强的 Scalability:backbone 模型尺寸越大效果越好,backbone 的 ImageNet linear-probing 越高越好,分辨率越大越好,适配多种预训练架构。


开源、易用、好扩展

方法简洁优雅,可扩展性强。自 2024 年 5 月开源以来 github 收获 100+⭐。

后续基于 Dinomaly 的工作也相继中稿 CVPR 2025(INP-Former),ICML 2025(CostFilter-AD)等,还有一波在路上,并在 AD 竞赛中取得佳绩(Robust-Dinomaly,VAND 2.0)。

此外,Dinomaly 已被集成进 Intel 异常检测开源工具库 Anomalib。欢迎大家魔改、引用!

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 


如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编


🔍

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Dinomaly 异常检测 无监督学习 深度学习 计算机视觉
相关文章