多模态融合检测，工业异常检测领域新突破！

复旦大学、荣旗工业科技、腾讯优图实验室 上海交通大学、上海海洋大学等机构联合发布高精度多模态数据集Real-IAD D³，并基于此数据集提出了一种创新的多模态融合检测方法。

相关成果已被计算机视觉顶会CVPR 2025收录。

在工业生产中，异常检测是确保产品质量和安全的关键环节。然而，现有的异常检测方法在面对复杂工业环境时，常常因为数据集的局限性而难以达到理想的检测效果。

为了突破这一瓶颈，研究人员们精心打造了 Real-IAD D³ 数据集，它不仅涵盖了高分辨率的 RGB 图像，还加入了伪 3D 光度立体图像和微米级精度的 3D 点云数据，为异常检测提供了更丰富的信息。

多模态融合：Real-IAD D³ 的创新之处

Real-IAD D³数据集的灵感来源于实际的工业质检场景。在真实的工业生产中，质检人员需要快速、准确地识别出产品表面的各种缺陷，如划痕、凹陷、裂缝等。这些缺陷不仅种类繁多，而且在不同的光照和材质背景下，其表现形式也各不相同。传统的2D图像检测方法在面对这些复杂的缺陷时，往往因为缺乏深度信息而难以准确识别；而现有的3D检测方法虽然能够提供一定的深度信息，但在细节捕捉上仍然存在不足。

为了更好地模拟实际的工业质检场景，研究人员们设计了Real-IAD D³数据集。该数据集包含了20个工业产品类别、69种缺陷类型，共计8450个样本，其中正常样本5000个，异常样本3450个。每个样本都包含了同步的RGB图像、伪3D光度立体图像以及微米级精度的3D点云数据。与现有的MVTec 3D-AD和Real3D-AD数据集相比，Real-IAD D³在数据规模、缺陷多样性以及点云精度等方面都有显著提升。例如，其点云精度达到了0.002毫米，远高于MVTec 3D-AD的0.11毫米和Real3D-AD的0.011毫米至0.015毫米。

基于Real-IAD D³数据集，研究人员提出了一种多模态融合检测方法D³M。该方法通过整合RGB、点云和伪3D深度信息，充分发挥各模态的优势，提升了异常检测的性能。实验结果显示，D³M方法在图像级和像素级异常检测指标上均优于单模态和双模态方法，证明了多模态融合在工业异常检测中的重要性。

实验结果：多模态融合的优势

下表展示了不同模态组合在异常检测中的性能对比。可以看到，D³M方法通过整合2D、伪3D和3D数据，取得了最高的检测精度。

更多可视化效果也印证了这一点，D³M 方法生成的分割图在细节和准确性上都优于其他方法。

小结一下，这项研究提出了一种用于工业异常检测的多模态数据集Real-IAD D³和基于此数据集的多模态融合检测方法D³M。该数据集通过整合RGB、伪3D和3D数据，为异常检测提供了更丰富的信息，显著提升了检测性能。

团队表示，该研究将推动工业异常检测领域的发展，为工业制造中的质量控制提供更可靠的解决方案。

One More Thing

本研究是Real-IAD系列的第二篇工作，第一篇工作Real-IAD大规模工业异常检测数据集也被CVPR2024收录。

具体贡献如下：

提出了一个新的Real-IAD数据集，它比现有的主流数据集大十倍以上。它包括30类对象，每类对象包含5个拍摄角度，共计150K高分辨率图像。
Real-IAD具有更大的缺陷面积和缺陷比例范围，能够更好地区分不同方法的性能，满足IAD的各种研究设置。基于Real-IAD数据集构建了一个更接近实际应用场景的FUIAD（Fully Unsupervised Industry Anomaly Detection）设置，其中仅使用大多数生产线的成品率大于60%的自然存在约束，而不引入额外的手动注释。
报告了常用的IAD方法在Real-IAD数据集上在几种设置下的性能，并提供了一个极具挑战性的基准，以促进异常检测领域的发展。

数据集申请链接：https://realiad4ad.github.io/Real-IAD_D3/
论文链接：https://openaccess.thecvf.com/content/CVPR2025/html/Zhu_Real-IAD_D3_A_Real-World_2DPseudo-3D3D_Dataset_for_Industrial_Anomaly_Detection_CVPR_2025_paper.html
Real-IAD项目主页：https://realiad4ad.github.io/Real-IAD/

— 完 —

📪 量子位AI主题策划正在征集中！欢迎参与专题365行AI落地方案，一千零一个AI应用，或与我们分享你在寻找的AI产品，或发现的AI新动向。

💬 也欢迎你加入量子位每日AI交流群，一起来畅聊AI吧～