新疆大学等提出DiffMark扩散水印算法：为数字身份打造对抗Deepfake的“隐形盾牌”

我爱计算机视觉 07月09日 09:41

本文介绍了一种名为DiffMark的创新型鲁棒水印框架，该框架巧妙地结合了扩散模型，在图像生成过程中无缝嵌入不可见水印，并引入对抗Deepfake的引导机制，有效抵抗多种Deepfake攻击。DiffMark的核心在于将水印嵌入与图像生成融为一体，通过训练时模拟攻击和推理时对抗引导，构建了一个既隐形又坚固的数字身份“盾牌”。实验结果表明，DiffMark在视觉质量和鲁棒性方面均表现出色，为数字内容的真实性验证提供了有力支持。

🛡️DiffMark的核心在于利用扩散模型，将水印嵌入到图像生成过程中，而非传统的事后添加，从而提高了水印的隐蔽性和鲁棒性。

⚔️为了增强对Deepfake攻击的抵抗力，DiffMark在训练阶段模拟Deepfake的篡改过程，使水印在生成之初就具备了抵抗攻击的能力。

💡在推理阶段，DiffMark引入对抗引导机制，利用Deepfake模型“攻击”生成的水印图像，并根据水印提取情况调整去噪过程，增强水印的稳健性。

🔬实验结果表明，DiffMark在视觉质量上与原始图像几乎无差别，同时在面对多种Deepfake攻击时，水印误码率远低于其他方法，展现出强大的鲁棒性。

CV君 2025-07-03 19:23 江苏

关注公众号，发现CV技术之美

本文分享今天新出的论文DiffMark: Diffusion-based Robust Watermark Against Deepfakes，该文提出一种名为DiffMark的鲁棒水印框架，它巧妙地利用扩散模型，在生成图像的同时无缝嵌入肉眼不可见的水印，并创新性地引入“对抗Deepfake”的引导机制，能有效抵抗多种Deepfake攻击，为数字内容的真实性验证和溯源提供了强大武器。

作者: Chen Sun, Haiyang Sun, Zhiqing Guo, 等

机构: 新疆大学、合肥工业大学、湖南大学等

论文地址: https://arxiv.org/abs/2507.01428v1

项目地址（尚未开源）: https://github.com/vpsg-research/DiffMark

研究背景与意义

Deepfake（深度伪造）技术的泛滥，正对个人隐私和社会安全构成日益严峻的威胁。想象一下，你的脸可能在毫不知情的情况下被“换”到任何视频中。如何验证数字内容的真实性、如何追溯伪造信息的来源，已成为一个亟待解决的难题。

数字水印是应对这一挑战的有力工具。它就像给图片盖上一个“隐形印章”，即使图片被篡改，这个“印章”也能被检测出来。然而，道高一尺魔高一丈，现有的很多水印技术在强大的Deepfake算法面前显得不堪一击，水印很容易在换脸、表情修改等操作中被破坏。

在此背景下，来自新疆大学等机构的研究者们，将目光投向了近年来在图像生成领域大放异彩的扩散模型，提出了一个全新的鲁棒水印框架——DiffMark。

DiffMark的核心方法

传统方法与所提出方法的区别

图：DiffMark的训练与推理流程。它将面部图像和水印作为条件，引导扩散模型生成带水印的图像，并能在各种失真（包括Deepfake）后进行解码。

DiffMark的聪明之处在于，它没有走“先生成图像，再添加水印”的老路，而是将水印嵌入的过程与图像生成的过程融为一体。它利用扩散模型从纯噪声逐步去噪生成图像的特性，将原始面部图像和要嵌入的水印信息作为“条件”，引导模型直接生成带水印的图像。

为了让这个“隐形盾牌”足够坚固，能够抵御Deepfake的“攻击”，DiffMark设计了两大核心武器：

DiffMark 图解训练时模拟攻击: 在训练阶段，DiffMark集成了一个冻结的自编码器（Autoencoder）来模拟Deepfake的篡改过程。这相当于在“盾牌”出厂前，就让它反复经受各种模拟攻击的“千锤百炼”，从而大大增强了其对真实攻击的抵抗力。

推理时对抗引导 (Deepfake-resistant guidance): 这是DiffMark最具创新性的一点。在推理（生成水印图像）的过程中，它引入了一个“对抗”机制。它会利用一个特定的Deepfake模型来“攻击”正在生成的带水印图像，并根据水印的提取情况，反过来给扩散模型的去噪过程一个“指导信号”，告诉它如何调整才能让生成的水印更难被破坏。这就像一个陪练，不断地指出你的弱点，让你变得更强。

此外，为了更好地融合水印信息，研究者还设计了一个交叉信息融合（CIF）模块，通过交叉注意力机制将水印特征与图像特征深度融合，确保水印信息被有效嵌入。

实验效果

DiffMark在多个数据集和多种Deepfake攻击场景下都表现出了卓越的性能。

视觉质量

水印图像的定量视觉质量评价水印的不可见性与鲁棒性

实验结果表明，DiffMark生成的水印图像在视觉质量上与原始图像几乎没有差别，达到了很高的不可见性。同时，在面对如SimSwap、UniFace、StarGAN等多种主流Deepfake攻击以及JPEG压缩、噪声、模糊等常见图像失真时，DiffMark的水印误码率（BER）远低于其他SOTA方法，展现了极强的鲁棒性。