论文题目：Nonequilbrium physics of generative diffusion models

论文地址：https://journals.aps.org/pre/abstract/10.1103/PhysRevE.111.014111

期刊名称：Physical Review E

近年来，基于神经网络的生成扩散模型（Generative Diffusion Models, GDMs）逐渐成为机器学习和统计物理的研究热点。它不仅在无监督学习中表现卓越，还展示了与非平衡物理深刻的理论联系。近期一篇发表在 Physical Review E 的研究利用非平衡统计物理的工具，深入研究了生成扩散模型的核心机制，并提出了基于路径积分、熵产生和几何自由能的理论框架。

基于路径积分的动态分析

研究利用非平衡物理中的路径积分方法，分别分析了生成扩散模型中的前向扩散和逆向扩散过程，计算路径概率、熵流和熵产生率的变化。发现前向扩散过程中，熵产生主要源自数据点向高斯白噪声的扩散，表现为显著的熵流变化。逆向扩散过程则通过路径概率的梯度驱动生成，满足路径积分形式的涨落定理（Fluctuation Theorem）。

熵产生与生成过程的关系

研究推导总熵变化的公式，并通过数值模拟验证熵产生率的正负分布与涨落定理之间的关系。发现总熵变化由系统熵和环境熵共同决定，尽管部分路径可能表现为负熵产生（局部熵减少），但总体熵变化始终非负，符合热力学第二定律。

图 2. 前向OU过程10000个轨迹估计的熵变化归一化直方图。

基于自由能的对称破缺分析

定义生成扩散过程中的自由能曲线，并通过一维高斯混合模型计算不同扩散时间下的自由能分布，研究对称破缺的发生。自由能曲线的演变揭示了生成过程中数据分类的动力学特性：初始为单极值，对应于无对称破缺；随着扩散时间增加，自由能出现双极值，标志着数据分布的对称破缺。对称破缺点通过理论推导得到，且与数值模拟结果一致。

图 3. 一维数据的对称性破缺相图。

Franz-Parisi 势的几何分析

引入 Franz-Parisi 势分析生成样本在数据空间的几何特性，并研究其在生成过程中的动态变化。生成扩散过程中，Franz-Parisi 势表现出与自旋玻璃模型相似的几何行为，反映出数据分布从无序状态向凝聚状态的转变；不同时间点的 Franz-Parisi 势曲线显示了稳态对称破缺与非稳态分布之间的过渡。

图 4.Franz-Parisi势及其在μ=1的一阶和二阶导数。

简化模型验证

利用一维高斯混合模型作为简化场景，验证路径积分方法、自由能分析和熵产生的理论推导。在低维简化模型中，所有理论结果均得到了清晰验证，显示了生成扩散模型在数据生成中的动力学特性。此外，自由能的几何分析为高维数据生成提供了理论扩展的可能性。

本文通过路径积分、熵产生和几何自由能分析生成扩散模型的物理机制，揭示了其与非平衡物理和统计推断的深刻联系。前向扩散和逆向扩散分别对应数据分布的熵流变化和路径概率调整，满足涨落定理；对称性破缺是生成过程中数据分类和分布调整的核心机制；自由能曲线和Franz-Parisi势的几何特性为生成模型的优化设计提供了新思路。这一研究不仅深化了生成扩散模型的理论理解，还为其在高维复杂数据中的应用提供了重要的物理指导。未来，基于这些理论的生成模型优化有望进一步提升数据生成的精度和效率。

彭晨 | 编译

非平衡统计物理读书会启动！

详情请见：从热力学、生命到人工智能的统计物理之路：非平衡统计物理读书会启动！

6. 加入集智，一起复杂！