来构建一个  的变换。具体来说，设  是某个容易采样的随机噪声， 则是目标分布的真实样本，我们希望能够通过上述 ODE，实现随机噪声到目标样本的变换，即随机采样一个  作为初值，求解上述 ODE 得到的  就是  的样本。

如果将  看成时间， 看成位移，那么  就是瞬时速度，所以 ODE 式扩散就是瞬时速度的建模。那怎么训练  呢？ReFlow 提出了一种非常直观的方法：首先构建  与  的任意插值方式，如最简单的线性插值 ，那么对 t 求导得

这是个极简单的 ODE，但不符合我们的要求，因为  是我们的目标，它不应该出现在 ODE 中。对此，ReFlow 提出一个非常符合直觉的想法——用  去逼近 ：

这就是 ReFlow 的目标函数。值得指出的是：1）ReFlow 理论上允许  与  的任意插值方式；2）ReFlow 虽然直观，但理论上也是严格的，可以证明它的最优解确实是我们所求的 ODE。相关细节大家请参考《生成扩散模型漫谈：构建 ODE 的一般步骤（下）》以及原论文。

从 1 到 0 的 NFE 是 ，想要 NFE 小等价于  大。然而，ReFlow 的理论基础是精确的 ODE，即精确求解 ODE 时才能实现目标样本的生成，这意味着  越小越好，跟我们的期望相背。

尽管 ReFlow 声称使用直线插值可以让 ODE 的轨迹变得更直，从而允许更大的 ，但实际轨迹终究是弯曲的， 很难接近1，所以 ReFlow 很难实现一步生成。

归根结底，ODE 本来就是  的东西，我们非要将它用于 ，还要求它效果好，这本身就是“强模型所难”了。所以说，更换建模目标，而不是继续“为难”模型，才是实现更快生成的本质思路。为此，我们考虑对式（1）两端进行积分

那么就有  ，即理论上可以精准地实现一步生成，而不必求诸于近似关系。如果说  是 t 时刻的瞬时速度，那么很显然  是  时间段内的平均速度。

也就是说，为了加速生成甚至一步生成，我们的建模目标应该是平均速度，而不是 ODE 的瞬时速度。

接下来很自然的想法是“化未知为已知”，即以平均速度  来为出发点来构建瞬时速度 ，然后代入 ReFlow 的目标函数，这需要我们去推导两者之间的恒等变换。从  的定义我们得到

两边对  求导，得到

这便是  跟  的第一个恒等关系。有第一自然就有第二，第二个恒等关系由平均速度的定义得到：

根据  以及恒等式（9），我们可以将恒等式（8）的  换成  或者 ，前者是隐式关系，我们后面再谈，我们先看后者，此时有：

代入 ReFlow，我们得到可以用来训练  的第一个目标函数：

即  的雅可比矩阵与给定向量  的乘法，结果是一个跟  大小一致的向量，这种运算就叫做 JVP，在 Jax、Torch 里边都有现成实现，比如 Jax 的参考代码是：

u = lambda xt, r, t: diffusion_model(weights, [xt, r, t])
urt, durt = jax.jvp(u, (xt, r, t), (u(xt, t, t), r * 0, t * 0 + 1))

其中  urt  就是 ，而  durt  就是对应的 JVP 结果，Torch 的用法也类似。了解 JVP 运算后，目标函数（11）的实现就基本上没有难度了。

如果要说目标函数（11）的缺点，在笔者看来只有一个，那就是计算量相对偏大。这是因为它要进行两次不同的前向传播  和 ，然后 JVP 求了一次梯度，用基于梯度下降优化时还要再求一次梯度，所以它本质上要求二阶梯度，跟以往的 WGAN-GP 类似。

为了降低计算量，我们可以考虑给 JVP 部分加上 stop_gradient 运算（）：

前面我们提到，处理恒等式（8）中的  的另一个方案是将其换成 ，这将导致

如果要从中解出 ，结果将是

这涉及到了非常庞大的矩阵求逆，因此并不现实。MeanFlow 给出了一个折中方案：既然  的回归目标是 ，那干脆把  换成  好了，于是目标函数变成

然而，此时的  既是回归目标，又出现在模型  的定义中，难免会有一种“标签泄漏”的感觉。为了避免这个问题，MeanFlow 采取的办法同样是给 JVP 部分加上 stop_gradient：

这就是 MeanFlow 最终所用的损失函数，这里我们称之为“第三目标”。相比第二目标（13），它少了一次前向传播 ，所以训练速度会更快一些。但此时“标签泄漏”的引入和 stop_gradient 的对策，使得第三目标的训练跟梯度优化器是耦合的，这就跟 CM 一样，多了一些说不清道不明的神秘感。

论文实验结果表明，加上  的目标（17）是能训出合理结果的，那如果去掉它呢？

笔者向作者请教过，他表明去掉  后，训练依然能收敛，能多步生成，但没有一步生成能力了。其实这也不难理解，因为  时不管有没有 ，目标函数都退化为 ReFlow：

也就是说 MeanFlow 总有 ReFlow 在背后“兜底”，因此怎样也不至于太差。而去掉  后，“标签泄漏”的负面影响加剧，因此就不如加上它了。

1、，即最小化  与  的平方误差，最优解是  的均值；

2、按照分布轨迹  将  变到  的 ODE 形式解是 。

其中，引理 1 的证明比较简单，直接对  求梯度得 ，令它等于零即可。

引理 2 的证明细节则需要看《生成扩散模型漫谈：构建ODE的一般步骤（下）》，其中  是需要先利用  消去 ，得到一个  的函数，然后对分布  求期望，结果是关于  的函数。

利用引理 1，我们可以证明 ReFlow 的目标函数（3）的理论最优解就是 ，结合引理 2 就得到  是我们所求的 ODE。

第三目标（17）的证明类似，由于里边有 ，对  求梯度并让它等于零的结果是：

所以在适当的边界条件下就有 ，即我们期望的平均速度模型。

这个过程的关键是  的引入避免了对 JVP 部分求梯度，从而简化了梯度表达式并得到了正确的结果。

如果去掉  的话，上式右端就要多乘一项 JVP 部分对  的雅可比矩阵，结果就是最后无法将  这一项分离出来，而引入  的数学意义便是为了解决此问题。

当然，笔者还是那句话， 的引入也使得整个模型的训练耦合了梯度优化器，多了一丝不清晰的感觉。此时梯度等于零的点，顶多算是一个驻点而非（局部）最小值点，所以稳定性也不明朗，这其实也是所有耦合  的模型的共性。

的重要性，但他的做法是类比一维函数的积分中值定理，试图寻找  使得  等于平均速度。这本质上还是寻找高阶 Solver 的思想，但不再是 Training-Free，而是需要少量的蒸馏步骤，对 Solver 来说算是一个小突破。

其中 。所以 Shortcut 干脆以它来构建正则项

跟 ReFlow 的目标（18）混合训练，实际训练中 ， 的引入在笔者看来主要也是为了节省计算量。Shortcut 模型其实比 MeanFlow 更直观，但由于没有恒等变换和 ReFlow 带来的严格理论支撑，使得它看上去更多是一个过渡期的经验产物。

最后我们再来讨论一下一致性模型。由于 CM、sCM 珠玉在前，MeanFlow 的成功实际上也借鉴了它们的经验，尤其是给 JVP 加  的操作，这在原论文中也有提到。

当然，MeanFlow 作者之一何恺明老师本身也是操控梯度的大师（比如 SimSiam），所以 MeanFlow 的出现看起来是非常水到渠成的。

离散的 CM 我们在《生成扩散模型漫谈：分步理解一致性模型》[4] 仔细分析过，如果将其中 CM 的 EMA 算符换成 stop_gradient，求梯度并取  的极限，那么就得到了《Simplifying, Stabilizing and Scaling Continuous-Time Consistency Models》[5] 中的 sCM 的目标函数：

如果将  换成 ，然后记 ，那么它的梯度跟  时的 MeanFlow 第三目标（17）是等价的：