从不确定到安全：如何安全控制复杂物理系统

集智俱乐部 19小时前

从不确定到安全：如何安全控制复杂物理系统｜ICML2025

SafeDiffCon是一种新的深度学习模型，用于安全控制复杂物理系统。它通过引入不确定性分位数，并在后训练和推理时微调，来实现满足安全约束下的控制。实验结果表明，SafeDiffCon是唯一能满足全部安全约束的方法，并在满足安全性的前提下实现了最优的控制性能。

🔍 SafeDiffCon通过引入不确定性分位数作为模型不确定性的量化手段，结合后训练和推理时微调，实现满足安全约束下的控制。

🛡️ 该方法在控制复杂物理系统时，能够保证控制策略始终遵守安全限制，避免违反安全约束的风险。

📈 SafeDiffCon在满足安全性的前提下，实现了最优的控制性能，优于传统方法与深度学习方法。

🔬 SafeDiffCon已成功入选人工智能顶级国际会议ICML 2025，为生成式安全控制物理系统提供了一个新范式。

🌐 该方法不受特定场景的限制，未来有望应用于更多真实世界的任务，并扩展到其他需要满足约束条件的生成方法。

原创胡佩炎 2025-07-19 17:37 河南

导语

近年来，深度学习在复杂物理系统控制中的应用日益受到关注。然而，现有方法很少考虑真实应用中至关重要的安全性需求。为了解决这一问题，近日，西湖大学特聘研究员，集智社区科学家吴泰霖课题组提出了Safe Diffusion Models for PDE Control (SafeDiffCon)，第一作者为中科院数学与系统科学研究院的博三实习学生胡佩炎和电子科技大学的大四实习学生钱骁威。该方法通过引入不确定性分位数作为模型不确定性的量化手段，通过后训练和推理时微调来实现满足安全约束下的控制。实验结果表明，SafeDiffCon是唯一能满足全部安全约束的方法。同时，SafeDiffCon在满足安全性的前提下实现了最优的控制性能。该文章已成功入选人工智能顶级国际会议ICML 2025。

关键词：安全控制，复杂物理系统，人工智能，扩散模型，共形预测

胡佩炎丨作者

论文题目：From Uncertain to Safe: Conformal Adaptation of Diffusion Models for Safe PDE Control
论文链接：https://arxiv.org/abs/2502.02205
代码链接：https://github.com/AI4Science-WestlakeU/safediffcon

一、背景：
控制物理系统，我们为何需要“安全”？

一方面，控制复杂物理系统一直是学术界和工业界关注的重要问题，另一方面，随着深度学习的兴起，出现了许多基于神经网络的控制方法。在控制复杂物理系统时，安全性是一个非常关键的指标，然而鲜少有基于神经网络的控制方法考虑到安全性。这些系统通常高度非线性、时空耦合强，对这些系统的控制误差可能引发失控、物理破坏乃至灾难性后果。例如，在水下机器人控制中，由于水流扰动和非线性流体动力学的影响，机器人的不安全行为可能导致撞击障碍物，在深海环境中发生设备丢失或通信中断。又如，在可控核聚变托卡马克装置中，不安全行为可能触发破裂等不稳定模式，从而引发装置停机，设备烧毁，甚至威胁操控人员安全。因此，在工业、能源、航空航天等对稳定性和安全性要求极高的领域，设计能够在动态演化过程中始终遵守安全限制的控制策略，变得尤为关键。

图1:安全十分重要的一些场景：可控核聚变装置，流体中的飞机。

近年来，基于深度学习的物理系统控制方法逐渐兴起。相比传统控制器，它们在计算效率、建模灵活性和控制精度方面表现出巨大潜力。尤其是扩散模型等生成式方法的引入，使得我们可以直接学习从系统状态到控制序列的复杂映射。然而，现有方法大多侧重优化控制目标（如误差最小化或功效最大化），而忽视了对安全约束的明确建模与保障机制。

更为严重的是，大量用于训练的轨迹本身就包含不安全样本，例如超过物理阈值的温度、电流密度等。这使得训练出来的控制器不仅可能违背安全约束，而且无法意识到自己何时不可靠。同时，由于深度模型本身缺乏内在的不确定性估计机制，我们也很难对其输出的置信度进行量化，从而无法在运行时判断其控制是否安全。

在这种背景下，我们认为，安全控制应成为控制策略设计中的核心目标之一。这需要新的建模范式，不仅能够在生成控制序列时达到更优的控制效果，还必须具备对不确定性进行建模与控制的能力，从而避免违反安全限制的风险。

二、动机：通过对不确定性的量化达到安全

在控制任务中，由于建模误差、环境变化等导致的不确定性，仅仅得到一个对安全指标的单点预测是不够的，我们需要知道模型预测有多大不确定性，预测结果是否会违反物理安全约束。这就需要能够对预测输出进行可靠的不确定性估计，而共形预测正好提供了这样的能力。

为此，我们引入共形预测 (Conformal Prediction) 来生成一定置信度的预测区间 [1, 2]。共形预测是一种模型无关的不确定性量化方法，可以为任意预测模型（包括深度神经网络）提供置信区间，从而控制预测的错误率。

它的核心思想是：利用一个称为校准集（Calibration Set）的数据集，来评估模型的预测的不确定性。具体来说，它基于其中的每条数据的真实值以及模型预测值，来得到对应的预测误差，之后取这些误差得到的集合（ScoreSet）的分位数作为不确定性分位数Q(1-α)（Uncertainty Quantile）。最终，利用Q(1-α)作为区间宽度，我们得到如图1所示的、能以1-α置信度包含真实标签的置信区间，也就是“真实值落入置信区间的概率≧指定置信度”。

图2:用共形预测量化不确定度Q(1-α)。其中1-α是置信度，s0是安全界限，sθ和s分别是模型对安全分数的单点预测和考虑了不确定性的安全分数的置信区间。

在文章中，作者提出将共形预测机制引入扩散模型控制框架，并进一步设计了对于扩散模型控制的偏移共形预测 (Shifted Conformal Prediction)。

传统共形预测有一个重要的假设：测试分布与校准集分布相同。但在控制任务中，模型常常在新的控制任务下进行推理，需要生成与已有数据集分布不同的控制序列，即对应的数据分布发生了偏移。

为了应对这一问题，偏移共形预测通过对校准集中的数据进行加权，来得到加权后的误差集合（ShiftedScoreSet），以及对应的不确定性分位数。具体来说，我们按照这些数据集在处理控制任务时出现的概率对它们进行加权，也就是更安全、控制效果更优的数据会被赋予更高的权重。

最终，我们能基于偏移共形预测，得到一个扩散模型控制的可证明置信区间。它能保证扩散模型在应对会造成分布偏移的控制任务时，仍然有大于等于1-α的概率落在置信区间中。

三、SafeDiffCon：生成式安全控制框架

基于以上对扩散模型控制的不确定性量化，我们提出了SafeDiffCon。SafeDiffCon是一个三阶段算法，专为解决安全控制任务设计，其主要算法由图3和图4所示。

图3:SafeDiffCon的主要算法，包括预训练、后训练和测试时微调三个阶段。

图4：SafeDiffCon的框架。首先，我们在训练数据上预训练一个扩散模型。随后，结合不确定性分位数Q，我们对该模型进行后训练，以引导其生成分布向更安全、控制效果更优的区域偏移。最后，为了在具体控制任务中进一步提升性能与安全性，我们在推理阶段进行微调，并再次将不确定性分位数Q引入其中。

在第一阶段，我们对扩散模型进行预训练，其方式与常规利用扩散模型进行控制相同 [3]。

在第二阶段，我们利用下式的重加权损失函数进行后训练，引到模型的生成数据分布更符合安全、控制效果好的目标，以此减少测试时微调需要的步数，

其中

代表了对考虑了不确定性的安全限制以及控制目标的加权和。如以下定理所述，通过这个损失函数进行后训练，我们能够引导扩散模型生成的数据分布集中到e-W高的区域。

在第三阶段，我们通过推理时微调，来进一步针对特定控制任务，优化模型输出。具体来说，我们在这一阶段迭代地进行引导采样（Guidance）以及微调（Fine-tuning），来优化控制策略。其中，采样时的引导项为

也就是模型会倾向于采样W更小的控制序列。而微调则是通过对模型参数的更新来调整模型输出的分布，具体的微调损失函数如下

同样意在让模型输出分布对应的W更小。

四、实验验证：多个安全控制场景

我们在三个具有挑战性的安全控制场景上测试了SafeDiffCon：

系统

安全限制

控制目标

1D Burgers 方程

限制系统状态的最大值不超过阈值

让最后时刻的系统状态达到目标状态

2D不可压缩流体

避免烟雾进入危险区域

最大化烟雾进入目标出口的比例

Tokamak磁约束聚变

约束安全因子q95不超过阈值

让βp和li达到目标值

图5：1D Burgers 方程的可视化结果。上排展示的是数据集中的原始轨迹，下排展示的是由SafeDiffCon控制得到的轨迹。

图6：SafeDiffCon控制二维不可压缩流体的可视化结果。通过在边框外部施加控制，烟雾被成功引导至中央顶部出口，同时避开了红色的不安全区域。

图7：SafeDiffCon在代理模型仿真器中控制托卡马克的可视化结果。左图为控制后的q95以及设定的安全界限，右图为托克马克装置的可视化。

实验结果表明：

0%不安全轨迹

：

与其他极限方法相比，

SafeDiffCon

是唯一一个

在所有任务上完全满足安全约束的方法；

性能依然领先

：

SafeDiffCon

满足安全限制的前提下，

在控制

效果

上

也

优于传统

方法

与深度学习方法

。

五、展望未来

SafeDiffCon为生成式安全控制物理系统提供了一个新范式，并首次将Conformal Prediction融入扩散控制模型。我们的工作为在高风险真实场景中部署深度学习技术提供了更安全的路径。

对于，由于我们的方法不受特定场景的限制，我们希望能够将算法应用于更多真实世界的任务。其次，我们考虑将该方法扩展到其他需要满足约束条件的生成方法，而不仅限于扩散模型。最后，在未来我们还期望能探索一种更严格的不确定性量化，并且在确保安全性的同时尽可能减少对精度的牺牲。

参考文献：

[1] Vovk, V., Gammerman, A., and Shafer, G. Algorithmic learning in a random world, volume 29. Springer, 2005.

[2] Tibshirani, R. J., Barber, R. F., Cande`s, E. J., and Ramdas, A. Conformal prediction under covariate shift. In Neural Information Processing Systems, 2019.

[3] Long Wei, et al. DiffPhyCon: A Generative Approach to Control Complex Physical Systems. NeurIPS 2024.

复杂网络动力学读书会

集智俱乐部联合合肥工业大学物理系教授李明、同济大学副教授张毅超、北京师范大学特聘副研究员史贵元与在读博士生邱仲普、张章共同发起「复杂网络动力学」读书会。本次读书会将探讨：同步相变的临界性、如何普适地刻画多稳态与临界点、如何识别并预测临界转变、如何通过局部干预来调控系统保持或回到期望稳态、爆炸逾渗临界行为的关键特征、不同类型的级联过程对逾渗相变的影响有何异同、高阶相互作用的影响能否等效为若干简单机制的叠加、如何有效地促进人类个体间的合作等问题。读书会已完结，现在报名可加入社群并解锁回放视频权限。