传统的深度神经网络训练方法，如反向传播，在对抗样本面前容易失效，并且存在着算力消耗大、泛化性与鲁棒性相互制约的问题。为了解决这些问题，中山大学黄海平教授团队提出了费米波色机（FBM）模型，一种基于局部对比学习的表示学习方法。FBM 模型摒弃了反向传播算法，通过逐层学习，使具有相同标签的输入在隐层中的表示相互靠近（类似于玻色子），而不同标签的表示则相互排斥（类似于费米子）。这种局部对比学习方法能够有效地提升模型的鲁棒性，同时保持良好的泛化性。统计力学分析表明，目标费米子对距离是一个关键参数，可以控制原型流形的几何分离，从而显著减轻经典感知器的对抗脆弱性。

🤔 **FBM 模型的提出背景**：传统的端到端学习方法，如反向传播算法，存在着算力消耗大、鲁棒性较差等问题，难以满足实际应用的需求。因此，需要探索新的学习方法，以克服这些问题。 FBM 模型源于对生物大脑的启发，生物大脑中的神经元通过局部连接进行信息处理，这种局部连接方式能够有效地提高鲁棒性和效率。FBM 模型借鉴了这种机制，采用局部对比学习的方式进行训练，避免了反向传播算法中的全局信息传递，从而降低了计算成本并提高了鲁棒性。

🚀 **FBM 模型的核心思想**：FBM 模型的核心思想是将输入数据点类比成费米玻色子，根据其标签进行对比学习。具有相同标签的数据点在隐层中的表示相互靠近，类似于玻色子；而不同标签的数据点则相互排斥，类似于费米子。这种对比学习方法能够有效地学习到数据点的语义信息，并提高模型的泛化能力。 FBM 模型的学习过程是逐层的，每一层都学习一个局部对比函数，将输入数据点映射到一个新的空间，在这个空间中，相同标签的数据点更加靠近，不同标签的数据点更加远离。这种逐层学习的方式能够有效地避免梯度消失问题，并提高模型的鲁棒性。

📊 **FBM 模型的理论分析**：FBM 模型的理论分析基于统计物理学中的复本对称方法和空腔方法。通过这些方法，可以分析 FBM 模型的自由能和序参量，并得出一些重要的结论。例如，目标费米子对距离是一个关键参数，它控制着原型流形的几何分离，从而影响模型的鲁棒性和泛化性。 FBM 模型的理论分析表明，通过调整目标费米子对距离，可以有效地控制模型的鲁棒性和泛化性。当目标费米子对距离较小时，模型的泛化能力较强，但鲁棒性较差；当目标费米子对距离较大时，模型的鲁棒性较强，但泛化能力较差。因此，需要根据具体的应用场景选择合适的目标费米子对距离。

🧪 **FBM 模型的实验结果**：FBM 模型在 MNIST 和 FashionMNIST 数据集上进行了实验，结果表明，FBM 模型在对抗鲁棒性和泛化性方面都取得了显著的提升。与传统的反向传播算法相比，FBM 模型能够有效地减轻对抗样本的影响，并提高模型的泛化能力。 实验结果还表明，FBM 模型的鲁棒性和泛化性可以通过调整目标费米子对距离进行控制。当目标费米子对距离较小时，模型的泛化能力较强，但鲁棒性较差；当目标费米子对距离较大时，模型的鲁棒性较强，但泛化能力较差。这与理论分析结果一致。

📈 **FBM 模型的未来发展方向**：FBM 模型是一个新兴的学习方法，具有很大的发展潜力。未来的研究方向包括： * 进一步提高 FBM 模型的效率和性能，使其能够应用于更复杂的实际问题。 * 探索 FBM 模型与其他学习方法的结合，例如，将 FBM 模型与强化学习结合，以提高模型的自主学习能力。 * 研究 FBM 模型在其他领域，例如，自然语言处理和计算机视觉领域的应用。

集智俱乐部 2024-10-13 08:29 北京

10月14日（周一）20:00-22:00腾讯会议分享

导语

2024年诺贝尔物理学奖引发大家对Physics for AI的关注，中山大学黄海平教授发起的PMI Lab，长期从统计物理角度关注神经计算的理论基础，并且在2022年出版了《神经网络的统计力学》书籍，帮助学习统计力学的基本原理及其在理解神经网络内部工作原理的应用。本期我们邀请了PMI Lab成员谢明山来分享他们在今年9月新发表的工作，关于费米波色机背后的研究问题、背景、基本思想、框架和实验设计与结果。

内容简介

与人类认知处理不同，通过反向传播训练的深度神经网络容易受到对抗样本的欺骗。为了设计一种语义上有意义的表示学习方法，我们放弃了反向传播，而提出了一种局部对比学习，其中具有相同标签的输入在隐层中的表示相互靠近（类似于玻色子），而不同标签的表示则相互排斥（类似于费米子）。这种逐层学习本质上是局部的，符合生物学上的合理性。统计力学分析表明，目标费米子对距离是一个关键参数。此外，将这种局部对比学习应用于MNIST基准数据集的实验表明，通过调整目标距离，即控制原型流形的几何分离，可以显著减轻经典感知器的对抗脆弱性。

关键词

机器学习；统计力学；对抗鲁棒性；神经网络

分享大纲

    

1. Fermi-Bose machine（FBM）研究的问题

a. 传统端到端算法存在的问题：算力消耗大（生物不合理性），鲁棒性较差（与泛化性相互制约）。

2. FBM 模型的背景

a. 表示学习的相关背景：视觉神经中枢中的信息解耦过程以及深度学习中具有语义结构的隐层表征。

3. FBM 基本思想，框架介绍

a. 以类别异同作为出发点，隐层表征的数据点类比成费米玻色子，进行对比学习

b. 摒弃反向传播算法，进行逐层学习。

4. FBM 理论结果

a. 从统计物理的角度简述 FBM 学习框架

b. 简述复本对称方法以及 FBM 系统的自由能以及序参量自洽方程

c. 简述空腔方法以及消息传播方程的结果

d. 理论数值模拟结果

5. FBM 实验结果

a. 双峰泛化性表现

b. 隐层表征的几何特性

c. 鲁棒性表现

d. 数据量增大的表现

e. 从 MNIST 数据拓展到 FashionMNIST 数据后的表现

f. 类别不平衡的影响

6. FBM 复本方法推导讲解

7. FBM 空腔方法推导讲解

8. 总结

参考文献

  

1. Xie M, Wang Y, Huang H. Local-contrastive-learning machine with both generalization and adversarial robustness: a statistical physics analysis[J]. SCIENCE CHINA Physics, Mechanics & Astronomy (in press)，https://www.sciengine.com/SCPMA/doi/10. 1007/s11433-024-2504-8，arXiv preprint arXiv: 2404.13631, 2024

主讲人

谢明山，中山大学物理学院，物理，机器与智能实验室（PMI lab）硕士生，导师为黄海平教授。研究方向：统计物理，神经网络，表示学习。

分享信息

北京时间：10月14日（周一）20:00-22:00

本期分享无公开直播。感兴趣的朋友，可以扫码报名读书会，参与腾讯会议交流：

斑图链接：https://pattern.swarma.org/study_group/45?from=wechat

扫码参与AI by Complexity 读书会加入群聊，获取系列读书会回看权限，加入AI by Complexity社区，与社区的一线科研工作者沟通交流，共同探索复杂科学与AI交叉的前沿领域的发展。

报名成为主讲人

读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统

扫码参与AI by Complexity读书会，加入群聊，获取系列读书会回看权限，加入AI by Complexity社区，与社区的一线科研工作者沟通交流，共同探索复杂科学与AI交叉的前沿领域的发展。

AI By Complexity读书会招募中

大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来AI的设计，正在成为备受关注的问题。

集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！

详情请见：

AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统

往期分享：

第一期 张章 于玉国 田洋 牟牧云 刘宇 杨明哲：复杂性怎样量化和驱动下一代AI系统

第二期 徐奕舟 翁康宇：统计物理与信息论视角下，结构化噪声与神经网络初始化研究

第三期 刘宇：“压缩即智能”与算法信息论

第四期 程奥华 熊巍：从高阶相互作用到神经算子模型：启发更好的AI

第五期 蒋春恒：网络属性决定神经网络模型性能

第六期 杨明哲：因果涌现启发AI的“思考”

第七期 朱群喜：从复杂系统到生成式人工智能

第九期 兰岳恒：生命、智能涌现与复杂系统研究

第十期 于玉国：脑网络信息处理自发涌现的稀疏性、不规则性和高能效性的统一

推荐阅读：

1. 神经网络理论研究的挑战性课题：统计物理能否给智能科学带来第一性原理？

课程推荐：神经网络的统计力学课程

统计物理方法是一座架起微观作用到宏观涌现的桥梁，2021年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举，他提出复本对称破缺方法解决自旋玻璃问题，这一方法也对神经网络等交叉学科产生深厚影响，激发未来对人工智能和人脑等复杂系统的进一步研究。本节课程介绍什么是自旋玻璃、自旋玻璃应用的几个经典例子、为什么需要空腔方法、空腔方法的基本思想和具体推导以及消息传递算法等内容，搭建从统计物理到神经网络重要的桥梁，帮助大家更好理解神经网络的基本原理。

课程详情：黄海平：神经网络的统计力学课程 | 50人免费名额

点击“阅读原文”，报名读书会

阅读原文

跳转微信打开