智源社区 01月16日
神经网络理论研究的物理学思想
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文综述了统计物理在神经网络研究中的应用,重点介绍了Ising模型、感知器模型以及生成扩散模型等关键领域的研究进展。从最初的Ising模型到复杂的神经网络结构,统计物理为理解神经网络的性能和机制提供了理论框架。文章涵盖了感知器容量阈值的研究、二元突触学习的计算难题,以及非平衡态动力学在生成模型中的应用。此外,还探讨了无监督学习、上下文学习以及意识的神经动力学等前沿问题,展现了统计物理在理解智能系统复杂行为方面的强大潜力。

🔬 Ising模型奠定了统计物理研究的基础,为理解铁磁性现象提供了理论框架,并被广泛应用于神经网络的早期研究中。

🧠 感知器模型的研究深入探讨了神经网络的容量阈值和学习难题,揭示了二元突触学习的计算复杂性,为理解神经网络的学习能力提供了重要理论支撑。

🎨 生成扩散模型的研究利用非平衡态动力学,探索了神经网络生成复杂数据背后的机制,为理解神经网络的生成能力和创造性提供了新的视角。

💡 无监督学习和上下文学习的研究结合了统计物理的方法,探讨了神经网络在无监督环境下的学习能力和在上下文中的推理能力,为理解神经网络的智能行为提供了新的思路。

⚡️ 意识的神经动力学研究探索了意识与大脑活动之间的关系,揭示了意识可能由接近临界状态的慢皮层电动力学所支持,为理解意识的神经机制提供了重要启示。

[1]Ising,E.Beitrag zur Theorie des Ferromagnetismus. Z. Physik, 1925, 31: 253-258 .

[2] 黄海平, 统计物理、无序系统与神经网络, 科学,2022,74:40-44

[3] 黄海平,神经网络的统计力学(英文版),高等教育出版社,2021.

[4] Brice Huang, Capacity threshold for the Ising perceptron, arXiv:2404.18902.

[5] H. Huang, K. M. Wong and Y. Kabashima, Entropy landscape of solutions in the binary perceptron problem, Journal of Physics A: Mathematical and Theoretical, 2013, 46(37):375002; H.Huang andY. Kabashima, Origin of the computational hardness for learning with binary synapses, Physical Review E, 2014, 90(5):052813.

[6] W. Perkins and C. Xu, Frozen 1-rsb structure of the symmetric ising perceptron, Random Structures & Algorithms, 2024, 64(4):856.

[7] E. Abbe, S. Li and A. Sly, Proof of the contiguity conjecture and lognormal limit for the symmetric perceptron, In 2021 IEEE 62nd Annual Symposium on Foundations of Computer Science (FOCS), pp. 327-338.

[8] C. Baldassi, A. Ingrosso, C. Lucibello, L. Saglietti and R. Zecchina, Subdominant dense clusters allow for simple learning and high computational performance in neural networks with discrete synapses, Physical review letters, 2015, 115(12):128101.

[9] E. Abbe, S. Li and A. Sly, Binary perceptron: efficient algorithms can find solutions in a rare well- connected cluster, In 2022 Proceedings of the 54th Annual ACM SIGACT Symposium on Theory of Computing, pp. 860-873.

[10] Tianqi Hou and Haiping Huang. Statistical physics of unsupervised learning with prior knowledge in neural networks. Phys. Rev. Lett., 2020, 124:248302

[11] Gabriel Raya and Lca Ambrogioni. Spontaneous symmetry breaking in generative diffusion models. In A. Oh, T. Neumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, editors, Advances in Neural Information Processing Systems, volume 36, pages 66377-66389. Curran Associates, Inc., 2023; Z. Y and H. Huang, Nonequilbrium physics of generative diffusion models, arXiv: 2405.11932.

[12] Junbin Qiu and Haiping Huang. An optimization-based equilibrium measure describes non- equilibrium steady state dynamics: application to edge of chaos. arXiv:2401.10009.

[13] Daniel Toker, Ioannis Pappas, Janna D Lendner, Joel Frohlich, Diego M Mateos, Suresh Muthukumaraswamy, Robin Carhart-Harris, Michelle Paff, Paul M Vespa, Martin M Monti, et al. Consciousness is supported by near- critical slow cortical electrodynamics. Proceedings of the National Academy of Sciences, 2022, 119(7):e2024455119.

[14] Sebastien Bubeck, Varun Chandrasekaran, Ronen Eldan, John A. Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, YuanFang Li, Scott M. Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro, and Yi Zhang. Sparks ofartificial general intelligence: Early experiments with gpt-4. arXiv:2303.12712.

[15] Yuhao Li, Ruoran Bai, and Haiping Huang, Spin glass model of in-context learning, arXiv: 2408.02288.

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

统计物理 神经网络 Ising模型 生成模型 上下文学习
相关文章