集智俱乐部 2024-12-04 18:38 北京
12月7日（本周六）晚上19:30开始直播
导语
自从GPT-o1问世以来，大语言模型的发展进入了崭新的阶段——从以预训练+微调的模式，逐渐向以思维链诱导推理，乃至通过结合蒙特卡洛树搜索以及强化学习相结合的复杂推理模式方向发展。大模型2.0读书会第一期分享于2024年12月7日晚19:30正式开始，北京师范大学系统科学学院教授、集智俱乐部创始人张江老师将带来「大语言模型2.0——从推断到自指」的分享。
分享内容简介
越来越多的研究文献指出，赋予大语言模型自我校准、自我评估，以及自我反思的能力将能够大大提高大语言模型在复杂推理任务上的表现。本次分享将站在复杂系统的角度回顾大语言模型的发展历史，并结合多种规模法则（Scaling Law）系统性地梳理大语言模型的几个发展阶段。最终，通过结合冯诺依曼的复杂度阈值以及自复制自动机理论，指出大模型下一步的演化将朝向自我反思与自我意识的方向而发展。
分享内容大纲
历史回顾
神经语言模型
词向量
预训练语言模型
规模法则（Scaling laws）与涌现能力
从训练到测试
上下文学习
思维链
推理能力边界
复杂度阈值
搜索与推断
自我学习
自我评估
思维树
AlphaGo
类AlphaZero树搜索
新的Scaling Law
Self-x AI
自我改进
自我一致性
自我对齐
自我精炼
自我反思
通向自我意识
主讲人介绍
张江，北京师范大学系统科学学院教授，集智俱乐部、集智学园创始人，集智科学研究中心理事长，曾任腾讯研究院、华为战略研究院等特聘顾问。主要研究领域包括因果涌现、复杂系统分析与建模、规模理论等。
主要涉及到的参考文献
• F.Sun et al.: Learning Word Representations by Jointly Modeling Syntagmatic and Paradigmatic Relations (slides)
http://www.bigdatalab.ac.cn/~lanyanyan/slides/2015/ACL2015-sun.pdf
• Mikolov, T., Chen, K., Corrado, G., & Dean, J. Efficient Estimation of Word Representations in Vector Space[C]//International Conference on Learning Representations. 2013.
https://arxiv.org/abs/1301.3781
• Qiu, R., Zhou, D., Qian, W., et al. Ask, and it shall be given: Turing completeness of prompting[R]. 2024.
https://arxiv.org/pdf/2411.01992
• Zhou, D., Zhang, S., Gheini, M., et al. Least-to-Most Prompting Enables Complex Reasoning in Large Language Models[J]. ArXiv, abs/2205.10625, 2022: n. pag.
https://arxiv.org/abs/2205.10625
• Pérez, J., Martinez, F., & Barcelo, P. On the Turing Completeness of Modern Neural Network Architectures[J]. ArXiv, abs/1901.03429, 2019: n. pag.
• Siegelmann, H. T., & Sontag, E. D. On the Computational Power of Neural Nets[J]. Journal of Computer and System Sciences, 1995, 50(1): 132–150.
http://binds.cs.umass.edu/papers/1992_Siegelmann_COLT.pdf
https://arxiv.org/abs/1901.03429
• Wei, J., Wang, X., Schuurmans, D., et al. Chain of Thought Prompting Elicits Reasoning in Large Language Models[J]. ArXiv, abs/2201.11903, 2022: n. pag.
https://arxiv.org/abs/2201.11903
• Chen, Q., Wu, X., Wang, Z., et al. Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought[J]. ArXiv, abs/2410.05695, 2024: n. pag.
https://arxiv.org/abs/2410.05695
• Kumar, T., Zhang, Y., & He, C. Scaling Laws for Precision[R]. 2024.
https://arxiv.org/abs/2411.04330
• Wu, Y., Ma, Z., & Li, B. Inference Scaling Laws: An Empirical Analysis of Compute-Optimal Inference for Problem-Solving with Language Models[R]. 2024.
https://arxiv.org/abs/2408.00724
• Huang, J., Wang, X., Wei, J., et al. Large Language Models Can Self-Improve[J]. ArXiv, abs/2210.11610, 2022: n. pag.
https://arxiv.org/abs/2210.11610
• Wang, X., Wei, J., Schuurmans, D., et al. Self-Consistency Improves Chain of Thought Reasoning in Language Models[J]. ArXiv, abs/2203.11171, 2022: n. pag.
https://arxiv.org/abs/2203.11171
• Li, X., Wang, X., Gao, J., et al. Self-Alignment with Instruction Backtranslation[J]. ArXiv, abs/2308.06259, 2023: n. pag.
https://arxiv.org/abs/2308.06259
• Madaan, A., Touvron, H., Lample, G., et al. Self-Refine: Iterative Refinement with Self-Feedback[J]. ArXiv, abs/2303.17651, 2023: n. pag.
https://arxiv.org/pdf/2303.17651
• Shinn, N., Labash, A., & Ahn, S. Reflexion: language agents with verbal reinforcement learning[C]//Neural Information Processing Systems. 2023.
https://arxiv.org/pdf/2303.11366
• Tao, Z., Wang, X., & Wei, J. A Survey on Self-Evolution of Large Language Models[J]. ArXiv, abs/2404.14387, 2024: n. pag.
https://arxiv.org/pdf/2404.14387
直播信息
时间：
2024年12月7日（本周六）晚上19:30-21:30
参与方式：
扫码参与大模型2.0读书会，加入群聊，获取系列读书会回看权限，成为人工智能社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动人工智能社区的发展。
报名成为主讲人
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：大模型2.0读书会：融合学习与推理的大模型新范式！
大模型2.0读书会启动
o1模型代表大语言模型融合学习与推理的新范式。集智俱乐部联合北京师范大学系统科学学院教授张江、Google DeepMind研究科学家冯熙栋、阿里巴巴强化学习研究员王维埙和中科院信工所张杰共同发起「大模型II：融合学习与推理的大模型新范式 」读书会，本次读书会将关注大模型推理范式的演进、基于搜索与蒙特卡洛树的推理优化、基于强化学习的大模型优化、思维链方法与内化机制、自我改进与推理验证。希望通过读书会探索o1具体实现的技术路径，帮助我们更好的理解机器推理和人工智能的本质。
从2024年12月7日开始，预计每周六进行一次，持续时间预计 6-8 周左右。欢迎感兴趣的朋友报名参加，激发更多的思维火花！
详情请见：大模型2.0读书会：融合学习与推理的大模型新范式！
点击“阅读原文”，报名读书会
