🤖 单智能体强化学习：解析状态、动作、奖励、策略、值函数等基本概念及其交互闭环；介绍值函数方法（如Q-Learning、SARSA）到策略优化方法（如REINFORCE、PPO）的进化；阐述深度强化学习的关键机制，如泛化能力、经验回放、目标网络等；剖析DQN与PPO算法的实际构建流程。
🤝 多智能体强化学习：分析MARL问题定义与挑战，如非平稳性、信用分配、策略耦合、通信建模等；解析典型方法框架，包括Independent Q-Learning、CTDE框架下的VDN、QMIX、MADDPG、MAPPO等主流模型机制；回顾多智能体强化学习在复杂博弈与协作任务中的经典工作。
🗣️ 融合大语言模型的多智能体智能体建构：探讨LLM引入的三类路径，即作为状态嵌入器、策略生成器与通信引擎；构建语言协同智能体，实现“语言即策略”；展望LLM-Agents作为通用型协作智能体架构的雏形，将如何重构群体智能与复杂系统建模的新范式。
🧠 大模型与MARL结合：分析大模型如何赋能Agent实现自主思考与动态适应；探讨大模型驱动的Agent交互会涌现出什么新型的社会现象；研究Agent建模与仿真如何改变金融、心理、管理、军事等领域的研究范式。
🔮 未来趋势：畅想大模型时代人工社会的未来图景，探讨大模型时代，Agent建模与仿真会给复杂系统理论带来哪些突破。
2025-07-20 22:53 河南
7月22日（周二）晚上19:30-21:30直播
导语
集智俱乐部联合山东工商学院副教授高德华、天津大学教授薛霄、北京师范大学教授张江、国防科技大学博士研究生曾利共同发起「大模型时代下的Agent建模与仿真」读书会。读书会自2025年7月8日开始，预计持续分享8周左右。扫码加入Agent建模与仿真的前沿探索之旅，一起共学、共创、共建、共享「大模型时代下的Agent建模与仿真」社区，共同畅想大模型时代人工社会的未来图景！
本周是读书会的第三期分享，曾利博士将围绕强化学习从单智能体到深度策略优化的核心原理，解析状态、动作等概念及 DQN、PPO 等算法构建；深入多智能体强化学习范式，剖析非平稳性等挑战与主流模型机制；探讨融合大语言模型的多智能体建构，解析 LLM 引入路径与未来范式，展现从基础到前沿的技术演进与应用实践。
分享背景
分享简介
分享大纲
一、强化学习基础框架：从单智能体到深度策略优化的核心原理梳理理解智能体决策过程：系统解析状态、动作、奖励、策略、值函数等基本概念及其交互闭环；强化学习的典型方法谱系：从值函数方法（如Q-Learning、SARSA）到策略优化方法（如REINFORCE、PPO）的一体化进化；深度强化学习的关键机制：引入神经网络后的泛化能力、经验回放、目标网络、策略稳定性与样本效率提升机制；代表算法结构剖析：聚焦DQN与PPO算法的实际构建流程，搭建强化学习系统的基础认知图谱。深度强化学习在组合优化问题求解中的应用实践：介绍深度强化学习在求解组合优化问题中的思路与案例二、多智能体强化学习范式演进：从独立学习到群体协同的策略博弈建模MARL问题定义与挑战全景：非平稳性、信用分配、策略耦合、通信建模等核心瓶颈分析；典型方法框架解析：从Independent Q-Learning到CTDE（集中训练、分布执行）框架下的VDN、QMIX、MADDPG、MAPPO等主流模型机制；多智能体强化学习经典工作：回顾多智能体强化学习在复杂博弈与协作任务中的经典工作；三、融合大语言模型的多智能体智能体建构：LLM-Agents范式的兴起与技术逻辑LLM引入的三类路径：作为状态嵌入器（语言感知）、策略生成器（行为规划）与通信引擎（信息交互）；构建语言协同智能体：刻画语言中的目标意图、环境状态与多智能体指令分发关系，实现“语言即策略”；展望未来：LLM-Agents作为通用型协作智能体架构的雏形，将如何重构群体智能与复杂系统建模的新范式。
核心术语
参考文献
Albrecht, Stefano V., Filippos Christianos, and Lukas Schäfer. Multi-agent reinforcement learning: Foundations and modern approaches. MIT Press, 2024.Zhang, Kaiqing, Zhuoran Yang, and Tamer Başar. "Multi-agent reinforcement learning: A selective overview of theories and algorithms." Handbook of reinforcement learning and control (2021): 321-384.Yang, Yaodong, and Jun Wang. "An overview of multi-agent reinforcement learning from game theoretical perspective." arXiv preprint arXiv:2011.00583 (2020).Nowé, Ann, Peter Vrancx, and Yann-Michaël De Hauwere. "Game theory and multi-agent reinforcement learning." Reinforcement learning: State-of-the-art. Berlin, Heidelberg: Springer Berlin Heidelberg, 2012. 441-470.Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." nature 518.7540 (2015): 529-533.Moravčík, Matej, et al. "Deepstack: Expert-level artificial intelligence in heads-up no-limit poker." Science 356.6337 (2017): 508-513.Vinyals, Oriol, et al. "Grandmaster level in StarCraft II using multi-agent reinforcement learning." nature 575.7782 (2019): 350-354.Jaderberg, Max, et al. "Human-level performance in 3D multiplayer games with population-based reinforcement learning." Science 364.6443 (2019): 859-865.Schrittwieser, Julian, et al. "Mastering atari, go, chess and shogi by planning with a learned model." Nature 588.7839 (2020): 604-609.Fan, C., Zeng, L., Sun, Y., & Liu, Y. Y. (2020). Finding key players in complex networks through deep reinforcement learning. Nature machine intelligence, 2(6), 317-324.Fan, Changjun, et al. "Searching for spin glass ground states through deep reinforcement learning." Nature communications 14.1 (2023): 725.Pu, T., Chen, C., Zeng, L., Liu, S., Sun, R., & Fan, C. (2024, December). Solving Combinatorial Optimization Problem Over Graph Through QUBO Transformation and Deep Reinforcement Learning. In 2024 IEEE International Conference on Data Mining (ICDM) (pp. 390-399). IEEE.Perolat, Julien, et al. "Mastering the game of Stratego with model-free multiagent reinforcement learning." Science 378.6623 (2022): 990-996.Kaufmann, Elia, et al. "Champion-level drone racing using deep reinforcement learning." Nature 620.7976 (2023): 982-987Lutz, Isaac D., et al. "Top-down design of protein architectures with reinforcement learning." Science 380.6642 (2023): 266-273.McKee, Kevin R., et al. "Scaffolding cooperation in human groups with deep reinforcement learning." Nature Human Behaviour 7.10 (2023): 1787-1796.Ma, Chengdong, et al. "Efficient and scalable reinforcement learning for large-scale network control." Nature Machine Intelligence 6.9 (2024): 1006-1020.Hafner, Danijar, et al. "Mastering diverse control tasks through world models." Nature (2025): 1-7.Zhuang, Yuan, et al. "Yolo-marl: You only llm once for multi-agent reinforcement learning." arXiv preprint arXiv:2410.03997 (2024).Nagpal, Kartik, et al. "Leveraging Large Language Models for Effective and Explainable Multi-Agent Credit Assignment." arXiv preprint arXiv:2502.16863 (2025).Jiang, Zhouyang, et al. "QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning?." arXiv preprint arXiv:2504.12961 (2025).Hao, Qianyue, et al. "Llm-explorer: A plug-in reinforcement learning policy exploration enhancement driven by large language models." arXiv preprint arXiv:2505.15293 (2025).
主讲人介绍
参与方式
「大模型时代下的Agent建模与仿真」读书会
集智俱乐部联合山东工商学院副教授高德华、天津大学教授薛霄、北京师范大学教授张江、国防科技大学博士研究生曾利共同发起「大模型时代下的Agent建模与仿真」读书会。读书会自2025年7月8日开始，每周二晚上7:30-9:30进行，预计持续分享8周左右。扫码加入Agent建模与仿真的前沿探索之旅，一起共学、共创、共建、共享「大模型时代下的Agent建模与仿真」社区，共同畅想大模型时代人工社会的未来图景！
核心问题
Agent建模与仿真是什么，核心技术发生了怎样的演变？大模型时代，Agent建模与仿真会给复杂系统理论带来哪些突破？大模型如何赋能Agent实现自主思考与动态适应？大模型驱动的Agent交互会涌现出什么新型的社会现象？Agent建模与仿真如何改变金融、心理、管理、军事等领域的研究范式？详情请见：大模型时代下的Agent建模与仿真：共探人工社会未来图景
点击“阅读原文”，报名读书会AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。
鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑