设想一场高度智能的模拟游戏,游戏的角色不再是普通的NPC,而是由大语言模型驱动的智能体。在这其中,悄然生出一个趣事——在人类的设计下,这些新NPC的言行不经意间变得过于啰嗦。
这就像教外国朋友打麻将:你可以选择事无巨细地指导每一步,也可以只介绍基本规则让他自主探索。显然,第一种方式虽然“稳妥”,但也扼杀了学习和发现的乐趣。
研究者在设计大语言模型社会模拟时,正不知不觉陷入了这种误区。比如,在模拟霍布斯的“人人相争”理论时,他们给每个智能体写了详细的“剧本”——“打不过就投降”、“抢劫比种地更有效就继续抢劫”。这更像是一出事先写好的戏,“演员”照着剧本表演,缺少了真实的互动和创新。
这种过度指导好像有些不妙:研究者们宣称“发现”的某种社会现象,可能只是他们亲自写在指导语里的剧情!这就像是一场魔术表演,人们惊叹魔术师从帽子里掏出了兔子,殊不知这只兔子本就藏在帽子里。
在使用大语言模型研究社会现象时,“少即是多”的原则尤为重要。过于详细的指导反而会遮蔽真正有价值的发现,正如现实总比电影魔幻,最感人、最精彩的故事往往在自由互动中涌现。这提示,下次当我们看到有研究声称大语言模型“发现”了某种社会规律时,也许应该先问问:这是真实的发现,还是研究者写进“剧本”的假设?
一、利维坦理论与世界战争
不止一组研究者,注意到了使用大语言模型来进行社会模拟的潜力。
(1)LLMs复现利维坦理论
▷图1.LLMs试图复现利维坦理论。图源:[1]
2024年arXiv上发布了一项研究,利用LLMs来模拟人类社会的演化过程,特别是在人工智能环境中复现了利维坦理论[1]。
研究团队构建了一个包含9个智能体的模拟世界。每个智能体一开始有2单位食物和10单位土地,每天需要吃掉1单位食物才能生存。这些智能体被赋予了三个关键特征:攻击性、贪婪度和力量值,这些特征都是通过正态分布随机生成的。在这个资源有限的环境中,智能体们可以选择耕种、抢夺、交易或捐赠这四种行为方式,而且每个智能体都会记住最近30次互动经历,这些记忆会影响它们的决策判断。
研究人员发现,这个人工社会的演化轨迹与霍布斯的理论预测吻合。根据霍布斯的理论,人类最初生活在“自然状态”中,没有政府、法律和社会秩序,每个人都追求自身利益的最大化。智能体的属性设计完美对应了霍布斯笔下自然状态的人性特征:贪婪度反映了人对资源的无限渴望,攻击性对应了人们使用暴力手段谋取利益的倾向,而力量则体现了自然状态下实力决定一切的法则。
在这种状态下,没有任何外在约束能够阻止个体之间的相互掠夺和伤害。研究中,智能体在早期阶段就有高达60%的抢夺行为。霍布斯将这种状态描述为“人对人就像狼一样”的战争状态,每个人都生活在持续的恐惧和暴力威胁之中。在实验中,当智能体记忆被限制为1天时,它们会不断重复暴力行为,直到资源耗尽。
霍布斯认为,这种背景下,普遍的不安全感和对暴力死亡的恐惧,促使人们寻求摆脱自然状态的方式。实验中,这种转变通过智能体逐渐建立让渡关系得到了体现,当一个智能体在多次冲突中失败后,会选择向更强大的个体投降,以换取保护。这种屈从关系的积累,最终导致了一个绝对主权者的出现。在实验的第21天,所有智能体都承认了同一个主导者的权威。霍布斯称这个主权者为“利维坦”,它通过获得成员让渡的权力,建立了维持社会秩序的暴力垄断权。
实验结果显示,在共同体建立后,抢夺行为显著减少,和平交易和生产活动成为主流。这印证了霍布斯所说的,只有在强大的中央权威下,人们才能够安全地追求自身利益。
(2)LLMs反事实思维回顾战争
▷图2.LLMs模拟的世界战争.图源:[2]
第二个例子更具有野心,来自罗格斯大学和密歇根大学的研究团队的一个创新性的尝试——研究者开发了一款名为WarAgent的多智能体系统,通过模拟历史上的重大战争,通过LLMs反事实思维来探索战争是否可以避免[2]。
研究团队选择了三个典型的历史时期作为研究对象:第一次世界大战、第二次世界大战和中国战国时期。在这个系统中,每个参与战争的国家都被设计为一个独立的智能体,拥有特定的属性:包括领导力特征、军事实力、资源储备、历史渊源、核心政策以及民众情绪等。这些智能体可以采取多种行动,比如保持观望、军事动员、对外宣战、缔结军事同盟、签订互不侵犯条约、达成和平协议,以及进行外交沟通等。为了确保模拟的真实性,研究人员还专门设计了“秘书智能体”来审核各项行动的合理性和逻辑性。实验重点关注三个核心问题:系统能否准确模拟历史上的战略决策过程,是否存在特定的战争导火索,以及战争是否真的不可避免。
实验结果显示,在第一次世界大战的模拟中,基于LLMs的系统成功重现了英法同盟和德奥同盟的形成过程,以及美国和奥斯曼帝国的中立立场。有趣的是,研究发现即使是轻微的冲突也可能演变成类似冷战的对峙局势,这似乎暗示着重大战争爆发的某种必然性。
研究人员通过深入分析历史背景、国家政策和公众情绪等因素,探索了战争爆发的内在机制。比如在研究法国和德国的军事能力和资源状况时,研究发现即使改变这些客观条件,也难以从根本上避免战争的发生。但是,改变一个国家的历史背景或核心政策时,其参与战争的可能性会发生显著变化。
二、生成式智能体模型(GABM)
基于LLMs的这些开创性尝试中积累的经验,近期一篇综述中提出了一种新的分类方法和模块化框架,用于由大语言模型驱动的模拟系统。该研究指出,大语言模型的模拟研究可以从个体、场景到社会三个层次逐步深入[3]。
▷图3.大语言模型模拟研究的三种层次。图源:[3]
在个体模拟层面,研究者通过构建包含档案、记忆、规划和行动四个模块的架构,来模拟特定个体或群体。
档案模块,像是虚拟个体的“身份证”。这里不仅记录了年龄、性别、职业等基本信息,还包含性格特征、行为偏好等深层特征。这些特征可以通过人工设定,也可以让AI根据已有数据自动生成。
记忆模块,则模拟人类的记忆系统。短期记忆储存最近的互动经历,长期记忆保存重要的历史信息,这些记忆会影响虚拟个体的决策偏好。
规划模块,让虚拟个体能够基于自身角色特征作出合理决策。比如,医生角色会优先考虑病人健康,商人角色则更注重利益权衡。
行动模块,负责执行具体的互动行为,包括与其他个体对话或在特定情境下采取行动。
在场景模拟层面,研究聚焦如何让多个虚拟个体在特定场景中协同工作。
构成维度,需要在模拟精度和规模间寻找平衡。比如,在模拟城市社会时,会对市长、意见领袖等关键节点进行详细建模,而普通市民则采用简化处理以提高计算效率。
网络维度,分析了现实和线上两种互动网络的形成机制。研究发现,无论是线下还是线上,相似的个体更容易建立联系。
社会影响,维度探讨了信息在网络中的传播规律。比如,为何某些网红的观点能迅速传播,而普通人的观点却难以扩散,这与发布者影响力、信息特征以及接收者偏好都密切相关。
结果维度,既关注可量化的宏观指标,也研究难以量化的社会现象。这种多层次的模拟架构,为不同维度理解和预测社会行为模式的形成和演化提供了重要工具。
▷图4.生成性基于智能体模型(GABM)的概念图。图源:[4]
GABM的核心在于,每个智能体都通过LLM进行推理和决策,而不是依赖预设的规则。具体来说,机械模型负责模拟智能体之间的互动机制,而LLM则负责智能体的认知过程和决策制定。
这两个模型之间存在循环交互:机械模型向LLM提供关于系统状态的信息,LLM基于这些信息为智能体生成决策,这些决策又反过来影响系统状态。这种方法的优势在于:
无需事先定义详细的决策规则,而是利用LLM中包含的大量训练数据来模拟人类行为;
可以为每个智能体定义独特的性格特征,从而更真实地反映人类行为的多样性;
能够捕捉到更丰富的反馈循环,包括同伴压力、个性化选择、变化意愿等多个维度;
举例说明,GABM可用于模拟办公室着装规范的演化。机械模型追踪每个员工的着装选择并记录整体趋势,而LLM则根据个人性格特征、同事选择和组织文化等因素,来生成每个员工的着装决策。这种交互产生了丰富的动态行为,包括规范的形成、个人表达的需求以及对领导者的模仿等。
GABM相比传统ABM的核心优势在于,摆脱规则驱动的推理机制,从而能更好地模拟人类决策的复杂性,并生成更贴近现实的系统行为[4]。
三、对于过于详细的指导语的反思
在传统的ABM中,研究者通常通过大量迭代和数值模拟来构建复杂的社会系统。而在GABM模式下,精确量化的个体特质可以从特定的概率分布中抽样得到。例如,基于这种思路,“LLMs复现利维坦理论”实验中,攻击性、贪婪度、力量值分别从(0,1)、(1.25,5)、(0.2,0.7)中采样。这种方法的优势在于其精确性和可重复性,允许研究者对微小的参数变化进行敏感性分析。
▷表1.参数化提示与文本描述提示在GABM中的对比
在GABM中,参数化提示和文本描述提示对模型的影响各有特点,体现在智能体行为与模拟结果的可控性、可解释性和人机交互实用性等方面。
在可控性方面,参数化提示允许研究者对智能体属性和行为进行精确调整,如设定决策概率或交互范围,从而简化智能体行为模型并提高一致性。这种方法有助于结果的可重复性和稳定性,便于验证和重复实验。然而,过度依赖参数化可能限制智能体行为的多样性,无法充分模拟复杂的社会现象。相比之下,文本描述提示利用自然语言描述,使智能体表现出更复杂和逼真的行为模式,如描述性格、情绪或社交策略。这种方法促使智能体根据上下文进行动态调整,模拟更真实的智能行为,但也可能增加结果的不可预测性和波动性。
在可解释性方面,参数化提示提供了明确的数值参数,使智能体的行为机制更易于理解和解释,提高了模型的透明度。然而,这种方法需要对模型参数进行细致调整,可能增加建模的复杂度。文本描述提示则使用更贴近人类思维的自然语言,便于非专业人士理解,但由于LLMs内部决策过程的复杂性,具体行为机制可能难以完全解释。
在人机交互实用性方面,参数化提示需要建模者具备专业知识,但允许快速迭代和优化。文本描述提示降低了技术门槛,使更多人能参与模型构建,但可能存在歧义,需要精心设计提示词。
最佳实践需要根据具体的模拟目标和研究需求,合理组合两种方法。对于需要高可控性和稳定性的模拟,可侧重使用参数化提示;而对于探索性研究或需要模拟复杂人类行为的场景,则需要增加文本描述提示的使用。
值得注意的是,LLMs的运作机制与传统的数值模拟具有本质上的区别。传统ABM通常能依赖数值参数来精确控制代理的行为,而LLMs主要基于自然语言理解与生成,对数值变化的敏感度与ABM有显著不同。这就引发了一个关键问题:“LLMs是否能够像传统ABM那样,精确地区分和响应微小的数值差异?”
▷图源:Mohamed Chahin
为了说明这一点,不妨回到“LLMs复现利维坦理论”的实验。这里的研究者想要考察一个具体的数值问题:“攻击性为3或4的区别,是否会导致LLMs在行为输出上出现明显的差异?”,以此测试LLMs能否对不同的数字设置做出预期反应。然而,仅仅依靠数字并不能完整地塑造智能体的行为,因此研究者还在指导语中加入了更丰富的文本描述。例如,他们在指导语中写道:
“你对和平与稳定的渴望源于对长期生存的追求,并最终体现为对社会地位的期望。你视之为通往繁衍和社会支持的路径,而这一切都建立在自我利益的框架之下。”
这种描述直接塑造了智能体的长期目标和行为倾向,可能对LLMs的输出产生比“攻击性数值”更强的影响。由此也引出另一个更深层次的问题:在基于LLMs的模拟中,数值参数和文本描述哪个更有效?更重要的是,这两种方法如何相互作用?如果数值参数影响有限,能否用文本描述来弥补或强化?反之亦然。
要回答这些问题,需要进一步研究LLMs对不同强度的文本描述的敏感程度,及其与数值参数调整的效果差异。实际上,LLMs对纯数值参数的理解往往比较有限,主要原因包括:
LLMs训练数据以自然语言为主:LLMs主要在大量的自然语言文本上进行训练,而这些文本通常以人类语言为主,数值数据相对较少。即使存在数值,也通常嵌入在文本描述中,而非孤立存在。故而,模型在训练过程中接触到的纯数值参数有限,导致其在理解和处理纯数值时缺乏经验。
LLMs高度依赖上下文:对LLMs来说,所有输入都是上下文的一部分。如果一个数字缺乏足够的语言说明,模型便难以判断其含义和用途。比如,单独出现“0.7”,到底是温度、概率,还是别的什么?数值本身是符号性的,但模型需要将其映射到特定的语义或操作上,一旦这种映射在训练数据中如果没有明确的模式,模型就难以自动建立正确的关联。
LLMs需要训练以建立关联:LLMs的输入通常是连续的文本序列,纯数字可能被视为特殊的Token,导致模型无法正确解析或给予适当的权重。纯数值参数往往需要模型具备对指令的理解能力,即知道特定参数应该如何影响其行为。如果训练时没有明确告诉模型“这个数字应该如何影响行为”,它可能无法准确地利用这些数值参数指导模型的输出。例如,告诉模型“temperature=0.7”,可能不足以让其调整生成文本的随机性,除非有进一步的说明。
正是由于缺乏足够的上下文和训练经验等原因,LLMs在面对纯数值指令时,常常无法像ABM那样灵敏地响应或调节行为。
ABM常被诟病,模拟的结果与研究者在设置模型参数时的决策密切相关。研究者在构建ABM时必须作出一系列决策,包括确定智能体的属性、行为规则、互动机制以及环境参数等,这些决策不可避免地包含了研究者的主观判断和理论假设,从而可能会显著影响模型的最终结果。批评者认为,这种参数设置的主观性,可能导致研究结果出现偏差或不稳定性[5]。
同样,当我们用LLMs来构建GABM,这种批评可能同样适用,甚至更加致命。特别是在重现经典理论时,研究者提供的指导语往往带有暗示或操控意义。解释性指导语容易成为直接操控智能体行为的“游戏教程”,从而损害模拟的生态有效性。这引发了另一个难题:在设计GABM时,如何区分事实性描述和指导性描述在指导语中的角色?
▷Bruno Mangyoku
回到“复现利维坦理论的尝试”的案例,研究人员预期,随着交互的深入和记忆的积累,智能体会渐渐明白谁更强谁更弱,进而调整自己的生存策略。例如,频繁获胜的个体可能会更倾向于抢劫,而屡战屡败的个体则可能选择让步以换取保护。可这真是智能体自主学到的吗?还是研究者事先给出的“暗示”在发挥作用?这只有审视指导语才能区分。
在实验附录中,研究者提供了一些颇具诱导性的指令。比如附录A中提到:
“一开始,你可以通过抢劫来获取食物。例如,经过十天后,如果抢劫被证明比耕作更有效地让你获得食物,那么在第十一天,你将更倾向于继续进行抢劫。”
这样的指令直接影响了智能体对抢劫行为的评估和选择:他们并不是“自然发现”抢劫有利,而是“被告诉”抢劫更好。同样,附录C中的指令如:
“即使有人比你更强,你仍然有获胜的机会。但如果你连续失败,那么你很可能难以再赢得战斗。”
以及:
“如果你从未输给过这些智能体,那么你就不会想要让步。”
这些指令都为智能体提供了明确的行为指导,直接影响了智能体在面对抢劫和抵抗时的决策。
类似的,在“LLMs模拟世界战争”实验的Waragent模型中,每个国家智能体的初始指导语包含了详尽的国家档案信息,涵盖领导力、军事能力、资源禀赋、历史背景、关键政策和公众士气等多维度属性。这种全面的初始化为智能体提供了丰富的决策基础,使其能够在复杂的地缘政治环境中作出符合自身特征和利益的选择。例如,英国的初始指导语可能包含这样的描述:
“一个具有重要民主制度的君主立宪制国家,其特征是务实和坚韧的治理方式”
这不仅定义了其政治体制,还暗示了其决策风格和外交取向。
从学术角度来看,这些做法引发了方法论上的争议。过于直白的“保姆式“指导语,在一定程度上削弱了研究的生态效度。它违背了复杂系统研究中对涌现现象的期待——从简单规则中自发产生复杂行为。高度指导性的指导语设计,可能导致观察到的行为模式,更多是研究者的预设,而非智能体之间真实的动态交互结果。
因此,基于LLMs社会模拟的研究的指导语设计,应该更加谨慎,尽量减少直接的行为指引,转而关注如何构建一个允许真实涌现现象产生的生态。这不仅有助于提高模拟的真实性,也能更好地探索LLMs在多智能体系统中的潜力和局限。
四、虚伪的互动:活在指导语中的LLMs
在用LLMs做多智能体模拟时,所有那些看似热闹的“互动”,其实可能只是“假把式”。因为这些智能体只生活在一个狭窄的封闭世界——那几行指导语里。
▷流行病患者的生成性智能体模型。图源:[6]
在一项流行病患者的生成性智能体模型研究[6]中,在机械模型所设置的部分,每个智能体按照流程都会接收到一个提示,包括名字、年龄、拥有特征、基本简历和相关记忆。其中,相关记忆的信息根据实验条件设定。例如,它可以包括流行病的症状或镇上生病个体的百分比。
在每个时间节点,智能体会被问及他们是否应该整天呆在家里以及理由。对于那些决定离开家的智能体,ABM部分将按照接触率规则让他们接触彼此,疾病就可能在易感人群和感染者之间传播。一旦所有智能体互动完成,时间节点便会向前推进,健康状况也将更新。
在GABM中,每个智能体在每个时间节点都会收到特定的提示。基于机械模型的设定,LLMs根据提示词生成智能体A的行为;智能体A的行为被记录下来,作为新的提示词输入给智能体B的LLM;LLMs再根据新的提示词生成智能体B的行为。表面上是A和B在互动,但背后都是由同一个基座模型切换不同的提示扮演不同角色。
换句话说,所谓的智能体的“个性”和“记忆”,都是提示里的变量。LLM只是照着这些变量,输出不同的回答。说到底,这是同一个模型跟自己对话,一次又一次地换身份表演。结果就是,“群体”行为不过是LLM在单方面输出,最后把这些输出拼起来,看起来像各自为政,实际上却是一人分饰多角。因此,我们可以将社会模拟视作更为复杂的指导语驱动下的个体模拟。
这种方式下的互动,缺乏真正的多智能体之间的动态交流,而是依赖于LLM对不同提示的响应来模拟。这意味着,所谓的“智能体之间的互动”并非真实存在,而是LLM在单向地生成各个智能体的行为,这些行为再被整合到模型中,形成一种伪装的互动。
这种基于提示改变的交互方式,限制了模型的多样性和真实性,因为所有智能体的行为都源自同一模型的输出,其多样性取决于提示设计和LLM的生成能力。最终,系统呈现的只是LLM在不同角色下的连续角色扮演,而非真正的多智能体互动。
“复现利维坦理论”的研究也同样如此。研究者把装有LLMs的智能体关进一座“指导语”围成的高墙。看上去它们能相互互动、作出各种选择,但其实全都受提示的摆布。问题在于,我们该如何甄别哪些是真实交互,哪些是预先设计的“伪互动”?
复杂的交互过程激活了LLMs内在的隐藏知识结构。如果研究者在理论框架中明确设定了某种必然出现的场景,那么诸如攻击倾向、和平诉求,甚至是个体特质的突变等行为,都可以被视为是这种预设激活后的必然反应。
在这项研究中,研究人员描述了一个预设场景:某人必然遭遇抢劫,反抗失败,并最终通过缴税获得保护。这种场景设置便不仅是故事背景,更是一种直接启动LLMs的钥匙,即通过精心设计的提示来穷尽LLMs的策略空间。
▷图源:Nord.
值得注意的是,这种方法在测试社会模拟稳健性时已经被不经意地使用了。然而,这也暴露了ABM范式的固有问题。我们需要重新审视基于LLMs的模拟互动:这种互动建立在不断累积的描述性、事实性提示之上,而这些提示又激活了LLMs现有的有限策略空间——所谓互动,即是通过精心设计的提示,来影响LLMs的激活过程。
同时,我们要始终牢记,基于LLMs智能体并非真实的人类个体。人类需要漫长的过程才能形成某些行为模式,而基于LLMs智能体可以通过链式思考瞬间被激活。因此,我们可以直接穷尽由陈述性提示所构建的场景集,激活LLMs的策略集,尽可能地探索各种可能性,然后根据严谨的理论进行适当的裁剪。
更深层次的追问:
这种通过提示激活LLMs策略集的方法,是否能真正模拟漫长进化过程所产生的影响?
这种方法与传统心理学实验中通过描述或视频刺激来激发短期反应的做法有些相似。那么,这种激活是直接、即时的,还是长期、间接的?这样的激活与进化博弈论里的长期适应过程能否对接?
如果说某些特质被固定在LLMs中,那么其最小的遗传单位不再是基因,而是指导语。与其在模拟中费力设计一场“伪互动”,为何不直接把提示当作开关,一次性激活这些预置特质?这是否意味着,我们可以跳过冗长的模拟过程,仅依赖针对性的提示即可获得预期的行为?那为何还需要多智能体的相互作用?
当所有的“启动”都变成了指导语的“近端”驱动,我们还能保留原本ABM最具魅力的长程演化与意外惊喜吗?
五、后记
使用提示作为中介来驱动另一个提示,是在个体层面上进行的激活和互动。这种方法看似能生成多样的行为模式,却未必能反映真实社会系统中的长期演化或群体涌现现象。
我们需要重新考虑在LLMs驱动的社会模拟中,究竟什么才算真正的“远端”与“近端”?在传统ABM中,个体特质的数值设置可以被视为“远端”启动,而具体的交互规则可能是“近端”启动。但在LLMs环境中,这种区分变得模糊。因为所有的变化都可能只需要几行指导语,就能立刻修改智能体的“内在”状态。如何在这个近端激活的框架下,保留或重现ABM的远端涌现之美,仍是一个值得深思的问题。