让你更懂AI的 2025-07-08 23:21 北京
本文提出了 Avengers 框架，旨在探索开源小模型群体智能的新路径。
本文由上海人工智能实验室，东北大学，西北工业大学联合完成。
近年来，大语言模型（如 Gemini-2.5-Pro，GPT-4.1）逐渐被谷歌、OpenAI 等科技巨头垄断，训练成本数百万甚至数千万美元。
与此同时，开源社区的小规模模型正面临日益严峻的挑战——开源社区的大量小模型参数通常仅在 7B 左右，虽能专精某些领域，难以在多个任务、多领域场景中与大型闭源模型相抗衡，尚未形成真正的通用人工智能能力。
在此背景下，上海人工智能实验室联合东北大学、西北工业大学等机构，提出了 Avengers 框架，旨在探索开源小模型群体智能的新路径。
论文标题：
The Avengers: A Simple Recipe for Uniting Smaller Language Models to Challenge Proprietary Giants
论文链接：
https://arxiv.org/abs/2505.19797
代码链接：
https://github.com/ZhangYiqun018/Avengers
实验表明，Avengers 在仅使用 10 个开源模型（每个约 7B 参数）的情况下，在数学、编程、逻辑推理、常识和情感计算等 15 个多样化数据集上，平均性能超过了 GPT-4o、GPT-4.1 和 GPT-4.5。
Avengers 框架的设计核心是简洁、高效且无需额外训练，通过四个轻量的步骤，集结多个小模型的优势：
Embedding：通过嵌入理解问题无论是系统准备阶段用作学习的验证问题，还是用户实时提出的新问题，框架都会首先利用文本嵌入模型（gte-qwen2-7B-instruct）将这些问题“翻译”成语义信息向量。
Clustering：通过聚类构建“任务地图”
在系统准备阶段，Avengers 通过计算这些向量间的相似性，将问题划分为不同的簇（cluster），其中每个簇都代表着一种具备相似性的问题，例如“数学计算区”、“代码生成区”或“逻辑推理区”。
Scoring：为每个模型建立“能力档案”
Avengers 利用各个簇的代表性验证问题（验证集）去“考核”模型池中的每一个小模型，并记录下它们在每个问题类别上的表现得分。
Routing & Voting：通过动态路由与投票决策，实现人尽其才，择优输出
当一个新问题进入 Avengers 后，框架会实时进行处理：
首先，通过 语义嵌入 理解新问题。
然后，在“任务地图”上迅速 定位 该问题所属的簇。
接着，系统查阅各模型的“能力档案”， 动态选择 （路由）在该问题类别中表现最好的一个或多个“专家模型”来生成答案。
最后，通过 投票 机制（如 Self-Consistency），从所有候选答案中选出一致性最高的作为最终输出。
实验验证：Avengers 框架的有效性与潜力
为了全面评估 Avengers 框架的性能，研究团队选取了覆盖数学推理（如 AIME，Math500，LiveMathBench）、代码生成（MBPP，HumanEval）、逻辑推理（如 KORBench，BBH，Knights and Knaves）、知识问答（ARC Challenge，MMLUPro，GPQA，FinQA，MedQA）和情感分析（如 EmoryNLP，MELD）等五个领域的 15 个公开数据集。
实验中，Avengers 框架集成了 10 个参数量在 7B 左右的开源小型语言模型。
此外，为了进行更加充分的对比，研究团队还对基线方法进行了增强。具体而言，对于路由方法（RouterDC，EmbedLLM，MODEL-SAT），统一使用 gte-qwen2-7B-instruct 作为文本嵌入模型，推理时统一使用 Self-Consistency 策略（采样 10 次）。
训练路由时，研究人员人为选取了 路由模型的测试集最高性能点作为训练终止点；对于混合方法（MoA，Symbolic-MoE），研究团队统一使用 32K 上下文的 Qwen2.5-7B-Instruct 作为聚合模型（aggregator）。
为了避免模型过多带来的上下文窗口过长问题，研究团队还设计了 MoA（Oracle）——推理时使用在当前任务最强的 3 个模型，而不是全部模型。
核心实验结果表明：
⦁ 整体性能优越 ：在 15 个数据集中，Avengers 框架平均性能超过了 GPT-4o, GPT-4.5 和 GPT-4.1。特别地，相较于 OpenAI 强大的旗舰模型 GPT-4.1, Avengers 在其中 9 个数据集上的表现优越。⦁ 特定领域优势显著：
在数学任务上，Avengers 的平均性能比 GPT-4.1 高出 18.21%。
在代码任务上，Avengers 的平均性能比 GPT-4.1 高出 7.46%。
⦁ 超越其他路由与集成方法：
与需要训练的先进路由方法（如 RouterDC，EmbedLLM，MODEL-SAT）相比，Avengers 在无需额外训练的情况下，平均性能最高，并且在分布外泛化（Out-of-Distribution Generalization）任务上表现出更强的鲁棒性，在 OOD 测试中平均得分比 EmbedLLM 高出 8.14%。
与混合式方法（如 Mixture-of-Agents）相比，Avengers 更适应小模型上下文窗口有限和指令遵循能力相对较弱的特点，展现出更好的性能，相比于 MoA（Oracle）方法平均得分高出 17.16%。
这些结果清晰地证明，通过 Avengers 框架的有效组织和调度，多个小型模型的“集体智慧”能够达到甚至在某些方面超越顶尖大型模型的水平，相比于混合式方法性能优势明显，且得益于无需训练的特性，相比于路由方法，其 OOD 性能格外优秀。
成功要素解析：Avengers框架为何有效？
Avengers 框架的成功并非偶然，而是其设计中多个关键要素协同作用的结果。通过细致的消融实验，研究团队探究各组成部分对整体性能的贡献：
对嵌入模型和聚类算法的鲁棒性：实验表明，Avengers 框架的性能对于所选用的具体嵌入模型（测试了从 0.56B 到 7B 参数不等的多种模型）和聚类算法（测试了 K-Means、层次聚类、GMM 等多种经典算法）并不敏感。这意味着 Avengers 具有良好的普适性和易用性，不强依赖于特定的组件。
模型数量与性能的权衡：研究发现，随着集成的小模型数量增加，Avengers 的整体性能也随之提升。值得注意的是，仅需 3 个小模型，其性能便可与 GPT-4.1 持平（根据簇排名自动选择）。
当模型数量达到约 10 个时，性能趋于饱和，尤其在知识、代码和情感等任务上展现出良好的互补效应。这说明 Avengers 能够有效地利用模型的异质性，实现 “1+1\>2” 的效果，而无需盲目堆砌模型数量。
集成策略的有效性：在多种推理集成策略中，Self-Consistency 被证明是一种简单且高效的选择，它通过对单个或多个优选模型的多次采样和多数投票，显著提升了最终答案的质量和稳定性。
对超参数的低敏感度：以聚类数量 K 为例，实验显示在一个相当宽泛的 K 值范围内（约 14 至 140），Avengers 均能保持稳定且优于GPT-4.1 的性能。这降低了超参数调优的难度，增强了框架的实用性。
这些特性共同构成了 Avengers 框架的核心优势：它是一个轻量级、适应性强、且对具体组件选择和超参数调整不敏感的协同解决方案。
意义与展望：为开源AI生态注入新活力
Avengers 框架的提出和验证，对于当前的 AI 研究和开源社区具有多重意义：
为小型模型开辟新路径：它证明了通过有效的协同策略，参数量相对较小、更易于获取和部署的开源模型也能够在复杂任务上取得顶尖性能，为开源社区提供了一条与巨头模型竞争和互补的新思路。
推动 AI 技术的民主化：作为一个无需训练、易于实现的框架，Avengers 降低了构建高性能 AI 系统的门槛，使得更多的研究者和开发者能够参与到前沿 AI 技术的探索中。
促进模型生态的多样性：通过发掘和利用不同模型的独特优势，Avengers 鼓励了针对特定领域或任务的专业化模型发展，有助于构建一个更加丰富和多元的 AI 模型生态。
未来工作将聚焦于以下几个方面：
降低初始校准成本：探索更高效的聚类和模型能力评估方法，以减少框架在引入新模型或新任务时的前置计算。
扩展应用范围：将 Avengers 框架应用于更广泛的任务类型（如对话系统、多模态任务）和更多样化的模型（包括更小规模的模型）。
动态适应与进化：研究在线学习和动态调整机制，使 Avengers 框架能够根据实时反馈和环境变化，持续优化其模型选择和集成策略。
我们相信，Avengers 框架及其所代表的“集体智慧”理念，将为人工智能领域带来新的启发，并助力开源社区在全球 AI 浪潮中扮演更加重要的角色。
作者介绍
本文第一作者张逸群（东北大学博士三年级）和李昊（西北工业大学博士二年级）均为上海人工智能实验室实习生。通讯作者为上海人工智能实验室研究员胡舒悦和东北大学副教授冯时。团队其他成员还有实验室实习生王晨旭、陈林尧，以及实验室研究员张乔生、叶鹏、徐甲、白磊、欧阳万里等。
