让你更懂AI的 2025-07-08 23:21 北京
本文提出了 Avengers 框架，旨在探索开源小模型群体智能的新路径。
Avengers框架：构建小型语言模型的协同智能Avengers 框架的设计核心是简洁、高效且无需额外训练，通过四个轻量的步骤，集结多个小模型的优势：Embedding：通过嵌入理解问题无论是系统准备阶段用作学习的验证问题，还是用户实时提出的新问题，框架都会首先利用文本嵌入模型（gte-qwen2-7B-instruct）将这些问题“翻译”成语义信息向量。Clustering：通过聚类构建“任务地图”在系统准备阶段，Avengers 通过计算这些向量间的相似性，将问题划分为不同的簇（cluster），其中每个簇都代表着一种具备相似性的问题，例如“数学计算区”、“代码生成区”或“逻辑推理区”。Scoring：为每个模型建立“能力档案”Avengers 利用各个簇的代表性验证问题（验证集）去“考核”模型池中的每一个小模型，并记录下它们在每个问题类别上的表现得分。Routing & Voting：通过动态路由与投票决策，实现人尽其才，择优输出当一个新问题进入 Avengers 后，框架会实时进行处理：首先，通过 语义嵌入 理解新问题。然后，在“任务地图”上迅速 定位 该问题所属的簇。接着，系统查阅各模型的“能力档案”， 动态选择 （路由）在该问题类别中表现最好的一个或多个“专家模型”来生成答案。最后，通过 投票 机制（如 Self-Consistency），从所有候选答案中选出一致性最高的作为最终输出。
实验验证：Avengers 框架的有效性与潜力为了全面评估 Avengers 框架的性能，研究团队选取了覆盖数学推理（如 AIME，Math500，LiveMathBench）、代码生成（MBPP，HumanEval）、逻辑推理（如 KORBench，BBH，Knights and Knaves）、知识问答（ARC Challenge，MMLUPro，GPQA，FinQA，MedQA）和情感分析（如 EmoryNLP，MELD）等五个领域的 15 个公开数据集。实验中，Avengers 框架集成了 10 个参数量在 7B 左右的开源小型语言模型。此外，为了进行更加充分的对比，研究团队还对基线方法进行了增强。具体而言，对于路由方法（RouterDC，EmbedLLM，MODEL-SAT），统一使用 gte-qwen2-7B-instruct 作为文本嵌入模型，推理时统一使用 Self-Consistency 策略（采样 10 次）。训练路由时，研究人员人为选取了 路由模型的测试集最高性能点作为训练终止点；对于混合方法（MoA，Symbolic-MoE），研究团队统一使用 32K 上下文的 Qwen2.5-7B-Instruct 作为聚合模型（aggregator）。为了避免模型过多带来的上下文窗口过长问题，研究团队还设计了 MoA（Oracle）——推理时使用在当前任务最强的 3 个模型，而不是全部模型。核心实验结果表明：⦁ 整体性能优越 ：在 15 个数据集中，Avengers 框架平均性能超过了 GPT-4o, GPT-4.5 和 GPT-4.1。特别地，相较于 OpenAI 强大的旗舰模型 GPT-4.1, Avengers 在其中 9 个数据集上的表现优越。
⦁ 特定领域优势显著：在数学任务上，Avengers 的平均性能比 GPT-4.1 高出 18.21%。在代码任务上，Avengers 的平均性能比 GPT-4.1 高出 7.46%。⦁ 超越其他路由与集成方法：与需要训练的先进路由方法（如 RouterDC，EmbedLLM，MODEL-SAT）相比，Avengers 在无需额外训练的情况下，平均性能最高，并且在分布外泛化（Out-of-Distribution Generalization）任务上表现出更强的鲁棒性，在 OOD 测试中平均得分比 EmbedLLM 高出 8.14%。与混合式方法（如 Mixture-of-Agents）相比，Avengers 更适应小模型上下文窗口有限和指令遵循能力相对较弱的特点，展现出更好的性能，相比于 MoA（Oracle）方法平均得分高出 17.16%。这些结果清晰地证明，通过 Avengers 框架的有效组织和调度，多个小型模型的“集体智慧”能够达到甚至在某些方面超越顶尖大型模型的水平，相比于混合式方法性能优势明显，且得益于无需训练的特性，相比于路由方法，其 OOD 性能格外优秀。
成功要素解析：Avengers框架为何有效？Avengers 框架的成功并非偶然，而是其设计中多个关键要素协同作用的结果。通过细致的消融实验，研究团队探究各组成部分对整体性能的贡献：对嵌入模型和聚类算法的鲁棒性：实验表明，Avengers 框架的性能对于所选用的具体嵌入模型（测试了从 0.56B 到 7B 参数不等的多种模型）和聚类算法（测试了 K-Means、层次聚类、GMM 等多种经典算法）并不敏感。这意味着 Avengers 具有良好的普适性和易用性，不强依赖于特定的组件。模型数量与性能的权衡：研究发现，随着集成的小模型数量增加，Avengers 的整体性能也随之提升。值得注意的是，仅需 3 个小模型，其性能便可与 GPT-4.1 持平（根据簇排名自动选择）。当模型数量达到约 10 个时，性能趋于饱和，尤其在知识、代码和情感等任务上展现出良好的互补效应。这说明 Avengers 能够有效地利用模型的异质性，实现 “1+1\>2” 的效果，而无需盲目堆砌模型数量。集成策略的有效性：在多种推理集成策略中，Self-Consistency 被证明是一种简单且高效的选择，它通过对单个或多个优选模型的多次采样和多数投票，显著提升了最终答案的质量和稳定性。对超参数的低敏感度：以聚类数量 K 为例，实验显示在一个相当宽泛的 K 值范围内（约 14 至 140），Avengers 均能保持稳定且优于GPT-4.1 的性能。这降低了超参数调优的难度，增强了框架的实用性。这些特性共同构成了 Avengers 框架的核心优势：它是一个轻量级、适应性强、且对具体组件选择和超参数调整不敏感的协同解决方案。
意义与展望：为开源AI生态注入新活力Avengers 框架的提出和验证，对于当前的 AI 研究和开源社区具有多重意义：为小型模型开辟新路径：它证明了通过有效的协同策略，参数量相对较小、更易于获取和部署的开源模型也能够在复杂任务上取得顶尖性能，为开源社区提供了一条与巨头模型竞争和互补的新思路。推动 AI 技术的民主化：作为一个无需训练、易于实现的框架，Avengers 降低了构建高性能 AI 系统的门槛，使得更多的研究者和开发者能够参与到前沿 AI 技术的探索中。促进模型生态的多样性：通过发掘和利用不同模型的独特优势，Avengers 鼓励了针对特定领域或任务的专业化模型发展，有助于构建一个更加丰富和多元的 AI 模型生态。未来工作将聚焦于以下几个方面：降低初始校准成本：探索更高效的聚类和模型能力评估方法，以减少框架在引入新模型或新任务时的前置计算。扩展应用范围：将 Avengers 框架应用于更广泛的任务类型（如对话系统、多模态任务）和更多样化的模型（包括更小规模的模型）。动态适应与进化：研究在线学习和动态调整机制，使 Avengers 框架能够根据实时反馈和环境变化，持续优化其模型选择和集成策略。我们相信，Avengers 框架及其所代表的“集体智慧”理念，将为人工智能领域带来新的启发，并助力开源社区在全球 AI 浪潮中扮演更加重要的角色。
作者介绍
