让你更懂AI的 2025-06-11 12:32 北京
引入强化学习，专为视觉丰富信息复杂推理量身定制。
在数字化时代，视觉信息在知识传递和决策支持中的重要性日益凸显。然而，传统的检索增强型生成（RAG）方法在处理视觉丰富信息时面临着诸多挑战。一方面，传统的基于文本的方法无法处理视觉相关数据；另一方面，现有的视觉 RAG 方法受限于定义的固定流程，难以有效激活模型的推理能力。
来自阿里巴巴通义实验室的最新研究成果——VRAG-RL，将强化学习算法引入多模态智能体训练，借助迭代推理和视觉感知空间，全方位提升视觉语言模型（VLMs）在检索、推理和理解视觉信息方面的能力，为纯视觉检索增强生成任务提供有效解决方案，代码、模型全面开源！
论文地址：
https://arxiv.org/pdf/2505.22019
Github地址：
https://github.com/Alibaba-NLP/VRAG
为了解决现有 RAG 方法在处理视觉丰富文档时面临的挑战，尤其是生成阶段推理能力不足的问题，我们推出了 VRAG-RL，该框架引入强化学习，专为视觉丰富信息复杂推理量身定制。
VRAG-RL 通过定义视觉感知动作空间，使模型能够从粗到细地逐步聚焦信息密集区域，精准提取关键视觉信息，从而全方位提升视觉语言模型（VLMs）在检索、推理和理解视觉信息方面的能力。
与此同时，我们注意到现有的方法在将用户查询转化为搜索引擎可理解的检索请求时，常常因无法精准表达需求而难以检索到相关信息，往往存在语义偏差或信息缺失的问题。这不仅影响了检索结果的相关性，还限制了模型在后续生成阶段的推理能力。
为了解决这一问题，VRAG-RL 引入了一种创新的检索机制，通过结合视觉感知动作和强化学习，使模型能够更有效地与搜索引擎进行交互。这种机制不仅能够帮助模型更精准地表达检索需求，还能够在检索过程中动态调整检索策略，从而显著提升检索效率和结果的相关性。
重定义感知行动空间，视觉仿生思考新范式
传统 RAG 方法在处理视觉信息时，往往采用固定的检索-生成流程，即先通过搜索引擎检索相关信息，然后直接生成答案。这种固定流程忽略了视觉信息的独特性，无法充分利用视觉数据中的丰富细节，导致推理能力受限。
相比之下，VRAG-RL 彻底革新了传统的检索生成范式，引入了多样化的视觉感知动作，其中包含了多种视觉感知动作，如区域选择、裁剪、缩放等。这些动作使 VLMs 能够从粗粒度到细粒度逐步聚焦信息密集区域，精准提取关键视觉信息。
例如，在处理复杂的图表或布局时，模型可以先从整体图像中提取大致信息，然后逐步聚焦到信息密集的区域，通过裁剪和缩放操作，获取更清晰、更详细的视觉信息。
这种从粗粒度到细粒度的感知方式，不仅提高了模型对视觉信息的理解能力，还显著提升了检索效率，使模型能够更快速地定位到与问题相关的图像内容。
VRAG-RL 采用了多专家采样策略构建训练数据，大规模模型负责确定整体的推理路径，而专家模型则在大规模模型的指导下，对图像中的关键区域进行精确标注，结合大规模模型的推理能力和专家模型的精确标注能力，模型能够在训练过程中学习到更有效的视觉感知策略，显著提升了模型在实际应用中的表现。
检索与推理协同优化，效率与深度双重提升
VRAG-RL 的细粒度奖励机制将检索效率、模式一致性与生成质量三方面因素融合，引导模型在与搜索引擎的交互中不断优化其检索与推理路径。
检索效率奖励：借鉴信息检索领域广泛使用的 NDCG（Normalized Discounted Cumulative Gain）指标，激励模型优先检索相关度高的图像内容，快速构建高质量上下文；
模式一致性奖励：确保模型遵循预设的推理逻辑路径，避免因模式偏差导致生成结果偏离任务目标；
生成质量奖励：通过评估模型对生成答案的质量打分，引导模型输出更准确、连贯的答案。
这种多维度奖励机制实现了检索与推理的双向驱动——高效的检索为深入推理提供支撑，而推理反馈又进一步指导模型优化检索策略，形成闭环优化。
强化学习赋能多模态智能体训练
VRAG-RL 基于强化学习的训练策略，引入业界领先的 GRPO 算法，让视觉语言模型（VLMs）在与搜索引擎的多轮交互中，持续优化检索与推理能力。
同时，通过本地部署搜索引擎模拟真实世界应用场景，实现搜索引擎调用零成本，模型训练更加高效。这种训练方式，不仅提升了模型的泛化能力，使其在不同领域、不同类型的视觉任务中都能表现出色，为多模态智能体的训练提供全新的解决方案。
实验分析
VRAG-RL 在多个视觉语言基准数据集上均取得了显著优于现有方法的性能表现，任务类型涵盖从单跳到多跳推理、从纯文本理解到图表识别和复杂布局解析等多种视觉丰富场景。
实验结果表明，VRAG-RL 在处理视觉信息时展现出更强的检索能力、推理深度以及生成质量。无论是在传统的 prompt-based 方法（如 Vanilla RAG 和 ReAct RAG），还是在基于强化学习的方法（如 Search-R1）基础上，VRAG-RL 都展现出了更出色的综合性能。
在传统的 RAG 方法中，模型通常在进行一次或多次检索后直接生成答案。然而，在处理复杂的视觉任务时，这种方法往往表现不佳，因为它缺乏对视觉信息的深入理解和多轮推理能力。
相比之下，我们的 VRAG-RL 方法支持多轮交互。具体来说，通过定义视觉感知动作空间，VRAG-RL 能够在推理阶段逐步聚焦于信息密集区域，从而实现从粗到细的信息获取。同时，该方法通过优化检索效率和推理路径，在保持高效率的同时，显著提升了模型在视觉任务上的性能。
未来展望：开启视觉感知驱动多模态推理的新时代
VRAG-RL 为视觉丰富信息的检索增强生成任务开辟了新的道路。未来，研究团队计划进一步拓展模型的能力，引入更多模仿人类处理复杂信息的动作，使模型能够更深入地进行思考。
同时，团队还将致力于减少模型的幻觉现象，通过引入更先进的模型架构和训练方法，进一步提高框架的准确性和可靠性，推动视觉语言模型在更多实际应用场景中的落地与发展。
我们已将 VRAG-RL 的完整技术方案发布在 arXiv，并将全部源代码开源至 GitHub。为了便于大家快速体验与二次开发，我们在项目中提供了可一键运行的 Demo 示例，支持本地快速部署。你可以轻松使用自己的文档构建视觉 RAG 推理服务，探索多模态智能体在复杂图像理解任务中的强大能力。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
