（本文阅读时间：7分钟）

编者按：面对信息密集、时长数小时的长视频内容，即便是当下最强大的大语言模型（LLMs）与视觉语言模型（VLMs）也难以轻松应对。为此，微软亚洲研究院提出了 Deep Video Discovery（DVD）智能体，通过推理驱动与工具协同，探索更高效、更智能的视频理解。在多个挑战性基准测试中，DVD 展现出领先的性能，进一步推动长视频理解迈向“可用”、“可控”的智能时代。

近年来，大语言模型（LLMs）和大型视觉-语言模型（VLMs）在视频分析和长语境处理方面持续取得进展，特别是在短视频或结构化内容理解上已具备一定能力。然而，面对数小时长、信息密度高、缺乏结构标记的视频内容，现有模型依然面临理解效率低、推理链条浅、响应能力弱等挑战。

为此，微软亚洲研究院的研究员们提出了一种全新的智能体框架 Deep Video Discovery (DVD)，将长视频分割为更短的片段作为“环境”，利用 LLMs 的推理能力驱动“思考”并自主规划，灵活调用具有适当参数的工具获取信息，逐步完成问题求解。借助 OpenAI o3， DVD 在非常具有挑战性的 LVBench上，以76.0%的准确率大幅超越了之前的工作。相关技术框架现已开源。

图1：左：Deep Video Discovery 流程示意图。右：LVBench 上 DVD 的性能比较。

Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding

论文链接：

https://arxiv.org/abs/2505.18079

GitHub 链接：

https://github.com/microsoft/DeepVideoDiscovery

DVD：智能体如何“自主思考”？

DVD 的核心创新在于将理解过程转化为一个“观察-推理-行动”的智能体循环。不同于之前依赖手动设计的固定流程的视频智能体框架，DVD 强调其作为智能体的自主性，即通过自主规划、决策和行动，来解决问题。为了充分利用这一特性，研究员们将原始的长视频转换为多粒度视频数据库，并提供了一套以搜索为中心的工具，使得智能体在不同阶段搜集不同粒度的信息。

该系统主要由三个核心组件构成——多粒度视频数据库、以搜索为中心的工具集以及作为智能体协调器的 LLMs，并分为两个阶段进行操作：

多粒度视频数据库构建：系统将超长视频转换为一个结构化数据库，统一把视频分割成短片段（如5秒），并提取全局、片段和帧级别的多粒度信息，包括主题中心化摘要、片段字幕及其嵌入向量，以及原始解码帧等。

智能体搜索与回答：DVD 智能体配备了三个核心工具：(1)全局浏览（global browse），用于获取高层上下文信息和视频内容的摘要（包括主题和事件中心化摘要）；(2)片段搜索（clip search）工具，实现通过片段描述嵌入（embedding）对视频内容进行高效语义检索，并返回排名靠前的相关视频片段及其字幕和时间范围；(3)帧检查（frame inspect），用于从指定时间范围内的像素级信息中提取细粒度细节，并提供开放格式的视觉问答（VQA）响应。

作为核心的认知驱动器，LLMs 在迭代的“观察-推理-行动”循环中，会根据累积的知识和推理证据采取行动，从而赋予智能体自主、证据引导和灵活的行动机制，有效地将原始查询分解为逐步细化的子查询解答问题。

图2：DVD 分为两个阶段：首先将长视频转化为多粒度的视频数据库，然后通过自主搜索和工具使用对用户的问题生成回答。

超越前沿：DVD在LVBench上刷新纪录

在多个长视频基准测试上，DVD 展现出了卓越的效率和强大的性能。在挑战性极高的 LVBench 数据集上，DVD 智能体取得了74.2%的最新准确率，大幅超越了所有现有工作，包括先前的最先进的模型 MR. Video（13.4%的提升）和 VCA（32.9%的提升）。在辅助转录的帮助下，DVD 的准确率进一步提高到了76.0%。

表1： DVD 在 LVBench 上以较大的幅度领先已有的工作

在 LongVideoBench、Video MME Long 子集和 EgoSchema 等其他长视频基准测试中，DVD 也持续超越了先前最先进的性能，并在 EgoSchema 上甚至超过了人类水平的准确率（约76%）。

深入行为分析显示，推理模型在 DVD 智能体系统中具有关键作用：更换推理模型（如替换为 OpenAI o4-mini 或 GPT-4o）会导致性能大幅下降，这表明 LLMs 推理能力的缺失会导致智能体行为出现崩溃。此外，不同模型在工具调用模式、推理深度和准确性之间存在一定的关联，例如 GPT-4o 在任务中表现出“过度自信”，就会倾向于过早地结束推理。这些行为模式的分析为未来智能体的设计以及基础语言模型的发展提供了实践参考。

图3：不同基础模型在智能体中的行为分析。图中可以明显看出不同基础模型表现出显著的行为模式差异。

展望未来：AI能否真正“看懂”世界？

随着视频内容日益丰富、信息维度愈加复杂，如何让 AI 从“看得见”迈向“看得懂”，成为视频理解研究的核心命题。DVD 以可解释、可规划、可协同的智能体范式，提供了一种有效解法。

下一步，微软亚洲研究院的研究员们也将探索更复杂语境、更高维感知、更强推理能力的智能体系统，推动视频理解走向具备思考能力的智能时代。

微软亚洲研究院新书《无界》上市

当面对集体性的难题时，思想的碰撞与智慧的共鸣显得尤为重要。微软亚洲研究院历时两年打磨的《无界——透视微软创新研究之境》一书，正是献给这个时代的探索指南。

包括周礼栋院长在内的十余位顶尖科研人员参与了本书的编写工作，他们从不同角度探讨了人工智能、计算机科学及其交叉领域的最新进展，分享了前沿的展望、观点以及宝贵的科研经验。

本书已获得十余位全球顶尖学者的推荐，其中包括图灵奖得主、院士、知名高校领导、在各自领域享有盛誉的学者，以及微软亚洲研究院的杰出院友。

现在，《无界——透视微软创新研究之境》已全平台火爆开售！首批读者将获得限量版微软50周年书签，书签上的文章作者亲笔签名将随机呈现，盲盒式惊喜等你开启！

立即点击下方链接，开启你的专属阅读之旅！

你也许还想看：