VideoRAG是一种专门设计用于处理和理解极长上下文视频的检索增强生成框架。它采用双通道架构，结合图形驱动的文本知识基础和分层多模态上下文编码，实现对无限长度视频的理解和语义一致性保持。该框架通过动态构建的知识图谱建模跨视频语义关系，并通过自适应多模态融合机制优化检索效率。实验证明，在包含160多个视频、总时长超过134小时的LongerVideos基准测试中，VideoRAG的性能显著优于现有RAG替代方案。

🖥️VideoRAG 采用双通道架构，协同结合图形驱动的文本知识基础和分层多模态上下文编码，旨在高效处理超长上下文视频。

🗂️该框架能够将数百小时的视频提炼成简洁、结构化的知识图谱，实现结构化视频知识索引，便于后续检索和理解。

🔍VideoRAG 使用多模态检索范式，结合文本语义和视觉内容，以识别最相关的视频，从而提供全面的响应，确保检索的准确性和完整性。

📚新设立的LongerVideos基准，涵盖讲座、纪录片和娱乐等类别，包含160多个视频，总时长超过134小时，为评估长视频理解方法提供了新的平台。

2025-02-11 11:21 湖北

VideoRAG：一种专门用于处理和理解极长上下文视频的检索增强生成框架。

一项案例研究展示了VideoRAG对OpenAI为期12天的教育系列中关于“graders”查询的回应，体现了其视频检索能力和知识整合能力。

VideoRAG 引入了一种新颖的双通道架构，该架构协同结合了图形驱动的文本知识基础，用于对跨视频语义关系进行建模，以及分层多模态上下文编码以保留时空视觉模式，通过动态构建的知识图实现无限长度的视频理解，在多视频上下文中保持语义一致性，同时通过自适应多模态融合机制优化检索效率。

?高效的超长上下文视频处理

利用单个 NVIDIA RTX 3090 GPU (24G) 来理解数百小时的视频内容

?️结构化视频知识索引

多模态知识索引框架将数百小时的视频提炼成简洁、结构化的知识图谱

?多模式检索，提供全面响应

多模态检索范式将文本语义和视觉内容结合起来，以识别最相关的视频，从而获得全面的响应

?新设立的 LongerVideos 基准

新建立的 LongerVideos 基准涵盖了 160 多个视频，总计 134 多个小时，涵盖讲座、纪录片和娱乐 

通过在提出的LongerVideos基准测试（涵盖讲座、纪录片和娱乐等类别，包含160多个视频，总时长超过134小时）上的全面实证评估，VideoRAG相较于现有的RAG替代方案（NaiveRAG、GraphRAG-l、GraphRAG-g、LightRAG ）和长视频理解方法展现出显著的性能优势。

https://arxiv.org/pdf/2502.01549VideoRAG: Retrieval-Augmented Generation with Extreme Long-Context Videoshttps://github.com/HKUDS/VideoRAG

推荐阅读

• 动手设计AI Agents：Coze版（编排、记忆、插件、workflow、协作）

• DeepSeek R1 + Agent 的下半场

• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！

• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）

---

欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。

阅读原文

跳转微信打开