2025-02-28 23:53 湖北
超越RAPTOR、GraphRAG、LightRAG、HippoRAG,特别是在关联记忆任务上表现突出。
为解决现有检索增强生成(RAG)系统在模拟人类长期记忆的动态和关联性方面的局限性,一种新型框架HippoRAG 2提出并将开源~
在三个关键维度上评估持续学习能力:事实记忆、感知构建和关联性。HippoRAG 2在所有基准类别中均超越了其他方法(RAPTOR、GraphRAG、LightRAG、HippoRAG),使其更接近真正的长期记忆系统。
HippoRAG 2框架的核心思想:HippoRAG 2基于HippoRAG的个性化PageRank算法,通过深度段落整合和更有效的在线LLM使用,推动RAG系统更接近人类长期记忆的效果。
离线索引:
使用LLM从段落中提取三元组,并将其整合到开放知识图谱(KG)中。
通过嵌入模型检测同义词,并在KG中添加同义词边。
将原始段落与KG结合,形成包含概念和上下文信息的开放KG。
在线检索:
使用嵌入模型将查询与KG中的三元组和段落链接,确定图搜索的种子节点。
通过LLM过滤检索到的三元组,保留相关三元组。
应用个性化PageRank算法进行上下文感知检索,最终为下游问答任务提供最相关的段落。
基线方法:包括经典检索器(BM25、Contriever、GTR)、大型嵌入模型(GTE-Qwen2-7B-Instruct、GritLM-7B、NV-Embed-v2)和结构增强RAG方法(RAPTOR、GraphRAG、LightRAG、HippoRAG)。
评估指标:问答任务使用F1分数,检索任务使用passage recall@5。
性能提升:HippoRAG 2在所有基准类别上均超越其他方法,平均F1分数比标准RAG高出7个百分点,特别是在关联记忆任务上表现突出。
一个HippoRAG 2 pipeline示例
https://github.com/OSU-NLP-Group/HippoRAG
From RAG to Memory: Non-Parametric Continual Learning for Large Language Models
https://arxiv.org/pdf/2502.14802
推荐阅读
• 动手设计AI Agents:Coze版(编排、记忆、插件、workflow、协作)
• RAG全景图:从RAG启蒙到高级RAG之36技,再到终章Agentic RAG!
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解(1.2万字,20+文献,27张图)
欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。