MiniRAG:一个极致简洁、高效的新型RAG系统

2025-01-14 11:42 湖北

MiniRAG一个极简的开源RAG框架，通过异质图索引和轻量级的拓扑增强检索，让小模型也能取得很好的RAG效果。

对高效且轻量级的RAG系统需求日益增长，但RAG框架中部署小型语言模型（SLMs）在语义理解和文本处理上存在局限，阻碍了广泛应用。

与 LLMs 相比，SLMs 在索引和回答阶段都显示出显著的局限性。左侧：SLMs生成的描述质量明显低于LLMs。右侧：SLMs难以在大篇幅的上下文中找到相关信息，而LLMs则能有效地完成这项任务。

为此，香港大学提出并开源了MiniRAG，这是一种专为极简和高效而设计的新型RAG系统。

MiniRAG架构解决了设备端 RAG 系统面临的独特挑战,在效率和效果之间实现了优化

MiniRAG引入了两项关键技术创新：（1）一种语义感知的异构图索引机制，将文本块和命名实体结合在一个统一结构中，减少了对复杂语义理解的依赖；（2）一种轻量级的拓扑增强检索方法，利用图结构实现高效的知识发现，而无需高级语言能力。

语义感知的异构图索引机制

构建过程：

文本预处理：对文本进行分句和分词处理。

实体识别：利用预训练的命名实体识别（NER）模型识别文本中的命名实体。

图构建：将文本片段和命名实体作为节点，根据共现关系构建边，形成异构图。节点包含文本特征和实体特征，边表示节点间的语义关联。

优势：

通过将文本片段和命名实体整合到图结构中，能够更有效地捕捉文本的语义信息，减少对复杂语义理解的依赖，同时降低了索引的复杂度。

轻量级的拓扑增强检索

检索过程：

查询嵌入：将查询文本嵌入到与图节点相同的特征空间中。

图匹配：通过计算查询嵌入与图节点的相似度，找到与查询最相关的节点。利用图的拓扑结构，考虑节点间的连接关系，进一步优化检索结果。

结果生成：根据检索到的节点生成回答，可以是节点对应的文本片段，也可以是通过图结构关联的多个节点组合生成的更完整的回答。

优势：

利用图结构的拓扑信息，能够更高效地发现与查询相关的信息，即使在SLMs语义理解能力有限的情况下，也能通过图结构的关联关系找到有价值的答案，提高了检索的准确性和效率。

大量实验表明，MiniRAG在使用SLMs时，性能与基于LLM的方法相当，同时仅需25%的存储空间。此外，还贡献了一个全面的基准数据集LiHua-World，用于评估轻量级RAG系统在现实设备场景下处理复杂查询的能力。

使用准确率（acc）和错误率（err）进行性能评估，以百分比（%）表示。较高的准确率和较低的错误率表明RAG性能更好。结果比较了MiniRAG与各种基线方法在多个数据集上的表现。粗体值表示最佳性能，而“/”表示方法未能生成有效回答的情况。

案例研究比较了LightRAG和MiniRAG在复杂餐厅识别查询上的表现，展示了如何通过查询引导的推理路径发现有效解决小型语言模型（SLM）在多约束信息检索任务中的局限性。

LiHuaWorld模拟了一个数字化互联的世界，在这个世界中，人工智能代理通过移动聊天应用程序进行交流。通过我们的主要角色李华的视角，我们观察并收集了这个虚拟社会生态系统中真实的聊天互动。

https://arxiv.org/pdf/2501.06713MINIRAG: TOWARDS EXTREMELY SIMPLE RETRIEVAL-AUGMENTED GENERATIONhttps://github.com/HKUDS/MiniRAG/tree/main

Fish AI Reader