清华大学提出的DO-RAG是一个可扩展且可定制的混合问答框架,旨在提升领域特定问答系统的准确性和一致性。该框架结合多级知识图谱构建与语义向量检索,通过Agentic CoT架构从多模态文档中提取结构化关系,构建动态知识图谱,增强检索精度。DO-RAG在检索结果融合和基于事实的细化步骤上进行了优化,有效减少幻觉。实验结果表明,DO-RAG在SunDB和电气领域数据集上表现出色,显著提高了上下文召回率和回答相关性,并支持即插即用模块化,方便扩展到新领域。
💡 **多级知识图谱构建:** DO-RAG通过分层代理提取管道处理文本、表格、代码片段和图像,自动构建和更新知识图谱,从而捕捉实体、关系和属性,为后续的问答提供了结构化的知识基础。
🔍 **混合检索融合:** 在查询时,DO-RAG将基于图的遍历与语义搜索相结合,确保所有相关且结构化的信息都能为LLM的提示提供信息,从而提高检索的全面性和准确性。
✅ **基于事实的幻觉缓解:** DO-RAG引入后生成细化步骤,将初始LLM输出与知识图谱进行交叉验证,并迭代纠正不一致性,显著减少事实错误,提升了答案的真实性。
📊 **卓越的性能表现:** DO-RAG在SunDB和电气领域数据集上实现了接近完美的上下文召回率(接近1.0)和超过94%的回答相关性,比现有RAG平台的性能提高了高达33.38%,展现了其强大的实用性。
⚙️ **即插即用模块化:** DO-RAG框架支持多种LLMs和检索模块,允许无缝组件交换和扩展到新领域而无需重新训练,这使得DO-RAG在实际应用中具有很高的灵活性和可扩展性。
2025-06-21 15:18 湖北

领域特定的问答系统不仅需要具备生成流畅性,还需要基于结构化专家知识的高事实准确性。尽管最近的检索增强生成(RAG)框架提高了上下文回忆能力,但在整合异构数据和保持推理一致性方面仍面临挑战。
为此,清华提出了DO-RAG,一个可扩展且可定制的混合问答框架,它将多级知识图谱构建与语义向量检索相结合。采用了一种新颖的Agentic CoT架构,从非结构化的多模态文档中提取结构化关系,构建动态知识图谱以增强检索精度。并在查询时将图检索和向量检索结果融合,生成上下文感知的回答,并通过基于事实的细化步骤减少幻觉。



基于事实的幻觉缓解:引入后生成细化步骤,将初始LLM输出与知识图谱进行交叉验证,并迭代纠正不一致性,显著减少事实错误。
即插即用模块化:框架支持多种LLMs和检索模块,允许无缝组件交换和扩展到新领域而无需重新训练。
关键结论性能表现:DO-RAG在SunDB和电气领域数据集上实现了接近完美的上下文召回率(接近1.0)和超过94%的回答相关性,比现有RAG平台的性能提高了高达33.38%。
知识图谱的影响:知识图谱的集成显著提高了上下文召回率和精确度,尤其是在DeepSeek-V3模型中,回答相关性提高了5.7%,上下文精确度提高了2.6%。
模型性能差异:不同语言模型在数据库和电气领域表现出不同的优势,例如GPT-4o在电气领域表现出较高的忠实度和上下文精确度。


尽管DO-RAG在减少幻觉方面取得了进展,但某些语言模型(如DeepSeek-R1)仍然可能引入幻觉。未来的工作将集中在通过更严格的提示工程来增强幻觉缓解,扩大数据集以包括更多样化的查询,并探索分布式处理和自适应缓存机制以提高可扩展性和降低延迟。
https://arxiv.org/pdf/2505.17058v1
DO-RAG: A Domain-Specific QA Framework Using Knowledge Graph-Enhanced Retrieval-Augmented Generation
欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。