2024-08-30 13:30 湖北
深入探讨了15种高级的检索增强生成（Retrieval-Augmented Generation, RAG）技术，旨在提高生成式人工智能系统在输出质量和整体性能鲁棒性方面的优化。
涉及15种高级RAG技术的整体架构
检索前技术（Pre-Retrieval Techniques）
优化数据索引或知识库中的信息质量和可检索性。
包括提高信息密度、应用分层索引检索、改善检索对称性、使用假设问题索引和数据去重等。
分层索引检索技术
chunking策略
检索技术（Retrieval Techniques）
检索优化技术，目标是在推理时提高搜索性能和检索结果。
包括优化搜索查询、使用假设文档嵌入（HyDE）解决查询-文档不对称问题、实施查询路由或RAG决定者模式等。
HyDE技术
查询路由技术
检索后技术（Post-Retrieval Techniques）
检索后优化，即在检索发生后但在最终响应生成前的策略或技术。
包括使用重新排名模型优化搜索结果的优先级、使用上下文提示压缩优化搜索结果、通过修正性RAG评分和过滤检索文档等。
生成技术（Generation Techniques）
生成优化，关注于生成最终用户响应的LLM调用的改进。
包括调整提示、确定插入生成提示的最佳文档数量、通过思维链提示调出噪声、使用Self-RAG使系统自反性等。
Self-RAG：给定一个输入提示和之前的生成内容，Self-RAG首先确定是否通过检索到的段落来增强持续生成的内容会有所帮助。如果是这样，它会输出一个检索标记，按需调用检索模型。随后，Self-RAG同时处理多个检索到的段落，评估它们的相关性，然后生成相应的任务输出。接着，它生成批判性标记来批评自己的输出，并根据事实准确性和整体质量选择最佳输出。
其他考虑因素（Other Considerations）
包括输入和输出的防护措施、评估RAG系统、降低幻觉率等。
使用手册详情
推荐阅读
• 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
