原创 PaperAgent 2024-12-23 10:33 湖北
2024即将结束，回望这两年了，大模型RAG的发展可谓跌宕起伏：
2023年进入RAG萌芽期，摸索前进；
2024上半年RAG到达狂热顶点；
2024下半年实际落地情况并不理想，渐入困境：一周出demo，半年不交付。
Hype Cycle（技术成熟度曲线），当前RAG逐渐进入狂热之后的低谷期
展望2025年：RAG回归理性。
找到最小业务切入点，明确需求，定好指标
做好RAG落地标杆，毕竟谁都不愿意当小白鼠
仍然关注新技术 
o3都发了，GPT5不远了
这两年，大模型RAG技术侧也经历了快速发展：
2023年RAG模块迭代：朴素RAG->高级RAG->模块化RAG
2024年RAG框架演化：RAG-> MM-RAG/GraphRAG->Agentic RAG
7种大模型RAG技术架构
Naive RAG框架
直接从文档中检索块（Chunks），然后使用查询（Query）通过向量数据库进行检索。结合检索到的上下文（Retrieved context）和查询，通过生成模型（如LLM）生成响应。
Retrieve-and-rerank框架
高级RAG技术可以在流程的各个阶段部署。像元数据过滤和文本块分割这样的预检索策略，来提高检索效率和相关性。采用更先进的检索技术，如结合相似性搜索和关键词搜索优势的混合搜索。最后，使用排名模型重新对检索结果进行排序，并使用在特定领域数据上微调的生成性LLM，有助于提高生成结果的质量。
MM-RAG框架 （多模态RAG）
当前的RAG系统仅基于文本，这使得无法利用在现实世界多模态文档中扮演关键角色的视觉信息，如布局和图像。
MM-RAG框架通过直接将文档图像嵌入到VLM中来检索和生成信息，从而绕过了传统的文本解析阶段。
Graph RAG框架
GraphRAG的优势在于可以回答涉及整个外部知识库的问题并得出结论，最大的问题在于：难落地。
Hybrid RAG框架
结合了多种检索技术，可能包括文本检索和图检索，以提高检索的准确性和效率。
GraphRAG与VectorRAG我都选：HybridRAG
Agentic RAG框架
AI Agent是可以解释信息、制定计划和做出决策的自主系统。当添加到RAG流程中时，Agent可以重新制定用户查询，Agentic RAG还可以处理需要多步骤推理的更复杂查询。
Multi-Agent RAG框架
单智能体系统也有其局限性，因为它仅限于一个Agent进行推理、检索和答案生成。因此，将多个智能体链入Multi-Agent RAG应用是有益的。
Vanilla RAG: https://weaviate.io/blog/introduction-to-ragAdvanced RAG: https://weaviate.io/blog/advanced-ragMultimodal RAG: https://weaviate.io/blog/multimodal-ragAgentic RAG:https://weaviate.io/blog/what-is-agentic-rag
推荐阅读
• 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
