2024-10-31 11:02 湖北
AutoRAG支持：40种检索、排序、生成模块；16种解析模块、10种切块模块；15种评价指标
AutoRAG：RAG AutoML工具可自动为你的数据找到最佳RAG Pipeline。
市面上有许多RAG Pipeline和模块，但不知道哪种Pipeline最适合“你自己的数据”和“你自己的用例”。制作和评估所有 RAG 模块非常耗时且难以完成。
AutoRAG 支持一种简单的方法来评估许多RAG模块组合。可以使用自己的评估数据自动评估各种 RAG 模块，并找到最适合自己用例的 RAG Pipeline。
AutoRAG支持的RAG技术栈
支持16种解析模块、10种切块模块
解析模块：PDFMiner，PDFPlumber，PyPDFium2，PyPDF，PyMuPDF，UnstructuredPDF，NaverClovaOCR，llama Parse，Upstage Document Parser，Directory，Unstructured，csv，json，unstructuredmarkdown，bshtml，unstructuredxml切块模块：Token，SentenceTransformersToken，Character，RecursiveCharacter，Sentence，Konlpy ，Semantic_llama_index，SemanticDoubleMerging，SentenceWindow，SimpleFile
支持40种检索、排序、生成模块
重排：UPR，Tart，MonoT5，Cohere reranker，RankGPT，Jina Reranker，Sentence Transformer Reranker，Colbert Reranker，Flag Embedding Reranker，Flag Embedding LLM Reranker，Time Reranker，OpenVINO Reranker，VoyageAI Reranker，MixedBread AI Reranker，，，Ko-reranker，，，pass_rerankerQuery理解：query_decompose，hyde，multi_query_expansion，pass_query_expansion检索：bm25，vectordb，hybrid_rrf，hybrid_cc
支持15种评价指标
Precision，Recall，F1，MRR (Mean Reciprocal Rank)，MAP (Mean Average Precision)，NDCG (Normalized Discounted Cumulative Gain)，Token Precision，Token Recall，Token F1，BLEU，ROUGE，METEOR，Sem Score，G-Eval，Bert Score数据创建
RAG优化需要两种类型的数据：QA 数据集和 Corpus 数据集。
QA数据集文件 (qa.parquet)
语料库数据集文件（corpus.parquet）
QA数据集对于准确可靠的评估和优化非常重要。
语料库数据集对于 RAG 的性能至关重要。这是因为 RAG 使用语料库来检索文档并使用它生成答案。
RAG优化步骤
AutoRAG 如何优化 RAG 管道？
Set YAML File ->Run Evaluation -> ing -> Evaluation Done -> Best RAG Pipeline -> Deploy
https://github.com/Marker-Inc-Korea/AutoRAGhttps://arxiv.org/pdf/2410.20878AutoRAG: Automated Framework for optimization of Retrieval Augmented Generation Pipeline
推荐阅读
• 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
