2024-06-27 00:01 湖北
Jina Reranker v2来了!Agentic RAG一流的重新排序器。具有100多种语言的跨语言检索、函数调用、表格与代码搜索和极速响应,已在huggingface开源:
多语言:在100多种语言中提供更相关的搜索结果,性能超过bge-reranker-v2-m3;
Agentic:为Agentic RAG提供最先进的函数调用和文本到SQL重排;
代码检索:在代码检索任务上表现最佳;
极速:文档吞吐量是bge-reranker-v2-m3的15倍,是jina-reranker-v1-base-en的6倍。
Jina Reranker v2的多语言
用户在Reranker v1上最常请求的功能之一是多语言支持:允许以任何语言检索文档,无论查询的语言是什么。在v2中,将此支持扩展到100多种语言!
在MKQA数据集上评估了Reranker v2,该数据集包含来自现实世界知识库的 26种语言的问题和答案。该数据集旨在评估问答系统的跨语言性能。
显示了recall@10分数
Jina Reranker v2结构化数据查询
V2的一个有趣功能是它支持结构化数据。它理解在MySQL或MongoDB等数据库中搜索的意图,并根据自然语言查询对最相关的表进行排名。
一个具有代理性的RAG(Retrieval-Augmented Generation,检索增强生成)使用SQL查询检索数据,并将这些数据作为额外的上下文信息提供给大型语言模型(LLM)
使用NSText2SQL数据集基准测试了查询感知能力。从原始数据集的“指令”列中提取用自然语言编写的指令,以及相应的表格schema。
对比不同重排模型将正确的表格架构与自然语言查询进行排名的的Recall@3分数
Jina Reranker v2函数调用(Function Calling)
使用Jina Reranker v2,还可以对函数进行排名。它了解函数调用的意图,并相应地为函数规范分配相关性分数。
展示如何使用Reranker改进函数调用并最终改善Agent AI用户体验
使用ToolBench基准测试评估了该项能力,该基准测试收集了超过16,000个公共API及其相应的合成生成指令。
与其他重排模型相比的结果(使用recall@3指标)
Jina Reranker v2代码检索
Jina Reranker v2不仅在函数调用和结构化数据查询方面进行了训练,而且与类似大小的竞争模型相比,还提高了代码检索能力。使用CodeSearchNet基准测试评估了其代码检索能力。该基准测试是docstring和自然语言格式的查询组合,以及与查询相关的标记代码段。
与其他重排模型的MRR@10对比结果
在整个RAG流程中,除了Reranker,还涉及Embedding、Indexing等等,PaperAgent团队RAG专栏进行过详细的归纳总结:高级RAG之36技(术),可私信留言试看:RAG专栏。
https://huggingface.co/jinaai/jina-reranker-v2-base-multilingual
https://jina.ai/news/jina-reranker-v2-for-agentic-rag-ultra-fast-multilingual-function-calling-and-code-search/?nocache=1
推荐阅读
• 对齐LLM偏好的直接偏好优化方法:DPO、IPO、KTO
• RAG全景图:从RAG启蒙到高级RAG之36技,再到终章Agentic RAG!
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解(1.2万字,20+文献,27张图)
欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。