PaperAgent 2024年07月02日
Jina又开源:用于Agentic RAG的Jina Reranker v2,支持多语言、函数调用和代码搜索!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Jina Reranker v2是Agentic RAG的一流重新排序器,具有多种强大功能,已在huggingface开源。

🧐Jina Reranker v2具有跨语言检索能力,能在100多种语言中提供更相关的搜索结果,性能超越bge-reranker-v2-m3。

💻它为Agentic RAG提供先进的函数调用和文本到SQL重排,在代码检索任务上表现最佳。

🚀文档吞吐量方面,是bge-reranker-v2-m3的15倍,是jina-reranker-v1-base-en的6倍,还支持结构化数据查询。

2024-06-27 00:01 湖北

Jina Reranker v2来了!Agentic RAG一流的重新排序器。具有100多种语言的跨语言检索、函数调用、表格与代码搜索和极速响应,已在huggingface开源:

Jina Reranker v2的多语言

用户在Reranker v1上最常请求的功能之一是多语言支持:允许以任何语言检索文档,无论查询的语言是什么。在v2中,将此支持扩展到100多种语言

在MKQA数据集上评估了Reranker v2,该数据集包含来自现实世界知识库的 26种语言的问题和答案。该数据集旨在评估问答系统的跨语言性能。

显示了recall@10分数

Jina Reranker v2结构化数据查询

V2的一个有趣功能是它支持结构化数据。它理解在MySQL或MongoDB等数据库中搜索的意图,并根据自然语言查询对最相关的表进行排名。

一个具有代理性的RAG(Retrieval-Augmented Generation,检索增强生成)使用SQL查询检索数据,并将这些数据作为额外的上下文信息提供给大型语言模型(LLM)

使用NSText2SQL数据集基准测试了查询感知能力。从原始数据集的“指令”列中提取用自然语言编写的指令,以及相应的表格schema。

对比不同重排模型将正确的表格架构与自然语言查询进行排名的的Recall@3分数

Jina Reranker v2函数调用(Function Calling)

使用Jina Reranker v2,还可以对函数进行排名。它了解函数调用的意图,并相应地为函数规范分配相关性分数。

展示如何使用Reranker改进函数调用并最终改善Agent AI用户体验

使用ToolBench基准测试评估了该项能力,该基准测试收集了超过16,000个公共API及其相应的合成生成指令。

与其他重排模型相比的结果(使用recall@3指标)

Jina Reranker v2代码检索

Jina Reranker v2不仅在函数调用和结构化数据查询方面进行了训练,而且与类似大小的竞争模型相比,还提高了代码检索能力。使用CodeSearchNet基准测试评估了其代码检索能力。该基准测试是docstring和自然语言格式的查询组合,以及与查询相关的标记代码段。

与其他重排模型的MRR@10对比结果

在整个RAG流程中,除了Reranker,还涉及Embedding、Indexing等等,PaperAgent团队RAG专栏进行过详细的归纳总结:高级RAG之36技(术),可私信留言试看:RAG专栏

https://huggingface.co/jinaai/jina-reranker-v2-base-multilingualhttps://jina.ai/news/jina-reranker-v2-for-agentic-rag-ultra-fast-multilingual-function-calling-and-code-search/?nocache=1

推荐阅读


欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。


Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Jina Reranker v2 跨语言检索 函数调用 代码检索
相关文章