PaperAgent 06月12日 11:18
阿里Qwen3一口气开源多个向量&排序模型,冲!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

阿里巴巴正式开源了Qwen3-Embedding和Qwen3-Reranker系列模型,旨在提升多语言文本嵌入和相关性排序的性能。该系列模型支持119种语言,提供0.6B/4B/8B三种版本,并在多个标准数据集上展现出先进水平。这些模型可广泛应用于文档检索、检索增强生成、分类、情感分析、代码搜索等场景。Qwen3-Embedding系列的技术基于Qwen3基础模型,采用双塔结构和单塔结构,通过LoRA微调增强文本理解能力。训练过程包括多阶段训练,尤其是针对嵌入模型,创新地引入了多任务适应性提示系统,动态生成弱监督文本对。

💡 Qwen3-Embedding和Qwen3-Reranker系列模型提供了0.6B/4B/8B三种尺寸选择,满足不同应用场景的需求。

🌐 模型支持119种语言,在MMTEB、MTEB和MTEB-Code等数据集上表现出色,展现了其强大的多语言处理能力。

🛠️ 这些模型可应用于文档检索、检索增强生成(RAG)、分类、情感分析、代码搜索等多种应用场景,具有广泛的实用性。

⚙️ Qwen3-Embedding模型基于Qwen3基础模型,采用双塔结构,通过LoRA微调增强文本理解能力,并利用[EOS]标记提取语义表示。

🧠 嵌入模型的训练采用了多阶段训练范式,包括弱监督对比预训练、高质量标注数据监督训练和模型整合策略,以提升整体性能。

2025-06-06 17:42 湖北

今天,阿里正式开源了Qwen3-Embedding和Qwen3-Reranker系列——为多语言文本嵌入和相关性排序树立了新的标杆!

✨ 亮点: 

🔍 赋能多种应用场景:

模型已经开源在Hugging Face和ModelScop,提供多种尺寸选择:

另外,Qwen3-Embedding的技术报告也公开了:

基于Qwen3基础模型,嵌入模型和重排序模型采用了双塔结构单塔结构。通过LoRA微调,旨在充分保留并增强基础模型的文本理解能力。

Qwen3嵌入系列的训练框架遵循了GTE-Qwen系列所建立的多阶段训练范式。在嵌入模型的训练过程中,实施了三阶段训练结构:

对于重排序模型,基于经验验证结果,直接使用高质量标注数据进行监督训练,显著提高了训练效率。值得注意的是,在嵌入模型的弱监督训练第一阶段,开发了一种创新的多任务适应性提示系统。通过利用Qwen3基础模型的文本生成能力,我们针对不同任务类型和语言动态生成了定制化的弱监督文本对。

Hugging Face:

  Qwen3-Embedding: https://huggingface.co/collections/Qwen/qwen3-embedding-6841b2055b99c44d9a4c371f…

  Qwen3-Reranker: https://huggingface.co/collections/Qwen/qwen3-reranker-6841b22d0192d7ade9cdefea…

ModelScope:

  Qwen3-Embedding: https://modelscope.cn/collections/Qwen3-Embedding-3edc3762d50f48…

  Qwen3-Reranker: https://modelscope.cn/collections/Qwen3-Reranker-6316e71b146c4f…

GitHub : https://github.com/QwenLM/Qwen3-Embedding

Blog : https://qwenlm.github.io/blog/qwen3-embedding/

Paper: https://arxiv.org/pdf/2506.05176

推荐阅读


    欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。

    阅读原文

    跳转微信打开

    Fish AI Reader

    Fish AI Reader

    AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

    FishAI

    FishAI

    鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

    联系邮箱 441953276@qq.com

    相关标签

    Qwen3-Embedding Qwen3-Reranker 多语言模型 文本嵌入 阿里
    相关文章