阿里开源向量大模型Qwen3-Embedding,向量检索排名第一!

B站影视 韩国电影 2025-06-08 22:23 2

摘要:本文原文来自DataLearnerAI官方博客:向量大模型新选择,阿里开源向量大模型Qwen-Embedding和重排序大模型Qwen-Reranker,开源向量检索能力第一名!完全免费开源。 | 数据学习者官方网站(Datalearner)

本文原文来自DataLearnerAI官方博客:向量大模型新选择,阿里开源向量大模型Qwen-Embedding和重排序大模型Qwen-Reranker,开源向量检索能力第一名!完全免费开源。 | 数据学习者官方网站(Datalearner)

阿里巴巴Qwen团队发布了全新的Qwen3 Embedding系列模型,这是一套基于Qwen3基础模型构建的专用文本向量与重排(Reranking)模型。该系列模型凭借Qwen3强大的多语言理解能力,在多项文本向量与重排任务的Benchmark上达到了SOTA水平,其中8B尺寸的向量模型在MTEB多语言排行榜上排名第一。Qwen3 Reranker模型在多个评测基准上同样大幅超越了现有的主流开源竞品。

Qwen3 Embedding系列是Qwen大模型家族的新成员,专注于解决信息检索(Retrieval)和重排(Reranking)两大核心任务。该系列模型继承了Qwen3基础模型的强大文本理解能力,并通过创新的训练方法,为开发者提供了目前最顶尖的开源向量与重排解决方案。

其核心特点包括:

卓越的通用性与性能Qwen3 Embedding系列在广泛的下游应用评测中均表现出SOTA性能。其向量模型在处理多种任务时效果非常强大,其中 Qwen3-Embedding-8B 模型在2025年6月5日以70.58分的成绩登顶 MTEB多语言排行榜榜首。配套的Reranker模型则在文本检索场景中表现突出,能显著提升搜索结果的相关性。全面的灵活性该系列为向量和重排模型均提供了从 0.6B到8B 的多种尺寸,以满足不同场景下对效率和效果的平衡需求。开发者可以无缝地组合使用这两个模块。此外,向量模型支持MRL(Matryoshka Representation Learning),允许用户自定义输出向量的维度;同时,向量和重排模型均支持指令感知(Instruction Aware),可通过自定义指令来增强在特定任务、语言或场景下的表现。强大的多语言能力Qwen3 Embedding系列支持超过100种语言,包括多种编程语言,提供了强大的多语言、跨语言和代码检索能力,使其成为构建全球化或代码相关应用的理想选择。创新的训练框架与架构模型架构上,向量模型采用了双编码器(dual-encoder)结构,而重排模型采用了交叉编码器(cross-encoder)结构。训练上,团队沿用了GTE-Qwen系列的多阶段训练范式,并做出关键创新:在弱监督训练阶段,利用Qwen3基础模型的文本生成能力,动态生成了大量适配不同任务类型的弱监督数据对,有效解决了传统方法在数据收集中面临的瓶颈。

这里的0.6B即6亿参数的模型值得大家注意。0.6B的轻量化模型为资源受限或对推理速度有极高要求的场景(如端侧部署)提供了高效的解决方案,极大地降低了先进向量模型的使用门槛。意味着手机也可以使用,而4B也在很多PC的显卡上可以使用。

此外,向量模型支持MRL(Matryoshka Representation Learning)技术,允许用户在不重新编码的情况下,根据需求(如存储成本、检索速度)灵活截取不同维度的向量,实现了效率与效果的动态平衡。

评测集Qwen3-Embedding -8BQwen3-Embedding -4BQwen3-Embedding -0.6BGemini EmbeddingCohere-embed-multilingual-v3.0text-embedding -3-largemultilingual-e5-large-instructgte-Qwen2-7B-instructMMTEB70.5869.4564.3368.3761.1258.9363.2262.51MTEB (en v2)75.2274.6070.7073.3066.0166.4365.5370.72MTEB-Code80.6880.0675.4174.6651.9458.9565.0056.41

同样的,重排序模型也是业界第一:

ModelParamMTEB-RCMTEB-RMMTEB-RMLDRMTEB-CodeFollowIRJina-multilingual-reranker-v2-base0.3B58.2263.3763.7339.6658.98-0.68gte-multilingual-reranker-base0.3B59.5174.0859.4466.3354.18-1.64BGE-reranker-v2-m30.6B57.0372.1658.3659.5141.38-0.01Qwen3-Reranker-0.6B0.6B65.8071.3166.3667.2873.425.41Qwen3-Reranker-4B4B69.7675.9472.7469.9781.2014.84Qwen3-Reranker-8B8B69.0277.4572.9470.1981.228.05

从数据中可以清晰地看到:

全面领先:Qwen3 Embedding以及Reranker模型(0.6B, 4B, 8B)在所有测试项上均显著优于Jina、gte和BGE等竞品。性能飞跃:在多语言检索基准 MMTEB-R 上,Qwen3-Reranker-4B得分高达 72.74,相较于BGE-reranker-v2-m3的58.36分,提升巨大。在代码检索基准 MTEB-Code 上,4B和8B版本得分更是超过了 81.0,几乎是BGE模型的两倍。高效选择Qwen3-Reranker-4B 模型在多个基准上表现甚至优于8B版本(如FollowIR),为开发者提供了一个性能与效率俱佳的强大选项。

目前,Qwen3 Embedding系列模型已经完全开源,并遵循 Apache 2.0 许可证。这意味着Qwen3的向量模型和重排序模型可以完全免费商用,没有任何限制。

Qwen3 Embedding系列的发布,无疑为开源社区带来了目前最强大的文本向量和重排工具。它不仅在多项关键Benchmark上树立了新的SOTA标准,还通过提供多种模型尺寸、自定义向量维度和指令感知等功能,赋予了开发者前所未有的灵活性。对于正在构建或希望优化AI驱动的搜索、问答及其他信息检索系统的开发者而言,Qwen3 Embedding系列是一个不容错过的选择。

来源:数据学习DataLearner

相关推荐