摘要:截至【2025-3-17】,较好的嵌入模型如图所示(详见技术博客:https://wqw547243068.GitHub.io/emb)。
使用RAG时,需要选择Embedding模型,将文本转为向量。
用什么模型?
Embedding排行榜(MTEB)(https://huggingface.co/spaces/mteb/leaderboard)
总结:榜单靠前的模型基本是NV-Embed、BGE(智源研究院)、GTE(阿里达摩)、Gemini(谷歌)几家
2025年6月6日凌晨,阿里开源 Qwen3 新模型 Embedding 及 Reranker,支持多语言。
Qwen3-Embedding系列模型:
文本嵌入:Qwen3-Embedding,型号有0.6B、4B和8B文本排序:Qwen3-Reranker,型号有0.6B、4B和8B详细参数如下图所示。
特点:
① 泛化性好:Qwen3-Embedding 系列在多个下游任务评估中领先。其中,8B 参数的 Embedding 模型在 MTEB 多语言 Leaderboard 榜单中位列第一(截至 2025 年 6 月 6 日,得分 70.58),超越众多商业 API 服务。此外,排序模型在各类文本检索场景中表现出色,显著提升了搜索结果的相关性。
② 模型架构灵活:Qwen3-Embedding 系列提供从 0.6B 到 8B 多种参数规模,以满足不同场景下的性能与效率需求。
此外,模型支持定制化:
表征维度自定义:允许用户根据实际需求调整表征维度,有效降低应用成本;指令适配优化:支持用户自定义指令模板,以提升特定任务、语言或场景下的性能表现。③ 多语言支持:Qwen3-Embedding 系列支持超过 100 种语言,涵盖主流自然语言及多种编程语言。具备强大的多语言、跨语言及代码检索能力,能够有效应对多语言场景下的数据处理需求。
多项基准测试中,Qwen3-Embedding 系列在文本表征和排序任务中,表现优异。
Qwen3-Embedding 4B和8B效果超过Gemini Embedding(实验组最佳)METB最新排名:
Qwen3-Embedding全家挤占了2-4名第一名还是Gemini,与自家测试结果有些差异Embedding 模型接收单段文本作为输入,取模型最后一层「EOS」标记对应的隐藏状态向量,作为输入文本的语义表示;
Reranker 模型则接收文本对(如用户查询与候选文档)作为输入,利用单塔结构计算并输出两个文本的相关性得分。
(5)附录ModelScope:
Hugging Face:
来源:鹤啸九天blog