摘要：这项由Oracle AI团队的Hansa Meghwani、Amit Agarwal、Priyaranjan Pattnayak、Hitesh Laxmichand Patel和Srikant Panda共同完成的研究，已被ACL 2025会议接收。该研究致力

想象一下，你正在搜索"如何在云基础设施上部署MySQL数据库"这样的专业问题。传统搜索系统可能会返回大量关于各种数据库部署的文档，却无法准确区分哪些是真正与你的问题相关的信息。这就像你去图书馆寻找一本特定的烹饪书，但图书管理员给你带来了一堆烹饪相关的书籍，你必须自己一本本翻阅才能找到真正需要的那一本。

这正是Oracle AI团队试图解决的问题。他们开发了一种称为"硬负样本挖掘"的技术框架，就像是训练图书管理员区分非常相似但实际上不同的书籍。这项技术显著提升了企业搜索系统的准确性，特别是在处理那些充满专业术语和相互重叠概念的领域时。

一、为什么企业搜索需要革新？

企业搜索系统与我们日常使用的搜索引擎有很大不同。当我们在Google上搜索"苹果派食谱"时，几乎任何相关的食谱都可能满足我们的需求。但在企业环境中，尤其是在云计算、金融或医疗等专业领域，用户需要的往往是高度精确的信息。

想象一位工程师正在寻找"如何在Oracle云上配置虚拟云网络(VCN)"的具体指南。传统搜索系统可能会返回一大堆包含"虚拟"、"云"和"网络"这些词的文档，包括关于虚拟网络接口卡(VNIC)的文档、其他云平台的网络配置指南，甚至是完全不相关的网络故障排除文档。这位工程师可能需要花费大量时间筛选这些结果，才能找到真正需要的信息。

传统检索技术如BM25（一种基于词频的搜索算法）主要依靠词汇匹配，无法理解语义层面的差异。就像一个只认识字但不理解意思的助手，它可以找到包含特定关键词的文档，但无法判断这些文档的实际相关性。

近年来，基于BERT等预训练语言模型的密集检索方法在一定程度上缓解了这个问题。这些方法可以捕捉语义相关性，就像一个理解问题本质的助手。然而，这些模型的性能很大程度上依赖于它们训练时使用的"负样本"——那些看似相关但实际上不符合用户需求的文档。

Oracle AI团队的创新之处在于开发了一种专门为企业数据定制的硬负样本挖掘框架，能够动态选择那些语义上具有挑战性但与用户查询上下文无关的文档，从而增强搜索系统的性能。

二、什么是"硬负样本"？为什么它们如此重要？

要理解硬负样本的概念，可以想象你在训练一个水果分类员。如果你只给他看苹果和香蕉的图片，他很容易学会区分这两种水果。但如果你想让他能够准确区分苹果和梨，你就需要给他同时展示这两种相似水果的图片，让他学习它们之间细微的差别。

在搜索系统中，"硬负样本"就是那些与用户查询在表面上非常相似，但实际上并不能满足用户需求的文档。例如，对于查询"如何在云基础设施上部署MySQL数据库"，一个好的硬负样本可能是关于"如何在本地服务器上部署MySQL数据库"的文档。这两个主题非常相似（都关于MySQL部署），但一个是云部署，一个是本地部署，上下文完全不同。

传统的负样本选择方法存在两个主要问题：一是随机选择的负样本可能与查询相差太远，无法提供有意义的对比学习；二是基于BM25等静态方法选择的负样本可能只关注词汇匹配而忽略语义理解。而动态方法如ANCE和STAR虽然更先进，但计算成本高昂，限制了它们在企业环境中的实际应用。

Oracle AI团队提出的方法巧妙地解决了这些问题。他们的框架整合了多种嵌入模型，执行降维处理，并通过独特的选择标准识别高质量的硬负样本，既确保了计算效率，又保证了语义精度。

三、Oracle AI团队的创新方法

Oracle AI团队开发的硬负样本挖掘框架就像是一个精明的图书分类专家，能够在众多相似的书籍中识别出那些看似相关但实际上不符合读者需求的书籍。这个框架由几个关键部分组成，每一部分都有其独特的功能。

首先，团队使用了六种不同的嵌入模型来捕捉查询和文档的语义特征。这就像同时从六个不同角度拍摄同一个物体的照片，能够获得更全面的信息。这些模型包括多语言支持的模型，以及专门针对不同长度文本优化的模型。通过组合这些不同模型的输出，系统能够捕捉到更丰富的语义信息。

接下来，为了解决高维嵌入向量带来的计算负担，研究团队应用了主成分分析（PCA）降维技术。这就像是将一幅复杂的画作简化为其最重要的特征，既保留了关键信息，又减轻了处理负担。他们的实验表明，保留95%的原始方差是最佳选择，能够在保持语义完整性和提高计算效率之间取得良好平衡。

最核心的创新是他们提出的两个语义选择标准。第一个标准确保候选负样本文档与查询的语义距离小于查询与正样本文档之间的距离；第二个标准确保查询与候选负样本的距离小于正样本与负样本之间的距离。这两个标准共同确保了选出的硬负样本既在语义上接近查询（使其具有挑战性），又与正样本有足够的区别（避免选到近似重复或假负样本）。

举个例子，如果用户查询"Oracle云上的MySQL部署"，正样本是一篇关于这个主题的指南，那么好的硬负样本可能是"本地服务器上的MySQL部署"指南。这个文档与查询在主题上非常接近（都关于MySQL部署），但上下文完全不同（云vs本地），因此是一个理想的硬负样本。

整个框架的流程非常清晰：首先为查询、正样本文档和语料库中的所有文档生成多模型嵌入；然后通过PCA降维减轻计算负担；最后应用两个语义选择标准识别高质量的硬负样本。这些硬负样本随后被用于训练重排序模型，显著提升了检索系统的性能。

四、实验结果：硬负样本挖掘的显著成效

Oracle AI团队在多个数据集上进行了全面测试，结果令人印象深刻。在他们的专有企业数据集（云服务领域）上，使用硬负样本训练的重排序模型在MRR@3指标上提升了15%，在MRR@10指标上提升了19%，相比基线模型和其他负样本技术都有显著改进。

MRR（平均倒数排名）是评估搜索系统性能的重要指标，简单来说，它衡量系统将正确答案排在前几位的能力。MRR@3表示正确答案出现在前三个结果中的概率，MRR@10则表示出现在前十个结果中的概率。这些指标越高，表示用户越容易找到他们真正需要的信息。

为了证明方法的普遍适用性，研究团队还在三个公开的领域特定数据集上进行了验证：FiQA（金融领域）、Climate Fever（气候科学领域）和TechQA（技术领域）。在所有这些数据集上，他们的方法都取得了一致的性能提升，证明了该框架在不同专业领域的适用性。

研究团队还对比了多种负样本选择方法，包括随机选择、BM25、批内负样本、STAR和ADORE+STAR。结果显示，他们提出的硬负样本挖掘方法在所有对比中都表现最佳。这就像在一场分类比赛中，他们的方法能够更准确地识别出那些最具挑战性但也最有价值的训练样本。

此外，团队还评估了方法在短文档和长文档上的表现差异。短文档（少于1024个标记）获得了更显著的性能提升，MRR@3从0.481提升到0.61。而长文档的提升虽然也很可观（MRR@3从0.423提升到0.475），但幅度相对较小。这主要是因为长文档中的语义冗余和截断问题，为未来研究提供了新的方向。

五、案例研究：硬负样本挖掘的实际应用

为了更直观地展示他们方法的实际效果，研究团队提供了两个具体案例研究。这些案例生动地说明了硬负样本训练如何帮助系统区分语义相似但上下文不同的文档。

第一个案例涉及技术缩写词的歧义消除。当用户查询"云基础设施中的VCN是什么？"时，系统需要区分"虚拟云网络(VCN)"和"虚拟网络接口卡(VNIC)"这两个相似但完全不同的概念。基线模型因为"虚拟"和"网络"等重叠术语而错误地将关于VNIC的文档排在了前面。而经过硬负样本训练的模型能够正确识别出查询与VCN描述之间的上下文匹配，将正确的文档排在更前面。

第二个案例展示了系统在处理领域特定术语时的能力。对于查询"CI WAF如何处理传入流量？"，基线模型由于"防火墙"和"流量"等术语的词汇重叠，错误地将一般网络防火墙配置文档排在了前面。而经过硬负样本训练的模型能够理解域特定的语义表示，正确识别出关于Web应用防火墙(WAF)在CI中的配置和流量过滤机制的文档。

这些案例研究表明，硬负样本训练使模型能够捕捉细微的语义差异，特别是在处理重叠术语或缩写词时，这在企业环境中尤为重要。

六、对企业应用的深远影响

Oracle AI团队开发的硬负样本挖掘框架不仅是一项学术成果，更对企业实际应用有着深远影响。在知识管理、客户支持和检索增强生成（RAG）等关键企业流程中，精确检索域特定信息至关重要。

以客户支持为例，当客户询问"如何配置云数据库的备份策略"时，准确检索相关文档可以显著减少解决问题的时间，提高客户满意度。使用硬负样本训练的检索系统能够更准确地区分表面上相似但实际上不同的主题，如云数据库备份与本地数据库备份，从而提供更精准的帮助。

在检索增强生成（RAG）应用中，检索质量直接影响生成内容的准确性和连贯性。当大型语言模型基于检索到的文档生成回复时，如果检索系统提供了高质量、真正相关的文档，生成的内容自然会更加准确可靠。

此外，该框架的模块化设计和多样化嵌入整合使其能够适应不同行业（如医疗、金融、制造业）和多语言或跨语言检索任务，进一步扩展了其应用范围。

七、技术细节与实施

对于对技术细节感兴趣的读者，这里简要介绍一下实现这个框架的关键步骤。

首先，系统使用多种嵌入模型（如stella_en_400M_v5、jina-embeddings-v3等）处理查询、正样本文档和语料库中的所有文档，生成丰富的语义表示。这些模型的选择基于多语言支持、嵌入质量、训练数据多样性和上下文长度处理能力等因素。

然后，为了减轻高维嵌入带来的计算负担，系统应用PCA降维，将连接的嵌入投射到较低维度的空间，同时保留95%的原始方差。这在保持语义丰富性的同时，显著提高了计算效率。

核心的硬负样本选择基于两个语义条件：

1. d(Q, D)

2. d(Q, D)

满足这两个条件的文档中，与查询距离最小的被选为主要硬负样本。这些硬负样本随后用于训练重排序模型，通过对比学习提高模型区分相似文档的能力。

八、未来发展方向与局限性

尽管Oracle AI团队的方法取得了显著成果，但研究团队也坦诚指出了一些局限性和未来可能的改进方向。

首先，短文档和长文档之间的性能差异表明，处理长文档仍然是一个挑战。长文档中的语义冗余和截断问题需要更有效的文档分块策略和分层表示的发展，以在保持上下文完整性的同时提取关键信息。

其次，当前使用的嵌入连接方法也可以进一步优化。未来的研究可以评估替代的融合技术，如加权平均或基于注意力的机制，可能会提供更精细的语义表示。

此外，将检索框架扩展到支持跨语言和多语言场景也将增强其在全球分布式应用中的实用性。

团队计划在未来的工作中重点关注以下几个方向：一是扩展框架以处理企业知识库的增量更新；二是探索针对不断演变的语料库的实时负样本采样策略；三是开发更有效的长文档处理技术。这些改进将进一步增强框架在实际产业环境中的适应性和鲁棒性。

九、结论：搜索的未来就在眼前

Oracle AI团队的这项研究代表了企业搜索系统的一个重要进步。通过开发一个可扩展、模块化的硬负样本挖掘框架，他们成功地提高了域特定检索的精度，为企业知识管理、客户支持和检索增强生成等应用提供了有力支持。

与传统方法相比，他们的框架在专有企业数据和多个公开领域特定基准测试中都取得了显著的性能提升，证明了其在实际应用中的价值和广泛适用性。

这项研究不仅是对搜索技术的理论贡献，更为企业如何改进信息检索系统提供了实用的解决方案。随着数字信息不断爆炸式增长，能够精确找到真正相关信息的系统将变得越来越重要。硬负样本挖掘这样的技术正是解决这一挑战的关键一步。

对于任何依赖高质量信息检索的企业来说，这项研究都提供了宝贵的见解和可实施的方法。随着这些技术的进一步发展和完善，我们可以期待未来的企业搜索系统将变得更加智能、精确和高效，为用户提供真正符合其需求的信息。

来源：至顶网一点号