Talk预告 | 香港大学苏弘锦：BRIGHT - 衡量真实场景下的复杂检索

摘要：他与大家分享的主题是: “BRIGHT - 衡量真实场景下的复杂检索”，届时他将介绍首个需要进行深度推理的文本检索基准BRIGHT。

本期为TechBeat人工智能社区第691期线上Talk。

北京时间6 月12日(周四)20:00，香港大学博士生苏弘锦的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “BRIGHT - 衡量真实场景下的复杂检索”，届时他将介绍首个需要进行深度推理的文本检索基准BRIGHT。

Talk·信息

▼

主题：BRIGHT - 衡量真实场景下的复杂检索

嘉宾：香港大学 · 博士生 - 苏弘锦

时间：北京时间 6月12日(周四)20:00

地点：TechBeat人工智能社区

一键预约TALK！

Talk·介绍

▼

现有的检索基准主要由信息类查询组成（例如，来自搜索引擎的聚合问题），在这些任务中，关键词或语义检索通常已足够。然而，在许多复杂的现实世界查询中，需要深入推理才能识别出相关文档，而不仅仅是表面形式上的匹配。例如，在查找编码问题的相关文档时，需要理解所涉及函数的逻辑和语法。

为了更好地评估这类复杂查询下的检索效果，我们推出了 BRIGHT ——这是首个需要进行深度推理的文本检索基准。我们的数据集包含了 1,384 个来自真实世界的查询，涵盖多个领域，如经济学、心理学、数学和编程等。这些查询来自于自然发生并经过精心整理的人类数据。

大量实验表明，即使是当前最先进的检索模型在 BRIGHT 上的表现也并不理想。例如，在 MTEB 榜单上表现最佳的模型 SFR-Embedding-Mistral，在MTEB获得了 59.0 的 nDCG@10 分数，但在 BRIGHT 上仅取得了 18.3 的 nDCG@10 分数。我们进一步展示了，通过在检索过程中引入对查询的显式推理，检索性能最多可提升 12.2 个百分点。

此外，将表现最佳的检索器所返回的文档用于问答系统，也能显著提升问答任务的效果。我们相信，BRIGHT 将为未来在更真实且更具挑战性的场景下研究检索系统提供新的方向。

Talk大纲

1. 检索基准的现状

2. BRIGHT的区别与必要性

3. 数据搜集办法

4. 测试结果

5. 实验分析

Talk·预习资料

▼

论文链接：

项目主页：

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

苏弘锦

香港大学 · 博士生

苏弘锦是香港大学自然语言处理组的三年级博士生，师从余涛教授，自 2022 年起专注于自然语言处理领域的研究。他的研究方向涵盖智能体数据合成、生成模型优化及推理能力评估，曾参与提出 "Learn-by-interact" 框架，通过自主交互生成高质量训练数据，为多模态智能体研究奠定基础。此外，他在指令调优（Generative Representational Instruction Tuning）和推理基准（如 BRIGHT）方面取得重要成果，相关工作发表于 ICLR 等顶级会议。其学术影响力显著，Google Scholar 引用次数已超 1000 次

个人主页:

https://www.techbeat.net/grzytrkj?id=45022

-The End-