摘要：这项由中国科学技术大学杜明轩、许本峰、朱驰伟等研究者与北京元石科技合作完成的研究发表于2025年6月，论文题目为《DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents》。感

这项由中国科学技术大学杜明轩、许本峰、朱驰伟等研究者与北京元石科技合作完成的研究发表于2025年6月，论文题目为《DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents》。感兴趣的读者可以通过arXiv:2506.11763v1访问完整论文，相关代码和数据集也已在GitHub开源。

你有没有想过，人工智能能不能像一个勤奋的研究生一样，自己在网上搜索资料，整理信息，最后写出一份像模像样的研究报告？答案是肯定的，而且现在已经有不少这样的AI助手在为人们服务了。但问题是，我们怎么知道这些AI助手的研究能力到底有多强呢？

就像给学生出考试题一样，研究人员需要设计一套标准化的测试来评估这些"深度研究智能体"的真实水平。这就是中科大团队要解决的核心问题。他们开发了一个名为"DeepResearch Bench"的评测基准，专门用来测试AI在进行深度研究方面的能力。

这个研究的重要性就像给汽车设计驾照考试一样关键。如果没有统一的评测标准，我们就无法判断哪款AI研究助手更可靠，也无法推动整个领域的进步。更重要的是，这些AI研究助手正在被越来越多的人使用，从学者到商业分析师，从记者到投资顾问，大家都希望能有一个得力的数字助手来帮忙处理繁重的信息收集和分析工作。

研究团队面临的挑战其实很像给厨师设计一场终极烹饪比赛。首先，比赛题目必须足够真实，要反映真正的研究需求，而不能只是纸上谈兵。其次，评判标准要公平合理，既要看菜品的味道（研究质量），又要看制作过程（信息收集能力），还要考虑呈现效果（报告可读性）。最关键的是，这套评判体系必须得到专业评委（人类专家）的认可。

为了构建这套评测基准，研究团队首先做了一项"市场调研"。他们收集了超过9万6千条真实用户查询记录，通过AI筛选出了4万4千多条真正需要深度研究的问题。这就像餐厅老板统计顾客最常点的菜品一样，要了解人们真正需要什么样的研究服务。

基于这些真实需求，他们最终精心挑选了100个研究任务，覆盖22个不同领域，从科技前沿到商业分析，从社会热点到学术探索。每个任务都经过相关领域博士级专家的精心设计和反复打磨，确保既有挑战性又贴近实际需求。这个过程就像策划一场包含各种菜系的美食节，每道菜都要经过米其林大厨的认证。

一、双重评测框架：既看"做菜过程"又品"最终味道"

评估一个AI研究助手的能力，就像评判一位厨师的水平一样，既要看他做菜的过程，又要品尝最终的成品。研究团队巧妙地设计了两套互补的评测框架，分别对应这两个方面。

第一套框架叫做RACE（Reference-based Adaptive Criteria-driven Evaluation），专门用来评判AI生成的研究报告质量。这就像美食比赛中的"成品评分"环节。传统的评分方法往往过于死板，就像用同一套标准评判川菜和粤菜一样不合理。RACE框架的创新之处在于它能够根据不同的研究任务动态调整评分标准。

RACE框架的工作原理可以用高级餐厅的品鉴过程来类比。首先，系统会根据具体的研究任务确定四个主要评分维度的权重：全面性（是否涵盖了所有重要信息）、深度洞察（分析是否深入透彻）、任务匹配度（是否完全回答了问题）和可读性（表达是否清晰流畅）。就像评判一道菜时，有时更注重口味，有时更看重摆盘，有时则优先考虑营养搭配。

接着，系统会为每个维度生成具体的评分标准。这个过程就像为每种菜系制定专门的评判细则一样精细。比如评估一份关于人工智能发展趋势的报告时，全面性可能要求涵盖技术发展、市场应用、监管政策等多个角度；而评估投资建议报告时，可能更关注数据支撑和风险分析的质量。

最巧妙的是，RACE不会让AI在真空中给自己打分，而是采用"对比评分"的方式。系统会拿一份公认的高质量报告作为参照标准，然后比较待评估报告与参照报告在各个方面的表现。这就像品酒师总是需要一瓶标准酒作为基准来校正自己的味觉判断。通过这种相对评分机制，系统能够更准确地识别不同报告之间的质量差异。

第二套框架叫做FACT（Factual Abundance and Citation Trustworthiness），专门评估AI在信息收集和引用方面的能力。这就像观察厨师选材和处理食材的过程。一个优秀的研究助手不仅要能找到大量相关信息，更重要的是要确保引用的准确性和可靠性。

FACT框架的评估过程就像质检员检查食材来源一样严格。系统首先会从AI生成的报告中提取出所有的"陈述-链接"配对，也就是每一个具体的论断和它对应的信息来源。然后，系统会逐一验证这些引用是否准确：访问原始网页，检查页面内容是否真的支持AI所声称的论断。

这个验证过程可以想象成这样一个场景：如果AI声称"某项研究显示XYZ"，FACT框架就会去查看AI引用的那个网页，看看是否真的包含这样的研究结果。如果网页内容确实支持这个说法，就算一次"有效引用"；如果网页根本没有相关内容，或者内容与AI的表述不符，就被标记为"无效引用"。

通过统计有效引用的数量和比例，FACT框架能够计算出两个关键指标：引用准确率（多少比例的引用是可靠的）和平均有效引用数（每份报告平均包含多少条可验证的有价值信息）。这就像评估一位厨师既看他选择食材的品质，又看他使用食材的丰富程度。

二、人机对决：谁是最强研究助手

研究团队将目前市面上最知名的四个深度研究AI系统放在了同一个擂台上：谷歌的Gemini深度研究助手、OpenAI的深度研究助手、xAI的Grok深度搜索，以及Perplexity的深度研究功能。这场对决就像举办一场"AI厨神争霸赛"，每个参赛者都要完成同样的100道考题。

比赛的结果颇有意思。在报告质量方面，谷歌的Gemini系统表现最为出色，总分达到48.88分（满分100分的相对评分系统），就像一位全面发展的主厨，在各个方面都表现均衡。OpenAI的系统紧随其后，得分46.98分，特别是在"任务匹配度"这个维度上甚至超过了Gemini，说明它在理解和回应用户需求方面有独特优势。

Perplexity的表现也不错，得分42.25分，而Grok稍显逊色，得分40.24分。这个结果并不意外，因为不同的AI系统在设计理念和优化重点上本就存在差异，就像不同风格的厨师各有所长。

在信息收集能力的较量中，结果更加引人深思。Gemini系统在"有效引用数"方面遥遥领先，平均每份报告包含111.21条有效引用，这个数字相当惊人。要知道，一般的学术论文也就几十条参考文献，而Gemini能够在自动化的过程中收集并正确引用超过百条相关信息，展现了强大的信息整合能力。

然而，在引用准确率方面，Perplexity表现最佳，准确率达到90.24%，而Gemini的准确率为81.44%。这种对比就像一位厨师用料丰富但偶尔会放错调料，而另一位厨师用料相对保守但每样都恰到好处。OpenAI的系统在两个指标上都表现中等，平均有效引用数40.79条，准确率77.96%，属于比较均衡的表现。

研究团队还测试了一些传统的搜索增强型AI系统，比如配备搜索功能的Claude、GPT等。这些系统的表现明显不如专门的深度研究助手，就像让普通厨师和专业大厨同台竞技，差距立刻显现出来。其中表现最好的是Claude-3.7-Sonnet，总分40.67分，虽然比不上专业的研究助手，但也展现了不错的潜力。

三、人类专家的认可：AI评分与人类判断高度一致

任何评测系统最终都需要经过"人类专家"这道关卡的检验。研究团队招募了70多位拥有硕士学位和相关领域专业经验的评估者，让他们对50个中文研究任务的结果进行人工评分。这个过程就像邀请资深美食家来验证AI评委的打分是否靠谱。

人工评估的工作量相当庞大。每位专家需要仔细阅读AI生成的研究报告，这些报告往往有几十页的内容，包含大量技术细节和复杂分析。一份报告的完整评估通常需要30到60分钟，整个项目总共消耗了225个小时的人工评估时间。这个数字听起来可能不算大，但考虑到每小时都是高质量的专业判断，其价值不言而喻。

验证结果让人欣慰。RACE框架的评分与人类专家的判断呈现出非常强的相关性，在多个指标上的一致性都超过了70%。特别是在"配对比较准确率"这个指标上，RACE框架与人类专家的判断一致性达到71.33%，甚至超过了人类专家之间的一致性（68.44%）。这就好比AI评委的判断比人类评委之间的判断还要一致。

这个结果有着重要的实际意义。它证明了AI确实可以在一定程度上替代人工评估，这为大规模、持续的系统评测提供了可能。毕竟，招募大量专家进行人工评估不仅成本高昂，而且难以保证评估标准的一致性。有了可靠的自动化评测系统，研究人员就能更快速地迭代改进，推动整个领域的进步。

研究团队还进行了细致的对比实验，测试了不同评估方法的效果。他们发现，简单粗暴的"一刀切"评分方法效果很差，而RACE框架的各个组件都发挥了重要作用。比如，去掉"参照报告对比"这个环节后，评估准确性明显下降；去掉"任务适应性权重"后，评估的针对性也会受损。这进一步证实了整套评估体系设计的科学性。

四、横跨22个领域的全面考验

DeepResearch Bench的100个测试任务覆盖了22个不同领域，这种设计就像举办一场包含各种菜系的国际烹饪大赛。研究团队通过分析9万多条真实用户查询，统计出人们在不同领域的研究需求分布，然后按比例设计测试任务，确保基准测试能够反映真实世界的使用场景。

科技和商业领域占据了最大的比重，这并不令人意外。在信息爆炸的时代，人们最需要AI帮助的往往是追踪技术发展趋势、分析市场动态、评估投资机会等任务。比如，一个典型的科技类任务可能是"分析当前无人机在物流配送领域的应用现状和发展前景"，而商业类任务可能是"评估电动汽车充电基础设施在郊区投资的可行性"。

教育、健康、法律等传统重要领域也有相当的分量。这些领域的研究任务往往更加复杂，需要AI不仅能收集信息，还要能理解专业概念，处理政策法规等结构化信息。比如一个教育领域的任务可能是"分析远程教育对不同年龄段学习效果的影响"，需要AI整合教育心理学、技术应用、实证研究等多方面的信息。

有趣的是，一些相对小众的领域如宗教研究、社会生活等也被纳入测试范围。这种全面性设计确保了评测基准的普适性，毕竟AI研究助手的潜在用户群体非常广泛，不应该只服务于某些特定领域。

从测试结果来看，不同AI系统在各个领域的表现相对稳定，这说明目前的深度研究AI已经具备了一定的通用性。不过，研究团队也发现了一些有趣的规律。比如，在交通运输领域的中文任务上，所有AI系统的表现都低于平均水平，这可能反映了该领域中文信息资源的相对稀缺，或者该类问题的特殊复杂性。

五、技术细节：如何让机器像人类专家一样思考

RACE评估框架的技术实现颇具巧思，整个过程就像训练一位AI评委逐步掌握专业评估技能。首先，系统需要理解每个具体研究任务的特点和要求，这就像评委需要了解比赛规则和评分标准。

权重生成过程采用了"多轮平均"的策略来提高稳定性。系统会针对同一个任务多次生成权重分配方案，然后取平均值作为最终权重。这种做法就像邀请多位专家分别给出意见，然后综合决策，能够有效减少单次判断的偶然性误差。

标准生成环节更加精细化。对于每个评估维度，系统不是简单地使用固定标准，而是根据任务特点动态生成具体的评分细则。比如评估一份关于人工智能伦理的报告时，"全面性"维度可能要求涵盖技术发展、社会影响、监管政策、伦理争议等多个方面；而评估投资分析报告时，可能更关注市场数据、财务指标、风险评估等内容。

参照报告的选择策略也经过精心设计。研究团队使用高性能的Gemini-2.5-Pro系统生成参照报告，这些报告质量较高且风格相对统一，为后续的对比评估提供了可靠的基准。这就像在烹饪比赛中设置一道标准菜品，让评委能够通过对比来判断参赛作品的优劣。

FACT框架的技术挑战主要在于如何准确地提取和验证大量的引用信息。系统首先使用自然语言处理技术从报告中识别所有的陈述性内容，并找到对应的URL链接。然后使用Jina Reader API获取网页内容，再通过AI判断网页内容是否支持相关陈述。

这个过程的准确性至关重要。研究团队通过人工标注验证发现，Gemini-2.5-Flash在这类判断任务上的准确率相当高：对于"支持"类判断的准确率达到96%，对于"不支持"类判断的准确率达到92%。这种高准确率为自动化评估提供了可靠的技术基础。

六、成本效益：让AI评估变得既准又省

开发这套评估系统的一个重要考量是成本控制。毕竟，如果评估成本过高，就很难实现大规模应用。研究团队在设计时充分考虑了性能与成本的平衡，就像设计一套既能保证质量又能控制成本的生产流水线。

在RACE框架中，研究团队测试了多种不同性能的AI模型作为评判者。结果显示，Gemini-2.5-Pro在性能上表现最佳，平均每次评估成本约0.13美元，性价比相当不错。相比之下，最新的GPT-o3模型虽然性能也不错，但成本高达0.37美元，不太适合大规模使用。而GPT-4-mini虽然成本最低（0.04美元），但性能稍有不足。

FACT框架的成本控制更加精妙。由于需要处理大量的网页内容和引用验证，token消耗量相当庞大。研究团队选择了Gemini-2.5-Flash作为判断模型，虽然性能略低于Pro版本，但在引用验证这类相对简单的任务上表现依然出色，而成本却大幅降低。

这种成本控制策略的实际意义很大。按照当前的成本水平，评估一份研究报告的总成本大约在几美分到几角钱之间，这个成本水平使得大规模、持续的系统评测成为可能。相比之下，人工评估的成本至少是AI评估的几十倍，而且还面临一致性和规模化的挑战。

七、现实意义：推动AI研究助手的进步

这项研究的价值远超学术范畴，它为整个AI研究助手行业提供了一个重要的"质量标尺"。就像汽车行业有了统一的安全测试标准后，各家厂商都会努力提升产品质量以在测试中获得好成绩，AI研究助手领域也需要这样的标准化评测体系。

从评测结果可以看出，目前最先进的AI研究助手在信息收集和整合方面已经相当出色，但在准确性方面仍有提升空间。这为未来的技术发展指明了方向：如何在保持信息丰富性的同时提高引用准确率，如何更好地理解复杂的研究需求，如何生成更具洞察力的分析内容等。

对于普通用户而言，这项研究也提供了选择AI研究助手的参考依据。不同的AI系统各有特色：如果你需要收集大量信息进行全面分析，Gemini可能是更好的选择；如果你更看重信息的准确性和可靠性，Perplexity可能更适合；如果你希望AI能更好地理解你的具体需求，OpenAI的系统可能表现更佳。

研究团队将整套评测基准和评估工具开源，这意味着其他研究者和开发者都可以使用这套工具来评估自己的系统，或者在此基础上进一步改进。这种开放式的发展模式有助于整个领域的快速进步，就像开源软件推动了整个软件产业的发展一样。

值得注意的是，这项研究也揭示了当前AI研究助手存在的一些局限性。比如，在处理某些特定领域的中文内容时表现不够理想，在引用准确性方面还有提升空间等。这些发现为未来的技术改进提供了明确的方向。

八、未来展望：更智能的研究伙伴

随着AI技术的快速发展，深度研究助手正在变得越来越强大。但正如这项研究所显示的，我们仍然需要可靠的评估方法来跟踪技术进步，确保AI系统真正服务于人类的研究需求。

未来的AI研究助手可能会在多个方面实现突破。首先是多模态能力的增强，不仅能处理文本信息，还能分析图表、视频等多种类型的内容。其次是推理能力的提升，能够进行更深层次的逻辑分析和创新性思考。再次是个性化适应，能够根据用户的专业背景和偏好调整输出风格和深度。

评估方法本身也需要不断演进。随着AI能力的提升，评测任务的难度和复杂性也需要相应提高。同时，评估维度可能需要扩展，比如加入创新性、逻辑一致性、跨领域整合能力等新的评价标准。

更重要的是，我们需要确保AI研究助手的发展始终以服务人类为根本目标。技术进步不应该是为了炫技，而是要真正帮助人们更高效地获取知识、分析问题、做出决策。这就需要像DeepResearch Bench这样的评测基准来持续监督和引导技术发展的方向。

说到底，AI研究助手的真正价值在于能否成为人类思考的得力伙伴，而不是简单的信息搬运工。当我们面临复杂的研究问题时，优秀的AI助手应该能够像一位博学的同事一样，不仅提供全面准确的信息，还能提出有价值的见解和建议。要实现这个目标，我们还有很长的路要走，但像这样的基础性研究工作为我们指明了前进的方向。

归根结底，这项研究的最大贡献可能不在于具体的技术细节，而在于它为整个领域建立了一套科学、公正、实用的评估标准。有了这样的标准，AI研究助手的开发者们就有了明确的努力方向，用户们也有了选择产品的可靠依据，整个行业的发展也会更加健康有序。对于我们普通人来说，这意味着未来会有更好用、更可靠的AI研究助手来帮助我们应对信息时代的各种挑战。如果你对这个研究的技术细节感兴趣，不妨访问一下他们的开源项目，说不定会有意想不到的收获。

Q&A

Q1：DeepResearch Bench是什么？它能做什么？ A：DeepResearch Bench是中科大团队开发的AI研究助手评测基准，包含100个跨22个领域的研究任务。它的核心功能是测试AI系统能否像人类研究者一样进行信息收集、分析和报告撰写，为不同AI研究助手的能力提供客观的评分和排名。

Q2：目前哪个AI研究助手表现最好？ A：从测试结果看，谷歌的Gemini深度研究助手综合表现最佳，特别是在信息收集方面能平均引用111条有效信息。OpenAI的系统在理解用户需求方面更强，而Perplexity在引用准确性方面表现最好，准确率达90.24%。不同系统各有特色，适合不同的使用需求。

Q3：这个评测系统准确吗？会不会比人工评估差？ A：研究团队通过225小时的人工验证发现，他们的RACE评估框架与人类专家判断的一致性达71.33%，甚至超过了人类专家之间的一致性（68.44%）。这说明AI评估在保证准确性的同时，还能提供更一致的评判标准，成本也远低于人工评估。

转自：至顶网

来源：新浪财经