摘要：这项由马萨诸塞大学安默斯特分校的Anushka Yadav、Isha Nalawade、Srujana Pillarichety、Yashwanth Babu，微软的Reshmi Ghosh、Soundararajan Srinivasan，以及马里兰大学帕克

这项由马萨诸塞大学安默斯特分校的Anushka Yadav、Isha Nalawade、Srujana Pillarichety、Yashwanth Babu，微软的Reshmi Ghosh、Soundararajan Srinivasan，以及马里兰大学帕克分校的Samyadeep Basu、Sriram Balasubramaniam等研究人员共同完成的研究发表于2025年8月，论文题为"Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis"。感兴趣的读者可以通过arXiv:2508.04699v1访问完整论文。

当下最先进的AI聊天机器人已经能解决复杂的数学题，进行深度搜索，甚至回答需要多步推理的问题。但有个奇怪的现象让研究人员困惑不已：这些专门训练用来"思考"的AI模型，反而比普通语言模型更容易出现幻觉和错误推理。就像一个本来很聪明的学生，一旦被要求展示详细的解题过程，反而开始犯各种低级错误。

这种现象在需要跨多个文档寻找信息并串联起来的任务中尤为明显。设想你要回答"谁是某部电影导演的祖父"这样的问题，你需要先找到电影的导演是谁，再找到导演的父亲，最后找到父亲的父亲。这就像侦探破案一样，需要一条一条线索地追踪下去，每一步都不能出错。

研究团队像医生诊断病情一样，系统性地分析了当代语言模型在这种"多跳推理"任务中的失败模式。他们发现了一个令人意外的规律：AI模型往往不是因为找不到信息而失败，而是因为"想太多"了。就像一个过度焦虑的学生，明明已经找到了正确答案，却忍不住继续翻找更多资料，结果把自己绕糊涂了。

更有趣的是，研究团队创建了一套全新的错误分类系统，就像给AI的推理错误建立了一个"诊断手册"。通过严格的人工标注和自动化评估，他们发现即使是最先进的Claude和DeepSeek等模型，在面对复杂推理任务时也会表现出令人意外的认知局限。

这项研究的创新之处在于，它不再简单地关注AI是否给出了正确答案，而是深入分析AI是如何一步步得出答案的。这就像不仅要看学生的考试成绩，还要仔细检查他们的解题过程，找出思维上的盲点和弱项。

研究成果对AI开发者和使用者都具有重要意义。对开发者来说，这提供了改进AI推理能力的明确方向；对普通用户来说，这帮助我们更好地理解AI的局限性，知道在什么情况下需要对AI的回答保持谨慎。

一、推理模型的"跳跃游戏"：什么是多跳推理

在日常对话中，我们经常需要把几个不同的信息片段串联起来才能回答一个问题。比如有人问你"你最喜欢的作家的代表作获得过什么奖项"，你需要先想起你最喜欢的作家是谁，再想起他的代表作，最后想起这部作品获得的奖项。这种像跳房子一样从一个信息点"跳"到下一个信息点的思维过程，就是研究人员所说的"多跳推理"。

在AI领域，多跳推理成为了一个特别有挑战性的任务。研究团队把每一次信息跳跃称为一个"跳跃"（hop），就像侦探追踪线索时的每一个步骤。他们发现，AI模型在处理这类问题时会出现三种典型的状况：有时候跳跃次数刚好合适，有时候跳跃不够（漏掉关键信息），有时候跳跃过多（陷入无关信息的泥潭）。

传统的评估方法只关心AI最终给出的答案是否正确，就像只看学生的期末成绩而不关心学习过程。但这种评估方式掩盖了一个重要问题：有些AI模型虽然给出了正确答案，但推理过程完全是错误的，这就像学生运气好蒙对了答案，但实际上根本没有掌握解题方法。

研究团队意识到，要真正理解AI的推理能力，必须像分析一场精彩的侦探推理过程一样，仔细检查每一个推理步骤。他们开发了一套新的分析框架，不仅要看AI找到了多少个线索（覆盖度），还要看AI是否按照合理的逻辑顺序连接这些线索（跳跃准确性），更要识别AI是否在推理过程中出现了"过度思考"的问题。

过度思考就像一个本来很简单的侦探案件，侦探却偏要把所有无关的细节都调查一遍，结果把简单的案子搞得复杂无比。这种现象在AI推理中特别常见，模型往往会在已经找到正确答案后继续"挖掘"更多信息，反而把自己搞混了。

二、建立AI推理错误的"诊断手册"

就像医生需要一套标准化的诊断体系来识别不同类型的疾病一样，研究团队花费了大量精力建立了一套AI推理错误的分类系统。这个过程就像反复调试一台精密仪器，他们经历了三个主要的改进阶段，每一次都让分类更加精确和实用。

最初的分类系统相当粗糙，就像用"好"、"一般"、"差"这样简单的词汇来评价一部电影。研究人员发现这种简单分类无法准确描述AI推理中出现的各种微妙问题。比如，当AI给出错误答案时，是因为找错了信息，还是因为找对了信息但连接错了，还是因为找到了太多信息反而迷失了方向？这些不同的错误类型需要完全不同的解决方案。

经过反复改进，研究团队最终建立了一套包含七种主要错误类型的诊断体系。这套体系的核心思想是将AI的推理过程比作一场接力赛，每个"跳跃"都是接力棒的传递。他们会检查AI是否跑完了所有必需的赛段（跳跃数量），每一段是否跑对了路线（跳跃准确性），以及是否有多跑或少跑的情况。

在这套诊断体系中，"完全正确跳跃"就像一场完美的接力赛，AI按照正确的顺序访问了所有必需的信息源，每一步都准确无误。"部分正确跳跃"则像是跑对了路线但在某些赛段出现了小失误，AI找到了正确数量的信息源，但其中一些步骤涉及了错误的文档或实体。

当AI的跳跃次数少于要求时，就像接力赛中队员偷懒少跑了几段，这种"跳跃不足"问题会导致推理链条不完整。相反，当AI跳跃过多时，就像队员过于勤奋多跑了不必要的赛段，这种"过度跳跃"往往让AI陷入信息过载的困境。

特别有意思的是，研究团队发现了两种不同类型的过度跳跃。"尾随无关性"就像跑完正规比赛后又多跑了几圈，AI在完成必要推理后继续探索无关信息。"早期无关性"则像在比赛中途突然跑偏了路线，AI在推理过程中就开始探索不相关的信息，导致整个推理过程变得混乱。

最后一种错误类型是"问题误解"，这就像运动员完全理解错了比赛规则，从一开始就朝着错误的方向努力。这种错误往往发生在AI对问题的理解阶段，一旦理解错误，后续的所有推理都会偏离正轨。

为了让这套诊断体系更加全面，研究团队还引入了两个重要的评估指标。"覆盖度"就像检查侦探是否调查了所有重要的证人，评估AI是否成功获取了所有必要的信息源。"过度思考"则像识别侦探是否陷入了不必要的细节调查，标记AI是否在推理过程中包含了过多无关信息或出现了重复性行为。

三、六大AI模型的推理"体检报告"

研究团队就像给六个不同的AI学生进行全面体检一样，系统性地测试了它们在三种不同难度的推理任务上的表现。这六个"学生"包括四个来自DeepSeek家族的"蒸馏版"模型（就像是原版模型的简化版本），以及两个"原版"推理模型：Claude 3.7 Sonnet和DeepSeek-R1。

测试的"考场"包括三个不同难度的数据集。2WikiMultiHopQA就像初级侦探小说，情节相对简单，线索清晰；HotpotQA则像中级推理小说，加入了一些干扰信息和比较复杂的情节；MuSiQue则像高难度的推理巨著，故事情节错综复杂，很容易让读者（或AI）迷失在各种支线情节中。

研究团队发现了一个特别有趣的现象：在简单任务上，几乎所有AI模型都表现得像优秀学生一样，能够准确地进行多步推理。但随着任务难度增加，不同模型之间的差异就像放大镜下的细节一样清晰地显现出来。

Claude 3.7 Sonnet在这场"考试"中表现最为稳定，就像一个经验丰富的侦探，既不会漏掉重要线索，也不会在无关细节上浪费时间。它在各种难度的任务中都能保持相对较高的准确率，而且很少出现过度思考的问题。这种表现让研究人员印象深刻，因为它展示了理想的推理平衡性。

相比之下，其他模型则各有特色和弱点。DeepSeek系列的模型在简单任务上表现不错，但在面对复杂任务时往往会陷入"信息过载"的困境。就像一个勤奋但经验不足的新手侦探，它们会尽力收集所有可能相关的信息，但往往不知道何时停止，结果在大量信息中迷失了方向。

研究团队特别注意到了一个被他们称为"过度跳跃"的普遍问题。这就像学生在考试中明明已经找到了正确答案，却忍不住继续翻查更多资料，最终把自己搞混了。这种现象在复杂任务中特别明显，几乎所有模型都有这个倾向，但程度不同。

更有意思的是，研究团队发现模型的大小（参数数量）并不总是决定推理质量的关键因素。有时候，较小但经过精心训练的模型在特定任务上的表现可能超过更大的模型。这就像在侦探工作中，经验和技巧往往比单纯的知识储备更重要。

通过深入分析这些模型的推理轨迹，研究团队还发现了推理质量与最终答案准确性之间的微妙关系。令人意外的是，有些模型虽然推理过程存在明显缺陷，但仍然能给出正确答案。这种现象就像学生在考试中用了错误的方法却得到了正确结果，虽然结果看起来不错，但这种"侥幸成功"在面对新问题时往往不可靠。

四、不同类型问题暴露的AI"认知盲点"

研究团队像心理学家研究不同类型智力测试一样，将多跳推理问题分为几个主要类别，每一类都像是测试AI不同"认知肌肉"的专门工具。通过这种分类分析，他们发现了AI模型在不同思维模式下的独特表现模式和局限性。

桥接比较问题就像最基础的侦探训练，要求AI按照清晰的逻辑链条从A点到达B点。在这类问题中，几乎所有AI模型都表现得像训练有素的新手侦探，能够准确地跟踪线索并得出正确结论。这种高成功率让研究人员意识到，AI在结构化、步骤明确的推理任务中具有相当可靠的能力。

然而，当面对比较类问题时，情况就变得复杂起来。这类问题就像要求侦探同时调查两个相似案件并找出它们的异同点。AI模型在处理这类问题时往往会陷入"对称性陷阱"，就像一个过分谨慎的比较购物者，明明一种选择就足够了，却忍不住要把所有选项都详细研究一遍。这种行为导致了大量的"过度跳跃"错误，模型会探索比实际需要更多的信息路径。

组合推理问题则像是要求AI成为一个优秀的拼图游戏专家，需要将来自不同来源的信息片段组合成一个完整的答案。令研究团队意外的是，即使是较大的模型在这类任务中也经常出现"组装失败"的问题。就像拥有所有正确拼图片段的人却无法将它们正确组合，AI模型往往能够找到所有必要的信息，但在最终的综合阶段出现错误。

最具挑战性的是推理类问题，这类问题就像高难度的逻辑谜题，需要AI在缺乏明确线索指引的情况下进行隐含推理。研究团队发现，这类问题最容易触发AI的"过度思考"模式。就像一个陷入分析瘫痪的决策者，AI模型会在面对不确定性时不断寻找更多信息，希望通过信息积累来消除不确定性，结果往往是越想越复杂，越理越乱。

特别值得注意的是，研究团队发现了推理问题中一个被他们称为"停止信号缺失"的现象。在日常对话中，人类能够凭借直觉判断何时收集到了足够的信息可以得出结论。但AI模型往往缺乏这种"适时停止"的能力，就像不知道何时停止吃饭的人一样，它们会持续搜索信息直到达到某种预设的限制。

更深层的分析显示，不同类型的问题以不同的方式暴露了AI模型的认知局限。桥接问题揭示了AI在结构化推理方面的优势，比较问题暴露了AI的冗余探索倾向，组合问题凸显了AI在信息整合方面的弱点，而推理问题则全面展现了AI在处理不确定性和控制推理深度方面的挑战。

这种问题类型分析为AI开发者提供了宝贵的洞察，就像医生通过不同类型的检查来诊断身体各个系统的健康状况一样。它帮助研究人员理解AI推理能力的"肌肉群"分布，知道哪些方面需要重点强化，哪些方面已经相对成熟。

五、推理步数的"魔咒"：越复杂越容易出错

研究团队进行了一项特别有启发性的分析，他们像攀岩教练观察学员在不同难度路线上的表现一样，专门研究了推理步数（需要跳跃的次数）对AI表现的影响。结果发现了一个几乎普遍存在的规律：随着推理链条变长，AI模型的表现会出现明显的"阶梯式下降"。

在两步推理的任务中，大多数AI模型都表现得像熟练的短跑运动员，能够快速准确地完成推理过程。但当推理步数增加到三步或四步时，情况就像从短跑切换到长跑一样，需要完全不同的策略和耐力。研究团队发现，即使是表现最好的模型，在四步推理任务中的准确率也会显著下降。

更有趣的是，不同大小的模型在面对推理长度增加时表现出了不同的"疲劳模式"。较小的模型就像缺乏训练的新手运动员，往往在推理的早期阶段就开始出现错误，而较大的模型则像经验丰富的马拉松选手，能够保持较长时间的稳定表现，但最终也会在复杂任务中出现"体力不支"的情况。

研究团队发现了一个特别值得关注的现象：在复杂的四步推理任务中，"早期无关性"错误变得异常突出。这就像长跑选手在比赛中途突然跑错了路线，AI模型会在推理过程的早期阶段就开始探索不相关的信息路径，导致整个推理链条偏离正轨。

以DeepSeek-R1-Distill-Qwen-7B为例，在四步推理任务中，高达73%的错误都属于这种"早期跑偏"类型。这个数字让研究人员意识到，AI模型在面对复杂推理任务时，往往不是在推理的末尾阶段出错，而是在开始阶段就失去了方向感。

相比之下，Claude 3.7 Sonnet展现出了更好的"耐力表现"。它能够在三步推理中保持相对稳定的准确率，但在面对四步推理时也会出现明显的"早期无关性"错误增加，达到45%的错误率。这种表现就像一个优秀的中长跑选手，能够在中等距离上保持良好状态，但在超长距离挑战中也会遇到困难。

研究团队还发现了一个被他们称为"深度校准问题"的现象。即使是最先进的AI模型也很难判断在什么时候应该停止推理。就像一个过分谨慎的研究者，明明已经收集到足够的证据支持结论，却总是觉得还需要更多信息来确保万无一失。这种"不知道何时停止"的问题在长推理链条中变得特别明显。

更深层的分析显示，推理步数的增加不仅仅是量的变化，更是质的挑战。每增加一步推理，AI模型不仅需要处理更多信息，还需要在更复杂的上下文中保持逻辑一致性。这就像杂耍演员试图同时抛接更多球一样，随着球数增加，失败的概率会急剧上升。

这种"推理长度诅咒"为AI开发提供了重要启示。它表明，简单地增加模型规模或训练数据可能不足以解决复杂推理问题。相反，可能需要专门针对长推理链条的训练策略，就像马拉松选手需要特殊的耐力训练一样，AI模型可能需要专门的"推理耐力"训练。

六、自动化评估：让AI给AI"判卷"

面对手工标注的巨大工作量，研究团队开发了一套创新的自动化评估系统，就像培训一位AI助教来帮助批改复杂的推理作业。这个过程充满了挑战，因为要让AI准确评判另一个AI的推理质量，就像要求一个学生准确评价同学的解题过程一样，需要相当高的理解能力和判断标准。

研究团队选择了GPT-4.1-mini作为他们的"AI判官"，这个选择就像挑选一位经验丰富且公正的裁判。他们发现，单步评估往往容易出现错误，就像让人在一瞬间判断一场复杂辩论的胜负一样困难。因此，他们采用了两步评估法：首先让AI判官识别和标注推理中的每个步骤，然后基于这些步骤进行整体分类。

这种两步法就像医生诊断疾病的过程，先进行详细的症状检查，然后综合所有症状得出最终诊断。结果显示，这种分步骤的评估方法显著提高了判断的准确性和一致性，与人工标注的一致率在简单任务上可以达到90%以上。

然而，自动化评估也暴露出了一些有趣的局限性。在面对简单的2Wiki数据集时，AI判官表现得像一个称职的助教，能够准确识别大多数推理错误。但当面对复杂的MuSiQue数据集时，AI判官就像遇到了超出能力范围的难题，准确率会明显下降。

研究团队发现，不同AI模型的推理轨迹对自动化评估的"友好程度"也不相同。DeepSeek-R1和LLaMA 70B的推理过程相对清晰规整，就像字迹工整的学生作业，AI判官能够较容易地进行评估。相反，一些较小模型的推理过程更加复杂多变，就像字迹潦草的作业，增加了自动评估的难度。

特别值得注意的是，研究团队发现自动化评估在处理"微妙推理错误"时存在明显困难。这些错误就像作文中的逻辑漏洞，虽然表面看起来合理，但深入分析会发现问题。人类评估者能够凭借直觉和经验识别这些微妙错误，但AI判官往往会被表面的合理性所迷惑。

尽管存在这些局限，自动化评估系统仍然为研究团队带来了巨大价值。它将评估效率提高了约20倍，就像从手工制作转向机械化生产一样，大大降低了研究成本。更重要的是，这套系统为大规模推理质量评估奠定了基础，使得研究人员能够在更广泛的范围内研究AI推理问题。

研究团队还发现，自动化评估的准确性与数据集复杂度和模型类型都有密切关系。这种发现就像了解了不同类型考试需要不同类型裁判一样，为未来改进自动化评估系统提供了明确方向。他们意识到，可能需要为不同复杂程度的推理任务开发专门的评估策略，而不是试图用一套通用系统解决所有问题。

这种自动化评估方法的成功为AI研究领域开辟了新的可能性。它不仅使得大规模推理质量研究变得可行，还为未来开发更智能的AI训练和评估系统提供了技术基础。就像工业革命改变了制造业一样，这种评估自动化可能会深刻改变AI能力研究的方式和规模。

七、研究发现的深层启示：AI推理的"阿喀琉斯之踵"

通过这项全面而深入的研究，团队揭示了当代AI推理能力中一些令人深思的根本性问题。这些发现就像考古学家发现的古代文明遗迹一样，为我们理解AI的认知机制提供了珍贵的洞察。

最引人注目的发现是"推理保真度悖论"。研究团队发现，在简单任务中，AI模型展现出了令人印象深刻的推理保真度，几乎能够完美地按照逻辑步骤推进。但随着任务复杂性增加，这种保真度会急剧下降，就像精密仪器在恶劣环境中逐渐失准一样。这种现象表明，当前AI的推理能力更像是条件反射而非真正的理解。

"过度跳跃"被证实为最普遍和持续的推理失败模式。几乎所有被测试的模型都表现出了这种倾向，就像学生在考试中总是写得比要求的更多，希望通过信息堆砌来提高得分。这种现象反映了AI模型对"适时停止"这一关键认知技能的缺乏，它们往往不知道何时已经收集到足够的信息。

研究团队还发现了一个被称为"规模效应平台期"的现象。增加模型规模确实能改善简单推理任务的表现，就像增加计算能力能加快简单计算一样。但在复杂推理任务中，这种改善会遇到明显的瓶颈，即使是最大的模型也会出现大量的推理错误。这表明单纯的规模扩张可能不是解决复杂推理问题的最佳路径。

另一个重要发现是"答案正确性与推理质量的脱钩现象"。研究显示，相当比例的正确答案来自于错误或不完整的推理过程，就像学生用错误的公式偶然得到了正确结果。这种现象在实际应用中可能带来严重问题，因为基于错误推理的正确答案在面对新问题时往往不可靠。

推理错误类型的分布模式也透露出深层问题。"早期无关性"错误在复杂任务中的高频出现表明，AI模型在推理的起始阶段就容易失去方向。这就像登山者在攀登初期就选择了错误路线，后续的所有努力都可能白费。这种模式暗示，改进AI推理能力可能需要特别关注推理的起始和方向控制机制。

问题类型分析揭示了AI认知能力的"不均匀分布"。AI在结构化、步骤明确的任务中表现优异，但在需要创造性整合或处理不确定性的任务中表现较差。这种能力分布模式与人类认知有显著差异，人类往往在需要直觉和经验的任务中表现更好，而在机械化步骤中反而容易出错。

"推理长度诅咒"的发现可能是最具挑战性的问题之一。随着推理步数增加，错误积累和方向偏离的风险呈指数级增长。这种现象类似于信息传递中的噪声累积，每多一步传递都会增加错误的可能性。这为开发能够进行长链推理的AI系统提出了根本性挑战。

自动化评估实验的结果也很有启发性。AI作为推理质量的判官，在简单任务中表现出色，但在复杂任务中的判断能力会显著下降。这种模式与被评估的AI模型表现出了相似性，表明推理质量评估本身就是一个复杂的推理任务，需要高级的认知能力。

这些发现为AI发展指出了几个重要方向。首先，需要开发专门针对推理终止和方向控制的训练策略。其次，可能需要探索与传统规模扩张不同的能力提升路径。最后，推理质量评估和推理能力本身一样重要，需要同等重视。

归根结底，这项研究揭示了一个深刻的道理：真正可靠的AI推理系统不仅需要能找到正确答案，更需要通过正确的方式找到正确答案。这种对推理过程的关注，可能是未来AI发展中最关键的课题之一。就像培养一个真正优秀的学生不仅要关注考试成绩，更要关注思维方法的养成一样，开发真正智能的AI系统需要我们重新审视智能本身的含义。

这项研究为AI推理能力的改进提供了具体可行的方向。通过理解AI推理失败的模式和原因，研究人员可以开发更加针对性的训练方法和评估标准。这不仅有助于提高AI系统的可靠性，也为构建真正可信赖的AI助手奠定了重要基础。毕竟，在AI越来越深入我们生活的今天，确保它们不仅聪明而且可靠，比单纯追求更高的准确率更为重要。

Q&A

Q1：什么是多跳推理，为什么AI模型在这方面容易出错？

A：多跳推理就像侦探破案一样，需要从一个信息点"跳跃"到下一个信息点，串联多个线索才能得出答案。AI模型容易出错是因为它们经常"想太多"，明明已经找到正确答案却忍不住继续搜索更多信息，结果把自己搞混了。研究发现这种"过度跳跃"是AI推理中最普遍的问题。

Q2：为什么AI模型给出正确答案但推理过程是错误的，这有什么问题？

A：这就像学生用错误的公式偶然算对了答案一样，虽然结果看起来正确，但方法是错的。研究发现相当比例的AI正确答案来自错误的推理过程，这在实际应用中很危险，因为基于错误推理的正确答案在面对新问题时往往不可靠，就像侥幸成功无法持续一样。

Q3：这项研究对普通用户使用AI有什么实际意义？

A：这项研究帮助用户更好地理解AI的局限性。当面对需要多步分析的复杂问题时，用户应该对AI的回答保持谨慎，特别是当AI给出过于详细或绕弯的解释时。同时，简单直接的问题通常更可靠，而复杂的多步推理问题可能需要人工验证AI的推理过程是否合理。

来源：至顶网一点号