摘要：这项由美国马里兰大学巴尔的摩郡分校计算机科学与电气工程系的Shubhashis Roy Dipta和Francis Ferraro领导的研究于2025年8月发表，有兴趣深入了解的读者可以通过arXiv:2508.16838v1访问完整论文。

这项由美国马里兰大学巴尔的摩郡分校计算机科学与电气工程系的Shubhashis Roy Dipta和Francis Ferraro领导的研究于2025年8月发表，有兴趣深入了解的读者可以通过arXiv:2508.16838v1访问完整论文。

当你听到"一部宝莱坞电影在1928年获得了奥斯卡奖"这样的说法时，你会怎么验证？大多数人可能会直接搜索"哪部宝莱坞电影获得了1928年的奥斯卡"，但聪明的人会先问"1928年真的有奥斯卡奖吗？"事实上，奥斯卡奖是1929年才开始颁发的。

这个看似简单的例子揭示了一个重要问题：即使是最先进的人工智能系统，在验证信息时也容易犯这样的错误。它们往往会不假思索地接受问题中隐含的前提，就像那个直接搜索"哪部宝莱坞电影获奖"的人一样，而不是像侦探那样质疑每一个前提条件。

马里兰大学的这项最新研究正是要解决这个问题。研究团队发现，当前的大语言模型在验证声明时存在两个致命弱点：一是容易被问题中隐含的假设"带偏"，二是对提示词的微小变化极其敏感，性能波动可达3-6%。这就好比一个学生，不仅容易被考试题目中的陷阱误导，而且同一道题换个说法就答错了。

为了让AI变得更加可靠和稳定，研究团队开发了一套名为"去预设"的方法。这种方法的核心思想是将复杂的声明分解成一系列不包含任何预设前提的简单问题，然后逐一验证。就像一个经验丰富的侦探办案，绝不放过任何疑点，对每个看似理所当然的细节都要仔细求证。

一、问题的根源：当AI遇到"思维陷阱"

要理解这项研究的重要性，我们先来看看AI在验证信息时会遇到什么问题。

设想你是一名图书管理员，需要核实各种各样的声明。有人告诉你"约翰在去年的比赛中获得了冠军"。作为人类，你可能会自然而然地问几个问题：去年真的有这个比赛吗？约翰真的参加了吗？他真的获得冠军了吗？但是，当前的AI系统往往会跳过前面几个基础验证，直接去查找"约翰在去年比赛中的表现"。

这种跳跃式的思维方式在AI领域被称为"预设"问题。预设就像是隐形的陷阱，它让AI在还没开始验证之前就已经接受了某些可能错误的前提条件。研究团队通过大量实验发现，即使是最先进的AI模型，如GPT-4和其他顶级语言模型，都无法完全避免这个陷阱。

更令人担忧的是，这些AI系统还表现出严重的"情绪化"特征。这里的"情绪化"指的是它们对提示词的细微变化异常敏感。同样的验证任务，仅仅是改变几个词的顺序或者调整一下表达方式，AI的准确率就可能相差3-6%。这就好比一个学生，同样的数学题换个出题方式就不会做了，显然缺乏真正的理解能力。

研究团队在两个重要数据集上进行了测试：BioNLI（生物医学领域）和WICE（维基百科真实世界声明）。结果显示，无论是处理科学论文中的专业声明，还是验证日常生活中的常识性信息，现有的AI系统都表现出了这些令人担忧的不稳定性。

二、解决方案：像侦探一样思考的AI

面对这些问题，研究团队提出了一个巧妙的解决方案，这个方案的工作原理就像训练AI成为一名优秀的侦探。

整个过程分为三个步骤，每一步都至关重要。首先是"问题分解"阶段。当AI收到一个需要验证的声明时，它不会急于下结论，而是先将这个复杂声明拆解成若干个简单的问题。这就像侦探接到案件后，会将复杂的案情分解成一个个具体的调查点。

以"一位著名科学家在2020年发现了新的治疗方法"这个声明为例，传统的AI可能会直接搜索"科学家2020年新治疗方法"。但经过训练的新系统会生成几个问题：这位科学家真的存在吗？2020年确实有相关研究吗？这个治疗方法真的是新的吗？这种分解让验证过程变得更加细致和全面。

第二步是最关键的"去预设"环节。系统会仔细审查第一步生成的问题，识别其中隐含的预设前提，然后将这些问题重新改写为不包含任何预设的"纯净"问题。继续用侦探的比喻来说，这就像是一个经验丰富的老侦探在审查新手提出的调查计划，确保没有遗漏任何可能的情况。

例如，如果第一步生成的问题是"哪家制药公司资助了这项研究？"，去预设步骤会将其改写为多个条件问题："这项研究获得了资助吗？如果获得了资助，资助方是制药公司吗？如果是制药公司，具体是哪一家？"这种改写确保了验证过程不会遗漏任何重要的前提条件。

第三步是"基于问题的推理"。系统使用这些经过精心设计的无预设问题来指导整个验证过程。这就像侦探按照详细的调查清单逐一核实证据，而不是凭直觉跳跃式地得出结论。这种结构化的推理方式不仅提高了准确性，还大大减少了对提示词变化的敏感性。

研究团队发现，这种方法在实际应用中表现出色。在多个数据集上的测试显示，新方法将AI的验证准确率提升了2-5%，同时显著降低了系统对不同提示词的敏感性。更重要的是，这种方法生成的问题能够覆盖原始声明中约89%的关键要点，确保验证过程的全面性。

三、实验验证：让数字说话

为了证明新方法的有效性，研究团队设计了一系列全面的实验，这些实验就像是给新训练的侦探安排各种复杂案件来测试能力。

实验涵盖了多个维度的测试。首先是准确性测试，团队使用了两个主要数据集。BioNLI数据集包含5073个生物医学领域的声明，这些声明通常涉及复杂的科学概念和多层逻辑关系。WICE数据集则包含358个来自维基百科的真实世界声明，更贴近日常生活中需要验证的信息。

在BioNLI数据集上，新方法表现尤为出色。以SG1提示词为例，传统方法的平衡准确率为72.34%，而使用新的去预设方法后，准确率提升至77.73%，提升幅度达到5.39%。这种提升在科学验证领域意义重大，因为即使是微小的准确率提升也可能意味着避免重大的科学误判。

更令人印象深刻的是新方法在减少提示词敏感性方面的表现。研究团队设计了三种不同的提示词：MiniCheck（基于之前研究的经典提示词）、SG1和SG2（研究团队自行设计的结构化指导提示词）。传统方法在这三种提示词下的性能差异巨大，在某些情况下相差达6%。而新方法显著缩小了这种差异，使AI系统变得更加稳定可靠。

特别值得一提的是，研究团队还测试了新方法生成问题的覆盖度。他们使用了一个巧妙的评估方法：让AI评估生成的问题是否能够覆盖原始声明中的所有关键子声明。结果显示，无论是使用GPT-4 mini还是Qwen模型，问题覆盖率都达到了87-89%，这意味着新方法生成的问题能够抓住声明中的绝大多数要点。

实验还揭示了一个有趣的现象：新方法对更复杂、需要多步推理的数据集效果更好。在BioNLI这种科学数据集上，改进幅度通常比在相对简单的WICE数据集上更大。这说明去预设方法特别适合处理复杂的、多层次的验证任务。

研究团队还进行了一个对比实验，测试了是否需要在去预设之后再增加一个明确的"回答问题"步骤。结果显示，额外的回答步骤往往会降低整体性能，这证明了当前设计的简洁性和有效性。研究者认为，这是因为生成中间答案可能引入新的错误，而直接使用问题进行推理更加可靠。

四、深度解析：为什么这种方法如此有效

要理解这种方法为什么如此有效，我们需要深入分析AI在信息验证过程中的认知机制。

传统的AI验证就像一个急躁的侦探，看到案件描述后立即开始寻找证据，而不仔细分析案件描述本身是否合理。这种方法的问题在于，它容易被案件描述中隐含的错误假设误导。例如，当AI看到"某某公司的新产品在去年的展会上获得了最佳创新奖"这样的声明时，它可能会直接去搜索"某某公司去年展会获奖"，而不会质疑这个展会是否真的存在，或者是否真的有"最佳创新奖"这个奖项。

新的去预设方法改变了这种认知模式。它强迫AI像一个经验丰富的侦探那样，首先质疑声明中的每一个假设。这种方法的核心在于构建了一个"怀疑一切"的认知框架。AI不再天真地接受输入信息中的任何假设，而是系统性地将每个假设都转化为需要验证的问题。

从技术角度来说，这种方法实际上是在训练AI进行更加结构化的推理。传统方法让AI在一个相对开放的空间中进行推理，容易受到各种干扰因素的影响。而新方法通过精心设计的问题序列，为AI的推理过程提供了清晰的导航路径。这就像是给一个在迷宫中探索的人提供了详细的地图和指南针。

研究团队在论文中提供了一个具体案例来说明这种方法的威力。有一个关于"Rowney在2017年1月31日首次参加NHL比赛"的声明。传统的AI验证方法可能会被文档中的发布日期（2月1日）误导，认为日期有冲突。但使用新方法后，AI会生成一系列具体问题：Rowney是否真的参加了NHL比赛？如果参加了，是什么时候？比赛的具体情况如何？这种系统性的问题分解帮助AI准确识别出文档中确实提到了1月31日的比赛，避免了日期混淆的陷阱。

更深层次的分析显示，这种方法之所以能够减少提示词敏感性，是因为它将原本高度依赖具体提示词表述的开放式推理转换为相对标准化的问答式推理。无论原始提示词如何变化，最终都会通过相同的问题分解和去预设流程，产生类似的推理路径。这就像是将各种不同的原材料通过标准化的加工流程制成统一规格的产品。

五、实际应用：从实验室到现实世界

这项研究的价值不仅仅体现在学术指标的提升上，更重要的是它为解决现实世界中的信息验证问题提供了实用的工具。

在新闻事实核查领域，这种方法可以帮助识别和避免常见的逻辑陷阱。例如，当某篇报道声称"该公司股价在新产品发布后暴涨200%"时，传统的核查系统可能只会验证股价涨幅数据。但使用新方法的系统会首先确认：这家公司是否真的发布了新产品？发布时间是否与股价上涨时间吻合？股价上涨是否确实与新产品有关？这种全面的验证方式能够识别出更多的虚假或误导性信息。

在科学文献审查方面，这种方法的价值更加明显。科学声明往往涉及复杂的因果关系和多重假设。传统的AI可能会错过关键的前提条件验证，导致接受有缺陷的科学结论。新方法通过系统性地分解科学声明，确保每个实验条件、每个因果关系、每个统计推论都得到独立验证。

在商业决策支持方面，这种方法可以帮助企业更准确地评估市场信息和竞争情报。当分析师报告"竞争对手的新技术将在明年威胁我们的市场份额"时，传统系统可能只关注技术本身和市场影响。而新系统会更全面地考虑：这项技术是否真的存在？是否真的是新的？竞争对手是否真的掌握了这项技术？技术成熟度如何？市场接受度如何？这种多维度验证有助于做出更明智的战略决策。

研究团队特别强调，这种方法在处理跨文化和跨语言信息时具有独特优势。不同文化背景下，同样的表述可能隐含不同的预设。通过系统性地识别和质疑这些预设，AI可以避免文化偏见带来的误判。

值得注意的是，研究团队也诚实地承认了当前方法的局限性。在相对简单的声明验证任务中，新方法的改进效果有限。他们在FEVER数据集上的实验证实了这一点。FEVER数据集中的声明平均只有8个词，已经相当简洁明确，不包含复杂的预设结构。在这种情况下，去预设方法的优势就不那么明显。这提醒我们，技术解决方案需要匹配问题的复杂程度。

研究团队还发现，模型的能力对新方法的效果有重要影响。更强大的AI模型能够更好地利用去预设问题进行推理，而较弱的模型可能无法充分发挥这种结构化推理的优势。这说明，随着AI技术的不断进步，这种方法的价值还会进一步提升。

六、技术细节：方法的具体实现

为了让这种创新方法能够真正应用，研究团队精心设计了一套完整的技术实现方案。

在问题生成阶段，系统使用了一种基于少量示例学习的方法。研究团队精心挑选了几个典型案例，展示如何将复杂声明分解为独立的问题。例如，对于"其他头衔变化包括Lord Steven Regal和The Nasty Boys分别赢得了世界电视冠军和世界双打冠军"这样的声明，系统学会了生成两个独立问题："Lord Steven Regal是否赢得了世界电视冠军？"和"The Nasty Boys是否赢得了世界双打冠军？"

这种示例学习的巧妙之处在于，它不需要大量的训练数据，就能让AI掌握问题分解的基本技巧。研究团队通过精心选择示例，涵盖了各种常见的声明结构和复杂模式，使AI能够举一反三地处理新的声明类型。

去预设阶段的技术实现更加精巧。系统会分析每个问题中可能存在的隐含假设，然后系统性地将这些假设转化为条件问题。这个过程类似于逻辑学中的前提分析，但通过自然语言处理技术实现了自动化。

例如，原问题"哪部宝莱坞电影获得了1928年的奥斯卡？"会被重写为三个条件问题："1928年是否有奥斯卡奖？""如果1928年有奥斯卡奖，是否有宝莱坞电影获奖？""如果有宝莱坞电影获得1928年奥斯卡，具体是哪一部？"这种重写确保了验证过程不会遗漏任何重要的前提条件。

在推理验证阶段，系统使用这些精心设计的问题来指导整个验证过程。与传统的开放式推理不同，这种基于问题的推理提供了清晰的结构和方向。系统会逐一回答这些问题，然后基于答案的组合来判断整个声明的真实性。

研究团队在技术实现中还考虑了计算效率的问题。虽然新方法增加了问题生成和重写的步骤，但这些步骤的计算成本相对较低。真正耗费计算资源的仍然是最终的推理验证阶段，而这个阶段的计算量与传统方法相当。因此，新方法在提升准确性的同时，并没有显著增加计算成本。

实验设置方面，研究团队使用了多个不同能力级别的AI模型进行测试，包括GPT-4 mini和Qwen系列模型。这种多模型测试确保了结果的普适性，证明了新方法不依赖于特定模型的特殊能力，而是一种通用的改进策略。

研究团队还设计了专门的评估指标来衡量问题生成的质量。他们使用"覆盖度"指标来评估生成的问题是否能够涵盖原始声明中的所有关键要点。这种评估方法本身也很有创新性：他们让AI评估生成的问题是否能够通过组合回答来验证原始声明的每个子部分。结果显示，无论使用哪种AI模型生成问题，覆盖度都能达到87-89%，证明了方法的稳定性和可靠性。

七、意义与影响：重塑AI的思维方式

这项研究的深远意义远超出了单纯的技术改进，它实际上在重新定义AI系统应该如何思考和推理。

从认知科学的角度来看，这种方法让AI更接近人类专家的思维模式。经验丰富的专家在处理复杂问题时，往往会自然而然地质疑问题中的隐含假设，系统性地分解问题，然后逐步验证。新方法将这种专家级的认知策略编码到了AI系统中，使AI能够进行更加成熟和可靠的推理。

这种改进对AI安全具有重要意义。AI系统的不可靠性往往源于它们容易被误导或操纵。通过训练AI系统系统性地质疑输入信息中的假设，这种方法实际上增强了AI的"免疫力"，使其更难被恶意信息或错误信息误导。这在AI系统越来越广泛应用于关键决策领域的今天显得尤为重要。

从实用角度来说，这种方法为构建更可信赖的AI系统提供了具体路径。许多组织在部署AI系统时都担心其不稳定性和不可预测性。新方法通过显著减少AI对提示词变化的敏感性，为构建工业级的可靠AI系统奠定了基础。

研究团队指出，这种方法还可能对AI教育和训练产生深远影响。传统的AI训练往往专注于让模型在特定任务上达到高性能，但较少关注推理过程的稳健性。新方法提醒我们，训练AI进行结构化、系统化的思考可能比单纯追求性能指标更加重要。

在更广泛的社会层面，这种方法可能有助于对抗信息时代的"后真相"问题。通过教会AI系统更加细致和谨慎地验证信息，我们实际上是在构建更强大的事实核查工具。这些工具不仅可以帮助专业的事实核查员，也可以帮助普通公众更好地辨别信息的真伪。

研究团队在论文中特别强调了透明度的重要性。与黑盒式的AI决策不同，基于问题分解的验证过程是高度透明的。用户可以清楚地看到AI是如何一步步分析问题、验证假设、得出结论的。这种透明性不仅增加了用户对AI的信任，也为改进AI系统提供了明确的方向。

然而，研究团队也坦诚地讨论了当前方法的局限性。他们发现，在某些情况下，过度的问题分解可能导致AI陷入"分析瘫痪"，反而影响决策效率。此外，自动生成的问题质量仍然依赖于底层AI模型的能力，如果模型本身存在偏见或知识盲区，生成的问题也可能存在问题。

尽管存在这些局限性，这项研究仍然为AI发展指出了一个有价值的方向。它告诉我们，与其一味追求更大、更复杂的AI模型，不如专注于教会AI更好的思维方法。正如古语所说，"授人以鱼不如授人以渔"，教会AI如何思考比教会AI记住更多知识可能更加重要。

说到底，这项研究解决的是一个根本性问题：如何让AI变得更加理性和可靠。在一个信息爆炸、真假难辨的时代，拥有能够系统性验证信息的AI助手变得越来越重要。马里兰大学的这项研究为我们提供了实现这一目标的具体方法，虽然还有改进空间，但已经迈出了重要的第一步。

未来，随着这种方法的不断完善和应用，我们可能会看到更加可靠、更加值得信赖的AI系统。这些系统不仅能够帮助我们处理信息，更重要的是，它们能够帮助我们更好地理解和认识这个复杂的世界。毕竟，在一个充满不确定性的世界里，拥有一个会质疑、会思考、会验证的AI伙伴，可能比拥有一个只会给出答案的AI工具更有价值。

Q&A

Q1：去预设方法是什么？它如何让AI更可靠地验证信息？

A：去预设方法是一种让AI像侦探一样思考的信息验证技术。它将复杂声明分解成简单问题，然后识别并消除问题中隐含的假设。例如，对于"某电影获得1928年奥斯卡"的声明，传统AI会直接搜索获奖信息，而新方法会先问"1928年有奥斯卡吗？"这种方法让AI验证准确率提升2-5%，显著减少被误导的可能性。

Q2：为什么现有的AI系统在验证信息时不够稳定？

A：现有AI系统存在两大问题：一是容易被问题中的隐含假设误导，就像直接相信"1928年奥斯卡"存在而不质疑；二是对提示词变化极其敏感，同样任务换个说法性能就会波动3-6%。这就好比一个学生不仅容易被考题陷阱误导，而且同一题目换个表述就答错，缺乏真正的理解能力和稳定性。

Q3：这种去预设方法适用于哪些实际场景？

A：这种方法特别适合处理复杂的多层次验证任务，如新闻事实核查、科学文献审查和商业情报分析。在生物医学等科学领域效果尤其显著，因为科学声明往往包含复杂的因果关系和多重假设。不过对于已经很简洁明确的声明，改进效果有限。随着AI模型能力提升，这种方法的价值还会进一步增强。

来源：码客人生一点号