NeurIPS2024|可信大模型新挑战

摘要：当前，大语言模型（Large Language Model, LLM）借助上下文学习（In-context Learning）和思维链提示（Chain of Thoughts Prompting），在许多复杂推理任务上展现出了强大的能力。

当前，大语言模型（Large Language Model, LLM）借助上下文学习（In-context Learning）和思维链提示（Chain of Thoughts Prompting），在许多复杂推理任务上展现出了强大的能力。然而，现有研究表明， LLM 在应对噪声输入时存在明显不足 ：当输入的问题包含无关内容，或者遭到轻微修改时，模型极容易受到干扰，进而偏离正确的推理方向。如图 1 左所示，Q1 中的「We know 6+6=12 and 3+7=10 in base 10 」是关于 base-9 计算的噪声信息，该信息容易误导模型输出错误的结果。

图 1. 噪声问题（Noisy Questions）和噪声思维链（Noisy Rationales）的示例 已有的鲁棒研究大多侧重于噪声问题（Noisy Questions），然而，LLM 在 噪声思维链（Noisy Rationales） 下的推理还没有得到充分的探究。在本工作中，我们将噪声思维链定义为：包含 不相关或者不准确推理步骤 的思维链，如图 1 右侧 R1 中的「13 + 8 = 21」步骤，对于 base-9 计算来说，是错误的推理步骤。这些噪声思维链通常源自 LLM 的实际应用，比如 众包平台、对话系统、机器生成数据 等场景，人类和机器在推理中都会不可避免地犯错，从而产生噪声思维链。因此，噪声思维链的实际影响和技术挑战不容小觑。当前，我们仍然不清楚 LLM 在面对噪声思维链提示时的鲁棒性能如何，也缺少有效的应对策略。因此，非常有必要构建一个新的数据集，用于系统评估当前 LLM 在噪声思维链场景下的鲁棒性，以及验证相应的鲁棒推理策略。对此，我们构建了 NoRa 数据集 ，并进行了大量的实验评测。结果表明，GPT-3.5-Turbo、Gemini-Pro、Llama2-70B 和 Mixtral-8x7B 等开源或闭源 LLM 都极容易受到噪声思维链的影响。其中，GPT-3.5-Turbo 的准确率至多可降低 40.4% 。因此，我们也呼吁大家更多地关注大模型推理的鲁棒性问题。我们的主要贡献有如下三点：

新问题 ：对当前流行的思维链提示技术，我们提出了尚未充分探究的噪声思维链问题（Noisy Rationales），并给出了详细的问题定义和统一的问题建模；

新数据集 ：我们构建了 NoRa 数据集，用于评测 LLM 在噪声思维链提示下的推理鲁棒性。我们使用 NoRa 数据集对 LLM 展开系统评估，揭露了 LLM 推理的鲁棒性不足，数据去噪能力非常有限的问题；

新方法 ：我们设计了一种简单有效的方法（CD-CoT），基于单个正确的思维链示例，去纠正噪声思维链并完成推理，并通过大量实验验证了方法的有效性。

接下来将从 新问题、新数据集、新方法 这三个角度，简要地介绍我们关于大模型推理鲁棒性的研究结果，相关论文已发表于 NeurIPS 2024 会议。

论文标题：Can Language Models Perform Robust Reasoning in Chain-of-thought Prompting with Noisy Rationales?

论文链接：https://arxiv.org/pdf/2410.23856

代码链接：https://github.com/tmlr-group/NoisyRationales

slides 链接：https://andrewzhou924.github.io/_pages/data/slides-NoRa.pdf

新问题：Noisy Rationales 思维链可以有效提升大模型的推理能力 [1]。具体来说，通过给出带有中间推理步骤的示例，LLM 可以很快地适应到新任务上，而无需进行参数修改（见图 2 右上角）。现有工作中，通常假设思维链包含清楚且正确的推理步骤，但实际情况可能并非如此。

图 2. 各种 setting 下的模型输入 目前，已经有许多工作探索了 Noisy Questions 对 LLM 推理性能的影响（见图 2 左下角），揭示了 LLM 对输入中微小修改的敏感性 [2,3]。然而，在人工标注或机器生成的思维链中，可能会包含一些 与问题不相关或不准确的推理步骤 （见图 2 右下角），这些噪声思维链可能会对推理性能产生负面影响，但目前 LLM 对噪声思维链（Noisy Rationales）的鲁棒性依旧未知。因此， 本文提出了新的研究问题 Noisy Rationales：当示例的推理步骤中包含无关的或者不准确的内容时，LLM 的推理鲁棒性如何 ？对这一问题的探索，有助于深入理解和提升 LLM 在非完备场景中的推理能力。 新数据集：NoRa 为了评估 LLM 在噪声思维链下的鲁棒性，我们构建了 NoRa（Noisy Rationales）数据集，NoRa 涵盖了 3 种推理任务类型：数学推理、符号推理和常识推理，共包含 26391 个问题以及 5 种子任务。一条思维链（Rationale）包含多个连续的推理步骤（Thoughts）； 噪声思维链（Noisy Rationale） 包含的 噪声推理步骤（Noisy Thoughts） 被定义为如下两类（示例见图 3）：

不相关噪声（Irrelevant Thoughts） 是指对解决问题无用的信息，如在推断亲属关系时讨论探讨兄弟姐妹之间的基因重叠情况；

不准确噪声（Inaccurate Thoughts） 则是推理中的事实性错误，如在特定进制计算中使用错误的计算规则。

图 3. NoRa 数据集的样本 在构建数据集时，我们通过插入 Noisy Thoughts 来生成噪声思维链，这些噪声仅影响推理链的细节，而不改变问题和最终答案的正确性。此外，我们使用不同的噪声比例（Noise Ratio，即 Noisy Thoughts 占所 Thoughts 的比例，如 0.3、0.5、0.8）来控制任务的困难程度，Noise Ratio 越大任务难度也越大。NoRa 数据集的统计信息如图 4 所示。

图 4. NoRa 数据集的统计信息 NoRa 数据集测评结果 我们以 GPT-3.5-Turbo 为 base model，测试了其在 NoRa 上的表现，并且对比了多种 去噪方法 。这些去噪方法可以分为两类：

自我纠正方法（Self-correction） ：包括 Intrinsic Self-correction (ISC) [4] 和 Self-polish (SP) [5]；

自我一致性方法（Self-consistency） ：包括 SmoothLLM (SM) [6]，Self-denoise (SD) [7] 和 Self-consistency (SC) [8]。

图 5. 各种去噪方法在 NoRa 数据集上的测评结果 实验结果（图 5）表明：

无论采取哪种现有方法，LLM 都会受到噪声思维链的严重影响 。具体来说，存在不相关噪声时，各方法的性能下降了 0.2% - 25.3%；存在不准确噪声时，各方法的性能下降了 0.1% - 54.0%；

在 NoRa 的大多数任务中，自我纠正方法的表现不佳 ；

自一致性方法可以在一定程度上缓解噪声的影响，但无法做到真正的数据去噪 。

此外，我们还进行了各种消融研究，来探索 不同因素 对 NoRa 数据集评估结果的影响（见图 6），我们发现：

调整温度系数 可以改善模型在噪声思维链下的推理性能；

使用更多的噪声示例 可以提高大多数任务的推理性能；

不同的大语言模型 普遍容易受到噪声思维链的影响。

图 6. 消融实验：(左) 温度系数对性能的影响；(中) 示例个数对性能的影响；(右) 各种模型的性能 新方法：CD-CoT 根据测评结果，大语言模型在应对噪声思维链提示时，其自身的去噪能力非常有限；即便使用自我纠正或自一致性方法，效果仍不理想。因此，我们认为有必要引入 外部监督信号 来增强模型鲁棒性，且这种监督信号既要足以实现去噪，又要在实际应用中切实可行。对此，我们提出了一种简单有效的去噪推理方法， CD-CoT（Contrastive Denoising with Noisy Chain of Thoughts） 。 CD-CoT 借鉴了对比学习的思路，通过让 LLM 显式地对比有噪和干净的思维链，从而识别出噪声信息。方法主要包括四个关键步骤，步骤 12 进行显式的去噪，步骤 34 进行精细推理并获得最终答案。四个步骤具体如下：

改写思维链 ：借助一个干净的思维链示例，引导 LLM 通过对比改写和纠正噪声思维链，并生成多个改写的思维链（见图 7 step1）；

选择思维链 ：通过答案匹配，筛选出改写后答案不变的思维链，形成精炼的候选集；再从中随机选取一定数量的思维链，用于后续的推理（见图 7 step2）；

探索推理链 ：将选取的思维链排列成不同的上下文，与目标问题一同输入给 LLM，并采用较高的温度参数进行多次重复推理，以探索多样的推理路径（见图 8 step3）；

答案：将所有得到的答案进行，得到最终答案（见图 8 step4）。

完整的 CD-CoT 算法请见图 9。