摘要：可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards, RLVR）是一种基于参考标准的训练范式，其核心在于通过基于规则的函数或生成式LLM评判器来提供奖励信号。在RLVR训练过程中，奖励模型接收问题q
可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards, RLVR）是一种基于参考标准的训练范式，其核心在于通过基于规则的函数或生成式LLM评判器来提供奖励信号。在RLVR训练过程中，奖励模型接收问题q、策略模型生成的响应r以及参考答案a∗作为输入，输出二进制判决信号y ∈{YES, NO}，用于评估响应r在给定问题q的条件下是否与参考答案a∗保持一致。该奖励信号构成了策略模型训练的重要指导依据。
从形式化角度来看，LLM评判器可定义为如下函数：
J(q, a∗, r) →{YES, NO}
其中，YES判决对应正奖励R = 1，NO判决对应奖励R = 0。这一判决机制的准确性和可靠性直接决定了策略模型所接收训练信号的质量。
这个研究识别出一类名为"万能钥匙"（master keys）的对抗性模式。当这些模式被用作模型响应r时，能够意外地诱导各种LLM评判器产生正面判决，尽管这些模式在语义层面对于解决具体任务毫无意义。这种现象在来自不同数据领域的多样化问题-答案对(q, a∗)中均表现出一致性。研究发现，这些对抗性模式主要分为两个类别：第一类是非词汇符号，包括各种标点符号如句号"."和冒号"："；第二类是推理引导语，即那些表明推理过程开始或结构框架的自然语言表达，但本身并不包含实质性内容，典型例子包括"Thought process:"、"Solution"以及"Let's solve this problem step by step."等。
为了有效缓解"万能钥匙"攻击所带来的安全隐患，研究团队开发了一种新型奖励模型——主奖励模型（Master Reward Model, Master-RM）。该模型在设计上专门针对此类攻击进行防护，同时确保在通用领域验证任务中保持优异性能。
Master-RM的构建基础是"Crossing the reward bridge"工作中建立的训练框架，该框架提供了包含16万个样本实例的数据集。每个实例以元组(q, a∗, r, y)的形式组织，其中问题q对应的响应r由策略模型生成，而标签y则由更大规模的模型（具体为Qwen2.5–72B-Instruct）担任教师评分器角色，负责评估响应r在给定问题-答案对(q, a∗)条件下的正确性。通过在此数据集上实施监督微调，得到了Multi-sub RM模型。相较于通用大语言模型（如GPT-4o或LLaMA3–70B-Instruct），Multi-sub RM对"万能钥匙"的敏感性显著降低。然而，在复杂通用推理基准测试中，该模型对某些特定表达（如"Thought process:"）仍存在超过10%的误报率问题。
为进一步增强模型适应性，研究构建了一个辅助性对抗训练数据集。具体构建过程包括：首先从原始16万RM训练数据集中随机抽取20,000个实例；然后针对每个抽样实例，利用GPT-4o-mini的思维链提示技术生成新的模型响应；接着仅保留这些重新生成响应的首句内容，这些句子通常由推理引导语构成（例如"To solve the problem, we need to find…"和"We start with the equations…"），其特点是包含极少或完全不包含实质性问题解决内容；最后将这20,000个新生成样本明确标记为NO，表示其为无效或无意义的响应类型。最终将这20,000个负样本（记为Daug）与原始160,000样本数据集（记为Dorig）进行合并。
基于该增强数据集，研究在Qwen2.5–7B-Instruct基础模型（与Multi-sub RM采用相同底层架构）上执行监督微调程序，最终获得Master-RM模型。训练过程采用标准交叉熵损失函数作为优化目标。实验验证表明，该模型展现出卓越的泛化能力：尽管仅在相对较小规模的针对性负样本上进行训练，Master-RM在全部五个大规模多领域基准测试中，对所有测试的"万能钥匙"攻击均实现了接近零误报率的防护效果。
本研究的评估对象涵盖两大类LLM评判器：专门化生成式奖励模型（Specialized Generative RMs），即在RLVR框架内专门针对奖励建模任务进行微调的大语言模型；以及通用大语言模型（General-purpose LLMs），包括大多数未经奖励建模专门微调的先进开源和商业模型。
评估过程中采用的LLM评判器版本信息与数据来源如上图所示。所有LLM评判器均在来自五个推理基准测试的测试集上接受评估。
各基准测试的数据规模分布如上图所示。
实验中使用的"万能钥匙"攻击模式包括两个主要类别：非词汇符号类别包含单个空格字符" "、句号"."、逗号","以及冒号":"；推理引导语类别则包含"Thought process:"、"Let's solve this problem step by step."、"Solution"以及相应的多语言版本，如中文的"解"、日文的"かいせつ"和西班牙文的"Respuesta"。
为确保评估结果的公平性和可比性，所有通用模型均采用标准化提示模板进行测试，而专门化生成式奖励模型则使用各自对应的默认提示格式进行评估。
上图展示了不同LLM评判器在多样化数据集上面对"万能钥匙"响应时的误报率分布情况。
实验结果揭示了几个重要发现。首先，通用大语言模型表现出普遍的脆弱性特征。即使是广受信任的先进模型如GPT-4o、Claude-4和GPT-o1，对于极简响应也表现出意外的敏感性。仅包含标点符号的响应（如单个冒号":"）就能在GPT-4o中诱发高达35%的误报率。
其次，先进开源大语言模型呈现出高误报率问题。当面对"Thought process:"这一推理引导语时，LLaMA3–70B-Instruct和Qwen2.5–72B-Instruct等先进开源模型在所有基准测试中均产生了60%至90%的极高误报率。此外，多语言标记（如中文"解"）同样频繁触发误报现象。
专门化奖励模型虽然整体上表现出更强的抗攻击能力，但仍存在不可忽视的安全隐患。例如，General Verifier模型在MATH数据集上面对简单空格攻击时显示出66.8%的警示性高误报率。
相比之下，本研究提出的Master-RM模型展现出卓越的适应性特征，对所有测试攻击均表现出近乎完美的免疫能力，误报率接近0%，有力验证了其防护机制的有效性。
上图显示了各LLM评判器的解析成功率以及与GPT-4o判决结果的一致性水平。
Master-RM在性能和一致性方面均表现优异，在所有评估的LLM评判器中取得最高综合评分，实现了100%的解析成功率和与GPT-4o高达0.96的一致性系数。这一结果表明，模型的适应性增强并未以牺牲通用验证能力为代价。
上图展示了Qwen模型系列中误报率随模型规模变化的趋势特征。
规模化分析揭示了误报率与模型参数量之间的非单调关系，这一模式在所有数据集中保持一致。0.5B参数模型虽然显示出最低的误报率，但与GPT-4o的一致性表现最弱，研究推测这是由于模型知识容量限制导致其主要依赖表面层面的文本差异进行判决，可视为"字面匹配器"。
当模型规模扩展至1.5B到3B参数时，误报率出现急剧上升，同时一致性有所改善。这类模型被归类为"粗糙语义匹配器"，具备足够的嵌入层面相似性判断能力，但缺乏细粒度验证机制，因此倾向于过度预测YES判决。
模型性能在7B到14B参数规模区间达到最优平衡点，同时实现了低误报率和高一致性表现。这类模型被定义为"校准验证器"，拥有进行精确比较的充足容量，同时能够有效抑制不当的YES响应。
在最大规模（32B和72B参数）下，误报率再次呈现上升趋势。研究推测这是因为超大规模模型具备了独立解题能力，成为"自主求解器"，它们有时会自行解决问题并将参考答案与自身推导结果进行对比，从而可能对错误提交给出肯定判决。
上图显示了新发现的"万能钥匙"响应对GPT-4o造成的误报率影响。
为了系统性地发现更多潜在的"万能钥匙"模式，研究团队构建了一个大规模候选语料库。数据来源包括Wikipedia数据集的简化版本、GSM8K数据集的解题过程、MATH数据集，以及来自The cot collection和Qwq-longcot-130k的思维链数据集。预处理过程包括将文本分割为独立句子并筛选出长度不超过30个字符的条目以简化分析。同时纳入WordNet（Miller, 1995）词典以确保单词条目的全面覆盖。最终构建的语料库包含1,502,250个条目。
研究采用All-MiniLM-L6-v2编码器为整个语料库计算向量嵌入表示。通过对已知"万能钥匙"进行编码并计算余弦相似度，成功识别出语料库中的相似句子模式。实验验证表明，新生成的候选句子通过GPT-4o判定的误报率评估，证实了这些候选模式同样能够有效攻击GPT-4o，进一步扩展了"万能钥匙"攻击的覆盖范围。
本研究深入揭示了现有LLM评判器面临的系统性安全隐患，并提出了有效的防御解决方案。通过Master-RM模型的成功构建，证明了针对性的对抗训练能够在保持模型通用性能的前提下显著提升安全防护能力。这一工作为构建更加可靠和安全的AI评估系统提供了重要的理论基础和实践指导。
来源：deephub