摘要：近期，当很多人还在纠结用什么 label 和 reward 训练大模型的时候，以及纠结用什么样的基准模型进行公平比较的时候，西湖大学 MAPLE 实验室另辟蹊径：既然 LLM 在复杂指令上表现不佳，需要引入单独的 SFT 或者 RL 过程，那为什么不让模型在推
近期，当很多人还在纠结用什么 label 和 reward 训练大模型的时候，以及纠结用什么样的基准模型进行公平比较的时候，西湖大学 MAPLE 实验室另辟蹊径：既然 LLM 在复杂指令上表现不佳，需要引入单独的 SFT 或者 RL 过程，那为什么不让模型在推理时「临时学习」一下这个具体的问题呢？这个看似「离谱」的想法，竟然带来了惊人的效果提升。
试想一下，如果你参加考试时，可以在答题前花几秒钟「适应」一下这道具体的题目，你的表现会不会更好？
这正是西湖大学研究团队在最新论文中提出的核心思想。他们开发的 SLOT（Sample-specific Language Model Optimization at Test-time）方法，把每个输入 prompt 本身当作一份「迷你训练数据」，让模型在生成答案前先「学习」理解这个具体问题。
更令人惊讶的是，这个方法简单到离谱：
只需要优化一个轻量级参数向量 delta（仅修改最后一层特征）只需要几步 (比如 3 步) 梯度下降计算开销几乎可以忽略不计（仅增加 7.9% 推理时间）完全即插即用，无需修改原模型效果炸裂
多项基准测试刷新纪录
即便拿最有挑战性的高性能基线做比较对象，实验结果令人瞩目 (所有 log 都在开源 github 里)：
Qwen2.5-7B 在 GSM8K 数学推理任务上准确率从 57.54% 飙升至 66.19%，提升 8.65 个百分点。DeepSeek-R1-Distill-Llama-70B 在 GPQA Diamond 上达到 68.69%，创下 70B 级别开源模型新纪录在高难度的 AIME 2024 数学竞赛题上，多个模型实现 10% 以上的提升核心创新
把 Prompt 当作「测试时训练样本」
传统的 LLM 在面对复杂或特殊格式的指令时经常「翻车」，它可能会忽略格式要求或给出错误答案。
SLOT 的解决方案优雅而简单：针对单独一个问题，直接在最后一层特征上加一个 delta 向量，并在问题 prompt 本身上最小化交叉熵损失即可。
由于仅仅需要在最后一层上优化一个加性的 delta 参数向量，每个问题只需要经过一次网络推理。通过把输入给最后一层的中间结果进行缓存，优化 delta 的过程几乎不需要增加计算开销。
由于方法十分简单，任何伪代码公式都多余，这里给出如何把 SLOT 应用于你的工作的 transformers 版本代码（vLLM 版本也已开源）。
以 modeling_qwen.py 里 Qwen2ForCausalLM 模型为例，研究团队在 forward 函数里获得 hidden_states 之后插入这段代码：首先初始化一个全 0 的 delta 向量，加在 last hidden states 上；然后用当前的 prompt 作为训练数据，delta 作为可学习参数，以交叉熵损失优化，得到 sample-specific 的 delta 参数；之后即可用优化好的 delta 生成后续 token。
为什么如此有效？
深入分析揭示秘密
研究团队通过分析发现，SLOT 优化后的 delta 会显著调整输出词汇的概率分布：
这意味着 SLOT 在鼓励模型「深思熟虑」，避免过早结束推理或陷入表面的模式匹配。
亮点在于：不同于 SFT 或者 RL 的微调算法，该方法无需：
修改模型架构额外的训练数据复杂的采样策略昂贵的计算资源广泛适用
从 1.5B 到 70B，从基础模型到推理专家
SLOT 在各种规模和类型的模型上都展现出稳定的提升：
Qwen 系列：1.5B 到 32B 均有提升。Llama 系列：包括 Llama-3.1。DeepSeek-R1 系列：即使是已经专门优化过推理能力的模型，仍能获得显著提升。C-Eval Hard 子集：+8.55%AIME 2024：部分模型提升超过 13%GPQA Diamond: 由 65.66 提升到 68.69 (开源 sota 级别)结语
在大模型时代，当所有人都在追求「更大、更强」时，SLOT 用一个简单得「离谱」的想法证明：有时候，让模型在回答前先「理解」一下问题，就能带来惊人的效果。
来源：机器之心Pro一点号
