摘要：近日，一项由加州大学伯克利分校的Zihang Liu、达特茅斯学院的Tianyu Pang和Yaoqing Yang等多位研究者组成的国际团队发表了一篇引人注目的研究论文。这篇题为《LIFT the Veil for the Truth: Principal

想象一下，你有一本厚重的百科全书，但只需要找出其中最关键的知识点来回答一个具体问题。是不是觉得逐页查找太浪费时间？大语言模型(LLM)的训练也面临类似问题。当研究人员想要提升模型的推理能力时，是否需要调整模型中所有的参数，还是只需要找到并调整那些真正重要的参数？这个问题引发了本研究的核心思考。

在人工智能发展的当下，大语言模型通过监督式微调(SFT)和强化学习(RL)在推理能力上取得了革命性的进步。特别是在少量高质量数据上进行的监督式微调，能让模型在数学问题上展现出惊人的推理能力。但传统的全参数微调(Full FT)方法面临两个主要挑战：一是计算成本高昂，二是容易在有限的训练数据上过拟合，甚至出现灾难性遗忘问题。

另一方面，稀疏微调(Sparse FT)作为一种只更新模型参数子集的方法，在大语言模型出现之前已经展现出良好的效果，但在大语言模型时代却明显落后于低秩微调方法(如LoRA)。这主要是因为稀疏微调难以识别真正对推理至关重要的参数，同时在使用不规则稀疏模式时，其内存开销与全参数微调相同。

在这篇论文中，研究团队提出了一个名为"低秩引导的稀疏微调"(LIFT)的创新方法。LIFT建立在一个有些反直觉的发现上：最基础的稀疏微调基线方法——基于权重大小的微调，在应用低秩近似后会变得异常有效。研究人员将低秩近似后保留最大幅值的权重称为"主要权重"(Principal Weights)。实验表明，LIFT只需更新模型中约5%的主要权重，就能在推理任务上持续超越全参数微调，同时保持与流行的参数高效微调方法相当的内存效率。

LIFT解决稀疏微调的挑战主要体现在两个方面：首先是识别主要权重。LIFT发现这些权重对于保留预训练知识和适应下游任务至关重要。这一发现与近期研究认为推理能力已经存在于基础模型中的观点相一致。LIFT进一步指出，这些知识是通过主要权重编码的，只微调这些参数就足以达到与全参数微调相当甚至更优的推理性能。其次是内存效率。LIFT比全参数微调有显著更好的内存效率，与LoRA相当。LIFT在微调过程中只更新和存储很小一部分参数，大大节省了内存——特别是在优化器状态方面，从LLaMA-2-7B模型的全参数微调需要27GB降低到只需1.3GB(不到5%)。

研究团队的分析揭示，主要权重对于大语言模型微调比其他权重选择标准更为重要：对主要权重添加随机扰动会对模型性能产生剧烈影响，远大于其他稀疏选择指标，无论是在预训练知识还是下游任务方面。此外，LIFT的更新矩阵比LoRA和全参数微调具有更大的幅度和更高的秩(接近全参数微调)，使其在微调中具有更强的获取新知识的能力。更重要的是，LIFT能够强烈影响大语言模型的主特征空间，使其比LoRA和全参数微调产生更大的偏差，从而更好地适应下游任务。

让我们一起深入探索这项研究的细节，了解LIFT如何成为大语言模型微调的新选择。

一、为什么主要权重如此重要？

想象你正在翻新一栋老房子。虽然房子有数百个部件需要修缮，但真正决定房子结构稳定性的可能只是几根关键的承重梁和柱子。如果你能准确找到这些关键结构并加固它们，就能以最小的工作量获得最大的效果。这正是LIFT方法的核心思想。

研究团队设计了一个简单但有力的实验来验证主要权重的重要性。他们在预训练好的LLaMA-2-7B模型上，向不同策略选出的参数子集添加相同大小的随机噪声，然后观察模型性能的变化。如果某种选择策略找到的参数确实对模型至关重要，那么扰动这些参数应该会对模型性能产生显著负面影响。

实验结果令人惊讶：当向LIFT选择的参数添加噪声时，模型在三个不同任务上的性能都急剧下降。具体来说，在Wikitext困惑度评估中，困惑度值急剧上升；在下一个词预测任务中，当给出提示句"马德里位于哪个国家"时，正确答案"西班牙"的输出概率从接近1降至0；在算术推理任务上，测试准确率从70%以上直接降至0。相比之下，通过其他选择标准(如随机选择或基于权重幅值)选出的参数受到扰动后，模型性能几乎不受影响。

这个实验有力地证明了LIFT选择的主要权重确实捕捉到了模型中最关键的知识和能力。就像房子的承重结构一样，这些权重承载着模型的核心功能，扰动它们会导致整个"结构"崩溃。

二、LIFT方法是如何工作的？

如果把大语言模型比作一座复杂的交响乐团，那么LIFT就像是一个能够识别主奏乐器的指挥。虽然交响乐团中有数十种乐器同时演奏，但真正定义旋律和情感的可能只是几件主奏乐器。LIFT方法正是通过低秩近似这一"音乐过滤器"，找出模型中那些"主奏"权重。

LIFT的工作流程可以分为三个主要步骤：

首先，对模型的所有可训练权重矩阵进行低秩近似。这就像是将复杂的交响乐简化为主旋律，过滤掉可能被视为"噪音"的高阶成分。具体来说，对于每个权重矩阵W，LIFT找到一个秩为r的近似矩阵W'，使得W'与W之间的Frobenius范数(一种衡量矩阵差异的数学度量)最小化。

接着，在低秩近似的权重矩阵W'中，LIFT选择幅值最大的k个参数位置，生成一个二进制掩码。这些被选中的参数位置就是所谓的"主要权重"。这一步就像是在简化后的交响乐中找出音量最大、最能定义旋律的那些音符。

最后，在微调过程中，LIFT只更新原始权重矩阵W中那些对应于掩码位置为1的参数。通过这种方式，LIFT能够大大减少需要更新和存储的参数数量，同时保持或甚至提升模型性能。

值得注意的是，LIFT在训练过程中会定期更新这个掩码，因为随着模型的微调，低秩近似及其最大成分也会发生变化。这就像是在音乐演奏过程中，主旋律可能会从小提琴转移到钢琴，指挥需要随时调整关注点。

三、LIFT在各种任务上的出色表现

如果LIFT是一位运动员，那么它无疑是一位全能冠军。研究团队在多种推理任务上对LIFT进行了全面评估，包括GPQA Diamond(研究级别的问答)、常识推理、算术推理、自然语言理解、代码生成和问答任务。在所有这些比赛项目中，LIFT都展现出了令人印象深刻的性能。

在常识推理任务上，LIFT在8个基准测试中的平均准确率达到了84.66%(使用LLaMA-2-7B)和87.88%(使用LLaMA-3-8B)，分别比全参数微调高出1.13%和1.24%，比LoRA高出3.41%和4.42%。就像一位全能型运动员，LIFT在各个项目上都表现出色，尤其在一些难度较高的测试中更是脱颖而出。

在算术推理任务上，LIFT同样展现出强大实力。使用LLaMA-3-8B模型时，LIFT在7个算术任务上的平均准确率达到81.78%，比全参数微调高1.60%，比LoRA高2.34%。特别是在GSM8K和SVAMP等难度较高的任务上，LIFT的表现尤为突出，表明它能够有效获取高级算术能力。

在自然语言理解任务(GLUE基准)上，LIFT使用DeBERTa-v3模型达到了89.24%的平均准确率，超越全参数微调0.88%，超越近期的Spectral Adapter方法1.40%。这相当于在精确度要求极高的体操比赛中，LIFT不仅完成了所有动作，还做得更加优雅和精准。

在代码生成任务上，LIFT在Humaneval数据集上的Pass@1和Pass@10指标分别达到16.46%和31.10%，同样超越了全参数微调和其他微调方法。这展示了LIFT在结构化任务上的适应能力。

在问答任务上，LIFT在StrategyQA数据集上使用LLaMA-2-7B和LLaMA-3-8B模型分别达到了72.53%和75.85%的准确率，比全参数微调分别高出1.92%和1.04%。

甚至在推理模型的测试时扩展方面，LIFT也表现出色。使用Qwen-2.5模型在GPQA Diamond上进行监督式微调时，LIFT比全参数微调分别高出2.02%(1.5B模型)和1.52%(3B模型)。

这些结果表明，LIFT不仅是一种内存高效的微调方法，更是一种能够持续超越全参数微调和其他参数高效微调方法的强大技术。就像一位全能冠军在各个比赛项目中都能取得优异成绩一样，LIFT在各种语言和推理任务上都展现出卓越的适应能力和性能。

四、LIFT如何平衡学习与遗忘？

在人类学习中，我们常常面临一个难题：学习新知识的同时如何保留已有知识。例如，当你专注学习一门新语言时，可能会暂时忘记一些之前学过的数学公式。大语言模型也面临类似的"灾难性遗忘"问题。LIFT在这方面展现出了非凡的平衡能力。

研究团队设计了一个巧妙的实验来评估模型在目标领域(算术推理)学习新知识的同时，对源领域(常识推理)知识的保留程度。他们将LLaMA模型在MATH-10K数据集上进行微调，然后分别在算术推理任务(目标领域)和常识推理任务(源领域)上评估其性能。

实验结果令人惊喜：LIFT不仅在目标领域(算术推理)上显著超越了全参数微调和LoRA，在源领域(常识推理)上的表现也大幅优于这两种方法。具体来说，使用LLaMA-3.2-3B模型时，LIFT在源领域的性能比全参数微调高出5%以上，比LoRA高出12%以上。

这种优异的平衡能力可以归因于LIFT的核心机制：它只微调模型中的主要权重，而保持大部分参数不变。这就像是在一本百科全书中，你只修改了一些关键词条，使其更准确地描述某个特定领域的知识，而保持其他词条不变，从而保留了书中的大部分原有知识。

五、LIFT的内部工作机制：特征空间分析

为了更深入地理解LIFT为何如此有效，研究团队对模型微调前后的特征空间进行了详细分析。这就像是比较运动员训练前后肌肉结构的变化，以了解训练如何改变了运动员的能力。

研究团队发现，不同层的权重对微调的响应存在显著差异。一些层(如Query、Key和Gate层)的特征空间对微调极为稳健，几乎不发生变化；而另一些层(如Output、Up和Down层)则更为适应性强，微调会导致它们的特征空间发生较大旋转。这就像是运动员身体的不同部位对训练的响应不同：有些肌肉群更容易通过训练改变，而有些则保持相对稳定。

更有趣的是，LIFT在那些高适应性层上的效果尤为显著。在Output、Up和Down层，LIFT能够引起比全参数微调和LoRA更大的特征空间旋转，表明它能够更有效地调整模型的关键结构以适应新任务。

从更新矩阵的秩来看，LIFT不受LoRA那样的秩限制，其更新矩阵的秩显著高于LoRA，接近全参数微调。特别是在MLP模块的Up和Down投影等微调关键层上，LIFT几乎达到了与全参数微调相同的更新秩。这表明LIFT具有更大的容量来学习任务相关的知识，这可能解释了它为何能够超越其他参数高效微调方法。

综合这两个指标，我们可以看到LIFT成功的关键：它能够在关键层上提供更大的特征空间旋转，以适应微调任务，并提供足够大的更新秩以增加学习新知识的容量。这就像是一位教练既知道运动员身体的哪些部位需要重点训练，也知道如何设计最有效的训练方案。

六、LIFT的内存效率如何？

在资源有限的情况下，微调大语言模型就像是在小型厨房中准备盛大宴会——空间和工具的高效利用变得至关重要。LIFT在这方面展现出了卓越的表现。

研究团队分析了LIFT、全参数微调和LoRA的内存消耗情况。结果显示，LIFT的整体内存开销仅略高于LoRA，但显著低于全参数微调。特别是在优化器状态方面，LIFT只占用了全参数微调约5%的内存，这是因为它只需存储稀疏参数的动量和方差。

更令人印象深刻的是，研究团队发现可以进一步减少LIFT的内存开销，方法是只微调MLP层(称为LIFT_MLP)。这种变体在保持与LIFT相当性能的同时，进一步降低了内存消耗。例如，在LLaMA-2-7B上进行算术推理任务时，LIFT_MLP的平均准确率为73.34%，仅比LIFT的73.74%低0.4%，但内存效率更高。

这种极高的内存效率使LIFT成为在资源受限环境下微调大语言模型的理想选择。就像是一位能够在小厨房中烹饪出五星级大餐的厨师，LIFT能够在有限的计算资源下实现卓越的性能。

七、LIFT的潜在应用与未来方向

LIFT的出色表现为大语言模型的微调开辟了新的可能性。想象一下，原本需要强大服务器集群才能完成的模型微调任务，现在或许可以在个人电脑甚至更小的设备上实现。这将大大降低定制化大语言模型的门槛，使更多研究者和开发者能够参与其中。

此外，LIFT的高效平衡学习与遗忘的能力，使其特别适合于增量学习场景，即模型需要不断学习新知识而不忘记旧知识的情况。例如，一个部署在医疗领域的语言模型可能需要定期更新以学习最新的医学研究成果，同时保留基础医学知识。LIFT可以帮助实现这种平衡。

研究团队也指出了LIFT的一些限制和未来研究方向：

首先是如何将LIFT与强化学习算法(如GRPO)结合，以进一步提升大语言模型的推理能力，同时保持内存效率。其次是深入研究LIFT中特征向量旋转现象与大语言模型微调学习动态之间的联系。再者是如何通过GPU加速进一步提高LIFT的计算效率。最后，当前的LIFT使用全局秩进行低秩近似，但不同层可能有不同的容量。研究团队建议未来可以探索为每一层设计自适应秩降低的方法。

这些问题为未来的研究提供了丰富的方向，有望进一步提升LIFT的性能和适用性。

八、总结与反思

回顾这项研究，我们可以看到LIFT为大语言模型的微调提供了一种新的视角：通过识别并只更新模型中的主要权重，我们可以在减少计算成本的同时，实现与全参数微调相当甚至更好的性能。

归根结底，LIFT的成功源于其对大语言模型内部结构的深刻理解。就像是一位优秀的医生能够准确找到病灶并进行精准治疗，而不是对整个身体进行不必要的干预，LIFT能够识别模型中真正重要的参数，并专注于调整这些参数。

对于普通用户来说，LIFT的意义在于它有可能使个性化的大语言模型变得更加普及。随着计算资源需求的大幅降低，未来我们可能会看到更多针对特定领域或任务定制的大语言模型，从而提供更精准、更有用的服务。

对于研究社区而言，LIFT揭示的主要权重现象提供了理解大语言模型内部工作机制的新线索。这些发现可能会促进更多关于模型可解释性和知识表示的研究，最终帮助我们构建更透明、更可控的人工智能系统。

最后，LIFT的研究再次提醒我们，在人工智能领域，有时"少即是多"。通过找到并专注于真正重要的部分，我们不仅可以提高效率，还可能获得更好的结果。这种思想不仅适用于模型微调，也可能对其他机器学习任务有所启发。

如果你对这项研究感兴趣，可以访问https://github.com/zihanghliu/LIFT查看更多详情和代码实现。这项研究不仅为大语言模型的微调提供了新工具，也为我们理解这些复杂系统内部的工作机制打开了一扇窗。

来源：至顶网一点号