svd

ICLR2025Spotlight|参数高效微调新范式!

低秩适配器(LoRA)能够在有监督微调中以约 5% 的可训练参数实现全参数微调 90% 性能。然而,在 LoRA 训练中,可学习参数 不仅注入了知识,也学习到了数据集中的幻觉噪声 。因为这种特性的存在,大多数的 LoRA 参数都将可学习秩设置为一个较小的值(8

范式 delta iclr2025spotlight svd 2025-04-03 18:47  1