P-tuning
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
Propulsion
Propulsion: Steering LLM with Tiny Fine-Tuning 自然语言处理（NLP）和相邻领域因大型语言模型的快速发展而实现了前所未有的进步。然而，为特定任务微调这些模型的计算成本仍然很高，而且可能降低先学习到的特征。为了应对这些挑战，作者提出了一种名为 Propulsion 的全新高效微调方法，旨在在大幅降低计算成本的同时优化特定任务的性能。受物理运动中控制调整概念的启发， Propulsion 选择性地重新缩放预训练模型的特定维度，指导输出预测直接朝着任务目标，而不修改模型的参数。通过在预训练层引入可训练的轻量级 Propulsion 参数，作者在微调...
2025-11-16
Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models A Critical Review and Assessment
0 摘要随着基于 Transformer 的预训练语言模型（PLMs）参数数量的不断增长，特别是具有数十亿参数的大型语言模型（LLMs）的出现，许多自然语言处理（NLP）任务展示出了显著的成功。然而，这些模型的巨大规模和计算需求对其适应特定下游任务提出了重大挑战，尤其是在计算资源有限的环境中。参数高效微调（PEFT）通过减少微调参数数量和内存使用量，同时实现与完全微调相当的性能，提供了一种有效的解决方案。对 PLMs，特别是 LLMs 的微调需求导致了 PEFT 方法的快速发展，如图 1 所示。在本文中，我们对 PLMs 的 PEFT 方法进行了全面和系统的回顾。我们总结了这些 PEFT...
2025-11-16
Adapter综述
Parameter-Efficient Transfer Learning for NLP Adapter（ICML 2019）这项工作第一次提出了 Adapter 方法。在对预训练模型进行微调时，我们可以冻结在保留原模型参数的情况下对已有结构添加一些额外参数，对该部分参数进行训练从而达到微调的效果。作者采用 Bert 作为实验模型，在每个 Transformer Block 的 Attention 层以及两个全连接层后增加了一个 Adapter 结构，其总体结构如下：
2025-11-16
LoRA-Pro
解读来源：对齐全量微调！这是我看过最精彩的LoRA改进（二） 文章：LoRA-Pro: Are Low-Rank Adapters Properly Optimized? 文章解读“LoRA-GA”通过梯度SVD来改进LoRA的初始化，从而实现LoRA与全量微调的对齐。当然，从理论上来讲，这样做也只能尽量对齐第一步更新后的$W_1$，LoRA-Pro同样是想着对齐全量微调，但它对齐的是每一步梯度，从而对齐整条优化轨迹，这正好是跟LoRA-GA互补的改进点。 对齐全量LoRA的参数化方式是 $$W = (W_0 - A_0 B_0) + AB\tag{1}$$其中$W_0...
2025-11-16
Towards a Unified View of Parameter-Efficient Transfer Learning
Code 0. 摘要微调大型预训练语言模型（PLMs）以适应下游任务已成为自然语言处理（NLP）中的默认学习范式。然而，传统方法通常微调预训练模型的所有参数，随着模型规模和任务数量的增加，这种做法变得不可行。最近的研究提出了多种参数高效的迁移学习方法，只需微调少量（额外的）参数即可达到强大的性能。尽管这些方法效果显著，但其成功的关键因素以及各方法之间的联系尚不清楚。在本文中，我们分解了最新的参数高效迁移学习方法的设计，并提出了一个统一的框架，建立了它们之间的联系。具体来说，我们将它们重新框架化为对预训练模型中特定隐藏状态的修改，并定义了一组设计维度，这些方法在这些维度上有所不同，例如...
2025-11-16
MOLE
Mixture of LoRA Experts引言LoRA模块化架构让研究人员们开始探索组合多个LoRA方法，旨在实现学习特征的联合生成，增强各种任务的性能。当前线性算术组合和参数调优组合都存在一定的缺陷，为了能够动态、高效地组合多个训练后的 LoRA，本文作者提出了LoRA专家混合方法：MOLE，不仅在LoRA组合中提升了性能，还节约了计算开销，保证了LoRA的灵活性。 背景介绍随着大模型的发展，其已经应用至各个领域，例如教育、医疗、金融等。一开始为了能够让大模型适应下游任务，通常需要基于下游数据集进行微调，但是随着不断增加的模型参数量，对模型进行全微调越来越困难（时间长、成本高、迭代...