基于提示的调整方法的简化比较（来源：作者提供的图片）

ayesha983

几乎同时发布的前缀调优[4] 可以简化为即时调优，但应用于模型的每个注意层。最后， P 调优[5] 直接将标记添加到输入而不是嵌入。为了实现这一点，它使用轻量级 LSTM 或 MLP 从可训练嵌入参数中预测标记。

基于提示的调整方法的简化比较（来源：作者提供的图片）
适配器
适配器 [5] 是另一种基于加法的方法，常用 捷克共和国电报数据 于微调 LLM。它与前缀调整有关，因为它会在模型​​的子层中添加可训练的权重。但是，它在每个 Transformer 块的每个子层的两个不同位置添加小型全连接网络，而不是仅在嵌入上添加前缀。

适配器块采用瓶颈架构来减少参数数量。尺寸仅供参考。（来源：作者提供的图片）
适配器块采用瓶颈架构来减少参数数量。尺寸仅供参考。（来源：作者提供的图片）
低秩适应
低秩自适应 (LoRA) [7] 可能是最常用的基于重参数化的方法。重参数化方法背后的理念是利用低秩近似方法，旨在用较小的矩阵近似大矩阵。因此，传统的降维方法（如 PCA）就是低秩近似的例子。

在 LoRA 中，重点不是直接近似权重，而是近似权重更新，权重更新被分解为两个较小维度的矩阵。在微调过程中，只有这些矩阵通过反向传播进行