LoRA

LORA 是 PEFT 中最常用的方法，LORA 认为过参数的模型权重其实存在低内在维度，那么模型适应过程中的权重变化也存在低内在维度，因此模型在微调的过程中实际上可以通过微调低秩矩阵来微调模型。LORA 的微调过程如下：在 Linear 层增加一个“旁路”, “旁路”用 A、B 两个矩阵组合表示，维度分别是 d × r 和 r × d，其中 r 远小于 d，A 随机初始化，B 初始化为0，在微调模型的过程中，左边的 W 不更新，只更新右边的 A 和 B 的参数。前向传播时是左右的输出和，反向传播时只更新右边，因此计算的梯度以及优化器的中间值也只和右边有关，最终右边的参数会单独保存下来。LORA 这种训练方式不会改变大模型的参数，且针对每个下游任务生成自己的 LORA 参数，在预测阶段只要将大模型的参数和 LORA 参数叠加在一起即可。

以下面的资料为准

• https://www.cnblogs.com/rossiXYZ/p/18805103

Reference

• https://github.com/microsoft/LoRA
• LoRA: Low-Rank Adaptation of Large Language Models
• https://github.com/huggingface/peft
• https://til.simonwillison.net/llms/llama-7b-m2