标签: 微调

LoRA 微调实战

LoRA 原理 LoRA 在原始权重旁添加低秩矩阵 $A$ 和 $B$，只训练这些小矩阵： $$ W' = W + \alpha \cdot AB $$ 其中 $A \in \mathbb{R}^{d \times r}$, $B \in ...