低階数適応（LoRA）

事前学習済みの重み行列 $W_0 \in \mathbb{R}^{d \times k}$ と整数 $r \ge 1$ に対して、$B \in \mathbb{R}^{d \times r}$、$A \in \mathbb{R}^{r \times k}$ を新しい重みとして導入し、

とおきます。$W_0$ は固定し、$A$ と $B$ だけを学習する方法を低階数適応（LoRA）といい、$r$ をその階数（の上限）といいます。原論文では $A$ を乱数、$B$ を零行列で初期化し、$\Delta W$ に定数 $\alpha / r$ を掛けます。