LoRA のパラメータ数と、表せる更新の全体

$d, k \ge 1$、$1 \le r \le \min(d, k)$ とし、$\Delta W = BA$（$B \in \mathbb{R}^{d \times r}$、$A \in \mathbb{R}^{r \times k}$）とします。

1. 学習するパラメータの数は $r(d + k)$ です。これが全体の微調整の $dk$ より小さいことは、$r < \dfrac{dk}{d + k}$ と同値です。
2. $\operatorname{rank} \Delta W \le r$ です。
3. 逆に、$\operatorname{rank} M \le r$ である任意の $M \in \mathbb{R}^{d \times k}$ は、ある $B \in \mathbb{R}^{d \times r}$、$A \in \mathbb{R}^{r \times k}$ によって $M = BA$ と書けます。したがって

です。 4. $B = O$ で初期化すると、$A$ が何であっても学習開始時に $\Delta W = O$ で、モデルの出力は事前学習済みのモデルと一致します。 5. 学習後に $W = W_0 + BA$ を 1 つの $d \times k$ 行列として計算しておけば、推論時の $\boldsymbol{x} \mapsto W\boldsymbol{x}$ の乗算回数は $dk$ で、元のモデルと同じです。まとめずに $W_0 \boldsymbol{x} + B(A\boldsymbol{x})$ と計算すると $dk + r(d + k)$ 回です。