KV キャッシュ

各層 $\ell = 1, \ldots, L$ について、これまでに処理した位置のキーとバリューの列 $\bigl(\boldsymbol{k}^{(\ell)}_s, \boldsymbol{v}^{(\ell)}_s\bigr)_{s \le t}$ を保存したものを KV キャッシュといいます。キャッシュつきの生成は、新しいトークン $x_t$ が決まるたびに、$\ell = 1, \ldots, L$ の順に次を行います。

1. $\boldsymbol{h}^{(\ell-1)}_t$ から $\boldsymbol{k}^{(\ell)}_t, \boldsymbol{v}^{(\ell)}_t, \boldsymbol{q}^{(\ell)}_t$ を計算し、$\boldsymbol{k}^{(\ell)}_t, \boldsymbol{v}^{(\ell)}_t$ を層 $\ell$ のキャッシュの末尾に足す。
2. キャッシュにある $s \le t$ のキーとバリューを使って $\alpha^{(\ell)}_{ts}$ と $\boldsymbol{h}^{(\ell)}_t$ を計算する。

位置 $t$ の 1 行だけを計算し、過去の位置の $\boldsymbol{h}^{(\ell)}_s$（$s < t$）は計算し直しません。