情報科学 › LLM アーキテクチャ › 自己注意

1 回の順伝播で n 個の予測が得られる

系 6.4（「自己注意」§6）・ ✓公理まで証明済み

$f = (f_n)$ を因果的な族とする（定理 6.3 の形のモデル）。長さ $n$ の列 $X$ に対する 1 回の計算 $f_n(X)$ の第 $t$ 行は、接頭辞 $X_{1:t}$ だけを入力したときの最後の行に等しい：

f_n(X)_t = f_t(X_{1:t})_t \qquad (t = 1, \ldots, n).

したがって、 $n$ 個の「接頭辞 $(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_t)$ から次のトークンを予測する」計算の結果が、1 回の順伝播で同時に、別々に計算したときと同じ値で得られる。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 2 件、定義なども含めて 4 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

因果的な写像の族定義 6.1・自己注意
因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意
- スケール付き内積注意・自己注意・マルチヘッド・因果マスク定義 4.1・自己注意
- 因果的な写像の組み立て✓補題 6.2・自己注意

これを使っている定理証明で参照している 1 件

ブロックとモデル全体の同変性・因果性✓命題 7.2・Transformer ブロック