自己注意 1 層の計算量

命題 7.2（「自己注意」§7）・ ✓公理まで証明済み

長さ $n$ 、次元 $d$ 、ヘッド数 $h$ （ $d_k = d/h$ ）のマルチヘッド自己注意 1 層を定義の式どおりに計算するとき、スカラーの乗算の回数は

\underbrace{4nd^2}_{\text{射影}} + \underbrace{2n^2 d}_{\text{点数と重みつき和}}

で、ヘッド数 $h$ に依らない。このほかに指数関数の評価と除算が $O(hn^2)$ 回ある。注意の重みを保持するのに必要な記憶は $hn^2$ 個の数である。 $h \le d$ なので、時間計算量は $O(nd^2 + n^2 d)$ であり、 $n \ge d$ のときは $O(n^2 d)$ である。 $n$ を 2 倍にすると、 $2n^2d$ の項は 4 倍、 $4nd^2$ の項は 2 倍になる。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 1 件、定義なども含めて 3 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 3 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

添字による縮約定義 5.1・NumPy で書く配列計算
O 記法・Ω 記法・Θ 記法定義 3.1・計算量と O 記法
入力を 2 倍にしたときの比✓命題 5.1・計算量と O 記法

これを使っている定理証明で参照している 2 件

全注意のコストは文脈長の 2 乗✓命題 3.2・スケーリングと文脈
1 層の順伝播の計算量✓命題 6.1・Transformer ブロック

自己注意 1 層の計算量

閉包の状態

前提をたどる 証明が使う定理・定義（直接 3 件）

これを使っている定理 証明で参照している 2 件

関連するノック 1 問

前提をたどる証明が使う定理・定義（直接 3 件）

これを使っている定理証明で参照している 2 件