1 層の順伝播の計算量

命題 6.1（「Transformer ブロック」§6）・ ✓公理まで証明済み

長さ $n$ の列に対する Pre-LN（または Post-LN）のブロック 1 つの順伝播で、スカラーの乗算の回数は

\underbrace{4nd^2 + 2n^2 d}_{\text{注意}} + \underbrace{2nd\,d_{\mathrm{ff}}}_{\text{MLP}} + O(nd)

である。 $d_{\mathrm{ff}} = 4d$ のとき $12nd^2 + 2n^2d + O(nd)$ で、時間計算量は $O(nd^2 + n^2d)$ である。 $n < 6d$ のとき、 $n$ について 1 次の項 $12nd^2$ が 2 次の項 $2n^2d$ より大きい。モデル全体では、これが $L$ 層分と、出力層の $nd\,|V|$ 回になる。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 5 件、定義なども含めて 9 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 3 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

自己注意 1 層の計算量✓命題 7.2・自己注意
- 添字による縮約定義 5.1・NumPy で書く配列計算
- O 記法・Ω 記法・Θ 記法定義 3.1・計算量と O 記法
- 入力を 2 倍にしたときの比✓命題 5.1・計算量と O 記法
O 記法・Ω 記法・Θ 記法定義 3.1・計算量と O 記法
逆伝播 1 回は順伝播 1 回の定数倍✓命題 6.1・ニューラルネットワークと逆伝播
- 随伴変数定義 4.2・ニューラルネットワークと逆伝播
- 逆伝播（リバースモード自動微分）の正当性✓定理 4.3・ニューラルネットワークと逆伝播
  - 連鎖律✓定理 3.1・ニューラルネットワークと逆伝播
    全微分可能（n 変数・ベクトル値）定義 9.1・多変数関数の微分と偏微分
  - 随伴変数定義 4.2・ニューラルネットワークと逆伝播

これを使っている定理

証明で明示的に参照している定理は、まだありません。

1 層の順伝播の計算量

閉包の状態

前提をたどる 証明が使う定理・定義（直接 3 件）

これを使っている定理

関連するノック 1 問

前提をたどる証明が使う定理・定義（直接 3 件）