情報科学 › 機械学習の数学 › ニューラルネットワークと逆伝播

逆伝播 1 回は順伝播 1 回の定数倍

命題 6.1（「ニューラルネットワークと逆伝播」§6） ・ ✓公理まで証明済み

定義 4.1 の計算グラフについて、辺数を M:=∑k>n∣Pa(k)∣M := \sum_{k > n} |\mathrm{Pa}(k)| とする。各 kk について、値 φk\varphi_k の評価と、すべての偏微分 ∂φk/∂vj\partial \varphi_k / \partial v_j（j∈Pa(k)j \in \mathrm{Pa}(k)）の評価が、それぞれ ∣Pa(k)∣|\mathrm{Pa}(k)| に比例する演算回数でできると仮定する。このとき

順伝播の計算量=O(N+M),逆伝播の計算量=O(N+M)\text{順伝播の計算量} = O(N + M), \qquad \text{逆伝播の計算量} = O(N + M)

であり、後者 1 回で nn 個の偏微分 ∂F/∂v1,…,∂F/∂vn\partial F/\partial v_1, \ldots, \partial F/\partial v_n がすべて得られる。一方、差分近似で同じ nn 個を得るには順伝播が nn 回以上必要で、計算量は Ω(n(N+M))\Omega\big(n(N+M)\big) となる。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 2 件、定義なども含めて 4 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理 証明で参照している 1 件

関連するノック 1 問