情報科学 › 機械学習の数学 › ニューラルネットワークと逆伝播

逆伝播の漸化式

系 5.1（「ニューラルネットワークと逆伝播」§5） ・ ✓公理まで証明済み

定義 2.1 の設定の下で、入力 x\boldsymbol{x} と正解 y\boldsymbol{y} を固定し、順伝播で z(ℓ),a(ℓ)\boldsymbol{z}^{(\ell)}, \boldsymbol{a}^{(\ell)} をすべて計算しておく。δ(ℓ):=∇z(ℓ)E∈Rnℓ\boldsymbol{\delta}^{(\ell)} := \nabla_{\boldsymbol{z}^{(\ell)}} E \in \mathbb{R}^{n_\ell} と定めると、次が成り立つ。

(i)δ(L)=σ(L)′ ⁣(z(L))⊙∇a(L)E,(ii)δ(ℓ)=σ(ℓ)′ ⁣(z(ℓ))⊙(W(ℓ+1)Tδ(ℓ+1))(ℓ=L−1,L−2,…,1),(iii)∇W(ℓ)E=δ(ℓ)(a(ℓ−1))T,∇b(ℓ)E=δ(ℓ)(ℓ=1,…,L),(iv)∇xE=W(1)Tδ(1).\begin{aligned} &\text{(i)} && \boldsymbol{\delta}^{(L)} = \sigma^{(L)\prime}\!\big(\boldsymbol{z}^{(L)}\big) \odot \nabla_{\boldsymbol{a}^{(L)}} E, \\[2pt] &\text{(ii)} && \boldsymbol{\delta}^{(\ell)} = \sigma^{(\ell)\prime}\!\big(\boldsymbol{z}^{(\ell)}\big) \odot \Big( W^{(\ell+1)\mathsf{T}} \boldsymbol{\delta}^{(\ell+1)} \Big) \qquad (\ell = L-1, L-2, \ldots, 1), \\[2pt] &\text{(iii)} && \nabla_{W^{(\ell)}} E = \boldsymbol{\delta}^{(\ell)} \big(\boldsymbol{a}^{(\ell-1)}\big)^{\mathsf{T}}, \qquad \nabla_{\boldsymbol{b}^{(\ell)}} E = \boldsymbol{\delta}^{(\ell)} \qquad (\ell = 1, \ldots, L), \\[2pt] &\text{(iv)} && \nabla_{\boldsymbol{x}} E = W^{(1)\mathsf{T}} \boldsymbol{\delta}^{(1)} . \end{aligned}

ここで (iii) の左辺は (∇W(ℓ)E)pq=∂E/∂Wpq(ℓ)\big(\nabla_{W^{(\ell)}} E\big)_{pq} = \partial E / \partial W^{(\ell)}_{pq} を成分とする nℓ×nℓ−1n_\ell \times n_{\ell-1} 行列である。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 2 件、定義なども含めて 4 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理 証明で参照している 1 件

関連するノック 4 問