## 2. 準備：記号と、ネットワークの定式化
記号を固定します。ベクトルはすべて**列ベクトル**とし、$\boldsymbol{u} \in \mathbb{R}^n$ に対して
- $\nabla_{\boldsymbol{u}} E := \left(\dfrac{\partial E}{\partial u_1}, \ldots, \dfrac{\partial E}{\partial u_n}\right)^{\mathsf{T}} \in \mathbb{R}^n$（勾配は列ベクトル）
- $\boldsymbol{f} : \mathbb{R}^n \to \mathbb{R}^m$ のヤコビ行列は $\big(J_{\boldsymbol{f}}(\boldsymbol{x})\big)_{ij} = \dfrac{\partial f_i}{\partial x_j}(\boldsymbol{x}) \in \mathbb{R}^{m \times n}$
- アダマール積（成分ごとの積）を $(\boldsymbol{u} \odot \boldsymbol{v})_i = u_i v_i$ と書く
- 1 変数関数 $\sigma$ をベクトルに施すときは成分ごととし、$\sigma(\boldsymbol{z}) := (\sigma(z_1), \ldots, \sigma(z_n))^{\mathsf{T}}$、$\sigma'(\boldsymbol{z}) := (\sigma'(z_1), \ldots, \sigma'(z_n))^{\mathsf{T}}$ と書く
とします。
$L \ge 1$、$n_0, n_1, \ldots, n_L \in \mathbb{N}$ とする。各 $\ell = 1, \ldots, L$ について行列 $W^{(\ell)} \in \mathbb{R}^{n_\ell \times n_{\ell-1}}$、ベクトル $\boldsymbol{b}^{(\ell)} \in \mathbb{R}^{n_\ell}$、および $C^1$ 級の 1 変数関数 $\sigma^{(\ell)} : \mathbb{R} \to \mathbb{R}$（**活性化関数**）が与えられているとする。入力 $\boldsymbol{x} \in \mathbb{R}^{n_0}$ に対し $\boldsymbol{a}^{(0)} := \boldsymbol{x}$ と置き、$\ell = 1, \ldots, L$ の順に
$$
\boldsymbol{z}^{(\ell)} := W^{(\ell)} \boldsymbol{a}^{(\ell-1)} + \boldsymbol{b}^{(\ell)}, \qquad
\boldsymbol{a}^{(\ell)} := \sigma^{(\ell)}\!\left(\boldsymbol{z}^{(\ell)}\right)
$$
で定まる $\boldsymbol{a}^{(L)} \in \mathbb{R}^{n_L}$ を出力とする写像を、**$L$ 層の多層パーセプトロン**という。$\boldsymbol{z}^{(\ell)}$ を第 $\ell$ 層の**前活性**、$\boldsymbol{a}^{(\ell)}$ を**活性**と呼ぶ。パラメータの全体を $\boldsymbol{\theta} = \big(W^{(1)}, \boldsymbol{b}^{(1)}, \ldots, W^{(L)}, \boldsymbol{b}^{(L)}\big)$ と書く。
さらに正解 $\boldsymbol{y}$ に対する $C^1$ 級の**損失関数** $\mathcal{L}(\cdot, \boldsymbol{y}) : \mathbb{R}^{n_L} \to \mathbb{R}$ を与え、$E := \mathcal{L}\!\left(\boldsymbol{a}^{(L)}, \boldsymbol{y}\right)$ と置く。
活性化関数 $\sigma^{(\ell)}$ を恒等写像にしてしまうと、ネットワーク全体は $W^{(L)}\cdots W^{(1)}\boldsymbol{x} + (\text{定数})$ というアフィン写像に潰れ、1 層と表現力が変わりません。層を重ねる意味は非線形性にあります。逆にいえば、$\sigma$ が入るせいで $E$ を $\boldsymbol{\theta}$ の閉じた式に展開できなくなり、連鎖律が必要になるのです。
$n_0 = n_1 = 1$、$L = 1$、$\sigma$ をシグモイド関数 $\sigma(t) = 1/(1+e^{-t})$、損失を $\ell(a, y) = \tfrac12 (a-y)^2$ とします。パラメータは実数 $w, b$ の 2 つで、
$$
z = wx + b, \qquad a = \sigma(z), \qquad E = \tfrac12 (a - y)^2 .
$$
1 変数の連鎖律（
## 3. 多変数の連鎖律
逆伝播のすべては、次の定理から出ます。仮定を省かずに述べます。
$U \subset \mathbb{R}^n$、$V \subset \mathbb{R}^m$ を開集合とし、写像 $\boldsymbol{g} : U \to \mathbb{R}^m$ が $\boldsymbol{g}(U) \subset V$ を満たすとする。$\boldsymbol{g}$ が点 $\boldsymbol{a} \in U$ で全微分可能、$\boldsymbol{f} : V \to \mathbb{R}^p$ が点 $\boldsymbol{b} := \boldsymbol{g}(\boldsymbol{a})$ で全微分可能とする。このとき合成 $\boldsymbol{f} \circ \boldsymbol{g} : U \to \mathbb{R}^p$ は $\boldsymbol{a}$ で全微分可能で
$$
J_{\boldsymbol{f} \circ \boldsymbol{g}}(\boldsymbol{a}) = J_{\boldsymbol{f}}(\boldsymbol{b})\, J_{\boldsymbol{g}}(\boldsymbol{a}) .
$$
成分で書けば、$i = 1,\ldots,p$、$j = 1,\ldots,n$ について
$$
\frac{\partial (f \circ g)_i}{\partial x_j}(\boldsymbol{a}) = \sum_{k=1}^{m} \frac{\partial f_i}{\partial y_k}(\boldsymbol{b}) \, \frac{\partial g_k}{\partial x_j}(\boldsymbol{a}) .
$$
$A := J_{\boldsymbol{f}}(\boldsymbol{b})$、$B := J_{\boldsymbol{g}}(\boldsymbol{a})$ と置きます。行列の作用素ノルムを $\|A\| := \sup_{\|\boldsymbol{h}\|=1}\|A\boldsymbol{h}\|$ とすると、$\|A\boldsymbol{h}\| \le \|A\|\,\|\boldsymbol{h}\|$ が成り立ちます。
$\boldsymbol{g}$ の $\boldsymbol{a}$ における全微分可能性（
## 4. 計算グラフと随伴変数
ネットワークを層の列として見る代わりに、**スカラー変数の有向非巡回グラフ**として見ると、逆伝播の正しさをいちどきに証明できます。分岐（同じ値が複数の場所で使われる）や重み共有も、この見方なら追加の議論なしに扱えます。
$1 \le n < N$ とする。変数 $v_1, \ldots, v_N$ に対し、各 $k = n+1, \ldots, N$ について空でない**親集合** $\mathrm{Pa}(k) \subset \{1, \ldots, k-1\}$ と、$\mathbb{R}^{|\mathrm{Pa}(k)|}$ の開集合上で定義された $C^1$ 級関数 $\varphi_k$ が与えられているとする。**入力** $(v_1, \ldots, v_n)$ を与えると、$k = n+1, \ldots, N$ の順に
$$
v_k = \varphi_k\big((v_j)_{j \in \mathrm{Pa}(k)}\big)
$$
によってすべての $v_k$ が定まる。この組を**計算グラフ**と呼び、$v_N$ を**出力**（スカラー）と呼ぶ。入力から出力を返す写像を $F(v_1, \ldots, v_n) := v_N$ と書く。
添字が親より大きいという条件 $\mathrm{Pa}(k) \subset \{1,\ldots,k-1\}$ は、グラフに閉路がなく、$1, 2, \ldots, N$ という順番がトポロジカル順序になっていることを意味します。実際のプログラムは演算を 1 つずつ順に実行するので、この条件は自動的に満たされます。
Z1["z⁽¹⁾ = W⁽¹⁾a⁽⁰⁾ + b⁽¹⁾"]
P1["W⁽¹⁾, b⁽¹⁾"] --> Z1
Z1 --> A1["a⁽¹⁾ = σ(z⁽¹⁾)"]
A1 --> Z2["z⁽²⁾ = W⁽²⁾a⁽¹⁾ + b⁽²⁾"]
P2["W⁽²⁾, b⁽²⁾"] --> Z2
Z2 --> A2["a⁽²⁾ = σ(z⁽²⁾)"]
A2 --> E["E = ℒ(a⁽²⁾, y)"]
Y["y"] --> E`} />
和が意味を持つことを確かめておきます。$k \in \mathrm{Pa}(m)$ ならば $k < m$ ですから、$\bar v_k$ の右辺に現れる $\bar v_m$ はすべて添字が $k$ より大きく、すでに計算済みです。また $k$ が誰の親でもなければ和は空で $\bar v_k = 0$ になります。
証明を振り返ると、逆伝播が使っているのは
と、**トポロジカル順序の逆順に走査すれば必要な量がすべて確定済みである**という順序の事実だけです。ネットワークの形（層状か、分岐があるか、重みを共有しているか）は一切使っていません。だから同じアルゴリズムが畳み込みでも再帰型でも Transformer でも動きます。
$f(x, y) = xy + \sin(xy)$ を計算グラフにします。$v_1 = x$、$v_2 = y$ を入力とし、
$$
v_3 = \varphi_3(v_1,v_2) = v_1 v_2, \qquad
v_4 = \varphi_4(v_3) = \sin v_3, \qquad
v_5 = \varphi_5(v_3, v_4) = v_3 + v_4
$$
とします。$\mathrm{Pa}(3) = \{1,2\}$、$\mathrm{Pa}(4)=\{3\}$、$\mathrm{Pa}(5)=\{3,4\}$ です。$v_3$ は $v_4$ と $v_5$ の両方の親になっている（分岐している）点が要です。
$x = 1$、$y = \pi/3$ とすると順伝播は $v_3 = \pi/3$、$v_4 = \sin(\pi/3) = \sqrt{3}/2$、$v_5 = \pi/3 + \sqrt{3}/2$ です。
## 5. 多層ネットワークの逆伝播公式
を
のネットワークに適用すると、教科書でおなじみの 4 本の式が出ます。
(iii) が実務上いちばん大事な式です。**あるパラメータの勾配は「その層の $\delta$」と「その層への入力」の外積だけで決まります**。
で見た $\partial E/\partial w = \delta x$ の一般化になっています。(iv) は学習には不要ですが、入力に関する勾配は敵対的サンプルの生成や特徴の可視化に使われます。
アルゴリズムとしてまとめると次のようになります。
1. **順伝播**：$\boldsymbol{a}^{(0)} = \boldsymbol{x}$ から始め、$\ell = 1, \ldots, L$ の順に $\boldsymbol{z}^{(\ell)}, \boldsymbol{a}^{(\ell)}$ を計算し、**すべて保存する**。
2. **出力層の $\delta$**：
(i) で $\boldsymbol{\delta}^{(L)}$ を作る。
3. **逆伝播**：$\ell = L, L-1, \ldots, 1$ の順に、(iii) で $\nabla_{W^{(\ell)}}E$ と $\nabla_{\boldsymbol{b}^{(\ell)}}E$ を確定させ、$\ell > 1$ なら (ii) で $\boldsymbol{\delta}^{(\ell-1)}$ を作る。
手順 1 で $\boldsymbol{a}^{(\ell)}$ と $\boldsymbol{z}^{(\ell)}$ を保存するところが重要です。(ii) と (iii) はどちらも順伝播時の値を必要とするので、逆伝播は順伝播の記録なしには走りません。これが深層学習の**メモリ消費**の主因です。
```python
import numpy as np
def sigmoid(z):
return 1.0 / (1.0 + np.exp(-z))
def forward(Ws, bs, x):
"""順伝播。前活性 zs と活性 a を層ごとに保存して返す。出力層は恒等活性。"""
a, zs = [x], []
L = len(Ws)
for l, (W, b) in enumerate(zip(Ws, bs)):
z = W @ a[-1] + b
zs.append(z)
a.append(sigmoid(z) if l < L - 1 else z)
return zs, a
def backward(Ws, zs, a, y):
"""二乗誤差 E = |a_L - y|^2 / 2 に対する逆伝播。dW[l], db[l] を返す。"""
L = len(Ws)
dWs, dbs = [None] * L, [None] * L
delta = a[-1] - y # 系 (i)：出力層は恒等活性
for l in range(L - 1, -1, -1):
dWs[l] = np.outer(delta, a[l]) # 系 (iii)
dbs[l] = delta
if l > 0: # 系 (ii)
s = sigmoid(zs[l - 1])
delta = s * (1.0 - s) * (Ws[l].T @ delta)
return dWs, dbs
```
$L = 2$、$n_0 = n_1 = 2$、$n_2 = 1$ とします。第 1 層の活性化はシグモイド、第 2 層は恒等写像、損失は $E = \tfrac12 (a^{(2)} - y)^2$ とし、
$$
W^{(1)} = \begin{pmatrix} 1 & -1 \\ 0 & 1 \end{pmatrix}, \quad
\boldsymbol{b}^{(1)} = \begin{pmatrix} 1 \\ -1 \end{pmatrix}, \quad
W^{(2)} = \begin{pmatrix} 2 & -3 \end{pmatrix}, \quad
b^{(2)} = 1, \quad
\boldsymbol{x} = \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \quad y = 1
$$
とします。以下、小数第 4 位まで書きます。
**順伝播。**
$$
\boldsymbol{z}^{(1)} = \begin{pmatrix} 1\cdot 1 + (-1)\cdot 2 + 1 \\ 0\cdot 1 + 1\cdot 2 - 1 \end{pmatrix} = \begin{pmatrix} 0 \\ 1 \end{pmatrix}, \qquad
\boldsymbol{a}^{(1)} = \begin{pmatrix} \sigma(0) \\ \sigma(1) \end{pmatrix} = \begin{pmatrix} 0.5000 \\ 0.7311 \end{pmatrix}
$$
$$
z^{(2)} = 2(0.5000) - 3(0.7311) + 1 = 1 - 2.1932 + 1 = -0.1932, \qquad a^{(2)} = z^{(2)} = -0.1932
$$
$$
E = \tfrac12 (-0.1932 - 1)^2 = \tfrac12 (1.1932)^2 = \tfrac12 (1.4237) = 0.7118
$$
**逆伝播。** 第 2 層の活性化は恒等なので $\sigma^{(2)\prime} \equiv 1$、また $\nabla_{a^{(2)}}E = a^{(2)} - y$ です。
## 6. なぜ安いのか：計算量
は「正しい」ことしか言っていません。逆伝播の値打ちは「安い」ことにあります。それを見積もります。
のネットワークでは、辺数の主要項は $M \approx \sum_{\ell} n_\ell n_{\ell-1}$ で、これはパラメータ数 $P = \sum_\ell (n_\ell n_{\ell-1} + n_\ell)$ とほぼ同じです。したがって逆伝播は $\Theta(P)$、差分近似は $\Theta(P^2)$ になります。$P$ が大きいほど差は開きます。
手書き数字認識でよく使われるサイズを取ります。$n_0 = 784$、$n_1 = 256$、$n_2 = 128$、$n_3 = 10$ の 3 層ネットワークです。パラメータ数は
$$
P = (784 \cdot 256 + 256) + (256 \cdot 128 + 128) + (128 \cdot 10 + 10) = 200960 + 32896 + 1290 = 235146
$$
です。順伝播 1 回の積和回数は行列ベクトル積が支配的で
$$
784 \cdot 256 + 256 \cdot 128 + 128 \cdot 10 = 200704 + 32768 + 1280 = 234752 \approx 2.3 \times 10^5
$$
回です。
## 7. 出力層と損失を組にする：ソフトマックスと交差エントロピー
(i)(ii) は活性化関数が**成分ごと**であることを使いました。多クラス分類で使うソフトマックス関数はそうではありません。その場合は
に戻り、ヤコビ行列の転置を掛ける一般形
$$
\boldsymbol{\delta}^{(L)} = J_{\sigma^{(L)}}\big(\boldsymbol{z}^{(L)}\big)^{\mathsf{T}} \, \nabla_{\boldsymbol{a}^{(L)}} E
$$
を使います。ソフトマックスと交差エントロピー（2 クラスの場合が
）を組にすると、この積が劇的に簡単になります。
$\boldsymbol{z} \in \mathbb{R}^n$ に対しソフトマックスを
$$
a_i = \mathrm{softmax}(\boldsymbol{z})_i := \frac{e^{z_i}}{\sum_{k=1}^{n} e^{z_k}} \qquad (i = 1, \ldots, n)
$$
で定める。$\boldsymbol{y} \in \mathbb{R}^n$ が $y_i \ge 0$ かつ $\sum_{i=1}^n y_i = 1$ を満たすとし、交差エントロピー損失を $E := -\sum_{i=1}^n y_i \log a_i$ とする。このとき
$$
\nabla_{\boldsymbol{z}} E = \boldsymbol{a} - \boldsymbol{y}
$$
が成り立つ。またソフトマックスのヤコビ行列は $J = \mathrm{diag}(\boldsymbol{a}) - \boldsymbol{a}\boldsymbol{a}^{\mathsf{T}}$ である。
$S := \sum_{k=1}^n e^{z_k}$ と置きます。$e^{z_k} > 0$ より $S > 0$、したがって $a_i > 0$ で $\log a_i$ は定義され、$\boldsymbol{z} \mapsto \boldsymbol{a}$ は $C^\infty$ 級です。
まず $\log a_i = z_i - \log S$ です。$\dfrac{\partial S}{\partial z_j} = e^{z_j}$ なので $\dfrac{\partial \log S}{\partial z_j} = \dfrac{e^{z_j}}{S} = a_j$ であり、
$$
\frac{\partial \log a_i}{\partial z_j} = \frac{\partial z_i}{\partial z_j} - a_j = \begin{cases} 1 - a_j & (i = j) \\ -a_j & (i \ne j) \end{cases}
$$
を得ます。ここで $[i=j]$ は $i=j$ のとき $1$、$i \ne j$ のとき $0$ を表す記法とします。これに $a_i$ を掛ければ $\dfrac{\partial a_i}{\partial z_j} = a_i\big([i=j] - a_j\big)$、すなわち行列で $J = \mathrm{diag}(\boldsymbol{a}) - \boldsymbol{a}\boldsymbol{a}^{\mathsf{T}}$ です。
損失の勾配は、$J$ を経由せずに直接計算するほうが早く済みます。$E = -\sum_i y_i \log a_i = -\sum_i y_i (z_i - \log S)$ を $z_j$ で偏微分すると、第 1 項からは $-y_j$、第 2 項からは $\big(\sum_i y_i\big)\dfrac{\partial \log S}{\partial z_j}$ が出ます。仮定 $\sum_i y_i = 1$ と、上で求めた $\partial \log S/\partial z_j = a_j$ を使えば
$$
\frac{\partial E}{\partial z_j} = -y_j + 1 \cdot a_j = a_j - y_j
$$
となり、主張が従います。
念のため、
出力層でソフトマックスを使うとき、実装では $\boldsymbol{\delta}^{(L)} = \boldsymbol{a}^{(L)} - \boldsymbol{y}$ と 1 行で書きます。ヤコビ行列 $J$（$n \times n$）を作らずに済むので、クラス数が大きいときの節約は大きくなります。なお $\boldsymbol{y}$ が one-hot（正解クラス $c$ で $y_c = 1$、他は $0$）のときも仮定 $\sum_i y_i = 1$ は満たされるので、この命題がそのまま使えます。
## 8. 深さの代償：勾配消失
逆伝播は「安い」ですが「よく効く」とは限りません。
(ii) を $\ell$ から $L$ まで繰り返すと、$\boldsymbol{\delta}^{(\ell)}$ は $L-\ell$ 個の行列と $L-\ell$ 個の対角行列の積になります。積の各因子が $1$ より小さいと、積は指数的に小さくなります。
$cw < 1$ のとき、たとえば $cw = 0.5$ で $L - \ell = 20$ なら係数は $0.5^{20} \approx 10^{-6}$ です。入力に近い層のパラメータはほとんど更新されなくなります。これが**勾配消失**です。逆に $cw > 1$ なら勾配は指数的に増大し、**勾配爆発**が起きます。
は上界なので、勾配が必ず消えることを主張してはいません。しかし「何が効いているか」ははっきり読み取れます。$c$（活性化関数の傾きの上限）と $w$（重みの作用素ノルム）の積が $1$ から離れると危ない、ということです。実際の対策はこの読みに沿っています。$c$ を上げるために飽和しない ReLU 系を使う、$w$ を $1$ の近くに保つように初期化を設計する（層の入出力幅に応じて分散を決める Glorot らの初期化）、恒等写像の経路を足して積の因子に $1$ を混ぜる残差接続、前活性のスケールを揃える正規化層、といったものです。詳しくは Goodfellow らの教科書（[5]）の第 8 章を参照してください。
## 9. 演習
シグモイド関数 $\sigma(t) = \dfrac{1}{1+e^{-t}}$ について、次を示してください。
1. $\sigma'(t) = \sigma(t)\big(1 - \sigma(t)\big)$。
2. $\displaystyle\max_{t \in \mathbb{R}} \sigma'(t) = \frac14$ であり、最大値は $t = 0$ でのみ取られる。
**1.** $\sigma(t) = (1+e^{-t})^{-1}$ を商の微分法（あるいは合成関数の微分法）で微分します。
$$
\sigma'(t) = -\,(1+e^{-t})^{-2}\cdot \frac{d}{dt}\big(1+e^{-t}\big) = -\,(1+e^{-t})^{-2}\cdot(-e^{-t}) = \frac{e^{-t}}{(1+e^{-t})^{2}} .
$$
ここで $\dfrac{e^{-t}}{1+e^{-t}} = \dfrac{(1+e^{-t}) - 1}{1+e^{-t}} = 1 - \sigma(t)$ なので
$$
\sigma'(t) = \frac{1}{1+e^{-t}}\cdot\frac{e^{-t}}{1+e^{-t}} = \sigma(t)\big(1-\sigma(t)\big)
$$
を得ます。
**2.** $s := \sigma(t)$ と置きます。$\sigma$ は $\mathbb{R}$ から開区間 $(0,1)$ の上への狭義単調増加な全単射なので、$t$ を動かすことは $s$ を $(0,1)$ で動かすことと同じです。$s(1-s)$ を評価すると
$$
\frac14 - s(1-s) = s^2 - s + \frac14 = \left(s - \frac12\right)^2 \ge 0
$$
なので $\sigma'(t) = s(1-s) \le 1/4$ であり、等号は $s = 1/2$ のとき、すなわち $\sigma(t) = 1/2$ すなわち $t = 0$ のときに限ります。$\sigma(0) = 1/2$ なので最大値 $1/4$ は実際に達成されます。
この $1/4$ が
## 参考文献
- S. Linnainmaa, "Taylor expansion of the accumulated rounding error", *BIT Numerical Mathematics* 16 (1976), 146–160. [DOI: 10.1007/BF01931367](https://doi.org/10.1007/BF01931367) — リバースモード自動微分の最初の定式化。
- D. E. Rumelhart, G. E. Hinton, R. J. Williams, "Learning representations by back-propagating errors", *Nature* 323 (1986), 533–536. [DOI: 10.1038/323533a0](https://doi.org/10.1038/323533a0) — 逆伝播をニューラルネットワークの学習として提示した論文。
- W. Baur, V. Strassen, "The complexity of partial derivatives", *Theoretical Computer Science* 22 (1983), 317–330. [DOI: 10.1016/0304-3975(83)90110-X](https://doi.org/10.1016/0304-3975(83)90110-X) — 勾配の計算コストが関数値の計算コストの定数倍で済むことの証明。
- A. Griewank, A. Walther, *Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation*, 2nd ed., SIAM, 2008 — 第 3 章（リバースモード）と、checkpointing を扱う章。
- I. Goodfellow, Y. Bengio, A. Courville, *Deep Learning*, MIT Press, 2016 — 第 6 章 6.5 節（Back-Propagation and Other Differentiation Algorithms）、第 8 章（最適化の困難）。
- W. Rudin, *Principles of Mathematical Analysis*, 3rd ed., McGraw-Hill, 1976 — 第 9 章（多変数関数の微分、連鎖律）。
## Appendix: ミニバッチのテンソル形式
**1 サンプルずつではなく、$B$ 個まとめて処理する形に書き直します。** 実装では入力を列に並べた行列 $A^{(0)} = X \in \mathbb{R}^{n_0 \times B}$ を使い、
$$
Z^{(\ell)} = W^{(\ell)} A^{(\ell-1)} + \boldsymbol{b}^{(\ell)}\boldsymbol{1}_B^{\mathsf{T}}, \qquad
A^{(\ell)} = \sigma^{(\ell)}\big(Z^{(\ell)}\big)
$$
とします（$\boldsymbol{1}_B \in \mathbb{R}^B$ は全成分 $1$ のベクトルで、第 2 項はバイアスを全列に複製する操作です）。損失はサンプルごとの損失の和 $E = \sum_{s=1}^{B} E_s$ とします。
**勾配は「サンプルごとの外積の和」になります。** $\Delta^{(\ell)} \in \mathbb{R}^{n_\ell \times B}$ を、第 $s$ 列がサンプル $s$ に対する $\boldsymbol{\delta}^{(\ell)}$ である行列とします。$E$ が和の形なので、
(iii) をサンプルごとに適用して足し合わせると
$$
\nabla_{W^{(\ell)}} E = \sum_{s=1}^{B} \boldsymbol{\delta}^{(\ell)}_s \big(\boldsymbol{a}^{(\ell-1)}_s\big)^{\mathsf{T}} = \Delta^{(\ell)} \big(A^{(\ell-1)}\big)^{\mathsf{T}}, \qquad
\nabla_{\boldsymbol{b}^{(\ell)}} E = \sum_{s=1}^{B}\boldsymbol{\delta}^{(\ell)}_s = \Delta^{(\ell)}\boldsymbol{1}_B
$$
が得られます。中央の等号は「行列の積は列ベクトルの外積の和に分解できる」という[行列の積](/mathematics/linear-algebra/matrices-and-linear-systems)（
）の基本性質です。$\Delta$ の漸化式も列ごとに同じ式なので、そのまま行列形になります。
$$
\Delta^{(\ell)} = \sigma^{(\ell)\prime}\big(Z^{(\ell)}\big) \odot \Big( W^{(\ell+1)\mathsf{T}} \Delta^{(\ell+1)} \Big)
$$
ここで $\odot$ は行列の成分ごとの積です。ミニバッチ化によってループが行列積 1 回に置き換わり、GPU の演算器を埋められるようになります。**深層学習の実装がほぼすべて行列積の羅列になっているのは、この書き換えの結果です。**