ソフトマックス＋交差エントロピーの勾配

命題 7.1（「ニューラルネットワークと逆伝播」§7）・ ✓公理まで証明済み

$\boldsymbol{z} \in \mathbb{R}^n$ に対しソフトマックスを

a_i = \mathrm{softmax}(\boldsymbol{z})_i := \frac{e^{z_i}}{\sum_{k=1}^{n} e^{z_k}} \qquad (i = 1, \ldots, n)

で定める。 $\boldsymbol{y} \in \mathbb{R}^n$ が $y_i \ge 0$ かつ $\sum_{i=1}^n y_i = 1$ を満たすとし、交差エントロピー損失を $E := -\sum_{i=1}^n y_i \log a_i$ とする。このとき

\nabla_{\boldsymbol{z}} E = \boldsymbol{a} - \boldsymbol{y}

が成り立つ。またソフトマックスのヤコビ行列は $J = \mathrm{diag}(\boldsymbol{a}) - \boldsymbol{a}\boldsymbol{a}^{\mathsf{T}}$ である。

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 0 件、定義なども含めて 1 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。