softmax のヤコビ行列

命題 3.2（「自己注意」§3）・ ✓公理まで証明済み

$\boldsymbol{\sigma} := \sigma(\boldsymbol{z})$ と書く。softmax は $\mathbb{R}^n$ 上で微分可能で、

\frac{\partial \sigma_i}{\partial z_j} = \sigma_i(\delta_{ij} - \sigma_j), \qquad \text{すなわち}\quad J(\boldsymbol{z}) = \mathrm{diag}(\boldsymbol{\sigma}) - \boldsymbol{\sigma}\boldsymbol{\sigma}^{\mathsf{T}}

である（ $\delta_{ij}$ は $i = j$ のとき 1、それ以外 0）。さらに次が成り立つ。

$J(\boldsymbol{z})$ は対称で半正定値である。
$J(\boldsymbol{z})\boldsymbol{1} = \boldsymbol{0}$ 。
すべての $i, j$ で $|J(\boldsymbol{z})_{ij}| \le 1 - \max_k \sigma_k$ 。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 46 件、定義なども含めて 60 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 3 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

コーシー・シュワルツの不等式✓定理 4.2・内積空間とグラム・シュミット直交化
softmax の基本性質✓命題 3.1・自己注意
- 指数関数の基本性質✓定理 3.3・指数・対数・三角関数をきちんと定義する
  - ダランベールの比判定法✓定理 6.2・級数と収束判定
    上極限・下極限の基本性質✓補題 2.3・級数と収束判定
    等比級数の収束と発散✓命題 3.6・級数と収束判定この先をたどる →
    有限個の項の変更・定数倍・和✓命題 3.2・級数と収束判定
    比較判定法✓定理 4.2・級数と収束判定この先をたどる →
    一般項の必要条件✓命題 3.5・級数と収束判定この先をたどる →
  - ワイエルシュトラスの M 判定法✓系 6.4・関数列と一様収束
    一様収束のコーシー判定法✓定理 6.2・関数列と一様収束この先をたどる →
  - 指数法則✓補題 4.1・複素数と複素平面
    ダランベールの比判定法✓定理 6.2・級数と収束判定（上で展開済み）
    絶対収束する級数のコーシー積✓定理 7.9・級数と収束判定この先をたどる →
    複素数体の基本性質✓定理 2.2・複素数と複素平面
  - 単項式の導関数✓補題 3.2・指数・対数・三角関数をきちんと定義する
    微分係数定義 3.1・導関数の定義と基本的な微分法
    微分の線形性・積の法則・商の法則✓定理 6.1・導関数の定義と基本的な微分法この先をたどる →
  - 項別微分（極限と微分の交換）✓定理 7.3・関数列と一様収束
    一様収束極限の連続性✓定理 4.1・関数列と一様収束この先をたどる →
    微分積分学の基本定理（第二部・ニュートン–ライプニッツの公式）✓定理 5.4・積分の基本定理と定積分この先をたどる →
    一様収束の上限判定法✓命題 3.4・関数列と一様収束この先をたどる →
  - 微分可能ならば連続✓定理 3.4・導関数の定義と基本的な微分法
  - 導関数の符号と単調性✓系 3.4・平均値の定理とテイラーの定理
    ラグランジュの平均値の定理✓定理 3.3・平均値の定理とテイラーの定理この先をたどる →
  - 中間値の定理✓定理 5.7・極限と連続性
    実数の連続性公理（上限性質）公理 5.1・数とは何か
正定値・半正定値定義 6.2・スペクトル定理

これを使っている定理

証明で明示的に参照している定理は、まだありません。

softmax のヤコビ行列

閉包の状態

前提をたどる 証明が使う定理・定義（直接 3 件）

これを使っている定理

関連するノック 1 問

前提をたどる証明が使う定理・定義（直接 3 件）