情報科学 › 機械学習の数学 › ニューラルネットワークと逆伝播
勾配の大きさの指数的な上界
定義 2.1 の設定に加え、ある定数 、 が存在して、すべての とすべての について 、かつ作用素ノルムについて が成り立つとする。このとき任意の について
が成り立つ（ はフロベニウスノルム）。とくに がシグモイド関数のときは が取れるので、 ならば が小さくなるにつれて勾配は指数的に へ近づく。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 22 件、定義なども含めて 27 件）。
印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義（直接 3 件）
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
逆伝播の漸化式✓系 5.1・ニューラルネットワークと逆伝播
逆伝播（リバースモード自動微分）の正当性✓定理 4.3・ニューラルネットワークと逆伝播
連鎖律✓定理 3.1・ニューラルネットワークと逆伝播
- 全微分可能（n 変数・ベクトル値）定義 9.1・多変数関数の微分と偏微分
- 随伴変数定義 4.2・ニューラルネットワークと逆伝播
- 随伴変数定義 4.2・ニューラルネットワークと逆伝播
スペクトル定理（エルミート行列）✓定理 4.2・スペクトル定理
固有値の存在✓系 4.6・固有値と固有ベクトル
- 特性多項式の次数と係数✓命題 4.3・固有値と固有ベクトル
固有値の判定条件✓命題 3.3・固有値と固有ベクトル
- 固有値と固有ベクトル定義 3.1・固有値と固有ベクトル
エルミート行列の固有値と固有ベクトル✓補題 3.3・スペクトル定理
不変部分空間の直交補空間✓補題 4.1・スペクトル定理
- 随伴の基本性質✓命題 2.2・スペクトル定理（上で展開済み）
- 正規直交基底による展開✓定理 5.3・内積空間とグラム・シュミット直交化
直交分解定理✓定理 7.1・内積空間とグラム・シュミット直交化
正規直交基底の存在✓系 6.2・内積空間とグラム・シュミット直交化
- グラム・シュミットの直交化✓定理 6.1・内積空間とグラム・シュミット直交化 この先をたどる →
- 直交系は一次独立✓命題 5.2・内積空間とグラム・シュミット直交化
- 有限次元空間の基本性質✓命題 5.7・ベクトル空間と線形変換 この先をたどる →
- 正規直交基底による展開✓定理 5.3・内積空間とグラム・シュミット直交化
ユニタリ行列の特徴づけ✓命題 3.2・スペクトル定理
- 随伴の基本性質✓命題 2.2・スペクトル定理（上で展開済み）
- 演習 9.1ニューラルネットワークと逆伝播
これを使っている定理
証明で明示的に参照している定理は、まだありません。