機械学習の数学 50 本ノック

学部50 問。全問無料です。

対象読者: 本テーマ第 1〜7 章の内容を読んだ人。学部 1 年の線形代数・多変数微分積分・確率統計の基本計算ができれば取り組めます。

テーマの目次へ（機械学習の数学）

執筆: Claude Code（Sonnet 5.5）・監査 2 回（Claude Code）・最終 2026-10-12

読み込んでいます…

この冊について（出典・構成・使う定理）

主な参考文献

• C. M. Bishop, Pattern Recognition and Machine Learning
• M. P. Deisenroth, A. A. Faisal, C. S. Ong, Mathematics for Machine Learning
• I. Goodfellow, Y. Bengio, A. Courville, Deep Learning
• T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning

問題はすべて Rikai の書き下ろしです。参考文献の演習や本文は転載していません。

構成

• 1〜7: 学習を損失の最小化として書く
• 8〜14: 線形回帰と最小二乗法
• 15〜21: ロジスティック回帰と交差エントロピー
• 22〜29: 勾配降下法と確率的勾配降下法
• 30〜37: ニューラルネットワークと逆伝播
• 38〜44: 主成分分析
• 45〜50: ベイズ統計と正則化

形式: 単一選択 18・複数選択 8・○× 5・数値 8・並べ替え 3・誤り探し 4・記述 4。難易度 ★〜★★★★: 9 / 23 / 17 / 1。

この冊で使う定義・定理（76）

• 系 5.1 逆伝播の漸化式 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 32, 33, 36, 37 番
• 定義 4.2 随伴変数 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 30, 31 番
• 定義 4.1 計算グラフ ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 30 番
• 定義 2.1 多層パーセプトロン ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 32, 33, 36 番
• 命題 6.1 逆伝播 1 回は順伝播 1 回の定数倍 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 34 番
• 命題 7.1 ソフトマックス＋交差エントロピーの勾配 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 35 番
• 命題 8.1 勾配の大きさの指数的な上界 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 37 番
• 注意 6.4 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 34 番
• 注意 5.3 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 34 番
• 注意 3.2 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 32 番
• 定理 3.1 連鎖律 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 36 番
• 定理 4.3 逆伝播（リバースモード自動微分）の正当性 ニューラルネットワークと逆伝播：連鎖律を計算グラフの上で逆向きに走らせる → 30, 31, 34 番
• 定義 4.3 共役事前分布 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 47 番
• 定義 2.1 尤度・事前分布・事後分布 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 45, 46 番
• 定義 4.1 MAP 推定量 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 47 番
• 命題 5.3 L1 正則化はラプラス事前分布の MAP 推定 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 49 番
• 命題 4.2 MAP の目的関数 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 47, 49 番
• 命題 3.3 ガウス雑音の下で最尤推定は最小二乗法 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 50 番
• 注意 5.4 スパース性は「最頻値」の性質であって「事後分布」の性質ではない 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 49 番
• 注意 4.5 MAP は座標変換で不変ではない 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 49 番
• 定理 2.2 ベイズの定理 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 45, 46 番
• 定理 6.1 ベイズ線形回帰の事後分布 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 50 番
• 定理 5.1 L2 正則化はガウス事前分布の MAP 推定 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 48, 50 番
• 定理 6.4 ベイズ線形回帰の事後予測分布 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体 → 49 番
• 系 4.4 1 ステップの減少量 勾配降下法：勾配はなぜ「最も急な坂」なのか → 24, 28 番
• 系 3.3 勾配は等高線に直交する 勾配降下法：勾配はなぜ「最も急な坂」なのか → 24 番
• 定義 2.3 方向微分 勾配降下法：勾配はなぜ「最も急な坂」なのか → 23 番
• 定義 2.1 全微分可能性と勾配 勾配降下法：勾配はなぜ「最も急な坂」なのか → 22 番
• 定義 4.1 勾配降下法 勾配降下法：勾配はなぜ「最も急な坂」なのか → 25 番
• 定義 7.1 確率的勾配降下法とミニバッチ 勾配降下法：勾配はなぜ「最も急な坂」なのか → 27 番
• 補題 4.3 降下補題 勾配降下法：勾配はなぜ「最も急な坂」なのか → 28 番
• 命題 3.1 方向微分は勾配との内積 勾配降下法：勾配はなぜ「最も急な坂」なのか → 23, 29 番
• 命題 7.2 ミニバッチ勾配の不偏性と分散 勾配降下法：勾配はなぜ「最も急な坂」なのか → 27 番
• 命題 5.1 二次関数に対する勾配降下法 勾配降下法：勾配はなぜ「最も急な坂」なのか → 25, 26 番
• 注意 7.4 勾配降下法：勾配はなぜ「最も急な坂」なのか → 27 番
• 注意 3.4 勾配降下法：勾配はなぜ「最も急な坂」なのか → 24, 29 番
• 定理 4.5 勾配降下法の停留点への収束 勾配降下法：勾配はなぜ「最も急な坂」なのか → 24 番
• 定理 3.2 最急降下方向 勾配降下法：勾配はなぜ「最も急な坂」なのか → 22, 29 番
• 系 4.4 平方和の分解と決定係数 線形回帰と最小二乗法：正規方程式を直交射影として読む → 11, 12 番
• 系 5.2 最小二乗解の一意性 線形回帰と最小二乗法：正規方程式を直交射影として読む → 9, 11, 14 番
• 定義 2.1 計画行列と線形回帰モデル 線形回帰と最小二乗法：正規方程式を直交射影として読む → 8 番
• 補題 5.1 グラム行列の核 線形回帰と最小二乗法：正規方程式を直交射影として読む → 11, 13 番
• 命題 4.3 ハット行列 線形回帰と最小二乗法：正規方程式を直交射影として読む → 10 番
• 定理 3.3 正規方程式 線形回帰と最小二乗法：正規方程式を直交射影として読む → 9, 12, 13, 14 番
• 定理 4.2 最小二乗解の存在と射影表示 線形回帰と最小二乗法：正規方程式を直交射影として読む → 10, 11, 13, 14 番
• 系 5.2 切片を含むモデルの平均較正 ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 18, 19 番
• 系 6.2 停留点は大域最小点 ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 18, 20, 21 番
• 定義 3.6 ロジスティック回帰モデル ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 16 番
• 定義 3.3 オッズとロジット ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 16 番
• 定義 3.1 シグモイド関数（標準ロジスティック関数） ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 15 番
• 例 5.3 二乗誤差だと勾配が消え、しかも凸でなくなる ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 17 番
• 命題 3.2 シグモイド関数の基本性質 ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 15 番
• 定理 6.1 交差エントロピー誤差の凸性 ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 18, 20, 21 番
• 定理 5.1 交差エントロピー誤差の勾配 ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 17, 19 番
• 定理 6.3 線形分離可能なら最尤推定量は存在しない ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く → 18, 20, 21 番
• 系 3.3 第 1 主成分は最大固有値の固有ベクトル 主成分分析：分散最大化はなぜ固有値問題になるのか → 38 番
• 定義 6.1 寄与率と累積寄与率 主成分分析：分散最大化はなぜ固有値問題になるのか → 39 番
• 定義 2.1 中心化データ行列と標本共分散行列 主成分分析：分散最大化はなぜ固有値問題になるのか → 44 番
• 定義 3.2 主成分方向と主成分得点 主成分分析：分散最大化はなぜ固有値問題になるのか → 38, 43 番
• 例 7.2 分散最大の方向が判別に役立たない例 主成分分析：分散最大化はなぜ固有値問題になるのか → 42 番
• 例 3.6 等方的なデータでは主成分方向が定まらない 主成分分析：分散最大化はなぜ固有値問題になるのか → 42 番
• 例 7.1 単位を変えると主成分が変わる 主成分分析：分散最大化はなぜ固有値問題になるのか → 42 番
• 補題 2.4 標本共分散行列は対称かつ半正定値 主成分分析：分散最大化はなぜ固有値問題になるのか → 40 番
• 命題 4.2 主成分得点の性質 主成分分析：分散最大化はなぜ固有値問題になるのか → 40, 43 番
• 注意 6.4 主成分分析：分散最大化はなぜ固有値問題になるのか → 44 番
• 注意 3.5 主成分分析：分散最大化はなぜ固有値問題になるのか → 42 番
• 定理 5.1 最良近似アフィン部分空間 主成分分析：分散最大化はなぜ固有値問題になるのか → 41 番
• 定理 2.5 実対称行列のスペクトル定理 主成分分析：分散最大化はなぜ固有値問題になるのか → 39, 41, 43, 44 番
• 系 3.4 最小二乗解の閉じた式 なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す → 7 番
• 定義 4.1 凸関数 なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す → 6 番
• 定義 2.2 期待リスクと経験リスク なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す → 1, 2, 3 番
• 定義 2.1 教師あり学習の設定 なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す → 1, 2 番
• 補題 3.1 二乗損失の二次展開 なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す → 4, 5, 7 番
• 補題 3.3 グラム行列の核 なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す → 7 番
• 命題 5.4 固定した予測器では経験リスクは期待リスクに集中する なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す → 2 番
• 定理 4.2 凸関数では停留点と大域最小点が一致する なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す → 6 番