機械学習の数学

情報科学学部無料 3 章有料 4 章

機械学習（特に深層学習）のアルゴリズムを支える数学的基盤（線形代数、微分積分、確率統計）を解説する。

想定読者: 大学生（理系）・社会人エンジニア

前提テーマ:線形代数学、微分積分学、確率論

目次

1. 第 1 章なぜ機械学習に数学が必要か？無料回帰も分類も経験リスク最小化という一つの最適化問題に帰着することを示し、線形代数・微分積分・確率統計がその各段階でどう働くかを、最小二乗法と勾配降下法の完全な証明で確かめます。
2. 第 2 章線形回帰と最小二乗法（線形代数）無料二乗和誤差の最小化が正規方程式 X^T X w = X^T y に帰着することを代数と偏微分の両面から導出し、その解が観測ベクトルの列空間への直交射影であることを示す。ランク条件と数値的安定性まで扱う。
3. 第 3 章ロジスティック回帰（微分と確率）無料分類の出力を確率として扱うためにシグモイド関数とロジット（対数オッズ）を導入し、ベルヌーイ分布の最尤推定から交差エントロピー誤差を導出する。勾配とヘッセ行列を計算して凸性を示し、閉じた解が存在せず微分による数値最適化が要る理由を明らかにする。
4. 第 4 章勾配降下法（多変数微分）本多変数テイラー展開とコーシー・シュワルツの不等式から勾配が最急降下方向であることを示し、学習率の許容範囲を降下補題で決め、二次関数の条件数と確率的勾配降下法の分散まで計算で追う。
5. 第 5 章ニューラルネットワークと逆伝播（連鎖律）本ニューラルネットワークを線形変換と活性化関数の合成として定式化し、多変数の連鎖律から逆伝播を導出する。計算グラフ上の随伴変数の漸化式を証明し、勾配計算が順伝播の定数倍で済む理由を計算量と数値例で確かめる。
6. 第 6 章主成分分析（固有値問題）本データの分散が最大になる方向を探すという要請が標本共分散行列の固有値問題に帰着することを導出し、第 1 主成分が最大固有値の固有ベクトルであること、寄与率が保存される分散の割合に等しいことを証明します。
7. 第 7 章確率論とベイズ統計の役割本ベイズの定理から最尤推定と MAP 推定の違いを導き、L2 正則化がガウス事前分布、L1 がラプラス事前分布に対応することを証明し、ベイズ線形回帰で予測の不確実性を定量化する。

「機械学習の数学」は 1 冊の本としてまとめています。無料章を読んで続きが気になったら、本の一覧からどうぞ。