タグ: 最尤推定

← タグ一覧

• 確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体ベイズの定理から最尤推定と MAP 推定の違いを導き、L2 正則化がガウス事前分布、L1 がラプラス事前分布に対応することを証明し、ベイズ線形回帰で予測の不確実性を定量化する。情報科学機械学習の数学学部ベイズ統計最尤推定MAP推定正則化不確実性約 52 分
• ロジスティック回帰：シグモイドと交差エントロピーを最尤推定から導く分類の出力を確率として扱うためにシグモイド関数とロジット（対数オッズ）を導入し、ベルヌーイ分布の最尤推定から交差エントロピー誤差を導出する。勾配とヘッセ行列を計算して凸性を示し、閉じた解が存在せず微分による数値最適化が要る理由を明らかにする。情報科学機械学習の数学学部ロジスティック回帰シグモイド関数交差エントロピー最尤推定凸最適化約 46 分
• なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す回帰も分類も経験リスク最小化という一つの最適化問題に帰着することを示し、線形代数・微分積分・確率統計がその各段階でどう働くかを、最小二乗法と勾配降下法の完全な証明で確かめます。情報科学機械学習の数学学部機械学習経験リスク最小化最小二乗法勾配降下法最尤推定約 38 分
• 点推定と漸近理論：最尤推定、Cramér–Rao の下界、漸近正規性、delta 法、ベイズ推定Fisher 情報と Cramér–Rao の不等式、最尤推定量の一致性（Cramér の定理）と漸近正規性を正則条件のもとで証明し、delta 法で関数の推定量へ展開する。ベイズ推定は事後平均の最適性と共役事前分布で扱う。数学数理統計学学部最尤推定Fisher 情報Cramér–Rao漸近正規性delta 法ベイズ推定約 21 分