確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体

0. この記事の要点

• **最尤推定（MLE）**は「観測データが最も出やすくなるパラメータ」を選ぶ方法です。データが少ないと極端な答え（確率 $1$ や無限大の重み）を平然と返します。
• ベイズの定理は、データを見る前の信念（事前分布）とデータの当てはまり（尤度）を掛けて、データを見た後の信念（事後分布）を作る規則です。MAP 推定は事後分布の最頻値を取ることです。
• これまで「過学習を防ぐおまじない」として導入してきた正則化は、事前分布そのものです。L2 正則化はガウス事前分布の、L1 正則化はラプラス事前分布の MAP 推定に一致し、正則化係数は $\lambda = \sigma^2/\tau^2$（観測ノイズの分散と事前分散の比）という意味を持ちます。
• 事後分布を 1 点に潰さず、パラメータについて積分すると事後予測分布が得られます。その分散は「観測ノイズ」と「パラメータの不確実性」の和に分解され、外挿するほど後者が効きます。
• MAP は事後分布のたった 1 点であり、座標変換で不変ではありません。L1 のスパース性も「最頻値の性質」であって「事後平均の性質」ではありません。

1. 動機：点で答えるか、分布で答えるか

線形回帰と最小二乗法では、残差平方和 $\sum_i (y_i - \boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}_i)^2$ を最小にする $\boldsymbol{w}$ を求めました（最小二乗問題（定義 3.1）［線形回帰と最小二乗法］）。ロジスティック回帰では交差エントロピー（交差エントロピー誤差（定義 4.1）［ロジスティック回帰］）を最小にしました。そして過学習を抑えるために、どちらでも罰則項 $\lambda \lVert \boldsymbol{w}\rVert^2$ を足しました。

ここで素朴な疑問が 3 つ残ります。

1. なぜ残差の 2 乗なのですか。絶対値でも 4 乗でもよいはずです。
2. なぜ罰則が $\lVert \boldsymbol{w}\rVert^2$ なのですか。$\lambda$ はどうやって決めるのですか。単位は何ですか。
3. モデルが返すのは $\hat{y} = \hat{\boldsymbol{w}}^{\mathsf{T}}\boldsymbol{x}$ という 1 つの数だけです。「この予測はどのくらい信用してよいか」はどこに書いてあるのですか。

この章の主張は、3 つとも確率モデルを明示すれば同時に答えが出る、というものです。1 の答えは「観測ノイズをガウス分布と仮定したから」、2 の答えは「重みの事前分布をガウス分布と仮定したから、$\lambda$ はノイズ分散と事前分散の比」、3 の答えは「点推定を捨てて事後分布のまま積分すればよい」です。

歴史的には、この見方は機械学習より 250 年ほど古いものです。トーマス・ベイズの遺稿（1763 年）と、それを独立に一般の形で展開したラプラスの 1774 年の論文は、「結果から原因の確率を測る」問題として条件付き確率の反転を扱いました。一方、20 世紀初頭の R. A. フィッシャーは事前分布を持ち込むことを嫌い、尤度だけを使う最尤推定を統計学の中心に据えました。現代の機械学習はこの両方を、目的に応じて使い分けています。損失関数の設計は前者の言葉で、汎化性能の議論は後者の言葉で語られることが多い、という具合です。

ヒント

この章では確率の基本的な言葉（確率変数、期待値、密度関数、独立性）を既知とします。不安があれば 確率変数と期待値（とくに 定義 4.1［確率変数と期待値］）を先に見てください。事後分布を「データで条件付けた分布」と捉える視点は 条件付き期待値 の 定義 3.1［条件付き期待値］ と地続きです。

ここから先は Pro プランの内容です。

この章の続き（定義・定理・証明・例・演習）をすべて読むには Pro プランにご登録ください。無料の章は最後まで読めます。

プランを見る ログイン