L2 正則化はガウス事前分布の MAP 推定

定理 5.1（「確率論とベイズ統計」§5）・ ✓公理まで証明済み

命題 3.3 と同じ設定（入力は固定、 $\Phi \in \mathbb{R}^{N\times M}$ は計画行列、 $\sigma^2 > 0$ は既知の雑音分散、 $\varepsilon_i$ は独立に $\mathcal{N}(0,\sigma^2)$ ）に加えて、重みの事前分布を

\boldsymbol{w} \sim \mathcal{N}(\boldsymbol{0},\, \tau^{2} I_M), \qquad \tau^{2} > 0 \ \text{は既知}

とし、 $\boldsymbol{w}$ と $(\varepsilon_1,\ldots,\varepsilon_N)$ は独立とする。このとき MAP 推定量は

\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \operatorname*{arg\,min}_{\boldsymbol{w} \in \mathbb{R}^{M}} \Bigl\{ \lVert \boldsymbol{y} - \Phi\boldsymbol{w}\rVert^{2} + \lambda \lVert \boldsymbol{w}\rVert^{2} \Bigr\}, \qquad \lambda = \frac{\sigma^{2}}{\tau^{2}}

で与えられ、これはリッジ回帰（L2 正則化つき最小二乗法）の解に一致する。さらにこの最小化問題の解は一意で、

\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \bigl(\Phi^{\mathsf{T}}\Phi + \lambda I_M\bigr)^{-1} \Phi^{\mathsf{T}} \boldsymbol{y}

である。

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 3 件、定義なども含めて 5 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

ガウス雑音の下で最尤推定は最小二乗法✓命題 3.3・確率論とベイズ統計
- 尤度・事前分布・事後分布定義 2.1・確率論とベイズ統計
MAP の目的関数✓命題 4.2・確率論とベイズ統計
- ベイズの定理✓定理 2.2・確率論とベイズ統計
  - 尤度・事前分布・事後分布定義 2.1・確率論とベイズ統計
- 最尤推定量定義 3.1・確率論とベイズ統計