L1 正則化はラプラス事前分布の MAP 推定

命題 5.3（「確率論とベイズ統計」§5）・ ✓公理まで証明済み

定理 5.1 と同じ雑音モデルの下で、重みの事前分布を、各成分が独立に平均 $0$ ・尺度 $b > 0$ のラプラス分布

p(\boldsymbol{w}) = \prod_{j=1}^{M} \frac{1}{2b}\exp\!\left(-\frac{|w_j|}{b}\right) = \frac{1}{(2b)^{M}} \exp\!\left(-\frac{\lVert \boldsymbol{w}\rVert_{1}}{b}\right)

に従うものとする（ $\lVert\boldsymbol{w}\rVert_1 = \sum_j |w_j|$ ）。このとき

\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \operatorname*{arg\,min}_{\boldsymbol{w}\in\mathbb{R}^{M}} \Bigl\{ \lVert \boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} + \lambda \lVert \boldsymbol{w}\rVert_{1} \Bigr\}, \qquad \lambda = \frac{2\sigma^{2}}{b}

であり、これはラッソ（L1 正則化つき最小二乗法）の解に一致する。

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 4 件、定義なども含めて 7 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

MAP の目的関数✓命題 4.2・確率論とベイズ統計
- ベイズの定理✓定理 2.2・確率論とベイズ統計
  - 尤度・事前分布・事後分布定義 2.1・確率論とベイズ統計
- 最尤推定量定義 3.1・確率論とベイズ統計
L2 正則化はガウス事前分布の MAP 推定✓定理 5.1・確率論とベイズ統計
- ガウス雑音の下で最尤推定は最小二乗法✓命題 3.3・確率論とベイズ統計
  - 尤度・事前分布・事後分布定義 2.1・確率論とベイズ統計
- MAP の目的関数✓命題 4.2・確率論とベイズ統計（上で展開済み）
演習 7.3確率論とベイズ統計

証明で明示的に参照している定理は、まだありません。