確率論とベイズ統計：最尤推定・MAP 推定と正則化の正体

0. この記事の要点

• **最尤推定（MLE）**は「観測データが最も出やすくなるパラメータ」を選ぶ方法です。データが少ないと極端な答え（確率 $1$ や無限大の重み）を平然と返します。
• ベイズの定理は、データを見る前の信念（事前分布）とデータの当てはまり（尤度）を掛けて、データを見た後の信念（事後分布）を作る規則です。MAP 推定は事後分布の最頻値を取ることです。
• これまで「過学習を防ぐおまじない」として導入してきた正則化は、事前分布そのものです。L2 正則化はガウス事前分布の、L1 正則化はラプラス事前分布の MAP 推定に一致し、正則化係数は $\lambda = \sigma^2/\tau^2$（観測ノイズの分散と事前分散の比）という意味を持ちます。
• 事後分布を 1 点に潰さず、パラメータについて積分すると事後予測分布が得られます。その分散は「観測ノイズ」と「パラメータの不確実性」の和に分解され、外挿するほど後者が効きます。
• MAP は事後分布のたった 1 点であり、座標変換で不変ではありません。L1 のスパース性も「最頻値の性質」であって「事後平均の性質」ではありません。

1. 動機：点で答えるか、分布で答えるか

線形回帰と最小二乗法では、残差平方和 $\sum_i (y_i - \boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}_i)^2$ を最小にする $\boldsymbol{w}$ を求めました（最小二乗問題（Definition 3.1）［Linear Regression and Least Squares］）。ロジスティック回帰では交差エントロピー（交差エントロピー誤差（Definition 4.1）［Logistic Regression］）を最小にしました。そして過学習を抑えるために、どちらでも罰則項 $\lambda \lVert \boldsymbol{w}\rVert^2$ を足しました。

ここで素朴な疑問が 3 つ残ります。

1. なぜ残差の 2 乗なのですか。絶対値でも 4 乗でもよいはずです。
2. なぜ罰則が $\lVert \boldsymbol{w}\rVert^2$ なのですか。$\lambda$ はどうやって決めるのですか。単位は何ですか。
3. モデルが返すのは $\hat{y} = \hat{\boldsymbol{w}}^{\mathsf{T}}\boldsymbol{x}$ という 1 つの数だけです。「この予測はどのくらい信用してよいか」はどこに書いてあるのですか。

この章の主張は、3 つとも確率モデルを明示すれば同時に答えが出る、というものです。1 の答えは「観測ノイズをガウス分布と仮定したから」、2 の答えは「重みの事前分布をガウス分布と仮定したから、$\lambda$ はノイズ分散と事前分散の比」、3 の答えは「点推定を捨てて事後分布のまま積分すればよい」です。

歴史的には、この見方は機械学習より 250 年ほど古いものです。トーマス・ベイズの遺稿（1763 年）と、それを独立に一般の形で展開したラプラスの 1774 年の論文は、「結果から原因の確率を測る」問題として条件付き確率の反転を扱いました。一方、20 世紀初頭の R. A. フィッシャーは事前分布を持ち込むことを嫌い、尤度だけを使う最尤推定を統計学の中心に据えました。現代の機械学習はこの両方を、目的に応じて使い分けています。損失関数の設計は前者の言葉で、汎化性能の議論は後者の言葉で語られることが多い、という具合です。

Tip

この章では確率の基本的な言葉（確率変数、期待値、密度関数、独立性）を既知とします。不安があれば 確率変数と期待値（とくに Definition 4.1［Random Variables and Expectation］）を先に見てください。事後分布を「データで条件付けた分布」と捉える視点は 条件付き期待値 の Definition 3.1［条件付き期待値］ と地続きです。

2. 準備：尤度・事前分布・ベイズの定理

観測データを $\mathcal{D}$、モデルのパラメータを $\theta$（ベクトルのときは $\boldsymbol{w}$）と書きます。確率モデルとは、$\theta$ を決めるごとに $\mathcal{D}$ の生成される確率（密度）$p(\mathcal{D} \mid \theta)$ が定まる仕組みのことです。

Definition 2.1（尤度・事前分布・事後分布）

確率モデル $p(\mathcal{D} \mid \theta)$ において、データ $\mathcal{D}$ を固定し、$\theta$ の関数と見たもの

$$L(\theta) = p(\mathcal{D} \mid \theta)$$

を尤度関数といい、その対数 $\ell(\theta) = \log L(\theta)$ を対数尤度といいます。とくに $\mathcal{D} = (z_1,\ldots,z_N)$ が独立同分布のとき、

$$L(\theta) = \prod_{i=1}^{N} p(z_i \mid \theta), \qquad \ell(\theta) = \sum_{i=1}^{N} \log p(z_i \mid \theta)$$

となります。

パラメータ $\theta$ 自身を確率変数と見なし、データを観測する前の分布 $p(\theta)$ を事前分布、観測後の条件付き分布 $p(\theta \mid \mathcal{D})$ を事後分布といいます。また

$$p(\mathcal{D}) = \int p(\mathcal{D} \mid \theta)\, p(\theta)\, d\theta$$

を周辺尤度（またはエビデンス）といいます。$\theta$ が離散なら積分は和に置き換えます。

尤度は「$\theta$ についての確率分布」ではないことに注意してください。$\int L(\theta)\,d\theta$ は一般に $1$ になりません。$L$ はあくまで「この $\theta$ を信じたとき、手元のデータはどれくらい出やすかったか」を測る物差しです。

Theorem 2.2（ベイズの定理）

$\theta$ と $\mathcal{D}$ の同時密度 $p(\theta, \mathcal{D})$ が存在し、$p(\mathcal{D}) > 0$ であるとする。このとき

$$p(\theta \mid \mathcal{D}) = \frac{p(\mathcal{D} \mid \theta)\, p(\theta)}{p(\mathcal{D})} = \frac{p(\mathcal{D} \mid \theta)\, p(\theta)}{\displaystyle\int p(\mathcal{D} \mid \theta')\, p(\theta')\, d\theta'}$$

が成り立つ。とくに $\mathcal{D}$ を固定すれば分母は $\theta$ に依存しない定数なので、

$$p(\theta \mid \mathcal{D}) \propto p(\mathcal{D} \mid \theta)\, p(\theta)$$

すなわち「事後分布 $\propto$ 尤度 $\times$ 事前分布」である。

Proof（Theorem 2.2）

条件付き密度の定義から、$p(\mathcal{D}) > 0$ のとき

$$p(\theta \mid \mathcal{D}) = \frac{p(\theta, \mathcal{D})}{p(\mathcal{D})}$$

です。同じ定義を逆向きに使うと、$p(\theta) > 0$ となる $\theta$ について $p(\mathcal{D} \mid \theta) = p(\theta, \mathcal{D}) / p(\theta)$、すなわち $p(\theta, \mathcal{D}) = p(\mathcal{D} \mid \theta)\, p(\theta)$ です（$p(\theta) = 0$ の点では両辺とも $0$ なのでこの等式は全体で成り立ちます）。これを最初の式の分子に代入すれば第 1 の等号が得られます。

第 2 の等号は、Definition 2.1 の周辺尤度の定義そのものです。実際、同時密度を $\theta$ について積分すれば $\mathcal{D}$ の周辺密度になり、

$$p(\mathcal{D}) = \int p(\theta', \mathcal{D})\, d\theta' = \int p(\mathcal{D} \mid \theta')\, p(\theta')\, d\theta'$$

となります。最後の比例関係は、分母が $\theta$ を含まないことから直ちに従います。

∎

比例関係のほうが実用上は重要です。事後分布を求める作業の大半は、「尤度 $\times$ 事前分布」を $\theta$ の関数として書き下し、$\theta$ を含まない因子をすべて捨てて、残った形が何という分布かを見抜くことに尽きます。

Example 2.3（事前分布が効く例：まれな病気の検査）

有病率 $0.1\%$ の病気があり、検査の感度（病気の人が陽性になる確率）が $99\%$、特異度（健康な人が陰性になる確率）が $95\%$ だとします。ある人の検査が陽性でした。この人が病気である確率はいくらでしょうか。

$\theta \in \{\text{病気}, \text{健康}\}$、$\mathcal{D} = \text{陽性}$ とします。事前分布は $p(\text{病気}) = 0.001$、$p(\text{健康}) = 0.999$。尤度は $p(\text{陽性} \mid \text{病気}) = 0.99$、$p(\text{陽性} \mid \text{健康}) = 1 - 0.95 = 0.05$ です。Theorem 2.2 より

$$\begin{aligned} p(\text{陽性}) &= 0.99 \times 0.001 + 0.05 \times 0.999 = 0.00099 + 0.04995 = 0.05094,\\ p(\text{病気} \mid \text{陽性}) &= \frac{0.00099}{0.05094} = 0.01943\ldots \approx 1.9\%. \end{aligned}$$

検査の精度が高いにもかかわらず、陽性でも病気である確率は $2\%$ 程度です。尤度比は $0.99/0.05 = 19.8$ 倍ありますが、事前オッズが $1:999$ と極端に小さいので、事後オッズは $19.8/999 \approx 1/50.5$ にしかならないためです。

「尤度だけを見て $\theta$ を選ぶ」（この場合は $p(\text{陽性}\mid\theta)$ が大きい「病気」を選ぶ）という判断が、事前分布を無視したときにどれほど誤るかを示す例です。

Remark 2.4（頻度論とベイズの分かれ目）

「$\theta$ 自身に確率分布を置く」という一歩は、見た目より大きな一歩です。頻度論の立場では $\theta$ は未知だが固定された定数であり、確率は繰り返し試行の相対頻度としてのみ意味を持つので、$p(\theta)$ は書けません。ベイズの立場では確率を「信念の度合い」と読み、未知の定数にも分布を置きます。

機械学習の実務では、この対立を教義として扱う必要はほとんどありません。むしろ「事前分布は、モデルに入れたい構造（重みは小さいはず、係数の多くは $0$ のはず、関数は滑らかなはず）を確率の言葉で書く道具である」と考えると、この章の内容はすべて技術的な道具として使えます。

3. 最尤推定：データだけを見る

Definition 3.1（最尤推定量）

パラメータ空間 $\Theta$ 上の確率モデル $p(\mathcal{D} \mid \theta)$ に対し、尤度関数 $L(\theta) = p(\mathcal{D}\mid\theta)$ を最大にする $\theta$

$$\hat{\theta}_{\mathrm{ML}} = \operatorname*{arg\,max}_{\theta \in \Theta} p(\mathcal{D} \mid \theta) = \operatorname*{arg\,max}_{\theta \in \Theta} \log p(\mathcal{D} \mid \theta)$$

を最尤推定量といいます。$\log$ は狭義単調増加なので、$L$ を最大にする点と $\ell = \log L$ を最大にする点は一致します。

対数を取る理由は 2 つあります。独立同分布の積が和に変わって微分しやすくなること、そして $N$ が大きいときに $L(\theta)$ がアンダーフローするほど小さくなるのを避けられることです。

Example 3.2（コイン投げの最尤推定）

表の出る確率が $\theta \in [0,1]$ のコインを $n$ 回投げ、$k$ 回表が出たとします。各回が独立なので

$$L(\theta) = \theta^{k} (1-\theta)^{n-k}, \qquad \ell(\theta) = k \log \theta + (n-k)\log(1-\theta) \quad (0 < \theta < 1).$$

微分して

$$\ell'(\theta) = \frac{k}{\theta} - \frac{n-k}{1-\theta} = \frac{k(1-\theta) - (n-k)\theta}{\theta(1-\theta)} = \frac{k - n\theta}{\theta(1-\theta)}.$$

分母は $0 < \theta < 1$ で正なので、$\ell'(\theta) = 0 \iff \theta = k/n$ です。さらに $0 < k < n$ のとき

$$\ell''(\theta) = -\frac{k}{\theta^{2}} - \frac{n-k}{(1-\theta)^{2}} < 0$$

なので $\ell$ は狭義凹であり、$\theta = k/n$ が唯一の最大点です。よって $\hat{\theta}_{\mathrm{ML}} = k/n$、つまり単なる標本比率です。

端の場合を省略しないでおきます。$k = n$ のとき $\ell(\theta) = n\log\theta$ は $(0,1)$ で狭義単調増加なので、最大は端点 $\theta = 1$ で達成されます（$L(1) = 1$）。同様に $k = 0$ なら $\hat{\theta}_{\mathrm{ML}} = 0$ です。つまり3 回投げて 3 回表なら、最尤推定は「このコインは絶対に裏が出ない」と断言します。データと矛盾はしていませんが、賭けの根拠にはできません。この病理が次節の動機です。

次の命題は、線形回帰 で天下り的に採用した「残差の 2 乗和」が、実はガウスノイズの仮定と同じものであることを示します。

Proposition 3.3（ガウス雑音の下で最尤推定は最小二乗法）

入力 $\boldsymbol{x}_1,\ldots,\boldsymbol{x}_N \in \mathbb{R}^{d}$ は固定された既知の値とし、特徴写像 $\boldsymbol{\phi} : \mathbb{R}^{d} \to \mathbb{R}^{M}$ を用いて計画行列 $\Phi \in \mathbb{R}^{N \times M}$ を、その第 $i$ 行が $\boldsymbol{\phi}(\boldsymbol{x}_i)^{\mathsf{T}}$ であるものとして定める。既知の定数 $\sigma^2 > 0$ に対し、出力が

$$y_i = \boldsymbol{w}^{\mathsf{T}} \boldsymbol{\phi}(\boldsymbol{x}_i) + \varepsilon_i, \qquad \varepsilon_1,\ldots,\varepsilon_N \ \text{は独立で} \ \varepsilon_i \sim \mathcal{N}(0, \sigma^2)$$

に従って生成されるとする。$\boldsymbol{y} = (y_1,\ldots,y_N)^{\mathsf{T}}$ とおくと、$\boldsymbol{w} \in \mathbb{R}^{M}$ の最尤推定量は

$$\hat{\boldsymbol{w}}_{\mathrm{ML}} = \operatorname*{arg\,min}_{\boldsymbol{w} \in \mathbb{R}^{M}} \lVert \boldsymbol{y} - \Phi \boldsymbol{w} \rVert^{2}$$

の解全体と一致する。とくに $\Phi$ が列フルランクならば $\hat{\boldsymbol{w}}_{\mathrm{ML}} = (\Phi^{\mathsf{T}}\Phi)^{-1}\Phi^{\mathsf{T}}\boldsymbol{y}$ でただ 1 つに定まる。

Proof（Proposition 3.3）

$\varepsilon_i \sim \mathcal{N}(0,\sigma^2)$ より、$\boldsymbol{w}$ を与えたときの $y_i$ の密度は

$$p(y_i \mid \boldsymbol{w}) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\!\left( -\frac{\bigl(y_i - \boldsymbol{w}^{\mathsf{T}}\boldsymbol{\phi}(\boldsymbol{x}_i)\bigr)^{2}}{2\sigma^{2}} \right)$$

です。$\varepsilon_i$ が独立なので $y_1,\ldots,y_N$ も（$\boldsymbol{w}$ を与えたとき）独立で、Definition 2.1 より尤度は積になります。対数を取ると

$$\ell(\boldsymbol{w}) = \sum_{i=1}^{N} \log p(y_i \mid \boldsymbol{w}) = -\frac{N}{2}\log(2\pi\sigma^{2}) \;-\; \frac{1}{2\sigma^{2}} \sum_{i=1}^{N} \bigl(y_i - \boldsymbol{w}^{\mathsf{T}}\boldsymbol{\phi}(\boldsymbol{x}_i)\bigr)^{2}.$$

右辺第 1 項は $\boldsymbol{w}$ を含まない定数です。また $\sum_i (y_i - \boldsymbol{w}^{\mathsf{T}}\boldsymbol{\phi}(\boldsymbol{x}_i))^{2} = \lVert \boldsymbol{y} - \Phi\boldsymbol{w}\rVert^{2}$ は、計画行列の定義から $\Phi\boldsymbol{w}$ の第 $i$ 成分が $\boldsymbol{\phi}(\boldsymbol{x}_i)^{\mathsf{T}}\boldsymbol{w}$ であることによります。したがって

$$\ell(\boldsymbol{w}) = \mathrm{const} - \frac{1}{2\sigma^{2}} \lVert \boldsymbol{y} - \Phi\boldsymbol{w}\rVert^{2}.$$

係数 $-1/(2\sigma^{2})$ は負の定数なので、$\ell$ を最大化することと $\lVert \boldsymbol{y} - \Phi\boldsymbol{w}\rVert^{2}$ を最小化することは同値です。

後半は正規方程式です。$J(\boldsymbol{w}) = \lVert \boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2}$ を展開すると $J = \boldsymbol{y}^{\mathsf{T}}\boldsymbol{y} - 2\boldsymbol{y}^{\mathsf{T}}\Phi\boldsymbol{w} + \boldsymbol{w}^{\mathsf{T}}\Phi^{\mathsf{T}}\Phi\boldsymbol{w}$ で、勾配は $\nabla J = -2\Phi^{\mathsf{T}}\boldsymbol{y} + 2\Phi^{\mathsf{T}}\Phi\boldsymbol{w}$ です。$J$ は凸（ヘッセ行列 $2\Phi^{\mathsf{T}}\Phi$ が半正定値）なので $\nabla J = \boldsymbol{0}$ が最小の必要十分条件で、$\Phi^{\mathsf{T}}\Phi \boldsymbol{w} = \Phi^{\mathsf{T}}\boldsymbol{y}$ を得ます。$\Phi$ が列フルランクなら $\Phi^{\mathsf{T}}\Phi$ は正定値（$\boldsymbol{v} \ne \boldsymbol{0}$ に対し $\boldsymbol{v}^{\mathsf{T}}\Phi^{\mathsf{T}}\Phi\boldsymbol{v} = \lVert \Phi\boldsymbol{v}\rVert^{2} > 0$）で可逆なので、解は一意に定まります。

∎

同じ論法で、ノイズをラプラス分布 $p(\varepsilon) \propto e^{-|\varepsilon|/c}$ とすれば最尤推定は残差の絶対値和の最小化（最小絶対偏差回帰）になります。「なぜ 2 乗か」の答えは「ガウスを仮定したから」であり、逆にいえば外れ値が多いデータでは 2 乗以外を選ぶ理由がある、ということです。

4. 最大事後確率推定：事前分布を足す

Definition 4.1（MAP 推定量）

事前分布 $p(\theta)$ を持つモデルにおいて、事後分布 $p(\theta \mid \mathcal{D})$ を最大にする点

$$\hat{\theta}_{\mathrm{MAP}} = \operatorname*{arg\,max}_{\theta \in \Theta} p(\theta \mid \mathcal{D})$$

を最大事後確率推定量（MAP 推定量）といいます。

Proposition 4.2（MAP の目的関数）

$p(\mathcal{D}) > 0$ のとき、

$$\hat{\theta}_{\mathrm{MAP}} = \operatorname*{arg\,max}_{\theta \in \Theta} \Bigl\{ \underbrace{\log p(\mathcal{D} \mid \theta)}_{\text{対数尤度}} + \underbrace{\log p(\theta)}_{\text{対数事前分布}} \Bigr\}$$

が成り立つ。とくに事前分布が $\Theta$ 上で定数（一様）ならば $\hat{\theta}_{\mathrm{MAP}} = \hat{\theta}_{\mathrm{ML}}$ である。

Proof（Proposition 4.2）

Theorem 2.2 より $p(\theta\mid\mathcal{D}) = p(\mathcal{D}\mid\theta)p(\theta)/p(\mathcal{D})$ です。分母 $p(\mathcal{D})$ は $\theta$ に依存しない正の定数なので、$p(\theta\mid\mathcal{D})$ を最大にする $\theta$ と $p(\mathcal{D}\mid\theta)p(\theta)$ を最大にする $\theta$ は同じです。対数は狭義単調増加なので、さらに $\log\bigl(p(\mathcal{D}\mid\theta)p(\theta)\bigr) = \log p(\mathcal{D}\mid\theta) + \log p(\theta)$ を最大にする $\theta$ とも同じです。

事前分布が定数 $c > 0$ なら $\log p(\theta) = \log c$ も定数なので、目的関数は対数尤度と定数だけ違い、最大点は Definition 3.1 の最尤推定量に一致します。

∎

この命題が、この章でいちばん使う道具です。MAP 推定は「対数尤度 $+$ 対数事前分布」の最大化であり、機械学習の言葉に翻訳すれば「損失関数 $+$ 罰則項」の最小化にほかなりません。第 5 節でこの翻訳を厳密に実行します。

Definition 4.3（共役事前分布）

尤度の族 $\{p(\mathcal{D}\mid\theta)\}_{\theta\in\Theta}$ に対し、事前分布の族 $\mathcal{P}$ が共役であるとは、任意の $p(\theta) \in \mathcal{P}$ と任意の観測 $\mathcal{D}$ に対して事後分布 $p(\theta\mid\mathcal{D})$ もまた $\mathcal{P}$ に属することをいいます。

共役性は数学的な必然ではなく、計算の便宜です。事後分布が同じ族に留まってくれれば、積分を実行せずに「パラメータの更新則」だけで事後分布が書けます。

Example 4.4（ベータ事前分布とコイン投げ）

Example 3.2 と同じ設定で、事前分布としてベータ分布 $\mathrm{Beta}(a,b)$（$a,b > 0$）

$$p(\theta) = \frac{1}{B(a,b)}\, \theta^{a-1}(1-\theta)^{b-1}, \qquad 0 < \theta < 1$$

を取ります。$B(a,b)$ は $\theta$ に依存しない正規化定数です。Theorem 2.2 の比例形を使うと

$$p(\theta \mid \mathcal{D}) \;\propto\; \underbrace{\theta^{k}(1-\theta)^{n-k}}_{\text{尤度}} \cdot \underbrace{\theta^{a-1}(1-\theta)^{b-1}}_{\text{事前分布}} = \theta^{(k+a)-1} (1-\theta)^{(n-k+b)-1}.$$

右辺は $\mathrm{Beta}(k+a,\, n-k+b)$ の密度の $\theta$ 依存部分そのものです。密度は正規化定数まで込めて一意なので、事後分布は $\mathrm{Beta}(k+a,\, n-k+b)$ です。つまりベータ分布族はベルヌーイ／二項尤度の共役事前分布であり、更新則は「$a$ に表の回数を、$b$ に裏の回数を足す」だけです。$a, b$ は疑似観測回数と読めます。

具体的な数値を最後まで追います。$n = 3$、$k = 3$（3 回投げて 3 回とも表）、事前分布は $\mathrm{Beta}(2,2)$（「$0.5$ のあたりが怪しい」という穏やかな信念、表裏 1 回ずつを見たのと同じ重み）とします。事後分布は $\mathrm{Beta}(5, 2)$ で、密度は

$$p(\theta\mid\mathcal{D}) = \frac{\theta^{4}(1-\theta)}{B(5,2)}, \qquad B(5,2) = \frac{\Gamma(5)\Gamma(2)}{\Gamma(7)} = \frac{4! \cdot 1!}{6!} = \frac{24}{720} = \frac{1}{30},$$

すなわち $p(\theta\mid\mathcal{D}) = 30\,\theta^{4}(1-\theta)$ です。最頻値は

$$\frac{d}{d\theta}\bigl[4\log\theta + \log(1-\theta)\bigr] = \frac{4}{\theta} - \frac{1}{1-\theta} = \frac{4 - 5\theta}{\theta(1-\theta)} = 0 \iff \theta = \frac{4}{5},$$

二階微分は $-4/\theta^{2} - 1/(1-\theta)^{2} < 0$ なのでこれが唯一の最大点です。よって $\hat{\theta}_{\mathrm{MAP}} = 4/5 = 0.8$。一方、事後平均は $\mathrm{Beta}(\alpha,\beta)$ の平均公式 $\alpha/(\alpha+\beta)$ より $5/7 \approx 0.714$ です。

まとめると、同じデータに対して

$$\hat{\theta}_{\mathrm{ML}} = 1, \qquad \hat{\theta}_{\mathrm{MAP}} = 0.8, \qquad \mathbb{E}[\theta \mid \mathcal{D}] = \frac{5}{7} \approx 0.714$$

という 3 つの答えが出ます。最尤推定の「絶対に裏は出ない」という断言は消え、しかも MAP と事後平均も一致しません。3 つ目の値は「次の 1 回が表である確率」でもあります（第 6 節の事後予測分布）。

3 回投げて 3 回表だったときの事前分布 Beta(2,2)、尤度、事後分布 Beta(5,2)。尤度は θ の密度ではないので高さは見やすいように規格化してあります。

図で見ると、事後分布が「事前分布と尤度の綱引きの結果」であることがよくわかります。尤度は $\theta = 1$ に向かって単調に増えていますが、事前分布が $\theta = 1$ で $0$ に落ちるので、積は $0.8$ 付近で山を作ります。データが増えれば尤度の山が鋭くなり、事前分布の影響は相対的に小さくなっていきます。

Remark 4.5（MAP は座標変換で不変ではない）

MAP は「いちばんありそうな値」という直感的な説明をされますが、これは密度の最頻値であって、パラメータの取り方に依存します。

Example 4.4 の事後分布 $p(\theta\mid\mathcal{D}) = 30\theta^{4}(1-\theta)$ で、パラメータを $\eta = \theta^{2}$ に取り替えてみます。$\theta = \sqrt{\eta}$、$d\theta/d\eta = 1/(2\sqrt{\eta})$ なので、変数変換の公式より $\eta$ の密度は

$$g(\eta) = p(\sqrt{\eta}\mid\mathcal{D}) \cdot \frac{1}{2\sqrt{\eta}} = 30\,\eta^{2}\,(1-\sqrt{\eta}) \cdot \frac{1}{2\sqrt{\eta}} = 15\bigl(\eta^{3/2} - \eta^{2}\bigr).$$

その最頻値は $g'(\eta) = 15\bigl(\tfrac{3}{2}\eta^{1/2} - 2\eta\bigr) = 0$ から、$\eta > 0$ で $\eta^{1/2}$ で割って $\tfrac{3}{2} = 2\eta^{1/2}$、すなわち $\eta = 9/16$ です。これを $\theta$ に戻すと $\sqrt{9/16} = 3/4 = 0.75$ で、$\theta$ 座標での MAP $0.8$ とは一致しません。

一方、事後分布そのものは変数変換の公式で正しく移り変わりますし、事後平均も「何を損失関数と考えるか」を決めれば意味が定まります（2 乗損失の下でのベイズ推定量が事後平均です）。MAP は計算が軽い代わりに、この種の恣意性を抱えていることを覚えておいてください。

5. 正則化の正体：罰則項は事前分布である

ここが本章の中心です。Proposition 4.2 の「対数尤度 $+$ 対数事前分布」に、Proposition 3.3 のガウス雑音モデルとガウス事前分布を代入するだけで、リッジ回帰が出てきます。

Theorem 5.1（L2 正則化はガウス事前分布の MAP 推定）

Proposition 3.3 と同じ設定（入力は固定、$\Phi \in \mathbb{R}^{N\times M}$ は計画行列、$\sigma^2 > 0$ は既知の雑音分散、$\varepsilon_i$ は独立に $\mathcal{N}(0,\sigma^2)$）に加えて、重みの事前分布を

$$\boldsymbol{w} \sim \mathcal{N}(\boldsymbol{0},\, \tau^{2} I_M), \qquad \tau^{2} > 0 \ \text{は既知}$$

とし、$\boldsymbol{w}$ と $(\varepsilon_1,\ldots,\varepsilon_N)$ は独立とする。このとき MAP 推定量は

$$\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \operatorname*{arg\,min}_{\boldsymbol{w} \in \mathbb{R}^{M}} \Bigl\{ \lVert \boldsymbol{y} - \Phi\boldsymbol{w}\rVert^{2} + \lambda \lVert \boldsymbol{w}\rVert^{2} \Bigr\}, \qquad \lambda = \frac{\sigma^{2}}{\tau^{2}}$$

で与えられ、これはリッジ回帰（L2 正則化つき最小二乗法）の解に一致する。さらにこの最小化問題の解は一意で、

$$\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \bigl(\Phi^{\mathsf{T}}\Phi + \lambda I_M\bigr)^{-1} \Phi^{\mathsf{T}} \boldsymbol{y}$$

である。

Proof（Theorem 5.1）

第 1 段：目的関数を書き下す。 Proposition 3.3 の証明で計算したとおり、対数尤度は

$$\log p(\boldsymbol{y}\mid\boldsymbol{w}) = -\frac{N}{2}\log(2\pi\sigma^{2}) - \frac{1}{2\sigma^{2}}\lVert \boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2}$$

です（$\boldsymbol{w}$ と $\varepsilon_i$ の独立性から、$\boldsymbol{w}$ を与えたときの $\boldsymbol{y}$ の条件付き分布は元のモデルのままであることを使いました）。また $M$ 次元ガウス事前分布 $\mathcal{N}(\boldsymbol{0},\tau^{2}I_M)$ の密度は $p(\boldsymbol{w}) = (2\pi\tau^{2})^{-M/2}\exp\bigl(-\lVert\boldsymbol{w}\rVert^{2}/(2\tau^{2})\bigr)$ なので

$$\log p(\boldsymbol{w}) = -\frac{M}{2}\log(2\pi\tau^{2}) - \frac{1}{2\tau^{2}}\lVert \boldsymbol{w}\rVert^{2}.$$

第 2 段：定数を落として整理する。 Proposition 4.2 より $\hat{\boldsymbol{w}}_{\mathrm{MAP}}$ は

$$\log p(\boldsymbol{y}\mid\boldsymbol{w}) + \log p(\boldsymbol{w}) = \mathrm{const} - \frac{1}{2\sigma^{2}}\lVert \boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} - \frac{1}{2\tau^{2}}\lVert \boldsymbol{w}\rVert^{2}$$

の最大点です。$\mathrm{const}$ は $\boldsymbol{w}$ を含まないので落とせます。符号を反転すると最小化問題

$$\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \operatorname*{arg\,min}_{\boldsymbol{w}} \left\{ \frac{1}{2\sigma^{2}}\lVert \boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} + \frac{1}{2\tau^{2}}\lVert \boldsymbol{w}\rVert^{2} \right\}$$

になります。目的関数全体を正の定数 $2\sigma^{2}$ 倍しても最小点は変わらないので

$$\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \operatorname*{arg\,min}_{\boldsymbol{w}} \left\{ \lVert \boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} + \frac{\sigma^{2}}{\tau^{2}} \lVert \boldsymbol{w}\rVert^{2} \right\}$$

を得ます。$\lambda = \sigma^{2}/\tau^{2}$ とおけば主張の形です。

第 3 段：閉じた形の解。 $J(\boldsymbol{w}) = \lVert \boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} + \lambda\lVert\boldsymbol{w}\rVert^{2}$ を展開すると

$$J(\boldsymbol{w}) = \boldsymbol{y}^{\mathsf{T}}\boldsymbol{y} - 2\boldsymbol{y}^{\mathsf{T}}\Phi\boldsymbol{w} + \boldsymbol{w}^{\mathsf{T}}\bigl(\Phi^{\mathsf{T}}\Phi + \lambda I_M\bigr)\boldsymbol{w},$$

勾配は $\nabla J(\boldsymbol{w}) = -2\Phi^{\mathsf{T}}\boldsymbol{y} + 2(\Phi^{\mathsf{T}}\Phi+\lambda I_M)\boldsymbol{w}$ です。ここで $A = \Phi^{\mathsf{T}}\Phi + \lambda I_M$ は正定値です。実際、$\boldsymbol{v}\ne\boldsymbol{0}$ に対し

$$\boldsymbol{v}^{\mathsf{T}} A \boldsymbol{v} = \lVert \Phi\boldsymbol{v}\rVert^{2} + \lambda\lVert\boldsymbol{v}\rVert^{2} \ge \lambda \lVert \boldsymbol{v}\rVert^{2} > 0$$

となります（$\lambda = \sigma^2/\tau^2 > 0$ を使いました）。したがって $J$ のヘッセ行列 $2A$ は正定値で $J$ は狭義凸、$\nabla J(\boldsymbol{w}) = \boldsymbol{0}$ すなわち $A\boldsymbol{w} = \Phi^{\mathsf{T}}\boldsymbol{y}$ が唯一の最小点を与えます。$A$ は正定値ゆえ可逆なので $\hat{\boldsymbol{w}}_{\mathrm{MAP}} = A^{-1}\Phi^{\mathsf{T}}\boldsymbol{y}$ です。

∎

$\lambda = \sigma^{2}/\tau^{2}$ という表式は、正則化係数に明確な意味を与えます。$\lambda$ は「観測がどれだけ雑か」と「重みがどれだけ大きくてよいか」の比です。雑音が大きい（$\sigma^2$ 大）ほどデータを信用せず罰則を強め、事前の許容幅が広い（$\tau^2$ 大）ほど罰則を緩めます。$\tau^{2}\to\infty$（何も知らない）とすれば $\lambda\to 0$ で最尤推定に戻り、これは Proposition 4.2 の後半（一様事前分布なら MLE）とも整合します。

Example 5.2（リッジ回帰は固有値の小さい方向を強く縮める）

$\Phi^{\mathsf{T}}\Phi$ は対称半正定値なので、スペクトル定理（Corollary 4.3［スペクトル定理］）により直交行列 $U$ と対角行列 $\Lambda = \operatorname{diag}(d_1,\ldots,d_M)$（$d_j \ge 0$）を用いて $\Phi^{\mathsf{T}}\Phi = U\Lambda U^{\mathsf{T}}$ と書けます。$U^{\mathsf{T}}U = I$ より $\Phi^{\mathsf{T}}\Phi + \lambda I = U(\Lambda+\lambda I)U^{\mathsf{T}}$ なので、Theorem 5.1 の解は

$$\hat{\boldsymbol{w}}_{\mathrm{MAP}} = U(\Lambda+\lambda I)^{-1}U^{\mathsf{T}}\Phi^{\mathsf{T}}\boldsymbol{y}.$$

$\boldsymbol{z} = U^{\mathsf{T}}\Phi^{\mathsf{T}}\boldsymbol{y}$ とおき、固有ベクトル基底での成分を比べます。$d_j > 0$ のとき最尤解の第 $j$ 成分は $z_j/d_j$、リッジ解の第 $j$ 成分は $z_j/(d_j+\lambda)$ なので、その比は

$$\frac{(U^{\mathsf{T}}\hat{\boldsymbol{w}}_{\mathrm{MAP}})_j}{(U^{\mathsf{T}}\hat{\boldsymbol{w}}_{\mathrm{ML}})_j} = \frac{d_j}{d_j + \lambda}.$$

たとえば $\lambda = 1$、$d_1 = 100$、$d_2 = 0.01$ なら、縮小率は第 1 方向で $100/101 \approx 0.990$、第 2 方向で $0.01/1.01 \approx 0.0099$ です。データの分散が大きい方向はほとんど手つかず、分散がほとんどない方向は $1/100$ に潰されます。

$d_j$ は $\Phi^{\mathsf{T}}\Phi$ の固有値、つまり主成分分析でいうところの各主成分方向（Definition 3.2［主成分分析］）のデータの散らばりです。「データが何も語っていない方向では事前分布が勝つ」という Theorem 5.1 のベイズ的な読みが、そのまま数式に現れています。$d_j = 0$（その方向にはデータが皆無）なら成分は $0$、すなわち事前分布の平均そのものになります。

同じ計算をラプラス事前分布で行うと L1 正則化（ラッソ）が出ます。

Proposition 5.3（L1 正則化はラプラス事前分布の MAP 推定）

Theorem 5.1 と同じ雑音モデルの下で、重みの事前分布を、各成分が独立に平均 $0$・尺度 $b > 0$ のラプラス分布

$$p(\boldsymbol{w}) = \prod_{j=1}^{M} \frac{1}{2b}\exp\!\left(-\frac{|w_j|}{b}\right) = \frac{1}{(2b)^{M}} \exp\!\left(-\frac{\lVert \boldsymbol{w}\rVert_{1}}{b}\right)$$

に従うものとする（$\lVert\boldsymbol{w}\rVert_1 = \sum_j |w_j|$）。このとき

$$\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \operatorname*{arg\,min}_{\boldsymbol{w}\in\mathbb{R}^{M}} \Bigl\{ \lVert \boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} + \lambda \lVert \boldsymbol{w}\rVert_{1} \Bigr\}, \qquad \lambda = \frac{2\sigma^{2}}{b}$$

であり、これはラッソ（L1 正則化つき最小二乗法）の解に一致する。

Proof（Proposition 5.3）

対数事前分布は

$$\log p(\boldsymbol{w}) = -M\log(2b) - \frac{1}{b}\lVert\boldsymbol{w}\rVert_{1}$$

です。Proposition 4.2 と Theorem 5.1 の証明第 1 段の対数尤度を合わせると、$\hat{\boldsymbol{w}}_{\mathrm{MAP}}$ は

$$\mathrm{const} - \frac{1}{2\sigma^{2}}\lVert\boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} - \frac{1}{b}\lVert\boldsymbol{w}\rVert_{1}$$

の最大点です。定数を落とし、符号を反転し、全体を正の定数 $2\sigma^{2}$ 倍すると

$$\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \operatorname*{arg\,min}_{\boldsymbol{w}} \Bigl\{ \lVert\boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} + \frac{2\sigma^{2}}{b}\lVert\boldsymbol{w}\rVert_{1} \Bigr\}$$

を得ます。$\lambda = 2\sigma^{2}/b$ とおけば主張の形です。

なお目的関数は凸（2 乗項は凸、$\lVert\cdot\rVert_1$ はノルムなので凸）ですが $\lVert\cdot\rVert_1$ が $w_j = 0$ で微分可能でないため、Theorem 5.1 のような閉じた形の解は一般には得られません。$\Phi^{\mathsf{T}}\Phi = I$（列が正規直交）の特別な場合は成分ごとに分離でき、解はソフトしきい値関数で書けます（Exercise 7.3）。

∎

対応関係を表にまとめます。

罰則項	対応する事前分布	事前密度（$\theta$ 依存部分）	正則化係数	解の特徴
なし	一様（非正則な事前分布）	$\propto 1$	$\lambda = 0$	最尤推定に一致
$\lambda \lVert \boldsymbol{w}\rVert_{2}^{2}$	ガウス $\mathcal{N}(\boldsymbol{0},\tau^{2}I)$	$\exp\bigl(-\lVert\boldsymbol{w}\rVert_2^{2}/(2\tau^{2})\bigr)$	$\lambda = \sigma^{2}/\tau^{2}$	全成分を滑らかに縮小
$\lambda \lVert \boldsymbol{w}\rVert_{1}$	ラプラス（尺度 $b$）	$\exp\bigl(-\lVert\boldsymbol{w}\rVert_1/b\bigr)$	$\lambda = 2\sigma^{2}/b$	一部の成分が厳密に $0$
$\lambda\lVert\boldsymbol{w}-\boldsymbol{\mu}\rVert_2^{2}$	ガウス $\mathcal{N}(\boldsymbol{\mu},\tau^{2}I)$	$\exp\bigl(-\lVert\boldsymbol{w}-\boldsymbol{\mu}\rVert_2^{2}/(2\tau^{2})\bigr)$	$\lambda = \sigma^{2}/\tau^{2}$	既知の値 $\boldsymbol{\mu}$ に引き寄せる

4 行目は、事前学習済みモデルからの微調整で「元の重みから離れすぎない」ようにする正則化が、そのまま「元の重みを平均とするガウス事前分布」であることを示しています。正則化を発明するとは、事前分布を設計することです。

Remark 5.4（スパース性は「最頻値」の性質であって「事後分布」の性質ではない）

L1 正則化が厳密な $0$ を生むのは、ラプラス密度が原点で尖っている（微分不可能な角を持つ）ためです。ところがこれは事後分布の最頻値についての話です。ラプラス事前分布の下でも、事後分布 $p(\boldsymbol{w}\mid\mathcal{D})$ は連続分布なので $\Pr(w_j = 0 \mid \mathcal{D}) = 0$ であり、事後平均 $\mathbb{E}[w_j\mid\mathcal{D}]$ が厳密に $0$ になることもまずありません。

つまり「ラッソはベイズ的にはラプラス事前分布の MAP である」は正しい一方、「ラッソの変数選択はベイズ的な変数選択である」とは言えません。本当に「その変数が不要である確率」を扱いたいなら、$w_j = 0$ に正の確率質量を置くスパイク・アンド・スラブ型の事前分布が必要になります。Remark 4.5 と合わせて、MAP は事後分布の要約としてかなり乱暴なものだと理解しておいてください。

6. 不確実性を扱う：ベイズ線形回帰と事後予測分布

MLE も MAP も、最後に $\theta$ を 1 点に潰します。潰さずに事後分布のまま持ち歩くとどうなるかを見ます。線形回帰＋ガウス事前分布は、この計算が手で最後まで実行できる数少ない例です。

Theorem 6.1（ベイズ線形回帰の事後分布）

Proposition 3.3 の雑音モデル（入力は固定、$\Phi\in\mathbb{R}^{N\times M}$、$\sigma^{2}>0$ は既知）の下で、$\boldsymbol{w}$ の事前分布を $\mathcal{N}(\boldsymbol{m}_0, S_0)$（$S_0$ は $M$ 次の対称正定値行列、$\boldsymbol{m}_0\in\mathbb{R}^M$）とし、$\boldsymbol{w}$ と雑音は独立とする。このとき事後分布は再びガウス分布

$$p(\boldsymbol{w}\mid\boldsymbol{y}) = \mathcal{N}(\boldsymbol{w} \mid \boldsymbol{m}_N, S_N)$$

であり、

$$S_N = \left( S_0^{-1} + \frac{1}{\sigma^{2}}\Phi^{\mathsf{T}}\Phi \right)^{-1}, \qquad \boldsymbol{m}_N = S_N\left( S_0^{-1}\boldsymbol{m}_0 + \frac{1}{\sigma^{2}}\Phi^{\mathsf{T}}\boldsymbol{y} \right)$$

で与えられる。とくにガウス分布は共役事前分布である（Definition 4.3）。

Proof（Theorem 6.1）

第 1 段：逆行列の存在。 $A = S_0^{-1} + \sigma^{-2}\Phi^{\mathsf{T}}\Phi$ とおきます。$S_0$ が対称正定値なら $S_0^{-1}$ も対称正定値です。また任意の $\boldsymbol{v}$ に対し $\boldsymbol{v}^{\mathsf{T}}\Phi^{\mathsf{T}}\Phi\boldsymbol{v} = \lVert\Phi\boldsymbol{v}\rVert^{2}\ge 0$ なので $\Phi^{\mathsf{T}}\Phi$ は半正定値です。よって $\boldsymbol{v}\ne\boldsymbol{0}$ のとき

$$\boldsymbol{v}^{\mathsf{T}}A\boldsymbol{v} = \boldsymbol{v}^{\mathsf{T}}S_0^{-1}\boldsymbol{v} + \frac{1}{\sigma^{2}}\lVert\Phi\boldsymbol{v}\rVert^{2} > 0$$

であり $A$ は正定値、したがって可逆です。$S_N = A^{-1}$ と書きます。

第 2 段：指数部を $\boldsymbol{w}$ の 2 次式に整理する。 Theorem 2.2 の比例形より

$$p(\boldsymbol{w}\mid\boldsymbol{y}) \propto p(\boldsymbol{y}\mid\boldsymbol{w})\,p(\boldsymbol{w}) \propto \exp\left( -\frac{1}{2\sigma^{2}}\lVert\boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} - \frac{1}{2}(\boldsymbol{w}-\boldsymbol{m}_0)^{\mathsf{T}}S_0^{-1}(\boldsymbol{w}-\boldsymbol{m}_0) \right)$$

です（$\boldsymbol{w}$ を含まない正規化定数はすべて比例記号に吸収しました）。指数の中を展開します。

$$\lVert\boldsymbol{y}-\Phi\boldsymbol{w}\rVert^{2} = \boldsymbol{y}^{\mathsf{T}}\boldsymbol{y} - 2\boldsymbol{y}^{\mathsf{T}}\Phi\boldsymbol{w} + \boldsymbol{w}^{\mathsf{T}}\Phi^{\mathsf{T}}\Phi\boldsymbol{w},$$$$(\boldsymbol{w}-\boldsymbol{m}_0)^{\mathsf{T}}S_0^{-1}(\boldsymbol{w}-\boldsymbol{m}_0) = \boldsymbol{w}^{\mathsf{T}}S_0^{-1}\boldsymbol{w} - 2\boldsymbol{m}_0^{\mathsf{T}}S_0^{-1}\boldsymbol{w} + \boldsymbol{m}_0^{\mathsf{T}}S_0^{-1}\boldsymbol{m}_0$$

（$S_0^{-1}$ の対称性から交差項 2 つが等しいことを使いました）。$\boldsymbol{w}$ を含まない項をまた比例記号に吸収すると、指数は

$$-\frac{1}{2}\boldsymbol{w}^{\mathsf{T}}\underbrace{\left(S_0^{-1}+\frac{1}{\sigma^{2}}\Phi^{\mathsf{T}}\Phi\right)}_{= A}\boldsymbol{w} \;+\; \underbrace{\left(S_0^{-1}\boldsymbol{m}_0 + \frac{1}{\sigma^{2}}\Phi^{\mathsf{T}}\boldsymbol{y}\right)^{\mathsf{T}}}_{=\ \boldsymbol{b}^{\mathsf{T}}}\boldsymbol{w} \;+\; \mathrm{const}$$

の形になります。

第 3 段：ガウス分布と同定する。 第 2 段より、事後密度はある定数 $C > 0$ を用いて $p(\boldsymbol{w}\mid\boldsymbol{y}) = C\exp\bigl(-\tfrac12\boldsymbol{w}^{\mathsf{T}}A\boldsymbol{w} + \boldsymbol{b}^{\mathsf{T}}\boldsymbol{w}\bigr)$ と書けます。$A$ は第 1 段より対称正定値なので、Lemma 7.5 が適用でき、この密度は $\mathcal{N}(A^{-1}\boldsymbol{b},\, A^{-1})$ の密度に一致します。$A^{-1}=S_N$、$A^{-1}\boldsymbol{b} = S_N(S_0^{-1}\boldsymbol{m}_0 + \sigma^{-2}\Phi^{\mathsf{T}}\boldsymbol{y}) = \boldsymbol{m}_N$ なので主張が従います。

∎

Corollary 6.2（ガウス事前分布の下では MAP は事後平均であり、リッジ解に一致する）

Theorem 6.1 の設定で $\boldsymbol{m}_0 = \boldsymbol{0}$、$S_0 = \tau^{2}I_M$ とすると、

$$\hat{\boldsymbol{w}}_{\mathrm{MAP}} = \mathbb{E}[\boldsymbol{w}\mid\boldsymbol{y}] = \boldsymbol{m}_N = \bigl(\Phi^{\mathsf{T}}\Phi + \lambda I_M\bigr)^{-1}\Phi^{\mathsf{T}}\boldsymbol{y}, \qquad \lambda = \frac{\sigma^{2}}{\tau^{2}}$$

が成り立つ。

Proof（Corollary 6.2）

ガウス分布の密度 $\propto \exp\bigl(-\tfrac12(\boldsymbol{w}-\boldsymbol{m}_N)^{\mathsf{T}}S_N^{-1}(\boldsymbol{w}-\boldsymbol{m}_N)\bigr)$ は、指数が $\boldsymbol{w}=\boldsymbol{m}_N$ で最大値 $0$ を取り、$S_N^{-1}$ が正定値なので他の点では真に負です。よって最頻値は平均 $\boldsymbol{m}_N$ に一致します。

具体形は代入するだけです。$S_0^{-1} = \tau^{-2}I$ より

$$S_N = \left(\frac{1}{\tau^{2}}I + \frac{1}{\sigma^{2}}\Phi^{\mathsf{T}}\Phi\right)^{-1} = \sigma^{2}\left(\frac{\sigma^{2}}{\tau^{2}}I + \Phi^{\mathsf{T}}\Phi\right)^{-1} = \sigma^{2}\bigl(\Phi^{\mathsf{T}}\Phi + \lambda I\bigr)^{-1},$$$$\boldsymbol{m}_N = S_N\left(\boldsymbol{0} + \frac{1}{\sigma^{2}}\Phi^{\mathsf{T}}\boldsymbol{y}\right) = \sigma^{2}\bigl(\Phi^{\mathsf{T}}\Phi+\lambda I\bigr)^{-1}\frac{1}{\sigma^{2}}\Phi^{\mathsf{T}}\boldsymbol{y} = \bigl(\Phi^{\mathsf{T}}\Phi+\lambda I\bigr)^{-1}\Phi^{\mathsf{T}}\boldsymbol{y}.$$

これは Theorem 5.1 で別の道筋（目的関数の最小化）から得た解と一致しています。

∎

事後共分散 $S_N = \sigma^{2}(\Phi^{\mathsf{T}}\Phi+\lambda I)^{-1}$ は、点推定だけでは決して得られない情報です。これを使って予測に不確実性を持たせます。

Definition 6.3（事後予測分布）

新しい入力 $\boldsymbol{x}_{*}$ に対する出力 $y_{*}$ の事後予測分布とは、パラメータを事後分布で積分消去した分布

$$p(y_{*}\mid \boldsymbol{x}_{*}, \mathcal{D}) = \int p(y_{*}\mid \boldsymbol{x}_{*}, \boldsymbol{w})\, p(\boldsymbol{w}\mid\mathcal{D})\, d\boldsymbol{w}$$

のことです。$\hat{\boldsymbol{w}}$ を 1 つ選んで $p(y_{*}\mid\boldsymbol{x}_{*},\hat{\boldsymbol{w}})$ を使うプラグイン予測と対比されます。

Theorem 6.4（ベイズ線形回帰の事後予測分布）

Theorem 6.1 の設定の下で、新しい入力 $\boldsymbol{x}_{*}$ の特徴ベクトルを $\boldsymbol{\phi}_{*} = \boldsymbol{\phi}(\boldsymbol{x}_{*})$ とし、$y_{*} = \boldsymbol{w}^{\mathsf{T}}\boldsymbol{\phi}_{*} + \varepsilon_{*}$、$\varepsilon_{*}\sim\mathcal{N}(0,\sigma^{2})$ は $\boldsymbol{w}$ および既存の雑音と独立とする。このとき

$$p(y_{*}\mid\boldsymbol{x}_{*},\mathcal{D}) = \mathcal{N}\bigl(y_{*} \,\big|\, \boldsymbol{m}_N^{\mathsf{T}}\boldsymbol{\phi}_{*},\; \sigma^{2} + \boldsymbol{\phi}_{*}^{\mathsf{T}}S_N\boldsymbol{\phi}_{*}\bigr)$$

である。すなわち予測分散は

$$\underbrace{\sigma^{2}}_{\text{観測ノイズ（偶然的不確実性）}} \;+\; \underbrace{\boldsymbol{\phi}_{*}^{\mathsf{T}}S_N\boldsymbol{\phi}_{*}}_{\text{パラメータの不確実性（認識的不確実性）}}$$

と分解される。

Proof（Theorem 6.4）

$\mathcal{D}$ を与えたとき、Theorem 6.1 より $\boldsymbol{w}\sim\mathcal{N}(\boldsymbol{m}_N,S_N)$ です。多変量ガウス分布の線形像はガウス分布です。実際、定ベクトル $\boldsymbol{a}$ に対する特性関数は

$$\mathbb{E}\bigl[e^{it\boldsymbol{a}^{\mathsf{T}}\boldsymbol{w}}\bigr] = \exp\!\left(it\,\boldsymbol{a}^{\mathsf{T}}\boldsymbol{m}_N - \frac{t^{2}}{2}\boldsymbol{a}^{\mathsf{T}}S_N\boldsymbol{a}\right)$$

であり、これは $\mathcal{N}(\boldsymbol{a}^{\mathsf{T}}\boldsymbol{m}_N,\, \boldsymbol{a}^{\mathsf{T}}S_N\boldsymbol{a})$ の特性関数そのものです。$\boldsymbol{a}=\boldsymbol{\phi}_{*}$ と取って

$$\boldsymbol{w}^{\mathsf{T}}\boldsymbol{\phi}_{*} \mid \mathcal{D} \;\sim\; \mathcal{N}\bigl(\boldsymbol{m}_N^{\mathsf{T}}\boldsymbol{\phi}_{*},\; \boldsymbol{\phi}_{*}^{\mathsf{T}}S_N\boldsymbol{\phi}_{*}\bigr).$$

仮定より $\varepsilon_{*}\sim\mathcal{N}(0,\sigma^{2})$ はこれと独立なので、独立なガウス確率変数の和は平均と分散をそれぞれ足したガウス分布に従います（特性関数が積になることから直ちに従います）。よって

$$y_{*} = \boldsymbol{w}^{\mathsf{T}}\boldsymbol{\phi}_{*} + \varepsilon_{*} \mid \mathcal{D} \;\sim\; \mathcal{N}\bigl(\boldsymbol{m}_N^{\mathsf{T}}\boldsymbol{\phi}_{*},\; \sigma^{2}+\boldsymbol{\phi}_{*}^{\mathsf{T}}S_N\boldsymbol{\phi}_{*}\bigr)$$

です。これは Definition 6.3 の積分を実行したものにほかなりません。

∎

この分解が実務上いちばん重要な結論です。$\sigma^{2}$ はデータをいくら集めても減りません（コインの表裏は永遠に当てられません）。一方 $\boldsymbol{\phi}_{*}^{\mathsf{T}}S_N\boldsymbol{\phi}_{*}$ は、$S_N^{-1} = S_0^{-1}+\sigma^{-2}\Phi^{\mathsf{T}}\Phi$ がデータとともに増えるので $N$ が増えれば減っていきます。前者を偶然的（アレアトリック）不確実性、後者を認識的（エピステミック）不確実性と呼び、後者だけが「もっとデータを集めれば解消する」種類の不確実性です。能動学習でどのデータにラベルを付けるかを選ぶとき、指標にするのは後者です。

Example 6.5（数値例：外挿すると分散が増える）

$M=1$、$\boldsymbol{\phi}(x)=x$（原点を通る直線 $y = wx$）とし、$\sigma^{2}=1$、事前分布は $w\sim\mathcal{N}(0,\tau^{2})$、$\tau^{2}=1$ とします。データは $(x_1,y_1)=(1,2)$、$(x_2,y_2)=(2,3)$ の 2 点です。

計画行列は $\Phi = \begin{pmatrix}1\\2\end{pmatrix}$、$\boldsymbol{y}=\begin{pmatrix}2\\3\end{pmatrix}$ なので

$$\Phi^{\mathsf{T}}\Phi = 1^{2}+2^{2} = 5, \qquad \Phi^{\mathsf{T}}\boldsymbol{y} = 1\cdot 2 + 2\cdot 3 = 8.$$

最尤推定は Proposition 3.3 より $\hat{w}_{\mathrm{ML}} = 8/5 = 1.6$ です。事後分布は Theorem 6.1 より

$$S_N^{-1} = \frac{1}{\tau^{2}} + \frac{1}{\sigma^{2}}\Phi^{\mathsf{T}}\Phi = 1 + 5 = 6, \qquad S_N = \frac{1}{6},$$$$m_N = S_N\left(0 + \frac{1}{\sigma^{2}}\Phi^{\mathsf{T}}\boldsymbol{y}\right) = \frac{1}{6}\cdot 8 = \frac{4}{3} \approx 1.333.$$

検算として Corollary 6.2 を使うと、$\lambda = \sigma^{2}/\tau^{2}=1$ で $(5+1)^{-1}\cdot 8 = 4/3$ となり一致します。

事後予測分布を Theorem 6.4 で計算します（$\boldsymbol{\phi}_{*}=x_{*}$ なので $\boldsymbol{\phi}_{*}^{\mathsf{T}}S_N\boldsymbol{\phi}_{*} = x_{*}^{2}/6$）。

$x_{*}$	予測平均 $\tfrac{4}{3}x_{*}$	認識的分散 $x_{*}^{2}/6$	全分散	標準偏差	95% 予測区間
$1$	$1.333$	$0.167$	$1.167$	$1.080$	$[-0.78,\ 3.45]$
$3$	$4.000$	$1.500$	$2.500$	$1.581$	$[0.90,\ 7.10]$
$10$	$13.333$	$16.667$	$17.667$	$4.203$	$[5.09,\ 21.57]$

（$95\%$ 区間は平均 $\pm 1.96 \times$ 標準偏差で計算しました。たとえば $x_{*}=10$ では $13.333 \pm 1.96\times 4.203 = 13.333 \pm 8.238$ です。）

もし点推定 $\hat{w}=4/3$ を使ったプラグイン予測をしていたら、どの $x_{*}$ でも分散は $\sigma^{2}=1$、区間幅は $\pm 1.96$ の一定です。$x_{*}=10$ での真の予測区間は幅 $\pm 8.24$ ですから、プラグイン予測は外挿領域で 4 倍以上も自信過剰になっています。データが $x\in\{1,2\}$ 付近にしかないのに $x=10$ を当てにいっている、という事実は事後共分散 $S_N$ の中にしか書かれていません。

flowchart TD
D["観測データ"] --> L["尤度：θ ごとのデータの出やすさ"]
P["事前分布：データを見る前の θ の分布"] --> B["ベイズの定理"]
L --> B
L -->|最大化| MLE["最尤推定：θ を 1 点に決める"]
B --> Post["事後分布：データを見た後の θ の分布"]
Post -->|最頻値| MAP["MAP 推定：θ を 1 点に決める（＝正則化つき学習）"]
Post -->|θ について積分| Pred["事後予測分布：予測を分布として返す"]

尤度・事前分布から、最尤推定・MAP 推定・事後予測分布へ至る道筋

Remark 6.6（現実のモデルではどうするか）

Theorem 6.1 が手で解けたのは、尤度がガウス、事前分布もガウス、モデルがパラメータについて線形、という三拍子が揃っていたからです。ニューラルネットワークでは事後分布 $p(\boldsymbol{w}\mid\mathcal{D})$ は数百万次元の、正規化定数すら計算できない分布になります。実務では次の近似が使われます。

• ラプラス近似：$\hat{\boldsymbol{w}}_{\mathrm{MAP}}$ のまわりで対数事後分布を 2 次まで展開し、共分散をヘッセ行列の逆行列で近似する。Theorem 6.1 はこの近似が厳密に正しくなる場合にあたります。
• マルコフ連鎖モンテカルロ（MCMC）：事後分布からのサンプル列を作り、期待値をサンプル平均で置き換える。厳密だが計算量が大きい。
• 変分推論：扱いやすい分布族の中で事後分布に最も近いものを最適化で探す。目的関数（ELBO）の最大化に帰着するので勾配降下法（Definition 4.1［勾配降下法］）がそのまま使えます。
• アンサンブル・MC ドロップアウト：初期値や推論時ドロップアウトを変えた複数の予測のばらつきを、認識的不確実性の代用にする。理論的な保証は弱いものの、実装が容易なため広く使われています。

いずれの方法でも、目指しているものは Theorem 6.4 の「$\sigma^{2}$ と $\boldsymbol{\phi}_{*}^{\mathsf{T}}S_N\boldsymbol{\phi}_{*}$ の分解」の一般化です。

7. 演習

Exercise 7.1易

Example 4.4 の設定（$n$ 回中 $k$ 回表、事前分布 $\mathrm{Beta}(a,b)$、事後分布 $\mathrm{Beta}(k+a,\,n-k+b)$）で、事後平均が最尤推定量と事前平均の凸結合（重み付き平均）として

$$\mathbb{E}[\theta\mid\mathcal{D}] = \gamma\cdot\frac{k}{n} + (1-\gamma)\cdot\frac{a}{a+b}, \qquad \gamma = \frac{n}{n+a+b}$$

と書けることを示してください。また $n\to\infty$ のときの挙動を述べてください。

Solution

$\mathrm{Beta}(\alpha,\beta)$ の平均は $\alpha/(\alpha+\beta)$ なので、事後平均は

$$\mathbb{E}[\theta\mid\mathcal{D}] = \frac{k+a}{(k+a)+(n-k+b)} = \frac{k+a}{n+a+b}$$

です（分母で $k$ が打ち消えます）。一方、右辺を計算すると

$$\gamma\cdot\frac{k}{n} + (1-\gamma)\cdot\frac{a}{a+b} = \frac{n}{n+a+b}\cdot\frac{k}{n} + \frac{a+b}{n+a+b}\cdot\frac{a}{a+b} = \frac{k}{n+a+b} + \frac{a}{n+a+b} = \frac{k+a}{n+a+b}$$

となり一致します。ここで $1-\gamma = 1 - \frac{n}{n+a+b} = \frac{a+b}{n+a+b}$ を使いました。$\gamma\in(0,1)$ かつ $\gamma+(1-\gamma)=1$ なので、これは確かに凸結合です。

$n\to\infty$ のとき $\gamma = \frac{n}{n+a+b}\to 1$ なので、事後平均は最尤推定量 $k/n$ に近づきます。事前分布の影響は $O(1/n)$ で消えていきます。逆に $n=0$（データなし）なら $\gamma=0$ で事後平均は事前平均 $a/(a+b)$ そのものです。

$a$ と $b$ が「疑似観測回数」と呼ばれる理由もここにあります。事前分布 $\mathrm{Beta}(a,b)$ は、実データに先立って表を $a$ 回、裏を $b$ 回見たのと同じ効き方をします。$a=b=1$（一様事前分布）のとき事後平均は $(k+1)/(n+2)$ で、これはラプラスの継起の法則、機械学習の言葉では加算スムージングです。

Exercise 7.2標準

$X_1,\ldots,X_n$ が独立に平均 $\lambda > 0$ のポアソン分布 $p(x\mid\lambda) = e^{-\lambda}\lambda^{x}/x!$（$x=0,1,2,\ldots$）に従うとします。$S=\sum_{i=1}^{n} X_i$ とおきます。

1. $\lambda$ の最尤推定量を求めてください（$S=0$ の場合も論じること）。
2. 事前分布としてガンマ分布 $p(\lambda)\propto \lambda^{a-1}e^{-b\lambda}$（$a>0$、$b>0$、$\lambda>0$）を取ったときの事後分布を求め、ガンマ分布がポアソン尤度の共役事前分布であることを示してください。
3. MAP 推定量を求め、$n\to\infty$ での挙動を述べてください。

Solution

1. 尤度と対数尤度は

$$L(\lambda) = \prod_{i=1}^{n} \frac{e^{-\lambda}\lambda^{x_i}}{x_i!} = e^{-n\lambda}\lambda^{S}\prod_{i}\frac{1}{x_i!}, \qquad \ell(\lambda) = -n\lambda + S\log\lambda - \sum_i \log(x_i!).$$

$S \ge 1$ のとき $\ell'(\lambda) = -n + S/\lambda = 0$ より $\lambda = S/n$、また $\ell''(\lambda) = -S/\lambda^{2} < 0$ なので $\ell$ は狭義凹で、$\hat{\lambda}_{\mathrm{ML}} = S/n = \bar{x}$ が唯一の最大点です。

$S=0$ のときは $\ell(\lambda) = -n\lambda$ が $\lambda>0$ で狭義単調減少なので、$(0,\infty)$ 上に最大点は存在せず、$\lambda\downarrow 0$ が上限を与えます。パラメータ空間を $[0,\infty)$ に広げれば $\hat{\lambda}_{\mathrm{ML}}=0$ で、これも $\bar{x}=0$ と書けます。Example 3.2 の端の場合と同じ病理です。

2. Theorem 2.2 の比例形より

$$p(\lambda\mid\mathcal{D}) \propto \bigl(e^{-n\lambda}\lambda^{S}\bigr)\cdot\bigl(\lambda^{a-1}e^{-b\lambda}\bigr) = \lambda^{(S+a)-1}\,e^{-(n+b)\lambda}.$$

右辺は形状 $S+a$、率 $n+b$ のガンマ分布 $\mathrm{Gamma}(S+a,\, n+b)$ の密度の $\lambda$ 依存部分です。$S+a>0$、$n+b>0$ なのでこれは正しく正規化可能な密度であり、事後分布は $\mathrm{Gamma}(S+a,\,n+b)$ です。事後分布が再びガンマ分布族に属するので、Definition 4.3 の意味で共役です。更新則は「形状に観測値の総和を足し、率に標本数を足す」となります。

3. 対数事後分布は $(S+a-1)\log\lambda - (n+b)\lambda$（定数を除く）で、微分すると $\frac{S+a-1}{\lambda} - (n+b)$ です。$S+a>1$ のとき、これが $0$ になる $\lambda$ は

$$\hat{\lambda}_{\mathrm{MAP}} = \frac{S+a-1}{n+b}$$

であり、二階微分 $-(S+a-1)/\lambda^{2}<0$ より唯一の最大点です。$S+a\le 1$ のときは対数事後分布が単調減少なので最頻値は $\lambda=0$ です。

$n\to\infty$ の挙動は、$\bar{x}=S/n$ を使って

$$\hat{\lambda}_{\mathrm{MAP}} = \frac{n\bar{x}+a-1}{n+b} = \bar{x}\cdot\frac{n}{n+b} + \frac{a-1}{n+b}$$

と書き直せば見えます。$\bar{x}$ が大数の法則で真の $\lambda_0$ に収束するなら、第 1 項は $\lambda_0$ に、第 2 項は $0$ に収束するので $\hat{\lambda}_{\mathrm{MAP}}\to\lambda_0$ です。事前分布の影響は $O(1/n)$ で消え、Exercise 7.1 と同じ結論になります。

Exercise 7.3標準

$\lambda>0$、$z\in\mathbb{R}$ を定数とし、1 変数関数

$$J(w) = \frac{1}{2}(w-z)^{2} + \lambda|w| \qquad (w\in\mathbb{R})$$

を考えます。

1. $J$ の最小点が唯一存在し、それがソフトしきい値関数 $S_\lambda(z) = \operatorname{sign}(z)\max(|z|-\lambda,\,0)$ で与えられることを示してください。
2. L1 罰則を L2 罰則に替えた $J_2(w) = \frac{1}{2}(w-z)^{2} + \frac{\lambda}{2}w^{2}$ の最小点を求め、1 と比較して「なぜ L1 だけが厳密な $0$ を生むのか」を説明してください。

Solution

1. $\frac12(w-z)^2$ は狭義凸、$\lambda|w|$ は凸なので $J$ は狭義凸です。したがって最小点は高々 1 つです。また $\lambda|w|\ge 0$ より $J(w)\ge\frac{1}{2}(w-z)^{2}$ であり、$|w|\to\infty$ のとき右辺が $\infty$ に発散するので $J$ は強制的です。連続な強制的関数は最小値を取るので、最小点はちょうど 1 つ存在します。凸関数では $w^{\star}$ が最小点であることと $0\in\partial J(w^{\star})$ が同値です。ここで劣微分は

$$\partial J(w) = \{\,w - z + \lambda s \;:\; s\in\partial|w|\,\}, \qquad \partial|w| = \begin{cases} \{\operatorname{sign}(w)\} & (w\ne 0)\\ [-1,1] & (w=0)\end{cases}$$

です。場合分けします。

• $w>0$：条件は $w-z+\lambda=0$、すなわち $w = z-\lambda$。これが $w>0$ を満たすのは $z>\lambda$ のときだけです。
• $w<0$：条件は $w-z-\lambda=0$、すなわち $w = z+\lambda$。これが $w<0$ を満たすのは $z<-\lambda$ のときだけです。
• $w=0$：条件は $0\in\{-z+\lambda s: s\in[-1,1]\} = [-z-\lambda,\, -z+\lambda]$、すなわち $-z-\lambda\le 0\le -z+\lambda$、整理して $|z|\le\lambda$。

3 つの場合は $z$ について排他的かつ網羅的で、まとめると

$$w^{\star} = \begin{cases} z-\lambda & (z>\lambda)\\ 0 & (|z|\le\lambda)\\ z+\lambda & (z<-\lambda)\end{cases}$$

です。$z>\lambda$ のとき $\operatorname{sign}(z)\max(|z|-\lambda,0) = z-\lambda$、$z<-\lambda$ のとき $-(|z|-\lambda) = -(-z-\lambda) = z+\lambda$、$|z|\le\lambda$ のとき $\max(|z|-\lambda,0)=0$ なので、これは $S_\lambda(z)$ に一致します。

2. $J_2$ は滑らかで狭義凸なので $J_2'(w) = (w-z)+\lambda w = 0$、すなわち $w^{\star} = z/(1+\lambda)$ が唯一の最小点です。これが $0$ になるのは $z=0$ のときだけです。

違いは原点での「傾きの跳び」にあります。$\lambda|w|$ の劣微分は $w=0$ で幅 $2\lambda$ の区間 $[-\lambda,\lambda]$ を持つので、データ由来の勾配 $-z$ がこの区間に収まっている限り $w=0$ が最適であり続けます。$|z|\le\lambda$ という「不感帯」が生じるのはこのためです。一方 $\frac{\lambda}{2}w^{2}$ の微分 $\lambda w$ は $w=0$ で $0$ になり、罰則が $0$ の近傍で $w$ を押し戻す力を失うため、どんなに小さくても $z\ne0$ なら $w^\star\ne0$ になります。

事前分布の言葉では、Proposition 5.3 のラプラス密度が原点に尖った角を持つのに対し、Theorem 5.1 のガウス密度は原点で滑らかである、という違いに対応します。ただし Remark 5.4 で述べたとおり、これはあくまで最頻値の性質です。

Exercise 7.4難

ロジスティック回帰を扱います。$\sigma(t)=1/(1+e^{-t})$、データ $(\boldsymbol{x}_i,y_i)_{i=1}^{n}$（$\boldsymbol{x}_i\in\mathbb{R}^{M}$、$y_i\in\{0,1\}$）に対しモデルを $p(y=1\mid\boldsymbol{x},\boldsymbol{w}) = \sigma(\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x})$ とします。

1. 負の対数尤度が交差エントロピー損失 $E(\boldsymbol{w}) = -\sum_i\bigl[y_i\log\hat{p}_i + (1-y_i)\log(1-\hat{p}_i)\bigr]$（$\hat p_i = \sigma(\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}_i)$）に一致することを示し、さらに $t_i = (2y_i-1)\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}_i$ とおくと $E(\boldsymbol{w}) = \sum_i \log(1+e^{-t_i})$ と書けることを示してください。
2. 事前分布 $\boldsymbol{w}\sim\mathcal{N}(\boldsymbol{0},\tau^{2}I)$ の下で MAP 推定が $E(\boldsymbol{w}) + \frac{1}{2\tau^{2}}\lVert\boldsymbol{w}\rVert^{2}$ の最小化になることを示してください。
3. データが線形分離可能、すなわちある $\boldsymbol{w}_0$（$\lVert\boldsymbol{w}_0\rVert=1$）が存在してすべての $i$ で $(2y_i-1)\boldsymbol{w}_0^{\mathsf{T}}\boldsymbol{x}_i>0$ が成り立つとします。このとき最尤推定量は存在しないが、2 の MAP 推定量はただ 1 つ存在することを示してください。

Solution

1. $y_i\in\{0,1\}$ なので $p(y_i\mid\boldsymbol{x}_i,\boldsymbol{w}) = \hat p_i^{\,y_i}(1-\hat p_i)^{1-y_i}$ です（$y_i=1$ なら $\hat p_i$、$y_i=0$ なら $1-\hat p_i$ になります）。各データが独立なので対数尤度は和になり、

$$\log p(\mathcal{D}\mid\boldsymbol{w}) = \sum_i \bigl[y_i\log\hat p_i + (1-y_i)\log(1-\hat p_i)\bigr] = -E(\boldsymbol{w}).$$

次に $1-\sigma(t) = 1 - \frac{1}{1+e^{-t}} = \frac{e^{-t}}{1+e^{-t}} = \frac{1}{1+e^{t}} = \sigma(-t)$ に注意します。$y_i=1$ なら $\hat p_i = \sigma(\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}_i) = \sigma(t_i)$、$y_i=0$ なら $1-\hat p_i = \sigma(-\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}_i) = \sigma(t_i)$（$2y_i-1=-1$ だから）なので、どちらの場合も $i$ 番目の項は $-\log\sigma(t_i)$ です。$-\log\sigma(t) = \log(1+e^{-t})$ なので $E(\boldsymbol{w}) = \sum_i\log(1+e^{-t_i})$ を得ます。

2. Proposition 4.2 より MAP は $\log p(\mathcal{D}\mid\boldsymbol{w}) + \log p(\boldsymbol{w})$ の最大点です。1 より第 1 項は $-E(\boldsymbol{w})$、第 2 項は Theorem 5.1 の証明第 1 段と同じ計算で $\mathrm{const} - \frac{1}{2\tau^{2}}\lVert\boldsymbol{w}\rVert^{2}$ です。符号を反転して定数を落とせば、$F(\boldsymbol{w}) = E(\boldsymbol{w}) + \frac{1}{2\tau^{2}}\lVert\boldsymbol{w}\rVert^{2}$ の最小化になります。これは本文と同じ $E(\boldsymbol{w}) + \lambda\lVert\boldsymbol{w}\rVert^{2}$ という書き方をすれば、正則化係数 $\lambda = 1/(2\tau^{2})$ の L2 正則化つきロジスティック回帰にほかなりません。

3. 最尤推定量の非存在。 $\gamma = \min_i (2y_i-1)\boldsymbol{w}_0^{\mathsf{T}}\boldsymbol{x}_i$ とおくと、有限個の正数の最小値なので $\gamma>0$ です。$\boldsymbol{w}=c\boldsymbol{w}_0$（$c>0$）と取ると $t_i = c(2y_i-1)\boldsymbol{w}_0^{\mathsf{T}}\boldsymbol{x}_i \ge c\gamma$ なので、$\log(1+e^{-t})$ が $t$ について減少することから

$$E(c\boldsymbol{w}_0) = \sum_{i=1}^n \log(1+e^{-t_i}) \le n\log\bigl(1+e^{-c\gamma}\bigr) \xrightarrow[c\to\infty]{} 0.$$

一方、任意の有限な $\boldsymbol{w}$ に対し $e^{-t_i}>0$ なので $\log(1+e^{-t_i})>0$、したがって $E(\boldsymbol{w})>0$ です。よって $\inf_{\boldsymbol{w}} E = 0$ ですが、この下限を達成する $\boldsymbol{w}$ は存在しません。$E$ の最小化は尤度の最大化と同値なので、最尤推定量は存在しません（数値的には重みが発散します）。これは Theorem 6.3［Logistic Regression］ を、いま用意した事前分布の言葉で言い直したものです。

MAP 推定量の存在。 $E(\boldsymbol{w})\ge 0$ より

$$F(\boldsymbol{w}) = E(\boldsymbol{w}) + \frac{1}{2\tau^{2}}\lVert\boldsymbol{w}\rVert^{2} \ge \frac{1}{2\tau^{2}}\lVert\boldsymbol{w}\rVert^{2}$$

なので、$\lVert\boldsymbol{w}\rVert\to\infty$ のとき $F(\boldsymbol{w})\to\infty$（強制的）です。いま $F(\boldsymbol{0}) = E(\boldsymbol{0}) = n\log 2$ なので、劣位集合 $C = \{\boldsymbol{w} : F(\boldsymbol{w})\le n\log 2\}$ は空でなく、その上では $\frac{1}{2\tau^{2}}\lVert\boldsymbol{w}\rVert^{2}\le n\log 2$ すなわち $\lVert\boldsymbol{w}\rVert\le\tau\sqrt{2n\log 2}$ となるので有界です。$F$ は連続なので $C$ は閉、よって $C$ はコンパクトです。ワイエルシュトラスの定理より $F$ は $C$ 上で最小値を取り、$C$ の外では $F>n\log 2\ge \min_C F$ なので、それは $\mathbb{R}^{M}$ 全体での最小値です。

一意性。 $g(t)=\log(1+e^{-t})$ は $g''(t) = \frac{e^{-t}}{(1+e^{-t})^{2}}>0$ より凸で、$t_i$ は $\boldsymbol{w}$ の線形関数なので、凸関数と線形写像の合成である $g(t_i(\boldsymbol{w}))$ は凸、その和 $E$ も凸です。$\frac{1}{2\tau^{2}}\lVert\boldsymbol{w}\rVert^{2}$ は $\tau^2 > 0$ より狭義凸なので、$F$ は狭義凸です。狭義凸関数の最小点は高々 1 つなので、MAP 推定量はただ 1 つに定まります。

解釈。 分離可能なデータでは「境界からできるだけ遠ざけたい」という力が無限に働き、最尤推定は破綻します。ガウス事前分布はこの力に $\frac{1}{2\tau^{2}}\lVert\boldsymbol{w}\rVert^{2}$ という有限の対価を課し、釣り合いの位置で解を止めます。正則化が「数値的な安定化テクニック」ではなく「モデルの一部」であることが、この例にはっきり現れています。

参考文献

• C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006 — 第 1 章（確率とベイズの立場）、第 3 章（ベイズ線形回帰と事後予測分布）。
• K. P. Murphy, Probabilistic Machine Learning: An Introduction, MIT Press, 2022 — 第 4 章（最尤推定・MAP 推定・共役事前分布）。著者サイトで公開されています: probml.github.io/pml-book
• A. Gelman, J. B. Carlin, H. S. Stern, D. B. Dunson, A. Vehtari, D. B. Rubin, Bayesian Data Analysis, 3rd ed., CRC Press, 2013 — 第 1〜3 章（ベイズ推論の枠組みと共役事前分布）。
• T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, 2nd ed., Springer, 2009 — 第 3 章（リッジ回帰の縮小効果とラッソ）。著者サイトで公開されています: hastie.su.domains/ElemStatLearn
• R. Tibshirani, “Regression Shrinkage and Selection via the Lasso”, Journal of the Royal Statistical Society, Series B 58 (1996), 267–288. — ラッソの原論文。ラプラス事前分布による解釈も述べられています。
• Y. Gal and Z. Ghahramani, “Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning”, ICML 2016. arXiv:1506.02142

Appendix: ガウス分布の平方完成

この補題は何のためにあるか。 Theorem 6.1 の証明では、事後密度の対数が「$\boldsymbol{w}$ の 2 次形式 $+$ 1 次形式 $+$ 定数」の形になることまでを示しました。そこから「だからガウス分布である」と言うには、その形の関数が実際にどのガウス分布の密度なのかを特定する必要があります。行列版の平方完成がその作業です。

Lemma 7.5（2 次形式で書かれた密度の同定）

$A$ を $M$ 次の対称正定値行列、$\boldsymbol{b}\in\mathbb{R}^{M}$、$C>0$ を定数とする。$\mathbb{R}^{M}$ 上の確率密度 $q$ が

$$q(\boldsymbol{w}) = C \exp\!\left( -\frac{1}{2}\boldsymbol{w}^{\mathsf{T}}A\boldsymbol{w} + \boldsymbol{b}^{\mathsf{T}}\boldsymbol{w} \right) \qquad (\boldsymbol{w}\in\mathbb{R}^{M})$$

を満たすならば、$q$ は多変量正規分布 $\mathcal{N}(A^{-1}\boldsymbol{b},\, A^{-1})$ の密度である。

Proof（Lemma 7.5）

$A$ は正定値なので可逆で、$A^{-1}$ も対称正定値です（$A = A^{\mathsf{T}}$ より $(A^{-1})^{\mathsf{T}} = (A^{\mathsf{T}})^{-1} = A^{-1}$、また $A$ の固有値がすべて正なら $A^{-1}$ の固有値もすべて正）。$\boldsymbol{\mu} = A^{-1}\boldsymbol{b}$ とおきます。

まず恒等式を確かめます。展開すると

$$-\frac{1}{2}(\boldsymbol{w}-\boldsymbol{\mu})^{\mathsf{T}}A(\boldsymbol{w}-\boldsymbol{\mu}) = -\frac{1}{2}\Bigl( \boldsymbol{w}^{\mathsf{T}}A\boldsymbol{w} - \boldsymbol{w}^{\mathsf{T}}A\boldsymbol{\mu} - \boldsymbol{\mu}^{\mathsf{T}}A\boldsymbol{w} + \boldsymbol{\mu}^{\mathsf{T}}A\boldsymbol{\mu} \Bigr)$$

ですが、$A\boldsymbol{\mu} = AA^{-1}\boldsymbol{b} = \boldsymbol{b}$ なので $\boldsymbol{w}^{\mathsf{T}}A\boldsymbol{\mu} = \boldsymbol{w}^{\mathsf{T}}\boldsymbol{b} = \boldsymbol{b}^{\mathsf{T}}\boldsymbol{w}$（スカラーなので転置しても同じ）、同様に $\boldsymbol{\mu}^{\mathsf{T}}A\boldsymbol{w} = (A\boldsymbol{\mu})^{\mathsf{T}}\boldsymbol{w} = \boldsymbol{b}^{\mathsf{T}}\boldsymbol{w}$（$A$ の対称性を使いました）、そして $\boldsymbol{\mu}^{\mathsf{T}}A\boldsymbol{\mu} = \boldsymbol{b}^{\mathsf{T}}A^{-1}\boldsymbol{b}$ です。したがって

$$-\frac{1}{2}(\boldsymbol{w}-\boldsymbol{\mu})^{\mathsf{T}}A(\boldsymbol{w}-\boldsymbol{\mu}) = -\frac{1}{2}\boldsymbol{w}^{\mathsf{T}}A\boldsymbol{w} + \boldsymbol{b}^{\mathsf{T}}\boldsymbol{w} - \frac{1}{2}\boldsymbol{b}^{\mathsf{T}}A^{-1}\boldsymbol{b}.$$

これを $q$ の式に代入すると、$K = C\exp\bigl(\tfrac12\boldsymbol{b}^{\mathsf{T}}A^{-1}\boldsymbol{b}\bigr) > 0$ とおいて

$$q(\boldsymbol{w}) = K \exp\!\left( -\frac{1}{2}(\boldsymbol{w}-\boldsymbol{\mu})^{\mathsf{T}}A(\boldsymbol{w}-\boldsymbol{\mu}) \right).$$

一方、$\Sigma = A^{-1}$ とした多変量正規分布 $\mathcal{N}(\boldsymbol{\mu},\Sigma)$ の密度は

$$g(\boldsymbol{w}) = \frac{1}{(2\pi)^{M/2}(\det\Sigma)^{1/2}} \exp\!\left( -\frac{1}{2}(\boldsymbol{w}-\boldsymbol{\mu})^{\mathsf{T}}\Sigma^{-1}(\boldsymbol{w}-\boldsymbol{\mu}) \right)$$

であり、$\Sigma^{-1}=A$ なので指数部は $q$ のそれと完全に一致します。つまり $q = (K/K')\,g$（$K'$ は $g$ の正規化定数）という比例関係が全点で成り立ちます。

最後に比例定数が $1$ であることを言います。$q$ も $g$ も確率密度なので $\int q = \int g = 1$ です。$q = (K/K')g$ の両辺を積分すると $1 = (K/K')\cdot 1$、すなわち $K = K'$ を得ます。よって $q = g$、つまり $q$ は $\mathcal{N}(\boldsymbol{\mu},A^{-1}) = \mathcal{N}(A^{-1}\boldsymbol{b},\,A^{-1})$ の密度です。

∎

1 次元で確かめておきます。 $M=1$、$A=a>0$、$b\in\mathbb{R}$ なら $q(w) = C\exp(-\tfrac12 a w^{2}+bw)$ で、補題は「これは平均 $b/a$、分散 $1/a$ の正規分布」と言っています。実際 $-\tfrac12 a w^2 + bw = -\tfrac{a}{2}\bigl(w - \tfrac{b}{a}\bigr)^{2} + \tfrac{b^{2}}{2a}$ なので、確かに平均 $b/a$、分散 $1/a$ です。$a$ は分散の逆数、すなわち精度です。Theorem 6.1 の $S_N^{-1} = S_0^{-1}+\sigma^{-2}\Phi^{\mathsf{T}}\Phi$ が「精度は足し算になる」と読めるのは、このためです。