## 2. 準備：尤度・事前分布・ベイズの定理
観測データを $\mathcal{D}$、モデルのパラメータを $\theta$（ベクトルのときは $\boldsymbol{w}$）と書きます。確率モデルとは、$\theta$ を決めるごとに $\mathcal{D}$ の生成される確率（密度）$p(\mathcal{D} \mid \theta)$ が定まる仕組みのことです。
確率モデル $p(\mathcal{D} \mid \theta)$ において、**データ $\mathcal{D}$ を固定し、$\theta$ の関数と見た**もの
$$
L(\theta) = p(\mathcal{D} \mid \theta)
$$
を**尤度関数**といい、その対数 $\ell(\theta) = \log L(\theta)$ を**対数尤度**といいます。とくに $\mathcal{D} = (z_1,\ldots,z_N)$ が独立同分布のとき、
$$
L(\theta) = \prod_{i=1}^{N} p(z_i \mid \theta), \qquad \ell(\theta) = \sum_{i=1}^{N} \log p(z_i \mid \theta)
$$
となります。
パラメータ $\theta$ 自身を確率変数と見なし、データを観測する前の分布 $p(\theta)$ を**事前分布**、観測後の条件付き分布 $p(\theta \mid \mathcal{D})$ を**事後分布**といいます。また
$$
p(\mathcal{D}) = \int p(\mathcal{D} \mid \theta)\, p(\theta)\, d\theta
$$
を**周辺尤度**（またはエビデンス）といいます。$\theta$ が離散なら積分は和に置き換えます。
尤度は「$\theta$ についての確率分布」ではないことに注意してください。$\int L(\theta)\,d\theta$ は一般に $1$ になりません。$L$ はあくまで「この $\theta$ を信じたとき、手元のデータはどれくらい出やすかったか」を測る物差しです。
$\theta$ と $\mathcal{D}$ の同時密度 $p(\theta, \mathcal{D})$ が存在し、$p(\mathcal{D}) > 0$ であるとする。このとき
$$
p(\theta \mid \mathcal{D}) = \frac{p(\mathcal{D} \mid \theta)\, p(\theta)}{p(\mathcal{D})}
= \frac{p(\mathcal{D} \mid \theta)\, p(\theta)}{\displaystyle\int p(\mathcal{D} \mid \theta')\, p(\theta')\, d\theta'}
$$
が成り立つ。とくに $\mathcal{D}$ を固定すれば分母は $\theta$ に依存しない定数なので、
$$
p(\theta \mid \mathcal{D}) \propto p(\mathcal{D} \mid \theta)\, p(\theta)
$$
すなわち「事後分布 $\propto$ 尤度 $\times$ 事前分布」である。
条件付き密度の定義から、$p(\mathcal{D}) > 0$ のとき
$$
p(\theta \mid \mathcal{D}) = \frac{p(\theta, \mathcal{D})}{p(\mathcal{D})}
$$
です。同じ定義を逆向きに使うと、$p(\theta) > 0$ となる $\theta$ について $p(\mathcal{D} \mid \theta) = p(\theta, \mathcal{D}) / p(\theta)$、すなわち $p(\theta, \mathcal{D}) = p(\mathcal{D} \mid \theta)\, p(\theta)$ です（$p(\theta) = 0$ の点では両辺とも $0$ なのでこの等式は全体で成り立ちます）。これを最初の式の分子に代入すれば第 1 の等号が得られます。
第 2 の等号は、
比例関係のほうが実用上は重要です。事後分布を求める作業の大半は、「尤度 $\times$ 事前分布」を $\theta$ の関数として書き下し、**$\theta$ を含まない因子をすべて捨てて**、残った形が何という分布かを見抜くことに尽きます。
有病率 $0.1\%$ の病気があり、検査の感度（病気の人が陽性になる確率）が $99\%$、特異度（健康な人が陰性になる確率）が $95\%$ だとします。ある人の検査が陽性でした。この人が病気である確率はいくらでしょうか。
$\theta \in \{\text{病気}, \text{健康}\}$、$\mathcal{D} = \text{陽性}$ とします。事前分布は $p(\text{病気}) = 0.001$、$p(\text{健康}) = 0.999$。尤度は $p(\text{陽性} \mid \text{病気}) = 0.99$、$p(\text{陽性} \mid \text{健康}) = 1 - 0.95 = 0.05$ です。
## 3. 最尤推定：データだけを見る
パラメータ空間 $\Theta$ 上の確率モデル $p(\mathcal{D} \mid \theta)$ に対し、尤度関数 $L(\theta) = p(\mathcal{D}\mid\theta)$ を最大にする $\theta$
$$
\hat{\theta}_{\mathrm{ML}} = \operatorname*{arg\,max}_{\theta \in \Theta} p(\mathcal{D} \mid \theta)
= \operatorname*{arg\,max}_{\theta \in \Theta} \log p(\mathcal{D} \mid \theta)
$$
を**最尤推定量**といいます。$\log$ は狭義単調増加なので、$L$ を最大にする点と $\ell = \log L$ を最大にする点は一致します。
対数を取る理由は 2 つあります。独立同分布の積が和に変わって微分しやすくなること、そして $N$ が大きいときに $L(\theta)$ がアンダーフローするほど小さくなるのを避けられることです。
表の出る確率が $\theta \in [0,1]$ のコインを $n$ 回投げ、$k$ 回表が出たとします。各回が独立なので
$$
L(\theta) = \theta^{k} (1-\theta)^{n-k}, \qquad
\ell(\theta) = k \log \theta + (n-k)\log(1-\theta) \quad (0 < \theta < 1).
$$
微分して
$$
\ell'(\theta) = \frac{k}{\theta} - \frac{n-k}{1-\theta}
= \frac{k(1-\theta) - (n-k)\theta}{\theta(1-\theta)}
= \frac{k - n\theta}{\theta(1-\theta)}.
$$
分母は $0 < \theta < 1$ で正なので、$\ell'(\theta) = 0 \iff \theta = k/n$ です。さらに $0 < k < n$ のとき
$$
\ell''(\theta) = -\frac{k}{\theta^{2}} - \frac{n-k}{(1-\theta)^{2}} < 0
$$
なので $\ell$ は狭義凹であり、$\theta = k/n$ が唯一の最大点です。よって $\hat{\theta}_{\mathrm{ML}} = k/n$、つまり単なる標本比率です。
**端の場合**を省略しないでおきます。$k = n$ のとき $\ell(\theta) = n\log\theta$ は $(0,1)$ で狭義単調増加なので、最大は端点 $\theta = 1$ で達成されます（$L(1) = 1$）。同様に $k = 0$ なら $\hat{\theta}_{\mathrm{ML}} = 0$ です。つまり**3 回投げて 3 回表なら、最尤推定は「このコインは絶対に裏が出ない」と断言します**。データと矛盾はしていませんが、賭けの根拠にはできません。この病理が次節の動機です。
次の命題は、[線形回帰](/computer-science/math-for-ml/linear-regression) で天下り的に採用した「残差の 2 乗和」が、実はガウスノイズの仮定と同じものであることを示します。
入力 $\boldsymbol{x}_1,\ldots,\boldsymbol{x}_N \in \mathbb{R}^{d}$ は固定された既知の値とし、特徴写像 $\boldsymbol{\phi} : \mathbb{R}^{d} \to \mathbb{R}^{M}$ を用いて計画行列 $\Phi \in \mathbb{R}^{N \times M}$ を、その第 $i$ 行が $\boldsymbol{\phi}(\boldsymbol{x}_i)^{\mathsf{T}}$ であるものとして定める。既知の定数 $\sigma^2 > 0$ に対し、出力が
$$
y_i = \boldsymbol{w}^{\mathsf{T}} \boldsymbol{\phi}(\boldsymbol{x}_i) + \varepsilon_i, \qquad
\varepsilon_1,\ldots,\varepsilon_N \ \text{は独立で} \ \varepsilon_i \sim \mathcal{N}(0, \sigma^2)
$$
に従って生成されるとする。$\boldsymbol{y} = (y_1,\ldots,y_N)^{\mathsf{T}}$ とおくと、$\boldsymbol{w} \in \mathbb{R}^{M}$ の最尤推定量は
$$
\hat{\boldsymbol{w}}_{\mathrm{ML}} = \operatorname*{arg\,min}_{\boldsymbol{w} \in \mathbb{R}^{M}} \lVert \boldsymbol{y} - \Phi \boldsymbol{w} \rVert^{2}
$$
の解全体と一致する。とくに $\Phi$ が列フルランクならば $\hat{\boldsymbol{w}}_{\mathrm{ML}} = (\Phi^{\mathsf{T}}\Phi)^{-1}\Phi^{\mathsf{T}}\boldsymbol{y}$ でただ 1 つに定まる。
$\varepsilon_i \sim \mathcal{N}(0,\sigma^2)$ より、$\boldsymbol{w}$ を与えたときの $y_i$ の密度は
$$
p(y_i \mid \boldsymbol{w}) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\!\left( -\frac{\bigl(y_i - \boldsymbol{w}^{\mathsf{T}}\boldsymbol{\phi}(\boldsymbol{x}_i)\bigr)^{2}}{2\sigma^{2}} \right)
$$
です。$\varepsilon_i$ が独立なので $y_1,\ldots,y_N$ も（$\boldsymbol{w}$ を与えたとき）独立で、
同じ論法で、ノイズをラプラス分布 $p(\varepsilon) \propto e^{-|\varepsilon|/c}$ とすれば最尤推定は残差の**絶対値和**の最小化（最小絶対偏差回帰）になります。「なぜ 2 乗か」の答えは「ガウスを仮定したから」であり、逆にいえば外れ値が多いデータでは 2 乗以外を選ぶ理由がある、ということです。
## 4. 最大事後確率推定：事前分布を足す
事前分布 $p(\theta)$ を持つモデルにおいて、事後分布 $p(\theta \mid \mathcal{D})$ を最大にする点
$$
\hat{\theta}_{\mathrm{MAP}} = \operatorname*{arg\,max}_{\theta \in \Theta} p(\theta \mid \mathcal{D})
$$
を**最大事後確率推定量**（MAP 推定量）といいます。
$p(\mathcal{D}) > 0$ のとき、
$$
\hat{\theta}_{\mathrm{MAP}} = \operatorname*{arg\,max}_{\theta \in \Theta} \Bigl\{ \underbrace{\log p(\mathcal{D} \mid \theta)}_{\text{対数尤度}} + \underbrace{\log p(\theta)}_{\text{対数事前分布}} \Bigr\}
$$
が成り立つ。とくに事前分布が $\Theta$ 上で定数（一様）ならば $\hat{\theta}_{\mathrm{MAP}} = \hat{\theta}_{\mathrm{ML}}$ である。
この命題が、この章でいちばん使う道具です。**MAP 推定は「対数尤度 $+$ 対数事前分布」の最大化**であり、機械学習の言葉に翻訳すれば「損失関数 $+$ 罰則項」の最小化にほかなりません。第 5 節でこの翻訳を厳密に実行します。
尤度の族 $\{p(\mathcal{D}\mid\theta)\}_{\theta\in\Theta}$ に対し、事前分布の族 $\mathcal{P}$ が**共役**であるとは、任意の $p(\theta) \in \mathcal{P}$ と任意の観測 $\mathcal{D}$ に対して事後分布 $p(\theta\mid\mathcal{D})$ もまた $\mathcal{P}$ に属することをいいます。
共役性は数学的な必然ではなく、計算の便宜です。事後分布が同じ族に留まってくれれば、積分を実行せずに「パラメータの更新則」だけで事後分布が書けます。
図で見ると、事後分布が「事前分布と尤度の綱引きの結果」であることがよくわかります。尤度は $\theta = 1$ に向かって単調に増えていますが、事前分布が $\theta = 1$ で $0$ に落ちるので、積は $0.8$ 付近で山を作ります。データが増えれば尤度の山が鋭くなり、事前分布の影響は相対的に小さくなっていきます。
MAP は「いちばんありそうな値」という直感的な説明をされますが、これは密度の最頻値であって、パラメータの取り方に依存します。
## 5. 正則化の正体：罰則項は事前分布である
ここが本章の中心です。
の「対数尤度 $+$ 対数事前分布」に、
のガウス雑音モデルとガウス事前分布を代入するだけで、リッジ回帰が出てきます。
$\lambda = \sigma^{2}/\tau^{2}$ という表式は、正則化係数に明確な意味を与えます。**$\lambda$ は「観測がどれだけ雑か」と「重みがどれだけ大きくてよいか」の比**です。雑音が大きい（$\sigma^2$ 大）ほどデータを信用せず罰則を強め、事前の許容幅が広い（$\tau^2$ 大）ほど罰則を緩めます。$\tau^{2}\to\infty$（何も知らない）とすれば $\lambda\to 0$ で最尤推定に戻り、これは
の後半（一様事前分布なら MLE）とも整合します。
$\Phi^{\mathsf{T}}\Phi$ は対称半正定値なので、[スペクトル定理](/mathematics/linear-algebra/spectral-theorem)（
同じ計算をラプラス事前分布で行うと L1 正則化（ラッソ）が出ます。
対応関係を表にまとめます。
| 罰則項 | 対応する事前分布 | 事前密度（$\theta$ 依存部分） | 正則化係数 | 解の特徴 |
|---|---|---|---|---|
| なし | 一様（非正則な事前分布） | $\propto 1$ | $\lambda = 0$ | 最尤推定に一致 |
| $\lambda \lVert \boldsymbol{w}\rVert_{2}^{2}$ | ガウス $\mathcal{N}(\boldsymbol{0},\tau^{2}I)$ | $\exp\bigl(-\lVert\boldsymbol{w}\rVert_2^{2}/(2\tau^{2})\bigr)$ | $\lambda = \sigma^{2}/\tau^{2}$ | 全成分を滑らかに縮小 |
| $\lambda \lVert \boldsymbol{w}\rVert_{1}$ | ラプラス（尺度 $b$） | $\exp\bigl(-\lVert\boldsymbol{w}\rVert_1/b\bigr)$ | $\lambda = 2\sigma^{2}/b$ | 一部の成分が厳密に $0$ |
| $\lambda\lVert\boldsymbol{w}-\boldsymbol{\mu}\rVert_2^{2}$ | ガウス $\mathcal{N}(\boldsymbol{\mu},\tau^{2}I)$ | $\exp\bigl(-\lVert\boldsymbol{w}-\boldsymbol{\mu}\rVert_2^{2}/(2\tau^{2})\bigr)$ | $\lambda = \sigma^{2}/\tau^{2}$ | 既知の値 $\boldsymbol{\mu}$ に引き寄せる |
4 行目は、事前学習済みモデルからの微調整で「元の重みから離れすぎない」ようにする正則化が、そのまま「元の重みを平均とするガウス事前分布」であることを示しています。正則化を発明するとは、事前分布を設計することです。
L1 正則化が厳密な $0$ を生むのは、ラプラス密度が原点で尖っている（微分不可能な角を持つ）ためです。ところがこれは**事後分布の最頻値**についての話です。ラプラス事前分布の下でも、事後分布 $p(\boldsymbol{w}\mid\mathcal{D})$ は連続分布なので $\Pr(w_j = 0 \mid \mathcal{D}) = 0$ であり、事後平均 $\mathbb{E}[w_j\mid\mathcal{D}]$ が厳密に $0$ になることもまずありません。
つまり「ラッソはベイズ的にはラプラス事前分布の MAP である」は正しい一方、「ラッソの変数選択はベイズ的な変数選択である」とは言えません。本当に「その変数が不要である確率」を扱いたいなら、$w_j = 0$ に正の確率質量を置くスパイク・アンド・スラブ型の事前分布が必要になります。
## 6. 不確実性を扱う：ベイズ線形回帰と事後予測分布
MLE も MAP も、最後に $\theta$ を 1 点に潰します。潰さずに事後分布のまま持ち歩くとどうなるかを見ます。線形回帰＋ガウス事前分布は、この計算が手で最後まで実行できる数少ない例です。
事後共分散 $S_N = \sigma^{2}(\Phi^{\mathsf{T}}\Phi+\lambda I)^{-1}$ は、点推定だけでは決して得られない情報です。これを使って予測に不確実性を持たせます。
新しい入力 $\boldsymbol{x}_{*}$ に対する出力 $y_{*}$ の**事後予測分布**とは、パラメータを事後分布で積分消去した分布
$$
p(y_{*}\mid \boldsymbol{x}_{*}, \mathcal{D}) = \int p(y_{*}\mid \boldsymbol{x}_{*}, \boldsymbol{w})\, p(\boldsymbol{w}\mid\mathcal{D})\, d\boldsymbol{w}
$$
のことです。$\hat{\boldsymbol{w}}$ を 1 つ選んで $p(y_{*}\mid\boldsymbol{x}_{*},\hat{\boldsymbol{w}})$ を使う**プラグイン予測**と対比されます。
この分解が実務上いちばん重要な結論です。**$\sigma^{2}$ はデータをいくら集めても減りません**（コインの表裏は永遠に当てられません）。一方 $\boldsymbol{\phi}_{*}^{\mathsf{T}}S_N\boldsymbol{\phi}_{*}$ は、$S_N^{-1} = S_0^{-1}+\sigma^{-2}\Phi^{\mathsf{T}}\Phi$ がデータとともに増えるので $N$ が増えれば減っていきます。前者を偶然的（アレアトリック）不確実性、後者を認識的（エピステミック）不確実性と呼び、後者だけが「もっとデータを集めれば解消する」種類の不確実性です。能動学習でどのデータにラベルを付けるかを選ぶとき、指標にするのは後者です。
$M=1$、$\boldsymbol{\phi}(x)=x$（原点を通る直線 $y = wx$）とし、$\sigma^{2}=1$、事前分布は $w\sim\mathcal{N}(0,\tau^{2})$、$\tau^{2}=1$ とします。データは $(x_1,y_1)=(1,2)$、$(x_2,y_2)=(2,3)$ の 2 点です。
計画行列は $\Phi = \begin{pmatrix}1\\2\end{pmatrix}$、$\boldsymbol{y}=\begin{pmatrix}2\\3\end{pmatrix}$ なので
$$
\Phi^{\mathsf{T}}\Phi = 1^{2}+2^{2} = 5, \qquad \Phi^{\mathsf{T}}\boldsymbol{y} = 1\cdot 2 + 2\cdot 3 = 8.
$$
最尤推定は
## 7. 演習
## 参考文献
- C. M. Bishop, *Pattern Recognition and Machine Learning*, Springer, 2006 — 第 1 章（確率とベイズの立場）、第 3 章（ベイズ線形回帰と事後予測分布）。
- K. P. Murphy, *Probabilistic Machine Learning: An Introduction*, MIT Press, 2022 — 第 4 章（最尤推定・MAP 推定・共役事前分布）。著者サイトで公開されています: [probml.github.io/pml-book](https://probml.github.io/pml-book/)
- A. Gelman, J. B. Carlin, H. S. Stern, D. B. Dunson, A. Vehtari, D. B. Rubin, *Bayesian Data Analysis*, 3rd ed., CRC Press, 2013 — 第 1〜3 章（ベイズ推論の枠組みと共役事前分布）。
- T. Hastie, R. Tibshirani, J. Friedman, *The Elements of Statistical Learning*, 2nd ed., Springer, 2009 — 第 3 章（リッジ回帰の縮小効果とラッソ）。著者サイトで公開されています: [hastie.su.domains/ElemStatLearn](https://hastie.su.domains/ElemStatLearn/)
- R. Tibshirani, "Regression Shrinkage and Selection via the Lasso", *Journal of the Royal Statistical Society, Series B* **58** (1996), 267–288. — ラッソの原論文。ラプラス事前分布による解釈も述べられています。
- Y. Gal and Z. Ghahramani, "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning", *ICML 2016*. [arXiv:1506.02142](https://arxiv.org/abs/1506.02142)
## Appendix: ガウス分布の平方完成
**この補題は何のためにあるか。**
の証明では、事後密度の対数が「$\boldsymbol{w}$ の 2 次形式 $+$ 1 次形式 $+$ 定数」の形になることまでを示しました。そこから「だからガウス分布である」と言うには、その形の関数が実際にどのガウス分布の密度なのかを特定する必要があります。行列版の平方完成がその作業です。
$A$ を $M$ 次の対称正定値行列、$\boldsymbol{b}\in\mathbb{R}^{M}$、$C>0$ を定数とする。$\mathbb{R}^{M}$ 上の確率密度 $q$ が
$$
q(\boldsymbol{w}) = C \exp\!\left( -\frac{1}{2}\boldsymbol{w}^{\mathsf{T}}A\boldsymbol{w} + \boldsymbol{b}^{\mathsf{T}}\boldsymbol{w} \right)
\qquad (\boldsymbol{w}\in\mathbb{R}^{M})
$$
を満たすならば、$q$ は多変量正規分布 $\mathcal{N}(A^{-1}\boldsymbol{b},\, A^{-1})$ の密度である。
$A$ は正定値なので可逆で、$A^{-1}$ も対称正定値です（$A = A^{\mathsf{T}}$ より $(A^{-1})^{\mathsf{T}} = (A^{\mathsf{T}})^{-1} = A^{-1}$、また $A$ の固有値がすべて正なら $A^{-1}$ の固有値もすべて正）。$\boldsymbol{\mu} = A^{-1}\boldsymbol{b}$ とおきます。
まず恒等式を確かめます。展開すると
$$
-\frac{1}{2}(\boldsymbol{w}-\boldsymbol{\mu})^{\mathsf{T}}A(\boldsymbol{w}-\boldsymbol{\mu})
= -\frac{1}{2}\Bigl( \boldsymbol{w}^{\mathsf{T}}A\boldsymbol{w} - \boldsymbol{w}^{\mathsf{T}}A\boldsymbol{\mu} - \boldsymbol{\mu}^{\mathsf{T}}A\boldsymbol{w} + \boldsymbol{\mu}^{\mathsf{T}}A\boldsymbol{\mu} \Bigr)
$$
ですが、$A\boldsymbol{\mu} = AA^{-1}\boldsymbol{b} = \boldsymbol{b}$ なので $\boldsymbol{w}^{\mathsf{T}}A\boldsymbol{\mu} = \boldsymbol{w}^{\mathsf{T}}\boldsymbol{b} = \boldsymbol{b}^{\mathsf{T}}\boldsymbol{w}$（スカラーなので転置しても同じ）、同様に $\boldsymbol{\mu}^{\mathsf{T}}A\boldsymbol{w} = (A\boldsymbol{\mu})^{\mathsf{T}}\boldsymbol{w} = \boldsymbol{b}^{\mathsf{T}}\boldsymbol{w}$（$A$ の対称性を使いました）、そして $\boldsymbol{\mu}^{\mathsf{T}}A\boldsymbol{\mu} = \boldsymbol{b}^{\mathsf{T}}A^{-1}\boldsymbol{b}$ です。したがって
$$
-\frac{1}{2}(\boldsymbol{w}-\boldsymbol{\mu})^{\mathsf{T}}A(\boldsymbol{w}-\boldsymbol{\mu})
= -\frac{1}{2}\boldsymbol{w}^{\mathsf{T}}A\boldsymbol{w} + \boldsymbol{b}^{\mathsf{T}}\boldsymbol{w} - \frac{1}{2}\boldsymbol{b}^{\mathsf{T}}A^{-1}\boldsymbol{b}.
$$
これを $q$ の式に代入すると、$K = C\exp\bigl(\tfrac12\boldsymbol{b}^{\mathsf{T}}A^{-1}\boldsymbol{b}\bigr) > 0$ とおいて
$$
q(\boldsymbol{w}) = K \exp\!\left( -\frac{1}{2}(\boldsymbol{w}-\boldsymbol{\mu})^{\mathsf{T}}A(\boldsymbol{w}-\boldsymbol{\mu}) \right).
$$
一方、$\Sigma = A^{-1}$ とした多変量正規分布 $\mathcal{N}(\boldsymbol{\mu},\Sigma)$ の密度は
$$
g(\boldsymbol{w}) = \frac{1}{(2\pi)^{M/2}(\det\Sigma)^{1/2}} \exp\!\left( -\frac{1}{2}(\boldsymbol{w}-\boldsymbol{\mu})^{\mathsf{T}}\Sigma^{-1}(\boldsymbol{w}-\boldsymbol{\mu}) \right)
$$
であり、$\Sigma^{-1}=A$ なので指数部は $q$ のそれと完全に一致します。つまり $q = (K/K')\,g$（$K'$ は $g$ の正規化定数）という比例関係が全点で成り立ちます。
最後に比例定数が $1$ であることを言います。$q$ も $g$ も確率密度なので $\int q = \int g = 1$ です。$q = (K/K')g$ の両辺を積分すると $1 = (K/K')\cdot 1$、すなわち $K = K'$ を得ます。よって $q = g$、つまり $q$ は $\mathcal{N}(\boldsymbol{\mu},A^{-1}) = \mathcal{N}(A^{-1}\boldsymbol{b},\,A^{-1})$ の密度です。
**1 次元で確かめておきます。** $M=1$、$A=a>0$、$b\in\mathbb{R}$ なら $q(w) = C\exp(-\tfrac12 a w^{2}+bw)$ で、補題は「これは平均 $b/a$、分散 $1/a$ の正規分布」と言っています。実際 $-\tfrac12 a w^2 + bw = -\tfrac{a}{2}\bigl(w - \tfrac{b}{a}\bigr)^{2} + \tfrac{b^{2}}{2a}$ なので、確かに平均 $b/a$、分散 $1/a$ です。$a$ は分散の逆数、すなわち精度です。
の $S_N^{-1} = S_0^{-1}+\sigma^{-2}\Phi^{\mathsf{T}}\Phi$ が「精度は足し算になる」と読めるのは、このためです。