尤度・事前分布・事後分布

定義 2.1（「確率論とベイズ統計」§2）

確率モデル $p(\mathcal{D} \mid \theta)$ において、データ $\mathcal{D}$ を固定し、 $\theta$ の関数と見たもの

L(\theta) = p(\mathcal{D} \mid \theta)

を尤度関数といい、その対数 $\ell(\theta) = \log L(\theta)$ を対数尤度といいます。とくに $\mathcal{D} = (z_1,\ldots,z_N)$ が独立同分布のとき、

L(\theta) = \prod_{i=1}^{N} p(z_i \mid \theta), \qquad \ell(\theta) = \sum_{i=1}^{N} \log p(z_i \mid \theta)

となります。

パラメータ $\theta$ 自身を確率変数と見なし、データを観測する前の分布 $p(\theta)$ を事前分布、観測後の条件付き分布 $p(\theta \mid \mathcal{D})$ を事後分布といいます。また

p(\mathcal{D}) = \int p(\mathcal{D} \mid \theta)\, p(\theta)\, d\theta

を周辺尤度（またはエビデンス）といいます。 $\theta$ が離散なら積分は和に置き換えます。

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。