情報科学 › 機械学習の数学 › 確率論とベイズ統計

ガウス雑音の下で最尤推定は最小二乗法

命題 3.3（「確率論とベイズ統計」§3） ・ ✓公理まで証明済み

入力 x1,…,xN∈Rd\boldsymbol{x}_1,\ldots,\boldsymbol{x}_N \in \mathbb{R}^{d} は固定された既知の値とし、特徴写像 ϕ:Rd→RM\boldsymbol{\phi} : \mathbb{R}^{d} \to \mathbb{R}^{M} を用いて計画行列 Φ∈RN×M\Phi \in \mathbb{R}^{N \times M} を、その第 ii 行が ϕ(xi)T\boldsymbol{\phi}(\boldsymbol{x}_i)^{\mathsf{T}} であるものとして定める。既知の定数 σ2>0\sigma^2 > 0 に対し、出力が

yi=wTϕ(xi)+εi,ε1,…,εN は独立で εi∼N(0,σ2)y_i = \boldsymbol{w}^{\mathsf{T}} \boldsymbol{\phi}(\boldsymbol{x}_i) + \varepsilon_i, \qquad \varepsilon_1,\ldots,\varepsilon_N \ \text{は独立で} \ \varepsilon_i \sim \mathcal{N}(0, \sigma^2)

に従って生成されるとする。y=(y1,…,yN)T\boldsymbol{y} = (y_1,\ldots,y_N)^{\mathsf{T}} とおくと、w∈RM\boldsymbol{w} \in \mathbb{R}^{M} の最尤推定量は

w^ML=arg min⁡w∈RM∥y−Φw∥2\hat{\boldsymbol{w}}_{\mathrm{ML}} = \operatorname*{arg\,min}_{\boldsymbol{w} \in \mathbb{R}^{M}} \lVert \boldsymbol{y} - \Phi \boldsymbol{w} \rVert^{2}

の解全体と一致する。とくに Φ\Phi が列フルランクならば w^ML=(ΦTΦ)−1ΦTy\hat{\boldsymbol{w}}_{\mathrm{ML}} = (\Phi^{\mathsf{T}}\Phi)^{-1}\Phi^{\mathsf{T}}\boldsymbol{y} でただ 1 つに定まる。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 0 件、定義なども含めて 1 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 1 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理 証明で参照している 1 件

関連するノック 1 問