# 点推定と漸近理論：最尤推定、Cramér–Rao の下界、漸近正規性、delta 法、ベイズ推定 > Fisher 情報と Cramér–Rao の不等式、最尤推定量の一致性（Cramér の定理）と漸近正規性を正則条件のもとで証明し、delta 法で関数の推定量へ展開する。ベイズ推定は事後平均の最適性と共役事前分布で扱う。 > https://rikai.mugen-giken.com/mathematics/mathematical-statistics/point-estimation ## 0. この記事の要点 コイン投げを 100 回して表が 60 回出たとき、「表の出る確率はおよそ 0.6」と見積もるのは自然です。ではその見積もりは、どれくらい当たっているのでしょうか。回数を増やせば、見積もりのずれはどのくらい小さくなるのでしょうか。この記事は、見積もりの作り方（最尤推定）と、ずれの大きさにこれ以上は小さくできない限界があること、そして回数が多いときにはずれがほぼ正規分布に従うことを、順に示します。読み終えると、推定値に添える「誤差の目安」を自分で計算できるようになります。 - **最尤推定量**は、観測データの確率（尤度）を最大にする母数です。尤度の対数の微分 $s=\partial_\theta\log f$（スコア。尤度の山の傾きを表す量）の[分散](/mathematics/probability/random-variables#def-variance-covariance)が **Fisher 情報** $I(\theta)$ で、$I(\theta)=-E[\partial_\theta^2\log f]$ とも書けます。 - **Cramér–Rao の不等式**：不偏推定量の分散は $\tau'(\theta)^2/(nI(\theta))$ 以上です。コーシー–シュワルツ不等式の 1 行で示せます。 - 正則条件のもとで、最尤推定方程式の根の列で **一致するもの**が存在し（Cramér の定理）、それは $\sqrt n(\hat\theta_n-\theta_0)\to N(0,1/I(\theta_0))$ という **漸近正規性**をもちます。したがって漸近分散が Cramér–Rao の下界に達します（漸近有効）。 - **delta 法**：$\sqrt n(T_n-\theta)\to N(0,\sigma^2)$ ならば、微分可能な $g$ について $\sqrt n(g(T_n)-g(\theta))\to N(0,g'(\theta)^2\sigma^2)$。分散安定化変換や、推定量の関数の信頼区間に使います。 - **ベイズ推定**では母数に事前分布を置き、事後分布で推測します。二乗損失での最適推定量は事後平均で、ベルヌーイ試行のベータ事前分布では、事後平均と最尤推定量の差は $O(1/n)$、漸近分布は同じになります。 ## 1. 動機 [前の記事](/mathematics/mathematical-statistics/models-and-sufficiency)では、不偏推定量の中で[分散](/mathematics/probability/random-variables#def-variance-covariance)が最小のものを、[十分統計量](/mathematics/mathematical-statistics/models-and-sufficiency#def-sufficient)と完備性で構成しました。しかし、この方法には限界があります。(1) UMVUE（一様最小分散不偏推定量）は、完備十分統計量が存在する特殊な場合にしか使えません。(2) 不偏性は絶対的な要請ではなく、偏りを少し許して MSE が下がるなら、そのほうが良いこともあります。(3) 実務では、母数が複雑な関数 $g(\theta)$ で与えられる場合が多く、UMVUE の計算は難しくなります。 そこで、標本数 $n$ が大きいときの**漸近的な**性質に目を向けます。ほとんどのモデルで、尤度を最大化するという単純な規則（最尤推定）が、$n\to\infty$ で最良の精度（Cramér–Rao の下界）に達する。この事実を、中心極限定理（[大数の法則と中心極限定理](/mathematics/probability/limit-theorems)）とテイラー展開だけから証明するのがこの記事の山場です。最後にベイズ推定を扱い、頻度論的な推定と漸近的に一致することを見ます。 以下、i.i.d. 標本 $X_1,\dots,X_n\sim f(x;\theta)$（$\theta\in\Theta\subset\mathbb R$、1 母数）を考えます。多母数への拡張は、各所で注意します。 ## 2. 尤度と最尤推定 観測 $x=(x_1,\dots,x_n)$ に対し、**尤度関数**を $L_n(\theta)=\prod_{i=1}^nf(x_i;\theta)$、**対数尤度**を $\ell_n(\theta)=\sum_i\log f(x_i;\theta)$ とする。**スコア関数**は $s(x;\theta)=\partial_\theta\log f(x;\theta)$、標本全体のスコアは $\ell_n'(\theta)=\sum_is(x_i;\theta)$。$L_n$（または $\ell_n$）を最大にする $\hat\theta_n=\hat\theta_n(x)$ を**最尤推定量（MLE）**といい、微分可能な場合は**尤度方程式** $\ell_n'(\theta)=0$ の根として求める。 (i) ベルヌーイ：$\ell_n=t\log p+(n-t)\log(1-p)$（$t=\sum x_i$）、$\ell_n'=t/p-(n-t)/(1-p)=0$ から $\hat p=\bar x$。(ii) 正規 $N(\mu,\sigma^2)$：$\hat\mu=\bar x$、$\hat\sigma^2=\frac1n\sum(x_i-\bar x)^2$（不偏でない：$E\hat\sigma^2=\frac{n-1}n\sigma^2$）。(iii) 指数分布 $\mathrm{Exp}(\lambda)$：$\ell_n=n\log\lambda-\lambda\sum x_i$ から $\hat\lambda=1/\bar x$。$T=\sum X_i\sim\mathrm{Gamma}(n,\lambda)$ で $E[1/T]=\lambda/(n-1)$ なので $E\hat\lambda=\frac n{n-1}\lambda$、偏りをもつ。(iv) 一様 $U(0,\theta)$：尤度 $\theta^{-n}\mathbf 1\{\theta\ge\max x_i\}$ は $\theta=\max x_i$ で最大（微分可能でない）、$\hat\theta=M$。$E M=\frac n{n+1}\theta$ で偏りをもち、$\mathrm{MSE}=\frac{2\theta^2}{(n+1)(n+2)}$ は UMVUE $\frac{n+1}nM$ の $\frac{\theta^2}{n(n+2)}$ より大きい。 最尤推定量は、母数の 1 対 1 変換に関して**同変**です。$\psi=g(\theta)$ が 1 対 1 なら、$\psi$ に関する尤度の最大は $g(\hat\theta)$ で達成されます。たとえば $\hat\sigma=\sqrt{\hat\sigma^2}$ です。 ## 3. Fisher 情報 以下の議論に必要な**正則条件**をまとめておきます。五つ並びますが、ねらいは、積分と微分の順序を入れ替えてよいこと、台（密度が正になる範囲）が母数によらないこと、微分の剰余が抑えられることを保証する技術的な仮定です。(R1) の $\sigma$-有限測度は、離散分布なら数え上げ、連続分布なら通常の積分のことと読んで構いません。 母数空間 $\Theta$ は開区間で、真の値を $\theta_0\in\Theta$ とする。 - **(R1)** すべての $P_\theta$ は、共通の $\sigma$-有限測度 $\mu$ に関する密度 $f(x;\theta)$ をもち、台 $\{f>0\}$ は $\theta$ によらない。$\theta\ne\theta'$ なら $P_\theta\ne P_{\theta'}$（識別可能）。 - **(R2)** $\theta\mapsto\log f(x;\theta)$ は $C^3$ 級。 - **(R3)** $\int f\,d\mu=1$ を $\theta$ で 2 回、積分記号の下で微分できる：$\int\partial_\theta f\,d\mu=0$、$\int\partial_\theta^2f\,d\mu=0$。また、$E_\theta T^2<\infty$ なる任意の統計量 $T$ について（$T$ は標本 $X_1,\dots,X_n$ の関数でもよく、その場合は積測度と同時密度 $\prod f(x_i;\theta)$ で考える）、$\theta\mapsto E_\theta T$ は微分可能で $\frac d{d\theta}E_\theta T=\int T\,\partial_\theta f\,d\mu$。 - **(R4)** $0 これらは、指数型分布族の内点で成り立ちます（積分記号下の微分は の評価で正当化）。一様分布 $U(0,\theta)$ のように台が $\theta$ に依存するモデルでは (R1) が破れます。 (R1)–(R4) のもとで $E_\theta[s(X;\theta)]=0$ かつ $$ I(\theta)=\mathrm{Var}_\theta\bigl(s(X;\theta)\bigr)=-E_\theta\bigl[\partial_\theta^2\log f(X;\theta)\bigr]. $$ $n$ 個の i.i.d. 標本では、$\ell_n'$ の分散は $nI(\theta)$ である。 $\int f\,d\mu=1$ を微分した $\int\partial_\theta f\,d\mu=0$ と、$\partial_\theta f=s\,f$ から $E_\theta s=\int sf\,d\mu=0$。よって $\mathrm{Var}(s)=E[s^2]=I(\theta)$。もう一度微分した $\int\partial_\theta^2f\,d\mu=0$ で、$\partial_\theta^2f=\partial_\theta(sf)=(\partial_\theta s+s^2)f$ なので $E[\partial_\theta s]+E[s^2]=0$、$\partial_\theta s=\partial_\theta^2\log f$ だから第 2 の等式を得る。i.i.d. では分散が加法的。 **Fisher 情報**は、対数尤度の曲率（尤度のピークの鋭さ）の期待値です。ピークが鋭いほど、データは母数について多くを語ります。
0.20.40.60.80.9 p ℓ(p) − ℓ(p̂) n = 10n = 40
母数を $\theta=\theta(\eta)$（微分可能な 1 対 1 写像）と取り替えると、$I_\eta(\eta)=I_\theta(\theta(\eta))\,\theta'(\eta)^2$ である。 連鎖律より $\partial_\eta\log f(x;\theta(\eta))=s(x;\theta)\,\theta'(\eta)$。2 乗の期待値をとる。 - ベルヌーイ：$s=\frac xp-\frac{1-x}{1-p}$、$I(p)=\frac1{p(1-p)}$。 - ポアソン：$\partial_\lambda^2\log f=-x/\lambda^2$、$I(\lambda)=1/\lambda$。 - 正規（$\sigma^2$ 既知）：$I(\mu)=1/\sigma^2$。$\mu$ 既知で $\sigma^2$ が母数なら $I(\sigma^2)=\frac1{2\sigma^4}$。 - 指数：$I(\lambda)=1/\lambda^2$。 - 自然母数 $\eta$ の指数型分布族：$\partial_\eta^2\log f=-A''(\eta)$ なので $I(\eta)=A''(\eta)=\mathrm{Var}(T)$（）。 ## 4. Cramér–Rao の不等式 この節のねらいは、不偏推定量の分散には、どんな工夫をしてもこれ以下にはできない限界があることを示すことです。証明の方針は、推定量 $T$ とスコアの[共分散](/mathematics/probability/random-variables#def-variance-covariance)を計算し、それにコーシー・シュワルツ不等式を使うだけです。共分散は「$T$ とスコアがどれだけ一緒に動くか」を表す量で、スコアの平均が $0$ なので $E[T\ell_n']$ に一致します。 (R1)–(R4) のもとで、$\tau(\theta)$ の不偏推定量 $T=T(X_1,\dots,X_n)$（$E_\theta T^2<\infty$）の分散は $$ \mathrm{Var}_\theta(T)\ge\frac{\tau'(\theta)^2}{n\,I(\theta)} $$ を満たす。等号は、ある関数 $c(\theta)$ について $T-\tau(\theta)=c(\theta)\,\ell_n'(\theta)$ が $P_\theta$-a.s. で成り立つときに限る。 同時密度 $f_n(x;\theta)=\prod f(x_i;\theta)$ について (R3) を使うと、$\tau'(\theta)=\frac d{d\theta}E_\theta T=\int T\,\partial_\theta f_n\,d\mu^n=E_\theta[T\,\ell_n']$。 より $E_\theta\ell_n'=0$ なので、これは $\mathrm{Cov}_\theta(T,\ell_n')$ に等しい。 から $$ \tau'(\theta)^2=\mathrm{Cov}(T,\ell_n')^2\le\mathrm{Var}(T)\,\mathrm{Var}(\ell_n')=\mathrm{Var}(T)\cdot nI(\theta). $$ 等号は $T-E T$ と $\ell_n'$ が（確率 1 で）1 次従属のときに限る。 $\tau(\theta)=\theta$ なら下界は $1/(nI(\theta))$ です。偏りのある推定量でも、偏りを $b(\theta)$ として、$\tau=\theta+b(\theta)$ に適用して $\mathrm{Var}\ge(1+b')^2/(nI)$。下界に達する不偏推定量を**有効推定量**といいます。 (i) ポアソン：$\bar X$ は不偏で $\mathrm{Var}=\lambda/n=1/(nI(\lambda))$ で、下界に達する。(ii) ベルヌーイ：$\mathrm{Var}(\bar X)=p(1-p)/n=1/(nI(p))$ で達する。(iii) 正規で $\mu$ 既知：$S_0/n$（$S_0=\sum(X_i-\mu)^2\sim\sigma^2\chi^2_n$）の分散は $2\sigma^4/n$ で、$1/(nI(\sigma^2))=2\sigma^4/n$ に達する。(iv) 正規で $\mu$ 未知：$S^2$ は UMVUE（）で $\mathrm{Var}(S^2)=\frac{2\sigma^4}{n-1}>\frac{2\sigma^4}n$。UMVUE でも下界に達しない例になっている。(v) 一様 $U(0,\theta)$：UMVUE の分散 $\theta^2/(n(n+2))$ は $n^{-2}$ のオーダーで、$n^{-1}$ のオーダーの下界を「破る」。(R1) の台が $\theta$ に依存し、(R3) の微分の交換ができないためである。 下界に達するのは、スコアが $T-\tau$ に比例する場合、すなわち指数型分布族の場合だけです（等号条件を $\theta$ で積分すれば $\log f_n$ が $\theta$ について $T$ に関して線形の形になるため）。 ## 5. 最尤推定量の一致性 この節のねらいは、$n$ が大きいとき、尤度方程式に真の値 $\theta_0$ のすぐそばの根があることを示すことです。方針は、$\theta_0$ の左右の点より $\theta_0$ のほうが対数尤度が高い確率が 1 に近づくことから、その間のどこかに対数尤度の山があり、そこで微分が $0$ になる、というものです。結論は[確率収束](/mathematics/probability/limit-theorems#def-convergence-prob)の意味での一致性です。 (R1)、(R5) のもとで、$\theta\ne\theta_0$ なら $K(\theta)=E_{\theta_0}\bigl[\log\frac{f(X;\theta)}{f(X;\theta_0)}\bigr]<0$ である。 $u=f(X;\theta)/f(X;\theta_0)$ とおく。$E_{\theta_0}u=\int_{\{f(\cdot;\theta_0)>0\}}f(x;\theta)\,d\mu=1$（台が共通）。不等式 $\log u\le u-1$ は等号が $u=1$ のときに限る（$\log$ の厳密な凹性）。識別可能性から $P_{\theta_0}(u\ne1)>0$ なので、$E_{\theta_0}[(u-1)-\log u]>0$。ゆえに $E_{\theta_0}\log u なお、次の定理の証明の最後にある $N_k$ の選び方は、$\delta$ を小さくしていく各段階で得た根を、$n$ が大きくなるにつれて順に切り替えて、1 本の列 $\hat\theta_n$ にまとめる手続きです。 (R1)、(R2)、(R5) のもとで、尤度方程式 $\ell_n'(\theta)=0$ の根の列 $\hat\theta_n$ で、$\hat\theta_n\to\theta_0$（確率収束）となるものが存在する。 $\delta>0$ を $[\theta_0-\delta,\theta_0+\delta]\subset\Theta$ となるようにとる。 により $K(\theta_0\pm\delta)<0$ で、(R5) より有限。 から $$ \frac1n\bigl(\ell_n(\theta_0\pm\delta)-\ell_n(\theta_0)\bigr)=\frac1n\sum_{i=1}^n\log\frac{f(X_i;\theta_0\pm\delta)}{f(X_i;\theta_0)}\xrightarrow{P}K(\theta_0\pm\delta)<0. $$ したがって、事象 $G_n(\delta)=\{\ell_n(\theta_0)>\ell_n(\theta_0-\delta)\ \text{かつ}\ \ell_n(\theta_0)>\ell_n(\theta_0+\delta)\}$ の確率は $1$ に収束する。$G_n(\delta)$ 上では、連続関数 $\ell_n$ の閉区間 $[\theta_0-\delta,\theta_0+\delta]$ での最大値は両端点ではなく内点で達成され、そこで $\ell_n'=0$（$\ell_n$ は $C^1$）。そのような根のうち $\theta_0$ に最も近いものを $\hat\theta_n^{(\delta)}$ とすると $P(|\hat\theta_n^{(\delta)}-\theta_0|<\delta)\to1$。$\delta_k=1/k$ として、$n\ge N_k$ のとき $P(G_n(\delta_k))\ge1-1/k$ となるように $N_10$ に対し $\delta_k<\varepsilon$ となる $k$ から先で $P(|\hat\theta_n-\theta_0|<\varepsilon)\ge1-1/k$ なので、$\hat\theta_n\to\theta_0$ （確率収束）。 尤度方程式の根がただ 1 つなら、それが一致する根です。指数型分布族の自然母数では $\ell_n''=-nA''(\eta)<0$ で対数尤度が狭義凹なので、根は一意（あれば MLE）です。一般には、複数の根のうちどれが一致するかは別の判定が要り、最大の尤度を与える根が常にそうとは限りません。 ## 6. 最尤推定量の漸近正規性 この節のねらいは、推定の誤差 $\hat\theta_n-\theta_0$ の形を知ることです。方針は、尤度方程式を $\theta_0$ のまわりでテイラー展開し、誤差を「スコアの和」を「2 階微分の平均」で割ったものとして表すことです。スコアの和には中心極限定理が、2 階微分の平均には大数の法則が効きます。3 階微分の項には $\hat\theta-\theta_0\to0$ が掛かるので、極限では消えます。結論は[分布収束](/mathematics/probability/limit-theorems#def-convergence-dist)の形で述べます。 (R1)–(R5) のもとで、 の一致する根 $\hat\theta_n$ について $$ \sqrt n\,(\hat\theta_n-\theta_0)\xrightarrow{d}N\Bigl(0,\frac1{I(\theta_0)}\Bigr). $$ 標本数 $n$ を増やしたとき、$\sqrt n(\hat\theta_n-\theta_0)$ の分布が正規分布へ近づく様子を、指数分布の最尤推定量（$\hat\lambda_n=1/\bar X_n$、$I(\lambda)=1/\lambda^2$）で見てみます。$n$ が小さいうちは左右非対称ですが、$n$ が大きくなると破線の正規分布に重なっていきます。
標本数 n を 1 から 500 へ増やすと、指数分布の最尤推定量を √n 倍してずらした分布の密度が、右に裾の長い非対称な形から、標準正規分布の密度にほぼ重なる左右対称の釣鐘形へ変わっていく動画
$\ell_n$ を $\theta_0$ のまわりでテイラー展開する（、ラグランジュの剰余）。$\hat\theta=\hat\theta_n$ が $\theta_0$ の近傍にあるとき、$\theta^*$ を $\theta_0$ と $\hat\theta$ のあいだの点として $$ 0=\ell_n'(\hat\theta)=\ell_n'(\theta_0)+(\hat\theta-\theta_0)\ell_n''(\theta_0)+\tfrac12(\hat\theta-\theta_0)^2\ell_n'''(\theta^*). $$ これを整理して $\sqrt n$ を掛けると $$ \sqrt n(\hat\theta-\theta_0)\Bigl[-\frac{\ell_n''(\theta_0)}n-\frac12(\hat\theta-\theta_0)\frac{\ell_n'''(\theta^*)}n\Bigr]=\frac{\ell_n'(\theta_0)}{\sqrt n}. $$ 右辺：$s(X_i;\theta_0)$ は i.i.d. で、 より平均 $0$、分散 $I(\theta_0)$ なので、 により右辺は $N(0,I(\theta_0))$ に分布収束する。左辺の括弧：第 1 項は、$-\partial_\theta^2\log f(X_i;\theta_0)$ が i.i.d. で平均 $I(\theta_0)$ なので、大数の弱法則により $I(\theta_0)$ に確率収束する。第 2 項は、(R5) より（$\hat\theta$ が近傍に入る確率が $1$ に近づくので）$|\ell_n'''(\theta^*)|/n\le\frac1n\sum M(X_i)\xrightarrow{P}E_{\theta_0}M<\infty$ で有界、$\hat\theta-\theta_0\xrightarrow{P}0$ なので、全体として $0$ に確率収束する。よって括弧は $I(\theta_0)>0$ に確率収束するから、 により $$ \sqrt n(\hat\theta-\theta_0)\xrightarrow{d}\frac{N(0,I(\theta_0))}{I(\theta_0)}=N\Bigl(0,\frac1{I(\theta_0)}\Bigr). $$ したがって MLE の漸近分散は の下界 $1/(nI)$ に等しく、**漸近有効**です。多母数でも、$\sqrt n(\hat\theta_n-\theta_0)\to N(0,I(\theta_0)^{-1})$（$I$ は Fisher 情報行列）が同じ証明（多次元の中心極限定理は から従う）で成り立ちます。 $\hat\lambda=1/\bar X$ は $I(\lambda)=1/\lambda^2$ から $\sqrt n(\hat\lambda-\lambda)\to N(0,\lambda^2)$ 。これで漸近的な標準誤差 $\hat\lambda/\sqrt n$ が得られる。$n=100$、$\hat\lambda=2$ なら標準誤差は $0.2$ で、約 $95\%$ の確率で真の値は $2\pm0.4$ にある（[検定と区間推定](/mathematics/mathematical-statistics/hypothesis-testing)で信頼区間として整理します）。 ## 7. delta 法 推定したいのが $\theta$ そのものではなく、その関数 $g(\theta)$ のとき、MLE は $g(\hat\theta_n)$ です（同変性）。その漸近分布を与えるのが delta 法です。 方針は、$T_n$ が $\theta$ の近くにあるので、$g$ を 1 次式で近似すれば、定数倍した正規分布が出る、というものです。証明に出てくる「緊密」は、確率が際限なく大きな値へ逃げていかないという性質のことです。 確率変数列 $T_n$ が $\sqrt n(T_n-\theta)\xrightarrow{d}N(0,\sigma^2)$ をみたし、$g$ が $\theta$ で微分可能とする。このとき $$ \sqrt n\bigl(g(T_n)-g(\theta)\bigr)\xrightarrow{d}N\bigl(0,\,g'(\theta)^2\sigma^2\bigr). $$ 微分可能性（ で書くと）$g(t)=g(\theta)+g'(\theta)(t-\theta)+r(t)(t-\theta)$、$r(t)\to0$（$t\to\theta$）、$r(\theta)=0$ と書ける。$T_n-\theta=n^{-1/2}\cdot\sqrt n(T_n-\theta)$ で、$\sqrt n(T_n-\theta)$ は分布収束するので有界（緊密）。したがって $T_n\to\theta$ （確率収束；Slutsky で $n^{-1/2}\times$ 緊密）。$r$ は $\theta$ で連続なので $r(T_n)\xrightarrow{P}0$（連続写像による確率収束の保存）。よって $$ \sqrt n\bigl(g(T_n)-g(\theta)\bigr)=g'(\theta)\sqrt n(T_n-\theta)+r(T_n)\cdot\sqrt n(T_n-\theta). $$ 第 2 項は「$0$ に確率収束するものと分布収束するものの積」で $0$ に確率収束する（）。第 1 項は $g'(\theta)N(0,\sigma^2)=N(0,g'(\theta)^2\sigma^2)$ に分布収束し、スルツキーの定理で和も同じ極限に収束する。 (i) **ポアソン**：$\sqrt n(\bar X-\lambda)\to N(0,\lambda)$。$g(x)=\sqrt x$、$g'(\lambda)=\frac1{2\sqrt\lambda}$ から $\sqrt n(\sqrt{\bar X}-\sqrt\lambda)\to N(0,\tfrac14)$。分散が母数 $\lambda$ に依存しない（$\sqrt{\bar X}$ で信頼区間を作れば $\lambda$ の値によらず同じ幅）。(ii) **ベルヌーイ**：$\sqrt n(\bar X-p)\to N(0,p(1-p))$、$g(p)=\arcsin\sqrt p$、$g'(p)=\frac1{2\sqrt{p(1-p)}}$ から $\sqrt n(\arcsin\sqrt{\bar X}-\arcsin\sqrt p)\to N(0,\tfrac14)$。(iii) **対数オッズ**：$g(p)=\log\frac p{1-p}$、$g'=\frac1{p(1-p)}$ から $\sqrt n(\widehat{g}-g)\to N\bigl(0,\frac1{p(1-p)}\bigr)$。標準誤差 $\sqrt{1/(n\hat p(1-\hat p))}$。 ## 8. ベイズ推定 ここまでの**頻度論的**推定は、母数 $\theta$ を未知の定数と考えました。**ベイズ推定**は、$\theta$ 自体を確率変数とみて、事前分布 $\pi$ を置きます。 母数空間 $\Theta$ 上の確率測度 $\pi$（密度 $\pi(\theta)$）を**事前分布**とし、$\theta\sim\pi$ のもとで $X\mid\theta\sim f(\cdot\mid\theta)$ とする。観測 $x$ を与えたときの $\theta$ の条件付き分布を**事後分布**といい、その密度は $$ \pi(\theta\mid x)=\frac{f(x\mid\theta)\pi(\theta)}{\int f(x\mid\theta')\pi(\theta')\,d\theta'}\ \propto\ f(x\mid\theta)\,\pi(\theta) $$ （ベイズの定理）。損失 $L(\theta,d)$ のもとで、ベイズリスク $r(\pi,\delta)=E[L(\theta,\delta(X))]$（$\theta$ と $X$ の同時分布にわたる期待値）を最小にする推定量 $\delta$ を**ベイズ推定量**という。 ベイズリスクは、損失を事前分布で重みづけして平均したもの、つまり推定量のよさを 1 つの数にまとめたものです。次の定理のねらいは、二乗損失ならその最小を与える推定量が事後平均であることを示すことです。方針は、二乗誤差を「事後平均からのずれ」と「事後平均のまわりのばらつき」に分けることで、そこで[条件付き期待値](/mathematics/probability/conditional-expectation#def-cond-exp)の直交射影としての性質を使います。 二乗損失 $L(\theta,d)=(\theta-d)^2$ で $E\theta^2<\infty$ のとき、ベイズ推定量は事後平均 $\hat\theta_B(x)=E[\theta\mid X=x]$ で、一意である。ベイズリスクは $E[\mathrm{Var}(\theta\mid X)]$。 任意の推定量 $\delta(X)$ に対し、 より、$E[(\theta-\delta)^2]=E[(\theta-E[\theta\mid X])^2]+E[(E[\theta\mid X]-\delta(X))^2]$（交差項は $\delta-E[\theta\mid X]$ が $X$ の関数であることから $0$）。第 1 項は $\delta$ によらず $E[\mathrm{Var}(\theta\mid X)]$。第 2 項は $\delta=E[\theta\mid X]$ のとき（a.s. で）最小の $0$ となる。 事前分布と尤度の組合せで事後分布が同じ型の分布になるとき、その事前分布を**共役**といいます。 $\theta=p\sim\mathrm{Beta}(a,b)$（密度 $\propto p^{a-1}(1-p)^{b-1}$、$a,b>0$）、$X_1,\dots,X_n\mid p$ が i.i.d. $\mathrm{Bernoulli}(p)$、$t=\sum x_i$ とする。事後分布は $\mathrm{Beta}(a+t,\ b+n-t)$、ベイズ推定量（事後平均）は $$ \hat p_B=\frac{a+t}{a+b+n}=w\cdot\frac a{a+b}+(1-w)\,\bar x,\qquad w=\frac{a+b}{a+b+n}. $$ すなわち、事前平均と標本平均（MLE）の重み付き平均で、重みは事前分布の「見かけの標本数」$a+b$ と実際の標本数 $n$ の比で決まる。さらに $|\hat p_B-\bar x|\le\dfrac{a+b}n$ である。 事後密度は $f(x\mid p)\pi(p)\propto p^t(1-p)^{n-t}\cdot p^{a-1}(1-p)^{b-1}=p^{a+t-1}(1-p)^{b+n-t-1}$ で、これは $\mathrm{Beta}(a+t,b+n-t)$ の密度の核。ベータ分布 $\mathrm{Beta}(\alpha,\beta)$ の平均は $\alpha/(\alpha+\beta)$ （$\int_0^1p^{\alpha}(1-p)^{\beta-1}dp\big/\int_0^1p^{\alpha-1}(1-p)^{\beta-1}dp=\frac{B(\alpha+1,\beta)}{B(\alpha,\beta)}=\frac\alpha{\alpha+\beta}$。 と $\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$ による）なので、事後平均は $\frac{a+t}{a+b+n}$。$t=n\bar x$ を代入して式変形すれば重み付き平均の形を得る。最後に $\hat p_B-\bar x=\frac{a+t-\bar x(a+b+n)}{a+b+n}=\frac{a-\bar x(a+b)}{a+b+n}$ で、$0\le a\le a+b$、$0\le\bar x\le1$ なので分子の絶対値は $a+b$ 以下、分母は $n$ より大きい。 上のモデルで真の値を $p_0\in(0,1)$ とする（頻度論的な意味で $X_i\sim\mathrm{Bernoulli}(p_0)$）。このとき $\sqrt n(\hat p_B-p_0)\xrightarrow{d}N(0,p_0(1-p_0))$、すなわち MLE と同じ漸近分布をもつ。 より $\sqrt n|\hat p_B-\bar x|\le(a+b)/\sqrt n\to0$ だから、$\sqrt n(\hat p_B-p_0)=\sqrt n(\bar X-p_0)+\sqrt n(\hat p_B-\bar X)$ の第 2 項は $0$ に収束する。第 1 項は中心極限定理で $N(0,p_0(1-p_0))$ に分布収束し、スルツキーの定理で和も同じ極限に収束する。 $X_i\mid\theta\sim N(\theta,\sigma^2)$（$\sigma^2$ 既知）、$\theta\sim N(m,\tau^2)$。事後密度は $\exp\bigl[-\frac{(\theta-m)^2}{2\tau^2}-\frac{n(\bar x-\theta)^2}{2\sigma^2}\bigr]$ に比例（尤度は十分統計量 $\bar x$ を通じて $\propto\exp[-n(\bar x-\theta)^2/2\sigma^2]$）。$\theta$ について平方完成すると、事後分布は $N(m_n,\tau_n^2)$、 $$ \frac1{\tau_n^2}=\frac1{\tau^2}+\frac n{\sigma^2},\qquad m_n=\tau_n^2\Bigl(\frac m{\tau^2}+\frac{n\bar x}{\sigma^2}\Bigr). $$ **精度（分散の逆数）が足し算**になり、事後平均は事前平均と標本平均の精度による重み付き平均です。$n\to\infty$ で $\tau_n^2\approx\sigma^2/n$、$m_n\to\bar x$ となり、事前分布の影響は消えます。 一般に、事前分布が正の密度をもつ正則なモデルでは、事後分布は $n$ が大きいと MLE のまわりの正規分布 $N(\hat\theta_n,(nI(\hat\theta_n))^{-1})$ で近似できます（**Bernstein–von Mises の定理**。証明は省略します）。頻度論的な漸近理論とベイズ推定が、大標本では同じ結論に到達することの一般的な根拠です。 ## 9. 演習 $N(\mu,\sigma^2)$ で $\sigma^2$ 既知のとき $I(\mu)=1/\sigma^2$ を導き、$\bar X$ が の下界に達することを確かめよ。 $\log f=-\frac{(x-\mu)^2}{2\sigma^2}+\text{定数}$ から $s=\frac{x-\mu}{\sigma^2}$、$I=E[s^2]=\frac{\sigma^2}{\sigma^4}=\frac1{\sigma^2}$。下界 $\frac1{nI}=\frac{\sigma^2}n$ は $\mathrm{Var}(\bar X)=\sigma^2/n$ に等しい。 $\bar X$ を $\mathrm{Bernoulli}(p)$ の標本平均とする。$p(1-p)$ の推定量 $\bar X(1-\bar X)$ の漸近分布を、$p=\frac12$ のときと $p\ne\frac12$ のときで調べよ。 $g(x)=x(1-x)$、$g'(p)=1-2p$、$\sigma^2=p(1-p)$。$p\ne\frac12$ では により $\sqrt n(g(\bar X)-g(p))\to N(0,(1-2p)^2p(1-p))$。$p=\frac12$ では $g'=0$ で、極限は退化する（分散 $0$）。実際 $g(\bar X)-\frac14=-(\bar X-\frac12)^2$ なので $n\bigl(g(\bar X)-\tfrac14\bigr)=-\bigl(\sqrt n(\bar X-\tfrac12)\bigr)^2\to-\tfrac14Z^2$（$Z\sim N(0,1)$）。収束の速さが $n$ に変わる。 のモデルで $a=b=1$（一様事前分布）とするとき、事後平均 $\hat p_B=\frac{t+1}{n+2}$ の（頻度論的な）MSE を $p$ の関数として書き、$\bar X$ の MSE $\frac{p(1-p)}n$ と比べよ。 $E\hat p_B=\frac{np+1}{n+2}$、偏り $b=\frac{np+1}{n+2}-p=\frac{1-2p}{n+2}$、分散 $\frac{np(1-p)}{(n+2)^2}$。$\mathrm{MSE}=\frac{np(1-p)+(1-2p)^2}{(n+2)^2}$。$p=\frac12$ では $\frac{n/4}{(n+2)^2}<\frac1{4n}$ で $\bar X$ より小さい。$p$ が $0$ か $1$ に近いと $\mathrm{MSE}\approx\frac1{(n+2)^2}$ は $\bar X$（$\approx0$）より大きい。どちらが良いかは $p$ に依存し、一様に良い推定量は存在しない。 ## 参考文献 - Erich L. Lehmann and George Casella, *Theory of Point Estimation*, 2nd ed., Springer, 1998 — 第 6 章（漸近的最適性）、第 5 章（ベイズ推定）。 - A. W. van der Vaart, *Asymptotic Statistics*, Cambridge University Press, 1998 — 第 3 章（delta 法）、第 5 章（M 推定量と MLE）。 - Peter J. Bickel and Kjell A. Doksum, *Mathematical Statistics*, Vol. I, 2nd ed., CRC Press, 2015 — 第 3 章（Cramér–Rao）。 - Harald Cramér, *Mathematical Methods of Statistics*, Princeton University Press, 1946 — MLE の一致性と漸近正規性の古典的な証明。 - George Casella and Roger L. Berger, *Statistical Inference*, 2nd ed., Duxbury, 2002 — 第 7 章、第 10 章。