点推定と漸近理論：最尤推定、Cramér–Rao の下界、漸近正規性、delta 法、ベイズ推定

0. この記事の要点

コイン投げを 100 回して表が 60 回出たとき、「表の出る確率はおよそ 0.6」と見積もるのは自然です。ではその見積もりは、どれくらい当たっているのでしょうか。回数を増やせば、見積もりのずれはどのくらい小さくなるのでしょうか。この記事は、見積もりの作り方（最尤推定）と、ずれの大きさにこれ以上は小さくできない限界があること、そして回数が多いときにはずれがほぼ正規分布に従うことを、順に示します。読み終えると、推定値に添える「誤差の目安」を自分で計算できるようになります。

• 最尤推定量は、観測データの確率（尤度）を最大にする母数です。尤度の対数の微分 $s=\partial_\theta\log f$（スコア。尤度の山の傾きを表す量）の分散が Fisher 情報 $I(\theta)$ で、$I(\theta)=-E[\partial_\theta^2\log f]$ とも書けます。
• Cramér–Rao の不等式：不偏推定量の分散は $\tau'(\theta)^2/(nI(\theta))$ 以上です。コーシー–シュワルツ不等式の 1 行で示せます。
• 正則条件のもとで、最尤推定方程式の根の列で 一致するものが存在し（Cramér の定理）、それは $\sqrt n(\hat\theta_n-\theta_0)\to N(0,1/I(\theta_0))$ という 漸近正規性をもちます。したがって漸近分散が Cramér–Rao の下界に達します（漸近有効）。
• delta 法：$\sqrt n(T_n-\theta)\to N(0,\sigma^2)$ ならば、微分可能な $g$ について $\sqrt n(g(T_n)-g(\theta))\to N(0,g'(\theta)^2\sigma^2)$。分散安定化変換や、推定量の関数の信頼区間に使います。
• ベイズ推定では母数に事前分布を置き、事後分布で推測します。二乗損失での最適推定量は事後平均で、ベルヌーイ試行のベータ事前分布では、事後平均と最尤推定量の差は $O(1/n)$、漸近分布は同じになります。

この記事で使う事前知識

• 十分統計量: 母数についてデータが持つ情報を、すべて保っている要約量のこと。→ 十分統計量
• 推定量・偏り: データから母数を見積もる規則が推定量で、その期待値と真の値との差が偏りです。→ 推定量
• UMVUE: 不偏推定量のうち、どの母数の値でも分散がいちばん小さいもの。→ 前の記事
• 確率収束・分布収束: 確率変数の列が、ある値に近づく、またはある分布の形に近づくという 2 通りの収束です。→ 確率収束、分布収束
• 条件付き期待値: ある情報を知ったうえでの、確率変数の平均的な値。→ 条件付き期待値

1. 動機

前の記事では、不偏推定量の中で分散が最小のものを、十分統計量と完備性で構成しました。しかし、この方法には限界があります。(1) UMVUE（一様最小分散不偏推定量）は、完備十分統計量が存在する特殊な場合にしか使えません。(2) 不偏性は絶対的な要請ではなく、偏りを少し許して MSE が下がるなら、そのほうが良いこともあります。(3) 実務では、母数が複雑な関数 $g(\theta)$ で与えられる場合が多く、UMVUE の計算は難しくなります。

そこで、標本数 $n$ が大きいときの漸近的な性質に目を向けます。ほとんどのモデルで、尤度を最大化するという単純な規則（最尤推定）が、$n\to\infty$ で最良の精度（Cramér–Rao の下界）に達する。この事実を、中心極限定理（大数の法則と中心極限定理）とテイラー展開だけから証明するのがこの記事の山場です。最後にベイズ推定を扱い、頻度論的な推定と漸近的に一致することを見ます。

以下、i.i.d. 標本 $X_1,\dots,X_n\sim f(x;\theta)$（$\theta\in\Theta\subset\mathbb R$、1 母数）を考えます。多母数への拡張は、各所で注意します。

2. 尤度と最尤推定

定義 2.1（尤度・対数尤度・スコア・最尤推定量）↗

観測 $x=(x_1,\dots,x_n)$ に対し、尤度関数を $L_n(\theta)=\prod_{i=1}^nf(x_i;\theta)$、対数尤度を $\ell_n(\theta)=\sum_i\log f(x_i;\theta)$ とする。スコア関数は $s(x;\theta)=\partial_\theta\log f(x;\theta)$、標本全体のスコアは $\ell_n'(\theta)=\sum_is(x_i;\theta)$。$L_n$（または $\ell_n$）を最大にする $\hat\theta_n=\hat\theta_n(x)$ を最尤推定量（MLE）といい、微分可能な場合は尤度方程式 $\ell_n'(\theta)=0$ の根として求める。

例 2.2（基本的な最尤推定量）

(i) ベルヌーイ：$\ell_n=t\log p+(n-t)\log(1-p)$（$t=\sum x_i$）、$\ell_n'=t/p-(n-t)/(1-p)=0$ から $\hat p=\bar x$。(ii) 正規 $N(\mu,\sigma^2)$：$\hat\mu=\bar x$、$\hat\sigma^2=\frac1n\sum(x_i-\bar x)^2$（不偏でない：$E\hat\sigma^2=\frac{n-1}n\sigma^2$）。(iii) 指数分布 $\mathrm{Exp}(\lambda)$：$\ell_n=n\log\lambda-\lambda\sum x_i$ から $\hat\lambda=1/\bar x$。$T=\sum X_i\sim\mathrm{Gamma}(n,\lambda)$ で $E[1/T]=\lambda/(n-1)$ なので $E\hat\lambda=\frac n{n-1}\lambda$、偏りをもつ。(iv) 一様 $U(0,\theta)$：尤度 $\theta^{-n}\mathbf 1\{\theta\ge\max x_i\}$ は $\theta=\max x_i$ で最大（微分可能でない）、$\hat\theta=M$。$E M=\frac n{n+1}\theta$ で偏りをもち、$\mathrm{MSE}=\frac{2\theta^2}{(n+1)(n+2)}$ は UMVUE $\frac{n+1}nM$ の $\frac{\theta^2}{n(n+2)}$ より大きい。

最尤推定量は、母数の 1 対 1 変換に関して同変です。$\psi=g(\theta)$ が 1 対 1 なら、$\psi$ に関する尤度の最大は $g(\hat\theta)$ で達成されます。たとえば $\hat\sigma=\sqrt{\hat\sigma^2}$ です。

3. Fisher 情報

以下の議論に必要な正則条件をまとめておきます。五つ並びますが、ねらいは、積分と微分の順序を入れ替えてよいこと、台（密度が正になる範囲）が母数によらないこと、微分の剰余が抑えられることを保証する技術的な仮定です。(R1) の $\sigma$-有限測度は、離散分布なら数え上げ、連続分布なら通常の積分のことと読んで構いません。

定義 3.1（正則条件（R））↗

母数空間 $\Theta$ は開区間で、真の値を $\theta_0\in\Theta$ とする。

• (R1) すべての $P_\theta$ は、共通の $\sigma$-有限測度 $\mu$ に関する密度 $f(x;\theta)$ をもち、台 $\{f>0\}$ は $\theta$ によらない。$\theta\ne\theta'$ なら $P_\theta\ne P_{\theta'}$（識別可能）。
• (R2) $\theta\mapsto\log f(x;\theta)$ は $C^3$ 級。
• (R3) $\int f\,d\mu=1$ を $\theta$ で 2 回、積分記号の下で微分できる：$\int\partial_\theta f\,d\mu=0$、$\int\partial_\theta^2f\,d\mu=0$。また、$E_\theta T^2<\infty$ なる任意の統計量 $T$ について（$T$ は標本 $X_1,\dots,X_n$ の関数でもよく、その場合は積測度と同時密度 $\prod f(x_i;\theta)$ で考える）、$\theta\mapsto E_\theta T$ は微分可能で $\frac d{d\theta}E_\theta T=\int T\,\partial_\theta f\,d\mu$。
• (R4) $0<I(\theta)<\infty$。ここで $I(\theta)=E_\theta[s(X;\theta)^2]$。
• (R5) $\theta_0$ の近傍で $|\partial_\theta^3\log f(x;\theta)|\le M(x)$、$E_{\theta_0}M(X)<\infty$。また、各 $\theta\in\Theta$ で $E_{\theta_0}|\log f(X;\theta)|<\infty$。

これらは、指数型分布族の内点で成り立ちます（積分記号下の微分は 定理 4.5［統計モデルと十分統計量］ の評価で正当化）。一様分布 $U(0,\theta)$ のように台が $\theta$ に依存するモデルでは (R1) が破れます。

補題 3.2（スコアの平均と分散）✓

(R1)–(R4) のもとで $E_\theta[s(X;\theta)]=0$ かつ

$$I(\theta)=\mathrm{Var}_\theta\bigl(s(X;\theta)\bigr)=-E_\theta\bigl[\partial_\theta^2\log f(X;\theta)\bigr].$$

$n$ 個の i.i.d. 標本では、$\ell_n'$ の分散は $nI(\theta)$ である。

証明（補題 3.2）

$\int f\,d\mu=1$ を微分した $\int\partial_\theta f\,d\mu=0$ と、$\partial_\theta f=s\,f$ から $E_\theta s=\int sf\,d\mu=0$。よって $\mathrm{Var}(s)=E[s^2]=I(\theta)$。もう一度微分した $\int\partial_\theta^2f\,d\mu=0$ で、$\partial_\theta^2f=\partial_\theta(sf)=(\partial_\theta s+s^2)f$ なので $E[\partial_\theta s]+E[s^2]=0$、$\partial_\theta s=\partial_\theta^2\log f$ だから第 2 の等式を得る。i.i.d. では分散が加法的。

∎

Fisher 情報は、対数尤度の曲率（尤度のピークの鋭さ）の期待値です。ピークが鋭いほど、データは母数について多くを語ります。

ベルヌーイ試行の対数尤度（最大値を 0 に揃えた相対対数尤度）。標本比率 0.6 で n = 10（広い山）と n = 40（細い山）。山の頂上の曲率が観測された Fisher 情報で、n に比例して鋭くなる。

命題 3.3（Fisher 情報の変換則）✓

母数を $\theta=\theta(\eta)$（微分可能な 1 対 1 写像）と取り替えると、$I_\eta(\eta)=I_\theta(\theta(\eta))\,\theta'(\eta)^2$ である。

証明（命題 3.3）

連鎖律より $\partial_\eta\log f(x;\theta(\eta))=s(x;\theta)\,\theta'(\eta)$。2 乗の期待値をとる。

∎

例 3.4（代表的な分布の Fisher 情報）

• ベルヌーイ：$s=\frac xp-\frac{1-x}{1-p}$、$I(p)=\frac1{p(1-p)}$。
• ポアソン：$\partial_\lambda^2\log f=-x/\lambda^2$、$I(\lambda)=1/\lambda$。
• 正規（$\sigma^2$ 既知）：$I(\mu)=1/\sigma^2$。$\mu$ 既知で $\sigma^2$ が母数なら $I(\sigma^2)=\frac1{2\sigma^4}$。
• 指数：$I(\lambda)=1/\lambda^2$。
• 自然母数 $\eta$ の指数型分布族：$\partial_\eta^2\log f=-A''(\eta)$ なので $I(\eta)=A''(\eta)=\mathrm{Var}(T)$（定理 4.5［統計モデルと十分統計量］）。

4. Cramér–Rao の不等式

この節のねらいは、不偏推定量の分散には、どんな工夫をしてもこれ以下にはできない限界があることを示すことです。証明の方針は、推定量 $T$ とスコアの共分散を計算し、それにコーシー・シュワルツ不等式を使うだけです。共分散は「$T$ とスコアがどれだけ一緒に動くか」を表す量で、スコアの平均が $0$ なので $E[T\ell_n']$ に一致します。

定理 4.1（Cramér–Rao の不等式）✓

(R1)–(R4) のもとで、$\tau(\theta)$ の不偏推定量 $T=T(X_1,\dots,X_n)$（$E_\theta T^2<\infty$）の分散は

$$\mathrm{Var}_\theta(T)\ge\frac{\tau'(\theta)^2}{n\,I(\theta)}$$

を満たす。等号は、ある関数 $c(\theta)$ について $T-\tau(\theta)=c(\theta)\,\ell_n'(\theta)$ が $P_\theta$-a.s. で成り立つときに限る。

証明（定理 4.1）

同時密度 $f_n(x;\theta)=\prod f(x_i;\theta)$ について (R3) を使うと、$\tau'(\theta)=\frac d{d\theta}E_\theta T=\int T\,\partial_\theta f_n\,d\mu^n=E_\theta[T\,\ell_n']$。補題 3.2 より $E_\theta\ell_n'=0$ なので、これは $\mathrm{Cov}_\theta(T,\ell_n')$ に等しい。共分散のコーシー・シュワルツ不等式（定理 5.6）［確率変数と期待値］ から

$$\tau'(\theta)^2=\mathrm{Cov}(T,\ell_n')^2\le\mathrm{Var}(T)\,\mathrm{Var}(\ell_n')=\mathrm{Var}(T)\cdot nI(\theta).$$

等号は $T-E T$ と $\ell_n'$ が（確率 1 で）1 次従属のときに限る。

∎

$\tau(\theta)=\theta$ なら下界は $1/(nI(\theta))$ です。偏りのある推定量でも、偏りを $b(\theta)$ として、$\tau=\theta+b(\theta)$ に適用して $\mathrm{Var}\ge(1+b')^2/(nI)$。下界に達する不偏推定量を有効推定量といいます。

例 4.2（下界に達する例と達しない例）

(i) ポアソン：$\bar X$ は不偏で $\mathrm{Var}=\lambda/n=1/(nI(\lambda))$ で、下界に達する。(ii) ベルヌーイ：$\mathrm{Var}(\bar X)=p(1-p)/n=1/(nI(p))$ で達する。(iii) 正規で $\mu$ 既知：$S_0/n$（$S_0=\sum(X_i-\mu)^2\sim\sigma^2\chi^2_n$）の分散は $2\sigma^4/n$ で、$1/(nI(\sigma^2))=2\sigma^4/n$ に達する。(iv) 正規で $\mu$ 未知：$S^2$ は UMVUE（例 6.6［統計モデルと十分統計量］）で $\mathrm{Var}(S^2)=\frac{2\sigma^4}{n-1}>\frac{2\sigma^4}n$。UMVUE でも下界に達しない例になっている。(v) 一様 $U(0,\theta)$：UMVUE の分散 $\theta^2/(n(n+2))$ は $n^{-2}$ のオーダーで、$n^{-1}$ のオーダーの下界を「破る」。(R1) の台が $\theta$ に依存し、(R3) の微分の交換ができないためである。

下界に達するのは、スコアが $T-\tau$ に比例する場合、すなわち指数型分布族の場合だけです（等号条件を $\theta$ で積分すれば $\log f_n$ が $\theta$ について $T$ に関して線形の形になるため）。

5. 最尤推定量の一致性

この節のねらいは、$n$ が大きいとき、尤度方程式に真の値 $\theta_0$ のすぐそばの根があることを示すことです。方針は、$\theta_0$ の左右の点より $\theta_0$ のほうが対数尤度が高い確率が 1 に近づくことから、その間のどこかに対数尤度の山があり、そこで微分が $0$ になる、というものです。結論は確率収束の意味での一致性です。

補題 5.1（Kullback–Leibler の不等式）✓

(R1)、(R5) のもとで、$\theta\ne\theta_0$ なら $K(\theta)=E_{\theta_0}\bigl[\log\frac{f(X;\theta)}{f(X;\theta_0)}\bigr]<0$ である。

証明（補題 5.1）

$u=f(X;\theta)/f(X;\theta_0)$ とおく。$E_{\theta_0}u=\int_{\{f(\cdot;\theta_0)>0\}}f(x;\theta)\,d\mu=1$（台が共通）。不等式 $\log u\le u-1$ は等号が $u=1$ のときに限る（$\log$ の厳密な凹性）。識別可能性から $P_{\theta_0}(u\ne1)>0$ なので、$E_{\theta_0}[(u-1)-\log u]>0$。ゆえに $E_{\theta_0}\log u<E_{\theta_0}(u-1)=0$。

∎

なお、次の定理の証明の最後にある $N_k$ の選び方は、$\delta$ を小さくしていく各段階で得た根を、$n$ が大きくなるにつれて順に切り替えて、1 本の列 $\hat\theta_n$ にまとめる手続きです。

定理 5.2（尤度方程式の一致する根の存在（Cramér））✓

(R1)、(R2)、(R5) のもとで、尤度方程式 $\ell_n'(\theta)=0$ の根の列 $\hat\theta_n$ で、$\hat\theta_n\to\theta_0$（確率収束）となるものが存在する。

証明（定理 5.2）

$\delta>0$ を $[\theta_0-\delta,\theta_0+\delta]\subset\Theta$ となるようにとる。補題 5.1 により $K(\theta_0\pm\delta)<0$ で、(R5) より有限。大数の弱法則（定理 4.1）［大数の法則と中心極限定理］ から

$$\frac1n\bigl(\ell_n(\theta_0\pm\delta)-\ell_n(\theta_0)\bigr)=\frac1n\sum_{i=1}^n\log\frac{f(X_i;\theta_0\pm\delta)}{f(X_i;\theta_0)}\xrightarrow{P}K(\theta_0\pm\delta)<0.$$

したがって、事象 $G_n(\delta)=\{\ell_n(\theta_0)>\ell_n(\theta_0-\delta)\ \text{かつ}\ \ell_n(\theta_0)>\ell_n(\theta_0+\delta)\}$ の確率は $1$ に収束する。$G_n(\delta)$ 上では、連続関数 $\ell_n$ の閉区間 $[\theta_0-\delta,\theta_0+\delta]$ での最大値は両端点ではなく内点で達成され、そこで $\ell_n'=0$（$\ell_n$ は $C^1$）。そのような根のうち $\theta_0$ に最も近いものを $\hat\theta_n^{(\delta)}$ とすると $P(|\hat\theta_n^{(\delta)}-\theta_0|<\delta)\to1$。$\delta_k=1/k$ として、$n\ge N_k$ のとき $P(G_n(\delta_k))\ge1-1/k$ となるように $N_1<N_2<\cdots$ を選び、$N_k\le n<N_{k+1}$ で $\hat\theta_n=\hat\theta_n^{(\delta_k)}$ とおく（根が無い事象上では任意）。任意の $\varepsilon>0$ に対し $\delta_k<\varepsilon$ となる $k$ から先で $P(|\hat\theta_n-\theta_0|<\varepsilon)\ge1-1/k$ なので、$\hat\theta_n\to\theta_0$ （確率収束）。

∎

注意 5.3（根が 1 つなら MLE そのもの）

尤度方程式の根がただ 1 つなら、それが一致する根です。指数型分布族の自然母数では $\ell_n''=-nA''(\eta)<0$ で対数尤度が狭義凹なので、根は一意（あれば MLE）です。一般には、複数の根のうちどれが一致するかは別の判定が要り、最大の尤度を与える根が常にそうとは限りません。

6. 最尤推定量の漸近正規性

この節のねらいは、推定の誤差 $\hat\theta_n-\theta_0$ の形を知ることです。方針は、尤度方程式を $\theta_0$ のまわりでテイラー展開し、誤差を「スコアの和」を「2 階微分の平均」で割ったものとして表すことです。スコアの和には中心極限定理が、2 階微分の平均には大数の法則が効きます。3 階微分の項には $\hat\theta-\theta_0\to0$ が掛かるので、極限では消えます。結論は分布収束の形で述べます。

定理 6.1（MLE の漸近正規性）✓

(R1)–(R5) のもとで、定理 5.2 の一致する根 $\hat\theta_n$ について

$$\sqrt n\,(\hat\theta_n-\theta_0)\xrightarrow{d}N\Bigl(0,\frac1{I(\theta_0)}\Bigr).$$

標本数 $n$ を増やしたとき、$\sqrt n(\hat\theta_n-\theta_0)$ の分布が正規分布へ近づく様子を、指数分布の最尤推定量（$\hat\lambda_n=1/\bar X_n$、$I(\lambda)=1/\lambda^2$）で見てみます。$n$ が小さいうちは左右非対称ですが、$n$ が大きくなると破線の正規分布に重なっていきます。

指数分布 Exp(1) の最尤推定量について、√n(λ̂ₙ − 1) の厳密な密度（青）と極限の N(0, 1/I) = N(0, 1)（赤の破線）。n = 1 から 500 まで増やす。

証明（定理 6.1）

$\ell_n$ を $\theta_0$ のまわりでテイラー展開する（テイラーの定理（定理 5.3）［平均値の定理とテイラーの定理］、ラグランジュの剰余）。$\hat\theta=\hat\theta_n$ が $\theta_0$ の近傍にあるとき、$\theta^*$ を $\theta_0$ と $\hat\theta$ のあいだの点として

$$0=\ell_n'(\hat\theta)=\ell_n'(\theta_0)+(\hat\theta-\theta_0)\ell_n''(\theta_0)+\tfrac12(\hat\theta-\theta_0)^2\ell_n'''(\theta^*).$$

これを整理して $\sqrt n$ を掛けると

$$\sqrt n(\hat\theta-\theta_0)\Bigl[-\frac{\ell_n''(\theta_0)}n-\frac12(\hat\theta-\theta_0)\frac{\ell_n'''(\theta^*)}n\Bigr]=\frac{\ell_n'(\theta_0)}{\sqrt n}.$$

右辺：$s(X_i;\theta_0)$ は i.i.d. で、補題 3.2 より平均 $0$、分散 $I(\theta_0)$ なので、中心極限定理（定理 5.6）［大数の法則と中心極限定理］ により右辺は $N(0,I(\theta_0))$ に分布収束する。左辺の括弧：第 1 項は、$-\partial_\theta^2\log f(X_i;\theta_0)$ が i.i.d. で平均 $I(\theta_0)$ なので、大数の弱法則により $I(\theta_0)$ に確率収束する。第 2 項は、(R5) より（$\hat\theta$ が近傍に入る確率が $1$ に近づくので）$|\ell_n'''(\theta^*)|/n\le\frac1n\sum M(X_i)\xrightarrow{P}E_{\theta_0}M<\infty$ で有界、$\hat\theta-\theta_0\xrightarrow{P}0$ なので、全体として $0$ に確率収束する。よって括弧は $I(\theta_0)>0$ に確率収束するから、スルツキーの定理（命題 6.1）［大数の法則と中心極限定理］ により

$$\sqrt n(\hat\theta-\theta_0)\xrightarrow{d}\frac{N(0,I(\theta_0))}{I(\theta_0)}=N\Bigl(0,\frac1{I(\theta_0)}\Bigr).$$∎

したがって MLE の漸近分散は 定理 4.1 の下界 $1/(nI)$ に等しく、漸近有効です。多母数でも、$\sqrt n(\hat\theta_n-\theta_0)\to N(0,I(\theta_0)^{-1})$（$I$ は Fisher 情報行列）が同じ証明（多次元の中心極限定理は Cramér–Wold の方法（系 4.9）［特性関数と Gauss ベクトル］ から従う）で成り立ちます。

例 6.2（指数分布のレート推定）

$\hat\lambda=1/\bar X$ は $I(\lambda)=1/\lambda^2$ から $\sqrt n(\hat\lambda-\lambda)\to N(0,\lambda^2)$ 。これで漸近的な標準誤差 $\hat\lambda/\sqrt n$ が得られる。$n=100$、$\hat\lambda=2$ なら標準誤差は $0.2$ で、約 $95\%$ の確率で真の値は $2\pm0.4$ にある（検定と区間推定で信頼区間として整理します）。

7. delta 法

推定したいのが $\theta$ そのものではなく、その関数 $g(\theta)$ のとき、MLE は $g(\hat\theta_n)$ です（同変性）。その漸近分布を与えるのが delta 法です。

方針は、$T_n$ が $\theta$ の近くにあるので、$g$ を 1 次式で近似すれば、定数倍した正規分布が出る、というものです。証明に出てくる「緊密」は、確率が際限なく大きな値へ逃げていかないという性質のことです。

定理 7.1（delta 法）✓

確率変数列 $T_n$ が $\sqrt n(T_n-\theta)\xrightarrow{d}N(0,\sigma^2)$ をみたし、$g$ が $\theta$ で微分可能とする。このとき

$$\sqrt n\bigl(g(T_n)-g(\theta)\bigr)\xrightarrow{d}N\bigl(0,\,g'(\theta)^2\sigma^2\bigr).$$

証明（定理 7.1）

微分可能性（ランダウの $o$ 記号（定義 5.4）［平均値の定理とテイラーの定理］ で書くと）$g(t)=g(\theta)+g'(\theta)(t-\theta)+r(t)(t-\theta)$、$r(t)\to0$（$t\to\theta$）、$r(\theta)=0$ と書ける。$T_n-\theta=n^{-1/2}\cdot\sqrt n(T_n-\theta)$ で、$\sqrt n(T_n-\theta)$ は分布収束するので有界（緊密）。したがって $T_n\to\theta$ （確率収束；Slutsky で $n^{-1/2}\times$ 緊密）。$r$ は $\theta$ で連続なので $r(T_n)\xrightarrow{P}0$（連続写像による確率収束の保存）。よって

$$\sqrt n\bigl(g(T_n)-g(\theta)\bigr)=g'(\theta)\sqrt n(T_n-\theta)+r(T_n)\cdot\sqrt n(T_n-\theta).$$

第 2 項は「$0$ に確率収束するものと分布収束するものの積」で $0$ に確率収束する（スルツキーの定理（命題 6.1）［大数の法則と中心極限定理］）。第 1 項は $g'(\theta)N(0,\sigma^2)=N(0,g'(\theta)^2\sigma^2)$ に分布収束し、スルツキーの定理で和も同じ極限に収束する。

∎

例 7.2（分散安定化変換）

(i) ポアソン：$\sqrt n(\bar X-\lambda)\to N(0,\lambda)$。$g(x)=\sqrt x$、$g'(\lambda)=\frac1{2\sqrt\lambda}$ から $\sqrt n(\sqrt{\bar X}-\sqrt\lambda)\to N(0,\tfrac14)$。分散が母数 $\lambda$ に依存しない（$\sqrt{\bar X}$ で信頼区間を作れば $\lambda$ の値によらず同じ幅）。(ii) ベルヌーイ：$\sqrt n(\bar X-p)\to N(0,p(1-p))$、$g(p)=\arcsin\sqrt p$、$g'(p)=\frac1{2\sqrt{p(1-p)}}$ から $\sqrt n(\arcsin\sqrt{\bar X}-\arcsin\sqrt p)\to N(0,\tfrac14)$。(iii) 対数オッズ：$g(p)=\log\frac p{1-p}$、$g'=\frac1{p(1-p)}$ から $\sqrt n(\widehat{g}-g)\to N\bigl(0,\frac1{p(1-p)}\bigr)$。標準誤差 $\sqrt{1/(n\hat p(1-\hat p))}$。

8. ベイズ推定

ここまでの頻度論的推定は、母数 $\theta$ を未知の定数と考えました。ベイズ推定は、$\theta$ 自体を確率変数とみて、事前分布 $\pi$ を置きます。

定義 8.1（事前分布・事後分布・ベイズ推定量）↗

母数空間 $\Theta$ 上の確率測度 $\pi$（密度 $\pi(\theta)$）を事前分布とし、$\theta\sim\pi$ のもとで $X\mid\theta\sim f(\cdot\mid\theta)$ とする。観測 $x$ を与えたときの $\theta$ の条件付き分布を事後分布といい、その密度は

$$\pi(\theta\mid x)=\frac{f(x\mid\theta)\pi(\theta)}{\int f(x\mid\theta')\pi(\theta')\,d\theta'}\ \propto\ f(x\mid\theta)\,\pi(\theta)$$

（ベイズの定理）。損失 $L(\theta,d)$ のもとで、ベイズリスク $r(\pi,\delta)=E[L(\theta,\delta(X))]$（$\theta$ と $X$ の同時分布にわたる期待値）を最小にする推定量 $\delta$ をベイズ推定量という。

ベイズリスクは、損失を事前分布で重みづけして平均したもの、つまり推定量のよさを 1 つの数にまとめたものです。次の定理のねらいは、二乗損失ならその最小を与える推定量が事後平均であることを示すことです。方針は、二乗誤差を「事後平均からのずれ」と「事後平均のまわりのばらつき」に分けることで、そこで条件付き期待値の直交射影としての性質を使います。

定理 8.2（二乗損失のベイズ推定量は事後平均）✓

二乗損失 $L(\theta,d)=(\theta-d)^2$ で $E\theta^2<\infty$ のとき、ベイズ推定量は事後平均 $\hat\theta_B(x)=E[\theta\mid X=x]$ で、一意である。ベイズリスクは $E[\mathrm{Var}(\theta\mid X)]$。

証明（定理 8.2）

任意の推定量 $\delta(X)$ に対し、条件付き期待値は直交射影（定理 5.1）［条件付き期待値］ より、$E[(\theta-\delta)^2]=E[(\theta-E[\theta\mid X])^2]+E[(E[\theta\mid X]-\delta(X))^2]$（交差項は $\delta-E[\theta\mid X]$ が $X$ の関数であることから $0$）。第 1 項は $\delta$ によらず $E[\mathrm{Var}(\theta\mid X)]$。第 2 項は $\delta=E[\theta\mid X]$ のとき（a.s. で）最小の $0$ となる。

∎

事前分布と尤度の組合せで事後分布が同じ型の分布になるとき、その事前分布を共役といいます。

定理 8.3（ベータ–二項モデル）✓

$\theta=p\sim\mathrm{Beta}(a,b)$（密度 $\propto p^{a-1}(1-p)^{b-1}$、$a,b>0$）、$X_1,\dots,X_n\mid p$ が i.i.d. $\mathrm{Bernoulli}(p)$、$t=\sum x_i$ とする。事後分布は $\mathrm{Beta}(a+t,\ b+n-t)$、ベイズ推定量（事後平均）は

$$\hat p_B=\frac{a+t}{a+b+n}=w\cdot\frac a{a+b}+(1-w)\,\bar x,\qquad w=\frac{a+b}{a+b+n}.$$

すなわち、事前平均と標本平均（MLE）の重み付き平均で、重みは事前分布の「見かけの標本数」$a+b$ と実際の標本数 $n$ の比で決まる。さらに $|\hat p_B-\bar x|\le\dfrac{a+b}n$ である。

証明（定理 8.3）

事後密度は $f(x\mid p)\pi(p)\propto p^t(1-p)^{n-t}\cdot p^{a-1}(1-p)^{b-1}=p^{a+t-1}(1-p)^{b+n-t-1}$ で、これは $\mathrm{Beta}(a+t,b+n-t)$ の密度の核。ベータ分布 $\mathrm{Beta}(\alpha,\beta)$ の平均は $\alpha/(\alpha+\beta)$ （$\int_0^1p^{\alpha}(1-p)^{\beta-1}dp\big/\int_0^1p^{\alpha-1}(1-p)^{\beta-1}dp=\frac{B(\alpha+1,\beta)}{B(\alpha,\beta)}=\frac\alpha{\alpha+\beta}$。ベータ関数とガンマ関数の関係（定理 6.2）［広義積分・パラメータ積分とガンマ関数］ と $\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$ による）なので、事後平均は $\frac{a+t}{a+b+n}$。$t=n\bar x$ を代入して式変形すれば重み付き平均の形を得る。最後に $\hat p_B-\bar x=\frac{a+t-\bar x(a+b+n)}{a+b+n}=\frac{a-\bar x(a+b)}{a+b+n}$ で、$0\le a\le a+b$、$0\le\bar x\le1$ なので分子の絶対値は $a+b$ 以下、分母は $n$ より大きい。

∎

系 8.4（ベイズ推定量の漸近分布）✓

上のモデルで真の値を $p_0\in(0,1)$ とする（頻度論的な意味で $X_i\sim\mathrm{Bernoulli}(p_0)$）。このとき $\sqrt n(\hat p_B-p_0)\xrightarrow{d}N(0,p_0(1-p_0))$、すなわち MLE と同じ漸近分布をもつ。

証明（系 8.4）

定理 8.3 より $\sqrt n|\hat p_B-\bar x|\le(a+b)/\sqrt n\to0$ だから、$\sqrt n(\hat p_B-p_0)=\sqrt n(\bar X-p_0)+\sqrt n(\hat p_B-\bar X)$ の第 2 項は $0$ に収束する。第 1 項は中心極限定理で $N(0,p_0(1-p_0))$ に分布収束し、スルツキーの定理で和も同じ極限に収束する。

∎

例 8.5（正規分布の平均の共役事前分布）

$X_i\mid\theta\sim N(\theta,\sigma^2)$（$\sigma^2$ 既知）、$\theta\sim N(m,\tau^2)$。事後密度は $\exp\bigl[-\frac{(\theta-m)^2}{2\tau^2}-\frac{n(\bar x-\theta)^2}{2\sigma^2}\bigr]$ に比例（尤度は十分統計量 $\bar x$ を通じて $\propto\exp[-n(\bar x-\theta)^2/2\sigma^2]$）。$\theta$ について平方完成すると、事後分布は $N(m_n,\tau_n^2)$、

$$\frac1{\tau_n^2}=\frac1{\tau^2}+\frac n{\sigma^2},\qquad m_n=\tau_n^2\Bigl(\frac m{\tau^2}+\frac{n\bar x}{\sigma^2}\Bigr).$$

精度（分散の逆数）が足し算になり、事後平均は事前平均と標本平均の精度による重み付き平均です。$n\to\infty$ で $\tau_n^2\approx\sigma^2/n$、$m_n\to\bar x$ となり、事前分布の影響は消えます。

一般に、事前分布が正の密度をもつ正則なモデルでは、事後分布は $n$ が大きいと MLE のまわりの正規分布 $N(\hat\theta_n,(nI(\hat\theta_n))^{-1})$ で近似できます（Bernstein–von Mises の定理。証明は省略します）。頻度論的な漸近理論とベイズ推定が、大標本では同じ結論に到達することの一般的な根拠です。

9. 演習

演習 9.1易

$N(\mu,\sigma^2)$ で $\sigma^2$ 既知のとき $I(\mu)=1/\sigma^2$ を導き、$\bar X$ が 定理 4.1 の下界に達することを確かめよ。

解答

$\log f=-\frac{(x-\mu)^2}{2\sigma^2}+\text{定数}$ から $s=\frac{x-\mu}{\sigma^2}$、$I=E[s^2]=\frac{\sigma^2}{\sigma^4}=\frac1{\sigma^2}$。下界 $\frac1{nI}=\frac{\sigma^2}n$ は $\mathrm{Var}(\bar X)=\sigma^2/n$ に等しい。

演習 9.2標準

$\bar X$ を $\mathrm{Bernoulli}(p)$ の標本平均とする。$p(1-p)$ の推定量 $\bar X(1-\bar X)$ の漸近分布を、$p=\frac12$ のときと $p\ne\frac12$ のときで調べよ。

解答

$g(x)=x(1-x)$、$g'(p)=1-2p$、$\sigma^2=p(1-p)$。$p\ne\frac12$ では 定理 7.1 により $\sqrt n(g(\bar X)-g(p))\to N(0,(1-2p)^2p(1-p))$。$p=\frac12$ では $g'=0$ で、極限は退化する（分散 $0$）。実際 $g(\bar X)-\frac14=-(\bar X-\frac12)^2$ なので $n\bigl(g(\bar X)-\tfrac14\bigr)=-\bigl(\sqrt n(\bar X-\tfrac12)\bigr)^2\to-\tfrac14Z^2$（$Z\sim N(0,1)$）。収束の速さが $n$ に変わる。

演習 9.3標準

定理 8.3 のモデルで $a=b=1$（一様事前分布）とするとき、事後平均 $\hat p_B=\frac{t+1}{n+2}$ の（頻度論的な）MSE を $p$ の関数として書き、$\bar X$ の MSE $\frac{p(1-p)}n$ と比べよ。

解答

$E\hat p_B=\frac{np+1}{n+2}$、偏り $b=\frac{np+1}{n+2}-p=\frac{1-2p}{n+2}$、分散 $\frac{np(1-p)}{(n+2)^2}$。$\mathrm{MSE}=\frac{np(1-p)+(1-2p)^2}{(n+2)^2}$。$p=\frac12$ では $\frac{n/4}{(n+2)^2}<\frac1{4n}$ で $\bar X$ より小さい。$p$ が $0$ か $1$ に近いと $\mathrm{MSE}\approx\frac1{(n+2)^2}$ は $\bar X$（$\approx0$）より大きい。どちらが良いかは $p$ に依存し、一様に良い推定量は存在しない。

参考文献

• Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998 — 第 6 章（漸近的最適性）、第 5 章（ベイズ推定）。
• A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998 — 第 3 章（delta 法）、第 5 章（M 推定量と MLE）。
• Peter J. Bickel and Kjell A. Doksum, Mathematical Statistics, Vol. I, 2nd ed., CRC Press, 2015 — 第 3 章（Cramér–Rao）。
• Harald Cramér, Mathematical Methods of Statistics, Princeton University Press, 1946 — MLE の一致性と漸近正規性の古典的な証明。
• George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002 — 第 7 章、第 10 章。