統計モデルと十分統計量：指数型分布族から Rao–Blackwell と Lehmann–Scheffé まで

0. この記事の要点

コインを 100 回投げて表の確率を知りたいとき、100 回の結果を並べた列を全部覚えなくても、「表が何回出たか」だけ持っていれば足りそうです。この記事は、そのようにデータを小さな要約に縮めても、未知の値についての情報が失われない条件（十分性）を調べます。そのうえで、その要約を使って、偏りがなく誤差の小さい推定の方法を作ります。読み終えると、標準的なモデルで、どの要約を使えばよいかを見つけ、偏りのない推定量のうち分散が最小のものを具体的に計算できるようになります。

• 統計モデルは、データの分布が未知母数 $\theta$ で添字づけられた確率測度の族 $\{P_\theta\}$ に属すると仮定する枠組みです。推定量の良さは、平均二乗誤差 $\mathrm{MSE}=\mathrm{Var}+(\text{偏り})^2$ で測ります。
• 統計量 $T$ が 十分であるとは、$T$ を与えたときのデータの条件付き分布が $\theta$ によらないことです。因子分解定理により、尤度が $g_\theta(T(x))\,h(x)$ の形に書けることと同値になります（分布が互いに絶対連続な場合に全部証明します）。
• 指数型分布族では、十分統計量が自動的に見つかり、対数分配関数 $A(\eta)$ の微分が平均と分散を与えます。自然母数空間が開集合を含むとき、その十分統計量は完備です（特性関数の一意性と一致の定理から証明します）。
• Rao–Blackwell の定理：任意の推定量を十分統計量で条件づけると、凸損失（誤差の測り方が凸関数になっているもの）で悪くならない推定量が得られます。条件付き期待値が $L^2$ の直交射影であることの帰結です。
• Lehmann–Scheffé の定理：完備十分統計量の関数で不偏なものは、一様最小分散不偏推定量（UMVUE）として一意に決まります。ベルヌーイ試行の $p^2$、ポアソンの $e^{-\lambda}$、一様分布の $\theta$ で具体的に求めます。

この記事で使う事前知識

• 可測関数: 値の集合の逆像がもとの空間の可測集合になる関数。確率変数や統計量はこれです。→ 可測関数
• 絶対連続: 測度 $P$ が $Q$ に関して絶対連続とは、$Q$ で測度 $0$ の集合が $P$ でも測度 $0$ になること。→ 絶対連続
• 条件付き期待値: ある情報（$\sigma$-加法族）が与えられたときの、確率変数の期待値の見積もり。→ 条件付き期待値
• 期待値と分散: 確率変数の平均と、平均からのずれの二乗の平均。→ 期待値、分散
• 特性関数: 確率変数 $X$ に対する $e^{iuX}$ の期待値を $u$ の関数として見たもの。→ 特性関数
• 凸関数: グラフ上の 2 点を結ぶ線分が、グラフより上にある関数。→ 凸関数

1. 動機

確率論では、分布を既知として、そこから出るデータの性質を調べました。統計学は、その向きを逆にします。データを観測したうえで、背後にある分布を言い当てるのです。コインを 100 回投げて表が 62 回出たとき、表の確率 $p$ についてどう言えるか。100 個の測定値があるとき、真の値と誤差をどう報告するか。物理の測定、シミュレーション、機械学習の評価など、データが確率的に変動する場面では常にこの問いが現れます。

このテーマ（数理統計学）では、全 4 章で、確率論を土台にその答えを数学として整備します。第 1 章（この記事）は、「データのどこまでを覚えておけば母数についての情報が失われないか」（十分統計量）と、「不偏性の範囲で最も精度のよい推定量は何か」（UMVUE）を扱います。第 2 章は最尤推定とその漸近的な性質（Cramér–Rao の下界、一致性、漸近正規性、delta 法、ベイズ推定）、第 3 章は検定と区間推定（Neyman–Pearson の補題、尤度比検定と Wilks の定理）、第 4 章は線形モデル（最小二乗、Gauss–Markov、正規分布に基づく $t$ 検定・$F$ 検定）です。使う道具は条件付き期待値（条件付き期待値）、極限定理（大数の法則と中心極限定理）、ガウス分布の特性関数（特性関数とガウス分布）です。

2. 統計モデルと推定量

定義 2.1（統計モデル）↗

統計モデルとは、可測空間 $(\mathcal X,\mathcal A)$ とその上の確率測度の族 $\mathcal P=\{P_\theta:\theta\in\Theta\}$ の組である。$\Theta$ を母数空間という。観測 $X$ は、ある未知の $\theta$ について $P_\theta$ に従うとする。$X$ が独立同分布（i.i.d.）の標本 $X=(X_1,\dots,X_n)$ のときは、$P_\theta=Q_\theta^{\otimes n}$ とする。測度 $\mu$（$\sigma$-有限）が存在して、すべての $P_\theta$ が密度 $f_\theta=dP_\theta/d\mu$ をもつとき、モデルは $\mu$ に優越されているという。離散分布では $\mu$ は計数測度、連続分布ではルベーグ測度である。

定義 2.2（統計量・推定量・偏り・平均二乗誤差）↗

統計量とは、$\theta$ に依存しない可測写像 $T:\mathcal X\to\mathcal T$ のことである。$\tau(\theta)$ を推定する統計量 $\delta(X)$ を推定量という。$E_\theta[\delta]=\tau(\theta)$ がすべての $\theta$ で成り立つとき不偏といい、偏りは $b(\theta)=E_\theta[\delta]-\tau(\theta)$、平均二乗誤差は $\mathrm{MSE}_\theta(\delta)=E_\theta[(\delta-\tau(\theta))^2]$ である。

命題 2.3（平均二乗誤差の分解）✓

$\delta\in L^2(P_\theta)$ なら $\mathrm{MSE}_\theta(\delta)=\mathrm{Var}_\theta(\delta)+b(\theta)^2$ である。

証明（命題 2.3）

$\delta-\tau=(\delta-E_\theta\delta)+(E_\theta\delta-\tau)$ と分け、2 乗して期待値をとる。交差項は $2(E_\theta\delta-\tau)E_\theta[\delta-E_\theta\delta]=0$ なので、$\mathrm{Var}_\theta(\delta)+b(\theta)^2$ が残る。

∎

不偏推定量が一般に複数あるとき、分散の小さいものを選ぶのが自然です。**一様最小分散不偏推定量（UMVUE）**とは、すべての $\theta$ で、他の不偏推定量より分散が小さい（またはそれ以下の）不偏推定量です。UMVUE を構成する道具が、この記事の主役である十分性と完備性です。

3. 十分統計量と因子分解定理

観測 $X$ の情報のうち、$\theta$ に関わる部分だけを取り出すという考え方を定式化します。

定義 3.1（十分統計量）↗

統計量 $T$ が十分であるとは、任意の $A\in\mathcal A$ に対して、$\theta$ によらない可測関数 $\psi_A$ が存在して、すべての $\theta$ で $P_\theta(A\mid T)=\psi_A(T)$ が $P_\theta$-a.s. で成り立つことである。

十分統計量が与えられると、$T$ を観測した後、残りの無作為性は $\theta$ と無関係です。つまり、$T$ の値から条件付き分布 $\psi_A(T)$ に従ってデータを人工的に生成し直すことができ、その生成し直したデータは元のデータと同じ分布 $P_\theta$ に従います。$T$ だけを保存しても、$\theta$ についての情報は何も失われません。

定理 3.2（因子分解定理（Fisher–Neyman））✓

モデル $\{P_\theta\}$ が $\sigma$-有限測度 $\mu$ に優越され、密度 $f_\theta$ をもち、さらにすべての $P_\theta$ が互いに絶対連続（たとえば台が $\theta$ によらない）であるとする。統計量 $T:\mathcal X\to\mathcal T$ が十分であるための必要十分条件は、$\mathcal X$ 上の非負可測関数 $h$ と、各 $\theta$ について $\mathcal T$ 上の非負可測関数 $g_\theta$ が存在して

$$f_\theta(x)=g_\theta\bigl(T(x)\bigr)\,h(x)\qquad(\mu\text{-a.e.})$$

と書けることである。

この定理は、「十分かどうか」を条件付き分布の計算なしに、密度の形を見るだけで判定するためのものです。証明では、基準の母数 $\theta_0$ を 1 つ決め、他の $\theta$ の密度が $\theta_0$ の密度の何倍か（尤度比）を考えます。十分なら、この尤度比が $T$ だけの関数になることを示し、逆に因子分解できれば条件付き期待値が $\theta$ によらないことを示します。

証明（定理 3.2）

$\theta_0\in\Theta$ を 1 つ固定する。互いに絶対連続なので、各 $\theta$ について尤度比 $L_\theta=dP_\theta/dP_{\theta_0}=f_\theta/f_{\theta_0}$ が（$P_{\theta_0}$-a.s. に）定まる。

（十分 $\Rightarrow$ 因子分解）$T$ が十分とし、$A\in\mathcal A$ に対して $\psi_A(T)$ を $\theta$ によらない $P(A\mid T)$ の版とする。$E_{\theta_0}$ を $E_0$ と書き、$M=E_0[L_\theta\mid T]$ とおく。$\theta$ に関する期待値は $L_\theta$ を使って $E_\theta[W]=E_0[WL_\theta]$ と書けるので、

$$E_0[\mathbf 1_AL_\theta]=P_\theta(A)=E_\theta[\psi_A(T)]=E_0[\psi_A(T)L_\theta]=E_0[\psi_A(T)M]=E_0\bigl[E_0[\mathbf 1_A\mid T]\,M\bigr]=E_0[\mathbf 1_AM].$$

ここで第 4 の等号は タワー・プロパティ（定理 4.2）［条件付き期待値］ と 既知量の取り出し（定理 4.4）［条件付き期待値］ による（$\psi_A(T)$ は $T$ について可測）、最後の等号は $\psi_A(T)=E_0[\mathbf 1_A\mid T]$（十分性より $\theta_0$ でも同じ版）から従う。これがすべての $A\in\mathcal A$ で成り立つので $L_\theta=M$、すなわち $L_\theta$ は $T$ の関数 $\ell_\theta(T)$ である。したがって $f_\theta=\ell_\theta(T)f_{\theta_0}$ で、$g_\theta=\ell_\theta$、$h=f_{\theta_0}$ が求める因子分解を与える。

（因子分解 $\Rightarrow$ 十分）$f_\theta=g_\theta(T)h$ とする。絶対連続性から $f_\theta=0\iff f_{\theta_0}=0$（$\mu$-a.e.）で、$f_{\theta_0}>0$ の上で $L_\theta=g_\theta(T)/g_{\theta_0}(T)=:\ell_\theta(T)$ は $T$ の関数である。有界可測な $\varphi$ に対し $\psi(T)=E_0[\varphi\mid T]$ とおく。任意の $B\in\sigma(T)$ について、$\mathbf 1_B\ell_\theta(T)$ は $\sigma(T)$ 可測なので

$$E_\theta[\varphi\mathbf 1_B]=E_0[\varphi\,\mathbf 1_B\ell_\theta(T)]=E_0[\psi(T)\mathbf 1_B\ell_\theta(T)]=E_\theta[\psi(T)\mathbf 1_B].$$

よって $E_\theta[\varphi\mid T]=\psi(T)$ で、$\psi$ は $\theta$ によらない。$\varphi=\mathbf 1_A$ とすれば十分性の定義を満たす。

∎

例 3.3（十分統計量の例）

(i) ベルヌーイ試行：$X_i\sim\mathrm{Bernoulli}(p)$、$0<p<1$。$f_p(x)=p^{\sum x_i}(1-p)^{n-\sum x_i}$ で $h=1$、$T=\sum X_i$（成功回数）が十分。台は $\{0,1\}^n$ で $p$ によらないので定理の仮定を満たす。(ii) 正規分布 $N(\mu,\sigma^2)$：$f=(2\pi\sigma^2)^{-n/2}\exp\bigl[-\tfrac1{2\sigma^2}\bigl(\sum x_i^2-2\mu\sum x_i+n\mu^2\bigr)\bigr]$ で、$\sigma^2$ が既知なら $\sum X_i$（または $\bar X$）、両方未知なら $\bigl(\sum X_i,\sum X_i^2\bigr)$ が十分。(iii) 一様分布 $U(0,\theta)$：$f_\theta(x)=\theta^{-n}\mathbf 1\{\max x_i\le\theta\}$（$x_i>0$）で、$g_\theta(M)=\theta^{-n}\mathbf 1\{M\le\theta\}$、$M=\max X_i$、$h=1$。$M$ が十分統計量である。ただしこのモデルは台が $\theta$ に依存し互いに絶対連続でないので、定理 3.2 の証明はそのままは使えない。因子分解による十分性の判定は、優越された一般のモデルで成り立つ（Halmos–Savage の定理）。

注意 3.4（一様分布の場合の直接確認）

$U(0,\theta)$ の標本では、最大値 $M=m$ を与えたとき、どの添字が最大かは等確率で、その他の $n-1$ 個は $U(0,m)$ の i.i.d. です。この条件付き分布は $\theta$ に依存しません。$\theta$ は $m\le\theta$ という制約を通じてのみ関わり、$M$ の分布の中に吸収されています。

4. 指数型分布族

定義 4.1（指数型分布族）↗

$\sigma$-有限測度 $\mu$ に対して、密度が

$$f_\eta(x)=h(x)\exp\bigl(\eta\,T(x)-A(\eta)\bigr)$$

の形の分布の族を（1 母数の）指数型分布族という。$T:\mathcal X\to\mathbb R$ を自然統計量、$\eta$ を自然母数、$A(\eta)=\log Z(\eta)$、$Z(\eta)=\int h\,e^{\eta T}d\mu$ を対数分配関数という。自然母数空間は $H=\{\eta:Z(\eta)<\infty\}$ である。

命題 4.2（自然母数空間は区間で $A$ は凸）✓

$H$ は区間で、$A$ は $H$ 上の凸関数である。

証明（命題 4.2）

$\eta_1,\eta_2\in H$、$0<\lambda<1$、$\eta=\lambda\eta_1+(1-\lambda)\eta_2$ とする。$h\,e^{\eta T}=(h\,e^{\eta_1T})^{\lambda}(h\,e^{\eta_2T})^{1-\lambda}$ に ヘルダーの不等式（定理 4.2）［L^p 空間と関数解析への導入］（指数 $1/\lambda$ と $1/(1-\lambda)$）を使うと $Z(\eta)\le Z(\eta_1)^\lambda Z(\eta_2)^{1-\lambda}$。よって $\eta\in H$ で、対数をとって $A(\eta)\le\lambda A(\eta_1)+(1-\lambda)A(\eta_2)$。

∎

例 4.3（代表的な指数型分布族）

• ベルヌーイ：$f=p^x(1-p)^{1-x}=\exp\bigl(x\,\eta-\log(1+e^\eta)\bigr)$、$\eta=\log\frac p{1-p}$、$T=x$、$A(\eta)=\log(1+e^\eta)$。
• ポアソン：$f=\frac{\lambda^x e^{-\lambda}}{x!}$、$h=1/x!$、$\eta=\log\lambda$、$T=x$、$A(\eta)=e^\eta$。
• 分散既知の正規：$\mu$ を母数とすると $\eta=\mu/\sigma^2$、$T=x$、$A=\sigma^2\eta^2/2$、$h=(2\pi\sigma^2)^{-1/2}e^{-x^2/2\sigma^2}$。
• 指数分布 $\mathrm{Exp}(\lambda)$：$\eta=-\lambda$、$T=x$、$A(\eta)=-\log(-\eta)$、$H=(-\infty,0)$。

一様分布 $U(0,\theta)$ は、台が $\theta$ に依存するので指数型分布族ではありません。

命題 4.4（i.i.d. 標本の十分統計量）✓

$X_1,\dots,X_n$ が指数型分布族 $f_\eta$ からの i.i.d. 標本ならば、同時密度は $\prod h(x_i)\exp\bigl(\eta\sum T(x_i)-nA(\eta)\bigr)$ で、$\sum_{i=1}^nT(X_i)$ が十分統計量である（定理 3.2。台は $\{h>0\}^n$ で $\eta$ によらない）。標本全体も、また指数型分布族である。

証明（命題 4.4）

独立性から、$(X_1,\dots,X_n)$ の積測度 $\mu^{\otimes n}$ に関する同時密度は各周辺密度の積で

$$\prod_{i=1}^n h(x_i)e^{\eta T(x_i)-A(\eta)}=\Bigl(\prod_{i=1}^n h(x_i)\Bigr)\exp\Bigl(\eta\sum_{i=1}^n T(x_i)-nA(\eta)\Bigr)$$

です（$\mu^{\otimes n}$ も $\sigma$-有限です）。これは $h_n(x)=\prod_ih(x_i)$、$T_n(x)=\sum_iT(x_i)$、$A_n(\eta)=nA(\eta)$ とした 定義 4.1 の形なので、標本全体も指数型分布族です（実際 $\int h_ne^{\eta T_n}d\mu^{\otimes n}=Z(\eta)^n$ なので $A_n=\log Z^n$ と整合します）。次に因子分解定理（定理 3.2）を使います。同時密度が正になる集合は $\{h_n>0\}=\{h>0\}^n$ で $\eta$ によらないので、各 $P_\eta^{\otimes n}$ は互いに絶対連続で、定理の仮定を満たします。$g_\eta(t)=\exp(\eta t-nA(\eta))$、$h=h_n$ とおけば同時密度は $g_\eta(T_n(x))h_n(x)$ と分解されるので、$T_n=\sum_iT(X_i)$ は十分統計量です。

∎

定理 4.5（自然統計量の平均と分散）✓

$\eta_0$ を $H$ の内点とする。このとき $A$ は $\eta_0$ の近傍で無限回微分可能で、

$$E_{\eta}[T]=A'(\eta),\qquad\mathrm{Var}_\eta(T)=A''(\eta)$$

が内点 $\eta$ で成り立つ。

証明（定理 4.5）

$\varepsilon>0$ を $[\eta_0-2\varepsilon,\eta_0+2\varepsilon]\subset H$ となるようにとる。任意の $k\ge0$ に対し、$|t|^k\le C_ke^{\varepsilon|t|}$ なので、$|\eta-\eta_0|<\varepsilon$ のとき

$$|T|^ke^{\eta T}\le C_k\bigl(e^{(\eta_0+2\varepsilon)T}+e^{(\eta_0-2\varepsilon)T}\bigr)$$

（$\eta T+\varepsilon|T|\le\max_\pm(\eta_0\pm2\varepsilon)T$ による）。右辺に $h$ を掛けたものは $\mu$ 積分可能で、$\eta$ によらない。したがって 積分記号下の微分（系 7.4）［ルベーグ積分の定義と収束定理］ を $k=0,1,2,\dots$ に繰り返し使え、$Z$ は $|\eta-\eta_0|<\varepsilon$ で $C^\infty$ で $Z^{(k)}(\eta)=\int hT^ke^{\eta T}d\mu$。$Z>0$ なので $A=\log Z$ も $C^\infty$。$A'=Z'/Z=\int Th\,e^{\eta T-A}d\mu=E_\eta[T]$。さらに $A''=Z''/Z-(Z'/Z)^2=E_\eta[T^2]-E_\eta[T]^2=\mathrm{Var}_\eta(T)$。

∎

例 4.6（ポアソン分布の平均と分散）

$A(\eta)=e^\eta$ なので $E[T]=A'(\eta)=e^\eta=\lambda$、$\mathrm{Var}(T)=A''(\eta)=e^\eta=\lambda$。ベルヌーイでは $A'(\eta)=\frac{e^\eta}{1+e^\eta}=p$、$A''(\eta)=p(1-p)$ です。直接の和や積分を計算せずに平均と分散が出ます。

5. 完備性

十分統計量は情報を落とさずにデータを縮約しますが、さらに「縮約が冗長でない」条件が完備性です。

定義 5.1（完備統計量）↗

統計量 $T$ が完備であるとは、任意の可測関数 $\varphi$ について、すべての $\theta$ で $E_\theta[\varphi(T)]=0$ ならば、すべての $\theta$ で $\varphi(T)=0$ が $P_\theta$-a.s. で成り立つことである（$E_\theta|\varphi(T)|<\infty$ を仮定する）。

直観的には、$T$ の関数で、平均が恒等的に $0$ であるような非自明なものがない、という意味です。もし $E_\theta\varphi(T)\equiv0$ なる $\varphi\neq0$ があれば、$\varphi(T)$ を不偏推定量に足しても不偏性が変わらず、不偏推定量の一意性が失われます。

例 5.2（二項分布の完備性）

$T\sim\mathrm{Bin}(n,p)$（$0<p<1$）とする。$E_p\varphi(T)=\sum_{t=0}^n\varphi(t)\binom nt p^t(1-p)^{n-t}=(1-p)^n\sum_{t}\varphi(t)\binom nt\bigl(\tfrac p{1-p}\bigr)^t$ で、$r=p/(1-p)\in(0,\infty)$ の多項式 $\sum_t\varphi(t)\binom ntr^t$ が $(0,\infty)$ で恒等的に $0$ なら、すべての係数が $0$（多項式の零点は有限個）。ゆえに $\varphi(t)=0$（$t=0,\dots,n$）で、$T$ は完備。

例 5.3（一様分布の最大値の完備性）

$M=\max X_i$、$X_i\sim U(0,\theta)$ の密度は $n m^{n-1}\theta^{-n}$（$0<m<\theta$）。$E_\theta\varphi(M)=n\theta^{-n}\int_0^\theta\varphi(m)m^{n-1}dm=0$ が全 $\theta>0$ で成り立つなら、$\int_0^\theta\varphi(m)m^{n-1}dm=0$。ルベーグの微分定理（定理 5.3）［符号付き測度と Radon–Nikodym の定理］により、$\theta$ で微分して $\varphi(\theta)\theta^{n-1}=0$（a.e.）、すなわち $\varphi=0$ a.e.。$M$ は完備である。

指数型分布族については、一般的な完備性が成り立ちます。$k$ 母数の場合に述べておきます（自然統計量 $T=(T_1,\dots,T_k)$、自然母数 $\eta\in\mathbb R^k$、$f_\eta=h\,e^{\langle\eta,T\rangle-A(\eta)}$）。

定理 5.4（指数型分布族の完備性）✓

自然母数空間 $H\subset\mathbb R^k$ が空でない開集合を含むとき、自然統計量 $T$ は完備（かつ十分）である。

証明の方針は次のとおりです。平均が $0$ になる関数 $\varphi$ があると仮定し、$\varphi$ の正の部分と負の部分が作る二つの測度の積分 $F^\pm$ を、母数を複素数にまで広げて考えます。実数の範囲で二つが一致するので、一致の定理で複素数の範囲でも一致し、特性関数の一意性から二つの測度が等しいと分かります。したがって $\varphi=0$ となります。

証明（定理 5.4）

$E_\eta[\varphi(T)]=0$ がすべての $\eta\in H$ で成り立つとする。$m$ を $\mathbb R^k$ 上の測度 $m(B)=\int_{\{T\in B\}}h\,d\mu$ とすると、$\int\varphi(t)e^{\langle\eta,t\rangle}m(dt)=0$ （$\eta\in H$）で、$\int|\varphi|e^{\langle\eta,t\rangle}dm<\infty$。$H$ に含まれる開球の中心 $\eta_0$ と半径 $\varepsilon>0$ をとり、有限測度 $\nu^\pm(dt)=\varphi^\pm(t)e^{\langle\eta_0,t\rangle}m(dt)$（$\varphi^\pm$ は正部分・負部分）を定める。複素ベクトル $z\in\mathbb C^k$ に対し $F^\pm(z)=\int e^{\langle z,t\rangle}\nu^\pm(dt)$ は、$|\mathrm{Re}\,z|<\varepsilon$ で有限で、各変数について正則である（$e^{\langle z,t\rangle}$ の $z_j$ に関する微分も、定理 4.5 と同様に優収束定理で積分記号の下に出せる）。実の $z=s$（$|s|<\varepsilon$）では仮定より $F^+(s)=F^-(s)$。 1 変数ずつ 一致の定理（定理 7.3）［正則関数の強力な性質］ を使う。$z_2,\dots,z_k$ を実数に固定し、$z_1$ について $F^+-F^-$ は帯 $|\mathrm{Re}\,z_1|<\varepsilon'$ で正則で実区間上 $0$ だから、全体で $0$。次に $z_1$ を複素数、$z_3,\dots,z_k$ を実数に固定して $z_2$ について同じ議論を行う。これを $k$ 回繰り返すと、$F^+=F^-$ が帯 $|\mathrm{Re}\,z|<\varepsilon$ 全体で成り立つ。純虚数 $z=iu$ をとると、有限測度 $\nu^+,\nu^-$ の特性関数が一致する。$u=0$ から全質量が一致し、0 なら $\nu^\pm=0$。そうでなければ正規化した確率測度の特性関数が一致するので、一意性定理（定理 3.3）［特性関数と Gauss ベクトル］ により $\nu^+=\nu^-$。$\varphi^+\varphi^-=0$ だから $\varphi^+e^{\langle\eta_0,t\rangle}m=\varphi^-e^{\langle\eta_0,t\rangle}m$ はともに $0$ で、$\varphi=0$ が $m$-a.e.、すなわち $\varphi(T)=0$ が $P_\eta$-a.s.。十分性は 命題 4.4 と同じ因子分解による。

∎

したがって、ベルヌーイ・ポアソン・正規・指数・ガンマ分布などの標準的な分布族の i.i.d. 標本では、自然統計量の和は完備十分統計量です。

6. Rao–Blackwell と Lehmann–Scheffé

不偏推定量は一般に無数にあります。そのなかで分散最小のものを探す手順が、次の二つの定理です。

次の定理に出てくる損失 $L(\theta,d)$ は、真の値が $\theta$ のとき推定値 $d$ を出すことの「まずさ」を測る関数で、たとえば二乗誤差 $(d-\tau(\theta))^2$ です。リスクはその期待値で、平均二乗誤差はリスクの一例です。主張は、粗い推定量を十分統計量で条件づけて平均すると、リスクが増えない、というものです。

定理 6.1（Rao–Blackwell の定理）✓

$T$ を十分統計量、$\delta$ を $\tau(\theta)$ の推定量（可積分）とし、$\delta^*=E[\delta\mid T]$ とおく。十分性により、これは $\theta$ によらない $T$ の関数なので統計量である。このとき：

1. $E_\theta[\delta^*]=E_\theta[\delta]$。特に $\delta$ が不偏なら $\delta^*$ も不偏。
2. 損失 $L(\theta,d)$ が $d$ の凸関数ならば、リスク $R(\theta,\delta)=E_\theta L(\theta,\delta)$ について $R(\theta,\delta^*)\le R(\theta,\delta)$。
3. 二乗損失で $\delta\in L^2$ なら $\mathrm{MSE}_\theta(\delta)=\mathrm{MSE}_\theta(\delta^*)+E_\theta[(\delta-\delta^*)^2]$。したがって $\delta^*$ の MSE は $\delta$ のそれ以下で、等号は $\delta=\delta^*$ a.s. のときに限る。

証明（定理 6.1）

1. タワー・プロパティ（定理 4.2）［条件付き期待値］ による $E[E[\delta\mid T]]=E[\delta]$。
2. 条件付きイェンセンの不等式（定理 4.6［条件付き期待値］）を凸関数 $d\mapsto L(\theta,d)$ に使うと $L(\theta,\delta^*)=L(\theta,E_\theta[\delta\mid T])\le E_\theta[L(\theta,\delta)\mid T]$。両辺の期待値をとる。
3. 条件付き期待値は直交射影（定理 5.1）［条件付き期待値］ により、$\delta-\delta^*$ は $T$ の $L^2$ 関数すべてと直交する。$\delta^*-\tau(\theta)$ は $T$ の関数なので、$E_\theta[(\delta-\tau)^2]=E_\theta[(\delta-\delta^*)^2]+E_\theta[(\delta^*-\tau)^2]$（ピタゴラスの定理）。

∎

Rao–Blackwell の幾何。確率変数を L² のベクトルとみると、δ* = E[δ|T] は δ から「T の関数の空間」への直交射影。τ（定数）はその空間に入るので、三平方の定理から MSE(δ) = E(δ−δ*)² + MSE(δ*)。

定理 6.2（Lehmann–Scheffé の定理）✓

$T$ が完備十分統計量とし、$\tau(\theta)$ について、$T$ の関数 $g(T)$ で不偏なもの（$E_\theta g(T)=\tau(\theta)$）が存在するとする。このとき $g(T)$ は $\tau(\theta)$ の UMVUE で、一意である。すなわち、$\tau(\theta)$ のどの不偏推定量 $\delta$ に対しても、すべての $\theta$ で $\mathrm{Var}_\theta(g(T))\le\mathrm{Var}_\theta(\delta)$ で、等号は $\delta=g(T)$ a.s. のときに限る。

証明（定理 6.2）

$\delta$ を不偏推定量（分散有限）とし、$\delta^*=E[\delta\mid T]$ とおく。定理 6.1 により $\delta^*$ は不偏で、$T$ の関数である。したがって $\varphi=\delta^*-g$ は $T$ の関数で、$E_\theta\varphi(T)=\tau(\theta)-\tau(\theta)=0$ がすべての $\theta$ で成り立つ。$T$ の完備性より $\varphi=0$、つまり $\delta^*=g(T)$ a.s.。再び 定理 6.1 の 3 より $\mathrm{Var}_\theta(\delta)=\mathrm{MSE}_\theta(\delta)=\mathrm{MSE}_\theta(g(T))+E_\theta[(\delta-g(T))^2]\ge\mathrm{Var}_\theta(g(T))$。等号は $E_\theta[(\delta-g(T))^2]=0$、すなわち $\delta=g(T)$ a.s. のときに限る。

∎

この定理の使い方は 2 段階です。(1) 完備十分統計量 $T$ を（指数型分布族なら 定理 5.4 で）見つける。(2) 何でもよいから不偏推定量 $\delta$ を作り、$E[\delta\mid T]$ を計算する（または $T$ の関数で不偏なものを直接見つける）。

例 6.3（ベルヌーイ試行で $p^2$ を推定する）

$X_i\sim\mathrm{Bernoulli}(p)$、$n\ge2$。$\delta=X_1X_2$ は $E[X_1X_2]=p^2$ なので不偏。$T=\sum X_i$（完備十分、例 5.2）を与えたとき、$P(X_1=X_2=1\mid T=t)$ は、$t$ 個の成功の位置が $\{1,\dots,n\}$ から等確率で選ばれるので $\dbinom{n-2}{t-2}\Big/\dbinom nt=\dfrac{t(t-1)}{n(n-1)}$。よって

$$\delta^*=\frac{T(T-1)}{n(n-1)}$$

が $p^2$ の UMVUE です。確認：$E[T(T-1)]=n(n-1)p^2$（二項分布の階乗モーメント）。単純な代入 $\bar X^2$ は不偏ではなく、$E\bar X^2=p^2+p(1-p)/n$ です。

例 6.4（ポアソン分布で $e^{-\lambda}$ を推定する）

$X_i\sim\mathrm{Poisson}(\lambda)$。$\delta=\mathbf 1\{X_1=0\}$ は $E\delta=e^{-\lambda}$（無事象が起こらない確率）で不偏。$T=\sum X_i\sim\mathrm{Poisson}(n\lambda)$ は完備十分。$T=t$ を与えたとき $(X_1,\dots,X_n)$ は多項分布（各 $1/n$）なので $P(X_1=0\mid T=t)=(1-1/n)^t$。UMVUE は

$$\delta^*=\Bigl(1-\frac1n\Bigr)^T.$$

実際 $E\bigl[s^T\bigr]=\exp\bigl(n\lambda(s-1)\bigr)$（ポアソン分布の母関数）に $s=1-1/n$ を入れると $e^{-\lambda}$。naive な推定量 $e^{-\bar X}$ は偏りをもちます。

例 6.5（一様分布 $U(0,\theta)$ で $\theta$ を推定する）

$M=\max X_i$ は完備十分（例 5.3）。$E_\theta M=\frac n{n+1}\theta$ なので $\delta^*=\frac{n+1}nM$ が不偏で、$M$ の関数だから UMVUE。分散は $E M^2=\frac n{n+2}\theta^2$ から $\mathrm{Var}(\delta^*)=\frac{(n+1)^2}{n^2}\Bigl(\frac n{n+2}-\frac{n^2}{(n+1)^2}\Bigr)\theta^2=\frac{\theta^2}{n(n+2)}$。モーメント法の推定量 $2\bar X$ は分散が $\theta^2/(3n)$ で、比は $\frac{3}{n+2}$（$n=10$ で 4 分の 1）です。分散が $n^{-2}$ のオーダーで小さくなる点は、第 2 章の Cramér–Rao の下界（$n^{-1}$ のオーダー）を破っています。台が $\theta$ に依存して正則条件が満たされないためです。

例 6.6（正規分布で $\mu$ と $\sigma^2$ を推定する）

$X_i\sim N(\mu,\sigma^2)$ で $\sigma^2$ が既知なら、$\bar X$ は完備十分（定理 5.4、例 4.3 の分散既知の正規）で不偏なので $\mu$ の UMVUE。$\mu$ が既知なら $S_0=\sum(X_i-\mu)^2$ は $\sigma^2$ の指数型分布族の完備十分統計量（$\eta=-1/(2\sigma^2)$、$T=\sum(x_i-\mu)^2$）で、$E S_0=n\sigma^2$ より $S_0/n$ が $\sigma^2$ の UMVUE。両方未知のときは、$k=2$ の自然統計量 $(\sum X_i,\sum X_i^2)$ が完備十分（定理 5.4、自然母数空間 $\{(\mu/\sigma^2,-1/2\sigma^2)\}$ は開集合 $\mathbb R\times(-\infty,0)$）で、その関数 $S^2=\frac1{n-1}\sum(X_i-\bar X)^2$ が $\sigma^2$ の不偏推定量なので UMVUE です。ここで $1/n$ でなく $1/(n-1)$ で割る理由は、$E\sum(X_i-\bar X)^2=(n-1)\sigma^2$ に尽きます。

7. 演習

演習 7.1易

$X_1,\dots,X_n$ が $\mathrm{Exp}(\lambda)$ の i.i.d. 標本（密度 $\lambda e^{-\lambda x}$、$x>0$）のとき、十分統計量を求めよ。さらに $\lambda$ の UMVUE を求めよ。

解答

同時密度は $\lambda^ne^{-\lambda\sum x_i}$（$x_i>0$）で、$T=\sum X_i$ が十分。指数型分布族（$\eta=-\lambda\in(-\infty,0)$）なので完備十分。$T\sim\mathrm{Gamma}(n,\lambda)$ で $E[1/T]=\frac{\lambda}{n-1}$（$\int_0^\infty\frac1t\frac{\lambda^nt^{n-1}e^{-\lambda t}}{(n-1)!}dt=\frac{\lambda}{n-1}$）なので、$\frac{n-1}T$ が $\lambda$ の UMVUE（$n\ge2$）。

演習 7.2標準

ポアソン分布 $\mathrm{Poisson}(\lambda)$ の i.i.d. 標本で、$\lambda$ の UMVUE が $\bar X$ であることを示し、$\lambda^2$ の UMVUE を求めよ。

解答

$T=\sum X_i\sim\mathrm{Poisson}(n\lambda)$ は完備十分で、$E\bar X=\lambda$ より $\bar X$ は UMVUE。$E[T(T-1)]=(n\lambda)^2$ （ポアソンの階乗モーメント）なので $\dfrac{T(T-1)}{n^2}$ が $\lambda^2$ の不偏推定量で、$T$ の関数だから UMVUE。

演習 7.3標準

$X_1,\dots,X_n\sim N(\mu,\sigma^2)$ で $\sigma^2$ が既知のとき、$\mu^2$ の UMVUE を求めよ。

解答

$\bar X\sim N(\mu,\sigma^2/n)$ で $E\bar X^2=\mu^2+\sigma^2/n$。よって $\bar X^2-\sigma^2/n$ は $\mu^2$ の不偏推定量で、完備十分統計量 $\bar X$ の関数なので UMVUE。（値が負になりうる、不自然な推定量であることに注意。不偏性だけの要求の限界を示す例。）

演習 7.4難

$X_1,\dots,X_n$ を一様分布 $U(\theta,\theta+1)$ の i.i.d. 標本とする。$(\min X_i,\max X_i)$ が十分統計量であることを因子分解で示し、これが完備でないことを示せ。

解答

同時密度は $\mathbf 1\{\theta<\min x_i\}\mathbf 1\{\max x_i<\theta+1\}$ で、$(m,M)=(\min,\max)$ の関数のみ：十分。完備でないことは、$\varphi(m,M)=M-m-\frac{n-1}{n+1}$ が $E_\theta\varphi=0$（$M-m$ の分布は $\theta$ によらず、その平均は $\frac{n-1}{n+1}$）をすべての $\theta$ で満たし、恒等的に $0$ でないことから従う。

参考文献

• Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998 — 第 1 章（十分性・完備性）、第 2 章（不偏性と UMVUE）。
• Peter J. Bickel and Kjell A. Doksum, Mathematical Statistics: Basic Ideas and Selected Topics, Vol. I, 2nd ed., CRC Press, 2015 — 第 1〜3 章。
• George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002 — 第 6 章（データの縮約）、第 7 章（点推定）。
• 竹村彰通『現代数理統計学』創文社、1991 — 十分統計量と完備性の章。
• 吉田朋広『数理統計学』朝倉書店、2006 — 統計モデルと十分性。