# 検定と区間推定：Neyman–Pearson の補題、一様最強力検定、尤度比検定と Wilks の定理
> 検定の誤りと検出力の枠組みから Neyman–Pearson の補題（最適性と一意性）を証明し、単調尤度比で一様最強力検定へ拡張する。尤度比検定は Wilks の定理でカイ二乗分布に収束し、検定の反転が信頼区間を与える。
> https://rikai.mugen-giken.com/mathematics/mathematical-statistics/hypothesis-testing
## 0. この記事の要点
新しい薬が本当に効くのか、それとも偶然よく見えただけなのか。データを見て「効く」と言い切ってよいかを、間違える確率を決めたうえで判断するのが仮説検定です。この記事では、判断の間違いをどう数えるか、与えられた条件の下でいちばん鋭い判定のしかたは何か、そして標本が大きいときに使える万能の判定法は何かを順に見ます。最後に、同じ考え方から「母数のありうる範囲」を示す区間が得られることを説明します。
- **検定**は、データから「帰無仮説 $H_0$ を棄却するか」を決める規則です。第 1 種の誤り（$H_0$ が真なのに棄却）の確率を水準 $\alpha$ 以下に抑えたうえで、第 2 種の誤りを最小にする（検出力を最大にする）のが最適な検定です。
- **Neyman–Pearson の補題**：単純仮説どうしの検定では、尤度比 $f_1/f_0$ （2 つの仮説のもとでデータの出やすさを比べた比）が大きいところを[棄却域](/mathematics/hs-probability/distributions-and-inference#def-test-hs)とする検定が最強力です。証明は 1 本の積分不等式で、一意性も出ます。
- 尤度比が検定統計量について単調な族（**単調尤度比**）では、片側仮説に対する**一様最強力検定**が存在します（Karlin–Rubin）。両側仮説にはそのようなものは存在しません。
- **尤度比検定**の統計量 $2\log\Lambda_n$ は、[正則条件](/mathematics/mathematical-statistics/point-estimation#def-regularity)のもとで、帰無仮説が真のとき自由度 $r$（母数の制約の数）の**カイ二乗分布**に近づきます（**Wilks の定理**）。
- 検定を反転すると**信頼区間**が得られます。Wald 型、尤度比型、スコア型（Wilson）の区間は、$n$ が大きければ同じですが、小標本では大きく異なります。
## 1. 動機
新薬を 100 人に投与して 62 人が改善した。従来の治療法の改善率は 50% として、この薬は本当に効くのか。62 は 50 より大きいが、偶然だけで 62 人が改善することもあるかもしれない。この「偶然か、本物の差か」を、誤判断の確率を制御しながら決める手続きが**仮説検定**です。
[統計モデルと十分統計量](/mathematics/mathematical-statistics/models-and-sufficiency)では点推定量の最適性（UMVUE）を、[点推定と漸近理論](/mathematics/mathematical-statistics/point-estimation)ではその大標本での振る舞いを扱いました。この章では、同じ道具（尤度、スコア、漸近正規性）が検定でも中心的な役割を果たすことを見ます。流れは、最適性の理論（Neyman–Pearson、1933）と、一般の問題に使える万能の検定（尤度比検定）の漸近理論（Wilks、1938）です。最後に、検定と区間推定が同じ論理の裏表であることを示します。
## 2. 検定の枠組み
母数空間を互いに素な $\Theta_0$ と $\Theta_1$ に分け、**帰無仮説** $H_0:\theta\in\Theta_0$ と**対立仮説** $H_1:\theta\in\Theta_1$ を立てる。$\Theta_i$ が 1 点のとき**単純仮説**、そうでなければ**複合仮説**という。**検定関数**は $\varphi:\mathcal X\to[0,1]$ で、$\varphi(x)$ は観測 $x$ のときに $H_0$ を棄却する確率を表す（$\varphi$ が $\{0,1\}$ 値のとき非確率的な検定で、$\{\varphi=1\}$ が**棄却域**）。**検出力関数**を $\beta_\varphi(\theta)=E_\theta\varphi(X)$ とする。
- **第 1 種の誤り**：$H_0$ が真なのに棄却する。確率は $\theta\in\Theta_0$ での $\beta_\varphi(\theta)$。**水準 $\alpha$ の検定**とは $\sup_{\theta\in\Theta_0}\beta_\varphi(\theta)\le\alpha$ のこと。$\sup_{\Theta_0}\beta_\varphi$ を**サイズ**という。
- **第 2 種の誤り**：$H_1$ が真なのに棄却しない。確率は $1-\beta_\varphi(\theta)$（$\theta\in\Theta_1$）。$\beta_\varphi(\theta)$ （$\theta\in\Theta_1$）を**検出力**という。
確率化（$0<\varphi<1$ となる検定）が必要になるのは、離散分布でサイズをちょうど $\alpha$ にしたいときです。実用上は使いませんが、最適性の理論を滑らかに述べるのに役立ちます。
水準を決めてから棄却するかを判断する代わりに、データから「どの水準まで棄却できるか」を報告する量が **$p$ 値**です。
単純帰無仮説 $H_0:\theta=\theta_0$ のもとで、検定統計量 $T$ の分布が連続で、大きな $T$ が $H_0$ に反する証拠とする。$p$ 値を $p=P_{\theta_0}(T'\ge T_{\mathrm{obs}})$ ($T'$ は $T$ の独立コピー) とすると、$p$ は $H_0$ のもとで $U(0,1)$ に従う。したがって「$p\le\alpha$ のとき棄却」は水準 $\alpha$ の検定である。
$F$ を $T$ の分布関数（連続）とすると $p=1-F(T)$。$U=F(T)$ とおくと、$u\in(0,1)$ に対し $P(U\le u)=P(T\le F^{-1}(u))=F(F^{-1}(u))=u$（$F$ の連続性から、$F^{-1}(u)=\sup\{t:F(t)\le u\}$ で $F(F^{-1}(u))=u$）。ゆえに $U\sim U(0,1)$、$p=1-U\sim U(0,1)$ で、$P(p\le\alpha)=\alpha$。
## 3. Neyman–Pearson の補題
単純仮説どうしの検定 $H_0:\theta=\theta_0$ 対 $H_1:\theta=\theta_1$ を考えます。密度を $f_0,f_1$（共通の測度 $\mu$ に関して）とします。
定数 $k\ge0$ と $\gamma\in[0,1]$ に対し、
$$
\varphi_{k,\gamma}(x)=\begin{cases}1&f_1(x)>k\,f_0(x)\\\gamma&f_1(x)=k\,f_0(x)\\0&f_1(x)0$ の点では $f_1>kf_0$ として棄却する）。
$0<\alpha<1$ とする。
1. **存在**：$E_0\varphi_{k,\gamma}=\alpha$ をみたす $k,\gamma$ が存在する。
2. **最適性**：$E_0\varphi=\alpha$ をみたす尤度比検定 $\varphi=\varphi_{k,\gamma}$ は、水準 $\alpha$ の（すなわち $E_0\psi\le\alpha$ の）任意の検定 $\psi$ に対し $E_1\psi\le E_1\varphi$ 、すなわち**最強力検定**（MP 検定）である。
3. **一意性**：水準 $\alpha$ の任意の MP 検定 $\psi$ は、$\{f_1\ne kf_0\}$ 上で $\mu$-a.e. $\psi=\varphi$ をみたす。
証明の流れは次のとおりです。1 は、棄却の閾値 $k$ をうまく選べば、第 1 種の誤りの確率をちょうど $\alpha$ にできる、という調整の話です。$k$ を小さくするほど棄却域が広がって確率が増えるので、$\alpha$ を超えない最小の $k$ を取ります。確率が途中で飛ぶ場合は、境界の点で確率 $\gamma$ だけ棄却して埋め合わせます。2 と 3 は、尤度比検定と他の検定との差を 1 本の積分で比べる部分です。
**1. 存在。** $G(k)=P_0(f_1>kf_0)$ とおく。$G$ は $k$ について単調非増加で右連続、$k\to\infty$ で $G\to P_0(f_0=0\ \text{かつ}\ f_1>0)=0$（$P_0(f_0=0)=0$ なので）。$k_0=\inf\{k\ge0:G(k)\le\alpha\}$ とおくと、右連続性から $G(k_0)\le\alpha$、また $k\alpha$ だから $P_0(f_1\ge k_0f_0)=\lim_{k\uparrow k_0}G(k)\ge\alpha$（$k_0=0$ のときは $P_0(f_1\ge0)=1>\alpha$）。$\gamma=\dfrac{\alpha-G(k_0)}{P_0(f_1=k_0f_0)}$（分母が $0$ のときは $G(k_0)=\alpha$ で $\gamma=0$）と定めれば $\gamma\in[0,1]$ で、$E_0\varphi_{k_0,\gamma}=G(k_0)+\gamma P_0(f_1=k_0f_0)=\alpha$。
**2. 最適性。** $\varphi=\varphi_{k,\gamma}$ で $E_0\varphi=\alpha$ とし、$\psi$ を $E_0\psi\le\alpha$ の検定とする。すべての $x$ で $(\varphi(x)-\psi(x))\bigl(f_1(x)-kf_0(x)\bigr)\ge0$ が成り立つ：$f_1>kf_0$ なら $\varphi=1\ge\psi$、$f_1
直観は「**費用対効果**」です。棄却域に $x$ を加えると、第 1 種の誤りの確率が $f_0(x)\,d\mu$ だけ増え、検出力が $f_1(x)\,d\mu$ だけ増えます。比 $f_1/f_0$ が大きい点から順に棄却域に入れていくのが、水準 $\alpha$ の予算の最良の使い方です。
$X_i\sim N(\mu,\sigma^2)$（$\sigma^2$ 既知）、$H_0:\mu=0$ 対 $H_1:\mu=\mu_1>0$。尤度比は $\dfrac{f_1}{f_0}=\exp\Bigl(\dfrac{\mu_1}{\sigma^2}\sum x_i-\dfrac{n\mu_1^2}{2\sigma^2}\Bigr)$ で、$\bar x$ の増加関数。したがって最強力検定は「$\bar x>c$ で棄却」。水準 $\alpha$ から $c=z_\alpha\sigma/\sqrt n$（$z_\alpha$ は標準正規分布の上側 $\alpha$ 点；$\alpha=0.05$ で $1.645$）。検出力は $\beta(\mu_1)=P_{\mu_1}(\bar X>c)=1-\Phi\bigl(z_\alpha-\sqrt n\mu_1/\sigma\bigr)$。検出力を $1-\beta_0$ 以上にするのに必要な標本数は $n\ge\bigl((z_\alpha+z_{\beta_0})\sigma/\mu_1\bigr)^2$。$\alpha=0.05$、検出力 $0.8$（$z_{0.2}=0.842$）、効果量 $\mu_1/\sigma=0.5$ なら $n\ge\bigl((1.645+0.842)/0.5\bigr)^2=24.7$ 、すなわち 25 個必要です。
$X\sim\mathrm{Bin}(10,p)$、$H_0:p=\tfrac12$ 対 $H_1:p=\tfrac34$。尤度比 $\propto3^x$ は $x$ の増加関数で、棄却域は $x\ge c$ の形。$P_0(X\ge8)=0.0547$、$P_0(X\ge9)=0.0107$ で、$\alpha=0.05$ ちょうどには届かない。$\varphi=\mathbf 1\{x\ge9\}+\gamma\mathbf 1\{x=8\}$ とし、$\gamma=\dfrac{0.05-0.0107}{0.0439}=0.893$ とすれば $E_0\varphi=0.05$ で、これが MP 検定。非確率的な検定にすると水準は $0.0107$ に下がり、検出力が失われる。
## 4. 一様最強力検定
対立仮説が複合のとき、すべての対立仮説の母数で同時に最強力な検定を**一様最強力検定（UMP）**といいます。
水準 $\alpha$ の検定 $\varphi$ が **UMP** であるとは、水準 $\alpha$ の任意の検定 $\psi$ と任意の $\theta\in\Theta_1$ に対し $\beta_\varphi(\theta)\ge\beta_\psi(\theta)$ が成り立つことである。
UMP 検定が存在するための十分条件が、尤度比の単調性です。
実母数 $\theta$ の密度の族 $\{f_\theta\}$ が統計量 $T$ について**単調尤度比（MLR）**をもつとは、$\theta<\theta'$ ならば尤度比 $f_{\theta'}(x)/f_\theta(x)$ が $T(x)$ の非減少関数として書けることである。
指数型分布族 $f_\theta=h\,e^{\eta(\theta)T-A(\theta)}$ で $\eta(\theta)$ が $\theta$ の増加関数なら、$f_{\theta'}/f_\theta=\exp\bigl((\eta(\theta')-\eta(\theta))T-\cdots\bigr)$ は $T$ の増加関数なので、MLR です。ベルヌーイ・ポアソン・正規（平均）・指数分布などがこれに当たります。
$\{f_\theta\}$ が $T$ について MLR をもち、$\psi$ が非減少関数ならば、$\theta\mapsto E_\theta\psi(T)$ は非減少である。
この補題は、検出力が母数とともに増えることを保証するもので、次の Karlin–Rubin の定理で「$\theta_0$ 以下のどの母数でも第 1 種の誤りが $\alpha$ 以下」を言うのに使います。証明の方針は、尤度比 $\Lambda$ の平均が $1$ であることから、$\Lambda$ が $1$ を下回る側と上回る側に $T$ の値が分かれることを使い、$\psi$ の増加性と合わせて比べる、というものです。
$\theta<\theta'$ とし、$\Lambda=f_{\theta'}/f_\theta$（$T$ の非減少関数 $\lambda(T)$）とおく。$E_\theta\Lambda=1$ なので $E_{\theta'}\psi(T)-E_\theta\psi(T)=E_\theta[(\Lambda-1)\psi(T)]$。$\lambda$ は非減少で平均が $1$ なので、ある $t_0$ があって $Tt_0$ なら $\lambda(T)\ge1$ （$\lambda\le1$ の集合と $\lambda\ge1$ の集合が $t_0$ で分かれる）。$\psi$ も非減少なので、$(\Lambda-1)(\psi(T)-\psi(t_0))\ge0$ がつねに成り立つ。期待値をとって $E_\theta[(\Lambda-1)\psi(T)]\ge\psi(t_0)E_\theta[\Lambda-1]=0$。
$\{f_\theta\}$ が $T$ について MLR をもつとし、片側仮説 $H_0:\theta\le\theta_0$ 対 $H_1:\theta>\theta_0$ を考える。$E_{\theta_0}\varphi=\alpha$ となる $c,\gamma$ を選び
$$
\varphi(x)=\begin{cases}1&T(x)>c\\\gamma&T(x)=c\\0&T(x)
$\varphi$ は $T$ の非減少関数なので、