検定問題・検定関数・水準・検出力

母数空間を互いに素な $\Theta_0$ と $\Theta_1$ に分け、帰無仮説 $H_0:\theta\in\Theta_0$ と対立仮説 $H_1:\theta\in\Theta_1$ を立てる。$\Theta_i$ が 1 点のとき単純仮説、そうでなければ複合仮説という。検定関数は $\varphi:\mathcal X\to[0,1]$ で、$\varphi(x)$ は観測 $x$ のときに $H_0$ を棄却する確率を表す（$\varphi$ が $\{0,1\}$ 値のとき非確率的な検定で、$\{\varphi=1\}$ が棄却域）。検出力関数を $\beta_\varphi(\theta)=E_\theta\varphi(X)$ とする。

• 第 1 種の誤り：$H_0$ が真なのに棄却する。確率は $\theta\in\Theta_0$ での $\beta_\varphi(\theta)$。水準 $\alpha$ の検定とは $\sup_{\theta\in\Theta_0}\beta_\varphi(\theta)\le\alpha$ のこと。$\sup_{\Theta_0}\beta_\varphi$ をサイズという。
• 第 2 種の誤り：$H_1$ が真なのに棄却しない。確率は $1-\beta_\varphi(\theta)$（$\theta\in\Theta_1$）。$\beta_\varphi(\theta)$ （$\theta\in\Theta_1$）を検出力という。