# 線形モデル：最小二乗、Gauss–Markov の定理、Cochran の定理と t 検定・F 検定

> 線形モデルの最小二乗推定量を直交射影として導き、Gauss–Markov の定理を証明する。正規誤差のもとで Cochran の定理から t 分布・F 分布を得て検定と区間推定を行い、一般化最小二乗と相関のあるデータの誤差評価まで扱う。
> https://rikai.mugen-giken.com/mathematics/mathematical-statistics/linear-models

## 0. この記事の要点

データに直線を当てはめるとき、「その直線はどのくらい信頼できるのか」「本当に直線でよいのか、曲線にすべきか」と気になります。この記事は、最小二乗法という当てはめの方法を図形的な「射影」として見直し、その疑問に確率の言葉で答える話です。読み終えると、係数の誤差の見積もり、モデルの比較の検定、相関のあるデータでの誤差の補正ができるようになります。

- **線形モデル** $y=X\beta+\varepsilon$ の最小二乗推定量 $\hat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}y$ は、$y$ を $X$ の列空間へ**直交射影**したものです。残差は列空間と直交し、$\|y-X\beta\|^2$ のピタゴラス分解から導けます。
- **Gauss–Markov の定理**：誤差が無相関で等分散なら、$a^{\mathsf T}\hat\beta$ は $a^{\mathsf T}\beta$ の線形不偏推定量の中で分散が最小です（正規性は不要）。残差平方和を $n-p$ で割ると $\sigma^2$ の不偏推定量になります。
- 誤差が正規分布なら、**Cochran の定理**（直交する部分空間への射影は独立で、各々の二乗和はカイ二乗分布）から、$\hat\beta$ と $s^2$ の独立性と、$t$ 統計量が $t_{n-p}$ に従うことが出ます。
- 入れ子のモデルの比較は **$F$ 検定** $F=\dfrac{(\mathrm{RSS}_0-\mathrm{RSS})/q}{\mathrm{RSS}/(n-p)}\sim F_{q,n-p}$ で行います。これも Cochran の定理の帰結です。
- 誤差に相関があるときは**一般化最小二乗**（誤差の共分散行列で白色化。白色化とは、相関のある誤差を、無相関で分散の等しい誤差に変換することです）が最良線形不偏推定量です。時系列的に相関するモンテカルロ・データ（乱数を使った数値シミュレーションで得た測定値）の平均では、有効標本数が $N/(2\tau_{\mathrm{int}})$ に減り（$\tau_{\mathrm{int}}$ は統合自己相関時間、相関がどれだけ長く続くかを表す量です）、相関を無視すると誤差を過小評価します。

<Aside type="tip" title="この記事で使う事前知識">

- **直交射影**: ベクトルを部分空間の上へ、ずれが部分空間と直交するように落とす操作。→ [直交射影](/mathematics/functional-analysis/bounded-operators#def-orthogonal-projection)
- **正規直交基底**: 長さが 1 で互いに直交するベクトルからなる基底。→ [正規直交基底](/mathematics/linear-algebra/inner-product-spaces#def-orthonormal)
- **推定量と偏り**: データから未知の値を推し量る式と、その期待値の真の値からのずれ。→ [推定量](/mathematics/mathematical-statistics/models-and-sufficiency#def-estimator)
- **分散と共分散**: ばらつきの大きさと、2 つの量が一緒に動く度合い。→ [共分散](/mathematics/probability/random-variables#def-variance-covariance)
- **Gauss ベクトル**: 成分の任意の線形結合が正規分布に従う確率ベクトル。→ [Gauss ベクトル](/mathematics/probability/characteristic-functions-gaussian#def-gaussian-vector)
- **信頼区間（信頼集合）**: 真の値を一定の確率で含むように作る区間。→ [信頼集合](/mathematics/mathematical-statistics/hypothesis-testing#def-confidence)

</Aside>

## 1. 動機

最小二乗法は、実験データに直線や多項式を当てはめるとき、まず思い浮かぶ方法です。しかし、「これで最良なのか」「得られた係数はどの程度信頼できるのか」「直線ではなく放物線を仮定したほうがよいのか」を言うには、確率モデルが要ります。この章は、第 1〜3 章で作った道具（不偏推定、検定、信頼区間）を、最も重要な模型である線形モデルに適用します。

もう一つの動機は、数値シミュレーション（モンテカルロ法）の誤差評価です。たとえば、格子上の場の理論の数値計算では、相関関数 $C(t)$ を複数の時間 $t$ で測り、$C(t)\simeq\sum_nA_ne^{-E_nt}$ のような関数に当てはめて物理量を取り出します。測定値は時間方向にも、計算の更新ごとにも相関しています。相関を無視して最小二乗を行うと、誤差が過小評価され、検定も信頼区間も誤ります。この問題を正しく扱う標準的な道具が、この記事の後半で扱う一般化最小二乗と有効標本数です。

## 2. 最小二乗

<Definition id="def-linear-model" title="線形モデル">
$n$ 個の観測 $y\in\mathbb R^n$ が
$$
y=X\beta+\varepsilon,\qquad E[\varepsilon]=0,\quad\mathrm{Cov}(\varepsilon)=\sigma^2\mathbb 1_n
$$
で与えられるとする。$X$ は既知の $n\times p$ **計画行列**で、列は 1 次独立（フルランク、$p\le n$）、$\beta\in\mathbb R^p$ は未知の係数、$\sigma^2>0$ は未知の誤差分散である。**最小二乗推定量**は $\|y-X\beta\|^2$ を最小にする $\hat\beta$ 、**残差平方和**は $\mathrm{RSS}=\|y-X\hat\beta\|^2$ である。
</Definition>

$X$ の列が 1 次独立のとき、$X^{\mathsf T}X$ は[正定値](/mathematics/calculus/multivariable-differentiation#def-definite)です（$v\ne0$ なら $v^{\mathsf T}X^{\mathsf T}Xv=\|Xv\|^2>0$）。したがって逆行列をもちます。

<Theorem id="thm-least-squares" title="最小二乗推定量と射影">
$\hat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}y$ が $\|y-X\beta\|^2$ の唯一の最小点である。$\hat y=X\hat\beta=Hy$、$H=X(X^{\mathsf T}X)^{-1}X^{\mathsf T}$ は、$y$ の $W=\mathrm{col}(X)$（$X$ の列空間）への直交射影で、$H^{\mathsf T}=H=H^2$、$\mathrm{tr}H=p$ をみたす。残差 $\hat\varepsilon=(\mathbb 1-H)y$ は $W$ と直交し、$\mathrm{tr}(\mathbb 1-H)=n-p$。
</Theorem>

証明の方針は、$H$ が対称かつべき等であることを確かめ、残差が $X$ の列と直交することからピタゴラスの定理で最小性を示す、というものです。$\mathrm{tr}H=p$ は、トレースで $\mathrm{tr}(AB)=\mathrm{tr}(BA)$ と順序を入れ替えられること（巡回性）を使って出します。

<Proof of="thm-least-squares">
$H^{\mathsf T}=H$ は明らか。$H^2=X(X^{\mathsf T}X)^{-1}X^{\mathsf T}X(X^{\mathsf T}X)^{-1}X^{\mathsf T}=H$。$\mathrm{tr}H=\mathrm{tr}\bigl((X^{\mathsf T}X)^{-1}X^{\mathsf T}X\bigr)=\mathrm{tr}\,\mathbb 1_p=p$ （トレースの巡回性）。$X^{\mathsf T}(\mathbb 1-H)=X^{\mathsf T}-X^{\mathsf T}=0$ なので、$(\mathbb 1-H)y$ は $X$ の列すべてと直交する。したがって任意の $\beta$ に対し $Hy-X\beta\in W$ と $y-Hy\perp W$ から、ピタゴラスの定理（<Ref to="mathematics/linear-algebra/inner-product-spaces#thm-best-approximation" text="最良近似" /> と同じ）で
$$
\|y-X\beta\|^2=\|y-Hy\|^2+\|Hy-X\beta\|^2.
$$
右辺は $X\beta=Hy$ のとき最小で、$X$ がフルランクなら $X\beta=Hy$ を満たす $\beta$ は $\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}y$ の唯一つ。
</Proof>

$\hat\beta$ を決める連立方程式 $X^{\mathsf T}X\beta=X^{\mathsf T}y$ を**正規方程式**といいます。

<Example id="ex-simple-regression" title="単回帰">
$y_i=\beta_0+\beta_1x_i+\varepsilon_i$ では $X=(\mathbf 1,x)$。$S_{xx}=\sum(x_i-\bar x)^2$、$S_{xy}=\sum(x_i-\bar x)(y_i-\bar y)$ として
$$
\hat\beta_1=\frac{S_{xy}}{S_{xx}},\qquad\hat\beta_0=\bar y-\hat\beta_1\bar x.
$$
実際、正規方程式 $\binom{n\ \ \sum x_i}{\sum x_i\ \ \sum x_i^2}\binom{\beta_0}{\beta_1}=\binom{\sum y_i}{\sum x_iy_i}$ を解くと得られる。数値例：$x=(1,2,3,4,5)$、$y=(2.1,3.9,6.2,7.8,10.1)$ では $\bar x=3$、$\bar y=6.02$、$S_{xx}=10$、$S_{xy}=19.9$ から $\hat\beta_1=1.99$、$\hat\beta_0=0.05$。
</Example>

## 3. Gauss–Markov の定理

<Theorem id="thm-gauss-markov" title="Gauss–Markov の定理">
<Ref to="def-linear-model" /> の仮定（誤差は無相関・等分散；正規性は不要）のもとで、次が成り立つ。
1. $E\hat\beta=\beta$、$\mathrm{Cov}(\hat\beta)=\sigma^2(X^{\mathsf T}X)^{-1}$。
2. 任意の $a\in\mathbb R^p$ について、$a^{\mathsf T}\beta$ の**線形不偏推定量**（$y$ の線形関数 $c^{\mathsf T}y$ で $E[c^{\mathsf T}y]=a^{\mathsf T}\beta$ がすべての $\beta$ で成り立つもの）のうち、$a^{\mathsf T}\hat\beta$ の分散が最小で、等号は $c^{\mathsf T}y=a^{\mathsf T}\hat\beta$ のときに限る（BLUE）。
3. $s^2=\mathrm{RSS}/(n-p)$ は $\sigma^2$ の不偏推定量である。
</Theorem>

2 の証明の方針は、別の線形不偏推定量 $c^{\mathsf T}y$ を、$a^{\mathsf T}\hat\beta$ に対応するベクトル $c_0$ とそこからのずれ $d$ に分けることです。ずれ $d$ は $X$ の列と直交するので、交差項が消え、分散は $d$ の分だけ増えるだけになります。

<Proof of="thm-gauss-markov">
1. $\hat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}(X\beta+\varepsilon)=\beta+(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon$。期待値は $\beta$、共分散は $(X^{\mathsf T}X)^{-1}X^{\mathsf T}(\sigma^2\mathbb 1)X(X^{\mathsf T}X)^{-1}=\sigma^2(X^{\mathsf T}X)^{-1}$。

2. $c^{\mathsf T}y$ が不偏であることは $E[c^{\mathsf T}y]=c^{\mathsf T}X\beta=a^{\mathsf T}\beta$ （全 $\beta$）、すなわち $X^{\mathsf T}c=a$。$c_0=X(X^{\mathsf T}X)^{-1}a$ とおくと $a^{\mathsf T}\hat\beta=c_0^{\mathsf T}y$ で、$d=c-c_0$ は $X^{\mathsf T}d=a-a=0$ をみたす。$\mathrm{Var}(c^{\mathsf T}y)=\sigma^2\|c\|^2=\sigma^2(\|c_0\|^2+2c_0^{\mathsf T}d+\|d\|^2)$ で、交差項は $c_0^{\mathsf T}d=a^{\mathsf T}(X^{\mathsf T}X)^{-1}X^{\mathsf T}d=0$ 。よって $\mathrm{Var}(c^{\mathsf T}y)=\mathrm{Var}(a^{\mathsf T}\hat\beta)+\sigma^2\|d\|^2\ge\mathrm{Var}(a^{\mathsf T}\hat\beta)$ で、等号は $d=0$ のとき。

3. $(\mathbb 1-H)X=0$ から $\hat\varepsilon=(\mathbb 1-H)y=(\mathbb 1-H)\varepsilon$。$\mathrm{RSS}=\varepsilon^{\mathsf T}(\mathbb 1-H)\varepsilon$（$\mathbb 1-H$ は対称・べき等）。対称行列 $A$ について $E[\varepsilon^{\mathsf T}A\varepsilon]=\sum A_{ij}E[\varepsilon_i\varepsilon_j]=\sigma^2\mathrm{tr}A$ なので、$E[\mathrm{RSS}]=\sigma^2\mathrm{tr}(\mathbb 1-H)=\sigma^2(n-p)$。
</Proof>

自由度が $n-p$ になる理由は、残差が $n$ 次元空間の $(n-p)$ 次元の部分空間 $W^\perp$ にしか自由度をもたないからです。

<Remark id="rem-biased-better" title="BLUE が最良とは限らない">
Gauss–Markov が最良とするのは**線形不偏**推定量の範囲だけです。偏りを許すと MSE が下がることがあります。たとえば $y_i=\beta+\varepsilon_i$（$n$ 個）では $\bar y$ が BLUE ですが、縮小した $c\bar y$（$0<c<1$）は偏り $(c-1)\beta$ を持つ代わりに分散が $c^2\sigma^2/n$ に減り、$c=\beta^2/(\beta^2+\sigma^2/n)$ で MSE が最小になります。説明変数が多いとき、この考え方が Ridge 回帰などの正則化につながります。
</Remark>

## 4. 正規線形モデルの分布論

以下、$\varepsilon\sim N(0,\sigma^2\mathbb 1_n)$ （正規線形モデル）とします。ガウスベクトルの性質（<Ref to="mathematics/probability/characteristic-functions-gaussian#thm-gaussian-structure" text="Gauss ベクトルの構造" />、<Ref to="mathematics/probability/characteristic-functions-gaussian#prop-gaussian-independence" text="無相関ならば独立" />）を使います。

<Definition id="def-chi-t-f" title="カイ二乗分布・t 分布・F 分布">
$Z_1,Z_2,\dots$ を独立な $N(0,1)$ とする。**自由度 $k$ のカイ二乗分布** $\chi^2_k$ は $Z_1^2+\cdots+Z_k^2$ の分布。$Z\sim N(0,1)$ と $V\sim\chi^2_k$ が独立のとき $T=Z/\sqrt{V/k}$ の分布を **自由度 $k$ の $t$ 分布** $t_k$ という。$U\sim\chi^2_q$ と $V\sim\chi^2_k$ が独立のとき $F=(U/q)/(V/k)$ の分布を **$F$ 分布** $F_{q,k}$ という。
</Definition>

<Proposition id="prop-chi-square-density" title="カイ二乗分布の密度">
$\chi^2_k$ の密度は $\dfrac{x^{k/2-1}e^{-x/2}}{2^{k/2}\Gamma(k/2)}$（$x>0$）で、平均 $k$、分散 $2k$ である。
</Proposition>

<Proof of="prop-chi-square-density">
$Z\sim N(0,1)$ の $Z^2$ の特性関数は $E e^{itZ^2}=\int\frac{e^{-(1-2it)z^2/2}}{\sqrt{2\pi}}dz=(1-2it)^{-1/2}$（ガウス積分の複素版；$\mathrm{Re}(1-2it)=1>0$）。独立和の特性関数は積なので $\chi^2_k$ の特性関数は $(1-2it)^{-k/2}$。一方、ガンマ分布 $\mathrm{Gamma}(k/2,\text{レート }1/2)$ の密度 $\frac{x^{k/2-1}e^{-x/2}}{2^{k/2}\Gamma(k/2)}$ の特性関数も同じ $(1-2it)^{-k/2}$（積分 $\int_0^\infty x^{\alpha-1}e^{-(1/2-it)x}dx=\Gamma(\alpha)(1/2-it)^{-\alpha}$ から）。<Ref to="mathematics/probability/characteristic-functions-gaussian#thm-uniqueness" text="特性関数の一意性" /> により分布が一致する。平均は $E Z^2=1$ から $k$、分散は $\mathrm{Var}(Z^2)=E Z^4-1=3-1=2$ から $2k$（独立和）。
</Proof>

$t_k$ は $k\to\infty$ で $N(0,1)$ に近づきます。$V/k\to1$（大数の法則）にスルツキーの定理を使えば従います。

<Theorem id="thm-cochran" title="Cochran の定理">
$Z\sim N(0,\mathbb 1_n)$ とし、$\mathbb R^n$ が互いに直交する部分空間 $V_1,\dots,V_m$ の直和で $\dim V_j=r_j$ とする。$P_j$ を $V_j$ への直交射影とすると、$P_1Z,\dots,P_mZ$ は互いに独立で、$\|P_jZ\|^2\sim\chi^2_{r_j}$ である。
</Theorem>

この定理は、正規線形モデルの分布論の中心です。標準正規ベクトルを直交する部分空間に分けると、各部分の成分は互いに独立で、長さの二乗はカイ二乗分布に従います。これを使って、残差平方和と推定量の独立性や、$t$ 分布・$F$ 分布の導出ができます。証明の方針は、正規直交基底を取って座標で見ると、独立な標準正規変数の二乗和に分かれることを確かめるだけです。

<Proof of="thm-cochran">
各 $V_j$ の正規直交基底を並べて $\mathbb R^n$ の正規直交基底 $\{u_1,\dots,u_n\}$ を作り、直交行列 $O=(u_1,\dots,u_n)^{\mathsf T}$ を定める。<Ref to="mathematics/probability/characteristic-functions-gaussian#thm-gaussian-structure" text="Gauss ベクトルの構造" /> の 4 より $OZ\sim N(0,O\mathbb 1O^{\mathsf T})=N(0,\mathbb 1_n)$。成分 $\xi_i=u_i^{\mathsf T}Z$ はガウスベクトルの成分で互いに無相関なので、<Ref to="mathematics/probability/characteristic-functions-gaussian#prop-gaussian-independence" text="無相関ならば独立" /> を繰り返し使って互いに独立な $N(0,1)$。$P_jZ=\sum_{i\in I_j}\xi_iu_i$ （$I_j$ は $V_j$ の基底の添字集合、$|I_j|=r_j$）で、$\|P_jZ\|^2=\sum_{i\in I_j}\xi_i^2$ 。添字集合は互いに素なので、異なる $j$ のブロックは独立で、各ブロックは $r_j$ 個の独立な標準正規の二乗和、すなわち $\chi^2_{r_j}$。
</Proof>

<Theorem id="thm-normal-linear-model" title="正規線形モデルの標本分布">
$y=X\beta+\varepsilon$、$\varepsilon\sim N(0,\sigma^2\mathbb 1_n)$ のとき、
1. $\hat\beta\sim N\bigl(\beta,\sigma^2(X^{\mathsf T}X)^{-1}\bigr)$。
2. $(n-p)s^2/\sigma^2=\mathrm{RSS}/\sigma^2\sim\chi^2_{n-p}$。
3. $\hat\beta$ と $s^2$ は独立である。
</Theorem>

<Proof of="thm-normal-linear-model">
1. $\hat\beta=\beta+(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon$ はガウスベクトルの線形変換なので、<Ref to="mathematics/probability/characteristic-functions-gaussian#thm-gaussian-structure" text="Gauss ベクトルの構造" /> の 4 と <Ref to="thm-gauss-markov" /> の 1 による。2, 3. $Z=\varepsilon/\sigma\sim N(0,\mathbb 1_n)$ とし、$\mathbb R^n=W\oplus W^\perp$（$W=\mathrm{col}(X)$、$\dim W=p$、$\dim W^\perp=n-p$）に <Ref to="thm-cochran" /> を使う。$\mathrm{RSS}=\|(\mathbb 1-H)\varepsilon\|^2=\sigma^2\|P_{W^\perp}Z\|^2\sim\sigma^2\chi^2_{n-p}$ で 2 を得る。さらに $\hat\beta-\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon$ は $X^{\mathsf T}\varepsilon=X^{\mathsf T}H\varepsilon$ （$X^{\mathsf T}H=X^{\mathsf T}$ より）を通じて $H\varepsilon=\sigma P_WZ$ のみの関数で、$P_WZ$ と $P_{W^\perp}Z$ は独立なので、$\hat\beta$ と $\mathrm{RSS}$ も独立。
</Proof>

<Corollary id="cor-t-test" title="t 検定と t 区間">
$a\in\mathbb R^p$ について、$\mathrm{se}(a^{\mathsf T}\hat\beta)=s\sqrt{a^{\mathsf T}(X^{\mathsf T}X)^{-1}a}$ とおくと
$$
T=\frac{a^{\mathsf T}\hat\beta-a^{\mathsf T}\beta}{\mathrm{se}(a^{\mathsf T}\hat\beta)}\sim t_{n-p}.
$$
したがって $a^{\mathsf T}\beta$ の信頼係数 $1-\alpha$ の信頼区間は $a^{\mathsf T}\hat\beta\pm t_{n-p,\alpha/2}\,\mathrm{se}(a^{\mathsf T}\hat\beta)$ である。
</Corollary>

<Proof of="cor-t-test">
<Ref to="thm-normal-linear-model" /> の 1 より $Z=\dfrac{a^{\mathsf T}\hat\beta-a^{\mathsf T}\beta}{\sigma\sqrt{a^{\mathsf T}(X^{\mathsf T}X)^{-1}a}}\sim N(0,1)$。2 より $V=(n-p)s^2/\sigma^2\sim\chi^2_{n-p}$、3 より $Z$ と $V$ は独立。$T=Z/\sqrt{V/(n-p)}$ で、$\sigma$ が約分され $t_{n-p}$ の定義そのもの。信頼区間は <Ref to="mathematics/mathematical-statistics/hypothesis-testing#thm-duality" text="検定と信頼集合の双対性" /> による。
</Proof>

$X=\mathbf 1$（全部 1 の列）の場合が、母平均の古典的な $t$ 区間 $\bar X\pm t_{n-1,\alpha/2}s/\sqrt n$ です。標本数が小さいときは正規分布ではなく $t$ 分布を使う理由が、$\sigma$ を $s$ で置き換えたことにあるのが分かります。

<Example id="ex-regression-inference" title="単回帰の推測">
<Ref to="ex-simple-regression" /> のデータで、$\mathrm{RSS}=0.107$、$s^2=0.107/3=0.0357$（自由度 $n-p=3$）。傾きの標準誤差は $\sqrt{s^2/S_{xx}}=0.0597$、$t=1.99/0.0597=33.3$ 。95% 信頼区間は $t_{3,0.025}=3.182$ から $1.99\pm3.182\times0.0597=(1.80,\ 2.18)$。切片の標準誤差は $s\sqrt{1/n+\bar x^2/S_{xx}}=0.198$、$\hat\beta_0=0.05$ は $0$ と有意に異なると言えない（$t=0.25$）。
</Example>

## 5. F 検定

係数のいくつかが $0$ かどうか、つまり小さいモデルで十分かを調べるのが $F$ 検定です。一般に、$W=\mathrm{col}(X)$ の部分空間 $W_0$（$\dim W_0=p-q$、$q\ge1$）を考え、$H_0:E[y]=X\beta\in W_0$ を検定します。たとえば、$q$ 個の係数が $0$ という仮説です。

<Theorem id="thm-f-test" title="入れ子モデルの F 検定">
正規線形モデルで $H_0:X\beta\in W_0$ が成り立つとき、$\mathrm{RSS}_0=\|(\mathbb 1-P_{W_0})y\|^2$ （$H_0$ のもとでの最小二乗の残差平方和）、$\mathrm{RSS}=\|(\mathbb 1-P_W)y\|^2$ として
$$
F=\frac{(\mathrm{RSS}_0-\mathrm{RSS})/q}{\mathrm{RSS}/(n-p)}\sim F_{q,\,n-p}.
$$
$F$ が大きいとき $H_0$ を棄却する。
</Theorem>

証明の方針は、$\mathbb R^n$ を三つの直交する部分空間に分けることです。小さなモデルの空間 $W_0$、フルモデルの空間 $W$ のうち $W_0$ に含まれない部分、そして $W^\perp$ です。$H_0$ のもとでは、後ろ二つの部分の成分は誤差だけで決まるので、Cochran の定理が当てはまります。

<Proof of="thm-f-test">
$\mathbb R^n=W_0\oplus(W\ominus W_0)\oplus W^\perp$ （直交する 3 つの部分空間、次元は $p-q$、$q$、$n-p$）と分け、射影を $P_0,P_1=P_W-P_{W_0},P_2=\mathbb 1-P_W$ とする。$H_0$ のもとで $X\beta\in W_0$ なので、$P_1X\beta=P_2X\beta=0$、したがって $P_1y=P_1\varepsilon$、$P_2y=P_2\varepsilon$。$(\mathbb 1-P_{W_0})=P_1+P_2$ で $P_1,P_2$ は直交するから $\mathrm{RSS}_0=\|P_1y\|^2+\|P_2y\|^2$。$\mathrm{RSS}=\|P_2y\|^2$ なので $\mathrm{RSS}_0-\mathrm{RSS}=\|P_1\varepsilon\|^2$。<Ref to="thm-cochran" /> を $Z=\varepsilon/\sigma$ に適用すると、$\|P_1\varepsilon\|^2/\sigma^2\sim\chi^2_q$ と $\|P_2\varepsilon\|^2/\sigma^2=\mathrm{RSS}/\sigma^2\sim\chi^2_{n-p}$ は独立で、比 $F$ は $\sigma^2$ が約分され <Ref to="def-chi-t-f" /> の $F_{q,n-p}$ である。
</Proof>

対立仮説（$X\beta\notin W_0$）のもとでは、$P_1y=P_1X\beta+P_1\varepsilon$ の平均がずれ、$\|P_1y\|^2/\sigma^2$ は**非心**カイ二乗分布（非心度 $\|P_1X\beta\|^2/\sigma^2$）に従い、$F$ は大きくなる傾向をもちます。これが[検出力](/mathematics/mathematical-statistics/hypothesis-testing#def-test)の源です。

<Figure caption="入れ子モデルの射影の幾何。y を W（フルモデル）に射影して ŷ、さらに W₀（小さなモデル）に射影して ŷ₀。RSS = |y − ŷ|²、RSS₀ − RSS = |ŷ − ŷ₀|²。両者は直交する成分で、H₀ のもとで独立なカイ二乗分布に従う。">
<svg viewBox="0 0 560 300" width="100%" role="img" aria-label="y を平面 W と直線 W0 に射影する幾何学的な図">
  <path d="M 80 260 L 360 260 L 460 170 L 180 170 Z" fill="currentColor" opacity="0.08" stroke="currentColor" stroke-width="1.5" />
  <path d="M 150 215 L 390 215" fill="none" stroke="currentColor" stroke-width="2.5" />
  <path d="M 270 215 L 390 63" fill="none" stroke="currentColor" stroke-width="1.5" stroke-dasharray="6 5" />
  <path d="M 270 215 L 390 188" fill="none" stroke="currentColor" stroke-width="1.5" />
  <path d="M 270 215 L 360 215" fill="none" stroke="currentColor" stroke-width="3" />
  <path d="M 390 188 L 390 63" fill="none" stroke="var(--sl-color-accent)" stroke-width="3" />
  <path d="M 360 215 L 390 188" fill="none" stroke="var(--sl-color-accent)" stroke-width="3" />
  <g fill="currentColor"><circle cx="270" cy="215" r="4" /><circle cx="390" cy="63" r="5" /><circle cx="390" cy="188" r="4" /><circle cx="360" cy="215" r="4" /></g>
  <g fill="currentColor" font-size="15">
    <text x="402" y="66">y</text><text x="402" y="192">ŷ（W への射影）</text><text x="372" y="236">ŷ₀（W₀ への射影）</text>
    <text x="440" y="250" text-anchor="end" font-size="14">W（次元 p）</text>
    <text x="150" y="238" font-size="14">W₀（次元 p − q）</text>
    <text x="384" y="130" font-size="14" text-anchor="end">残差 RSS</text>
    <text x="404" y="214" font-size="14">RSS₀ − RSS</text>
  </g>
</svg>
</Figure>

<Example id="ex-t-equals-f" title="1 個の係数の検定では $F=t^2$">
$q=1$（$a^{\mathsf T}\beta=0$ の検定）では $F_{1,k}$ と $t_k^2$ は同じ分布です。実際 $Z^2/(V/k)$ は $\chi^2_1/(V/k)$ の定義そのもの。<Ref to="ex-regression-inference" /> のデータで $H_0:\beta_1=0$ の $F$ は $\mathrm{RSS}_0=S_{yy}=39.708$ から $F=\frac{(39.708-0.107)/1}{0.107/3}=1110$ で、$t^2=33.3^2=1110$ と一致します。
</Example>

<Example id="ex-nested-f" title="2 つの係数を加えたモデルの比較">
$n=20$ 個のデータに、$p=4$ 個の係数をもつフルモデルと、2 個の係数が 0 の小さなモデルを当てはめ、$\mathrm{RSS}_0=50$、$\mathrm{RSS}=30$ だったとする。$q=2$ で $F=\dfrac{(50-30)/2}{30/16}=5.33$ 。$F_{2,16}$ の上側 $5\%$ 点は $3.63$ なので、$H_0$（小さなモデルで十分）を棄却する。
</Example>

<Example id="ex-anova" title="一元配置分散分析">
$g$ 個の群があり、群 $j$ に $n_j$ 個の観測 $y_{ji}\sim N(\mu_j,\sigma^2)$ がある（$n=\sum n_j$）。フルモデルは群ごとの平均（$p=g$）、小さなモデルは全体の平均 1 個（$p-q=1$、$q=g-1$）。$\mathrm{RSS}=\sum_{j,i}(y_{ji}-\bar y_j)^2$（群内）、$\mathrm{RSS}_0-\mathrm{RSS}=\sum_jn_j(\bar y_j-\bar y)^2$（群間）。$F=\dfrac{\text{群間}/(g-1)}{\text{群内}/(n-g)}\sim F_{g-1,n-g}$ が分散分析（ANOVA）の $F$ 検定です。
</Example>

## 6. 一般化最小二乗と相関のあるデータ

誤差が無相関・等分散でないとき、すなわち $\mathrm{Cov}(y)=C$ （既知の正定値行列）のときを考えます。

<Theorem id="thm-gls" title="一般化最小二乗（Aitken）">
$y=X\beta+\varepsilon$、$E\varepsilon=0$、$\mathrm{Cov}(\varepsilon)=C$（正定値）とする。**一般化最小二乗（GLS）推定量**
$$
\hat\beta_{\mathrm{GLS}}=(X^{\mathsf T}C^{-1}X)^{-1}X^{\mathsf T}C^{-1}y
$$
は $\beta$ の線形不偏推定量の中で最小分散（BLUE）で、$\mathrm{Cov}(\hat\beta_{\mathrm{GLS}})=(X^{\mathsf T}C^{-1}X)^{-1}$ である。$\hat\beta_{\mathrm{GLS}}$ は $\chi^2(\beta)=(y-X\beta)^{\mathsf T}C^{-1}(y-X\beta)$ の最小化で得られ、$\varepsilon\sim N(0,C)$ なら最小値 $\chi^2_{\min}$ は $\chi^2_{n-p}$ に従う。
</Theorem>

<Proof of="thm-gls">
$C$ は正定値な対称行列なので、<Ref to="mathematics/linear-algebra/spectral-theorem#thm-spectral" text="スペクトル定理" /> で対角化して正定値な平方根 $C^{1/2}$ とその逆 $C^{-1/2}$ が作れる。$\tilde y=C^{-1/2}y$、$\tilde X=C^{-1/2}X$、$\tilde\varepsilon=C^{-1/2}\varepsilon$ とおくと $\tilde y=\tilde X\beta+\tilde\varepsilon$、$\mathrm{Cov}(\tilde\varepsilon)=C^{-1/2}CC^{-1/2}=\mathbb 1_n$（**白色化**）。これは $\sigma^2=1$ の線形モデルで、<Ref to="thm-least-squares" /> と <Ref to="thm-gauss-markov" /> が使える。最小二乗推定量は $(\tilde X^{\mathsf T}\tilde X)^{-1}\tilde X^{\mathsf T}\tilde y=(X^{\mathsf T}C^{-1}X)^{-1}X^{\mathsf T}C^{-1}y$ で、$\|\tilde y-\tilde X\beta\|^2=\chi^2(\beta)$ 。線形不偏推定量は $c^{\mathsf T}y=(C^{1/2}c)^{\mathsf T}\tilde y$ と書き直せば $\tilde y$ の線形不偏推定量なので、BLUE の主張と共分散が従う。正規性のもとでは <Ref to="thm-normal-linear-model" /> の 2 （$\sigma=1$）から $\chi^2_{\min}=\mathrm{RSS}(\tilde y,\tilde X)\sim\chi^2_{n-p}$。
</Proof>

証明の方針は、誤差に $C^{-1/2}$ をかけて無相関・等分散の誤差に直し（白色化）、これまでの線形モデルの結果を使うことです。$C^{-1/2}$ は、$C$ を対角化して固有値の平方根の逆数を並べて作ります。

最小値 $\chi^2_{\min}$ は**当てはめの良さの検定統計量**です。$\chi^2_{\min}/(n-p)\approx1$ ならモデルとデータは整合し、はるかに大きければモデルが誤り（または誤差を過小評価）しています。

次に、モンテカルロ法の標本のように、同じ量を時系列的に繰り返し測ったデータで、平均値の誤差を評価します。測定値 $x_1,\dots,x_N$ は定常（時刻をずらしても統計的な性質が変わらない）で、自己共分散 $\gamma(k)=\mathrm{Cov}(x_i,x_{i+k})$、自己相関 $\rho_k=\gamma(k)/\gamma(0)$ をもつとします。

<Theorem id="thm-correlated-mean" title="相関のあるデータの平均の分散">
定常列 $x_1,\dots,x_N$ の標本平均 $\bar x$ について
$$
\mathrm{Var}(\bar x)=\frac{\gamma(0)}N\Bigl[1+2\sum_{k=1}^{N-1}\Bigl(1-\frac kN\Bigr)\rho_k\Bigr].
$$
$\sum_{k\ge1}|\rho_k|<\infty$ ならば
$$
N\,\mathrm{Var}(\bar x)\to\gamma(0)\cdot2\tau_{\mathrm{int}},\qquad\tau_{\mathrm{int}}=\frac12+\sum_{k=1}^\infty\rho_k\quad(N\to\infty).
$$
**統合自己相関時間** $\tau_{\mathrm{int}}$ を使うと、$\bar x$ の分散は独立な $N_{\mathrm{eff}}=N/(2\tau_{\mathrm{int}})$ 個の標本の平均の分散 $\gamma(0)/N_{\mathrm{eff}}$ に等しい。
</Theorem>

証明の方針は、$\mathrm{Var}(\bar x)$ が $N^2$ 個の共分散の和であることから、時刻の差 $k=i-j$ が同じ組をまとめて数えることです。たとえば $N=3$ なら、$k=0$ の組は 3 個、$k=1$ の組は $(2,1),(3,2)$ の 2 個で、一般に差が $|k|$ の組は $N-|k|$ 個です。

<Proof of="thm-correlated-mean">
$\mathrm{Var}(\bar x)=\frac1{N^2}\sum_{i,j=1}^N\gamma(i-j)$。差 $k=i-j$ ごとにまとめると、$k$ を与える $(i,j)$ の組は $N-|k|$ 個なので $\frac1{N^2}\sum_{|k|<N}(N-|k|)\gamma(k)=\frac1N\sum_{|k|<N}(1-\frac{|k|}N)\gamma(k)$。$\gamma(-k)=\gamma(k)$ から第 1 式を得る。第 2 式は、各項 $(1-k/N)\rho_k\to\rho_k$ で、$|(1-k/N)\rho_k|\le|\rho_k|$ かつ $\sum|\rho_k|<\infty$ なので、和に対する優収束定理（<Ref to="mathematics/real-analysis/lebesgue-integral#thm-dct" text="ルベーグの優収束定理" /> を計数測度に使う）により $\sum_{k=1}^{N-1}(1-k/N)\rho_k\to\sum_{k\ge1}\rho_k$。$1+2\sum\rho_k=2\tau_{\mathrm{int}}$。
</Proof>

独立な標本（$\rho_k=0$）では $\tau_{\mathrm{int}}=\frac12$、$N_{\mathrm{eff}}=N$ で、$\mathrm{Var}(\bar x)=\gamma(0)/N$ に戻ります。正の相関があると $\tau_{\mathrm{int}}>\frac12$ で、$N_{\mathrm{eff}}<N$ です。

<Example id="ex-ar1" title="AR(1) 過程の有効標本数">
$x_{i+1}-\mu=\phi(x_i-\mu)+\eta_i$（$|\phi|<1$、$\eta_i$ は無相関なノイズ）の定常解では $\rho_k=\phi^k$。$\sum_{k\ge1}\phi^k=\frac\phi{1-\phi}$ から
$$
\tau_{\mathrm{int}}=\frac12+\frac\phi{1-\phi}=\frac{1+\phi}{2(1-\phi)},\qquad N_{\mathrm{eff}}=N\,\frac{1-\phi}{1+\phi}.
$$
$\phi=0.9$ のとき $N_{\mathrm{eff}}=N/19$ 。10000 個の標本は 526 個の独立標本と同じ精度しかなく、相関を無視した標準誤差 $\sqrt{\gamma(0)/N}$ は真の値の $\sqrt{1/19}=23\%$ に過小評価されます。$\phi=0.5$ なら $N_{\mathrm{eff}}=N/3$ 。
</Example>

<Remark id="rem-binning" title="実際の誤差評価">
$\tau_{\mathrm{int}}$ は未知で、データから推定します。実務では、系列を長さ $B$ のブロックに分けてブロック平均を作り、$B\gg\tau_{\mathrm{int}}$ なら各ブロック平均は近似的に独立になるので、ブロック平均の標準偏差から誤差を評価します（ブロック化、またはジャックナイフ法）。$B$ を増やして誤差が一定値に飽和するのを確認します。さらに、複数の時間 $t$ の測定値を同時に当てはめるときは、各時間の値の間の共分散行列 $C$ を標本から推定して <Ref to="thm-gls" /> の $\chi^2$ 最小化を行い、$\chi^2_{\min}/(n-p)$ で当てはめの良さを判断します。
</Remark>

## 7. 演習

<Exercise id="exr-ls-three-points" difficulty="易">
3 点 $(x,y)=(0,1),(1,3),(2,4)$ に直線 $y=\beta_0+\beta_1x$ を最小二乗で当てはめ、残差平方和を求めよ。
<Solution>
$\bar x=1$、$\bar y=\frac83$。$S_{xx}=2$、$S_{xy}=(-1)(1-\frac83)+0+(1)(4-\frac83)=\frac53+\frac43=3$。$\hat\beta_1=\frac32$、$\hat\beta_0=\frac83-\frac32=\frac76$。残差：$1-\frac76=-\frac16$、$3-(\frac76+\frac32)=3-\frac{8}{3}=\frac13$、$4-(\frac76+3)=-\frac16$。$\mathrm{RSS}=\frac1{36}+\frac19+\frac1{36}=\frac16$。（残差の和は $0$ で、$x$ との内積も $0$ 。）
</Solution>
</Exercise>

<Exercise id="exr-shrinkage" difficulty="標準">
<Ref to="rem-biased-better" /> のモデル $y_i=\beta+\varepsilon_i$（$\mathrm{Var}\,\varepsilon_i=\sigma^2$）で、$\hat\beta_c=c\bar y$ の MSE を計算し、$c=\beta^2/(\beta^2+\sigma^2/n)$ で最小になることを示せ。
<Solution>
$E\hat\beta_c=c\beta$、偏り $(c-1)\beta$、分散 $c^2\sigma^2/n$。$\mathrm{MSE}(c)=(c-1)^2\beta^2+c^2\sigma^2/n$。$c$ で微分して $2(c-1)\beta^2+2c\sigma^2/n=0$ から $c=\beta^2/(\beta^2+\sigma^2/n)$。このとき $\mathrm{MSE}=\frac{\beta^2\sigma^2/n}{\beta^2+\sigma^2/n}<\sigma^2/n$。（ただし最適な $c$ は未知の $\beta$ に依存するので、実際には使えない。）
</Solution>
</Exercise>

<Exercise id="exr-f-anova" difficulty="標準">
3 つの群の標本数が $n_1=n_2=n_3=5$、群平均が $(10,12,14)$、全体平均 $12$、群内平方和が $\mathrm{RSS}=60$ であるとき、$F$ 統計量を求め、$H_0:\mu_1=\mu_2=\mu_3$ を $5\%$ 水準で検定せよ（$F_{2,12}$ の上側 $5\%$ 点は $3.89$）。
<Solution>
群間平方和は $5(4+0+4)=40$、$g-1=2$、$n-g=12$。$F=\dfrac{40/2}{60/12}=4.0>3.89$ なので、$5\%$ 水準で $H_0$ を棄却する（ぎりぎり）。
</Solution>
</Exercise>

<Exercise id="exr-ar1-neff" difficulty="標準">
$\phi=0.6$ の AR(1) 過程から $N=2000$ 個の標本を得たとき、$\tau_{\mathrm{int}}$ と有効標本数 $N_{\mathrm{eff}}$ を求めよ。標本平均の標準誤差は、相関を無視した場合の何倍か。
<Solution>
$\tau_{\mathrm{int}}=\frac{1.6}{2\times0.4}=2$、$N_{\mathrm{eff}}=2000/4=500$（$=N(1-\phi)/(1+\phi)=2000\times0.25$）。標準誤差は $\sqrt{N/N_{\mathrm{eff}}}=\sqrt4=2$ 倍。
</Solution>
</Exercise>

## 参考文献

- Shayle R. Searle and Marvin H. J. Gruber, *Linear Models*, 2nd ed., Wiley, 2017 — 最小二乗、Gauss–Markov、分布論。
- C. Radhakrishna Rao, *Linear Statistical Inference and Its Applications*, 2nd ed., Wiley, 1973 — 線形モデルの理論、Cochran の定理。
- George A. F. Seber and Alan J. Lee, *Linear Regression Analysis*, 2nd ed., Wiley, 2003 — 回帰分析の推測。
- Ulli Wolff, "Monte Carlo errors with less errors", *Computer Physics Communications* 156 (2004), 143–153 — 統合自己相関時間と誤差評価。
- 久保川達也『現代数理統計学の基礎』共立出版、2017 — 線形モデルと正規分布論。