線形モデル：最小二乗、Gauss–Markov の定理、Cochran の定理と t 検定・F 検定

0. この記事の要点

データに直線を当てはめるとき、「その直線はどのくらい信頼できるのか」「本当に直線でよいのか、曲線にすべきか」と気になります。この記事は、最小二乗法という当てはめの方法を図形的な「射影」として見直し、その疑問に確率の言葉で答える話です。読み終えると、係数の誤差の見積もり、モデルの比較の検定、相関のあるデータでの誤差の補正ができるようになります。

• 線形モデル $y=X\beta+\varepsilon$ の最小二乗推定量 $\hat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}y$ は、$y$ を $X$ の列空間へ直交射影したものです。残差は列空間と直交し、$\|y-X\beta\|^2$ のピタゴラス分解から導けます。
• Gauss–Markov の定理：誤差が無相関で等分散なら、$a^{\mathsf T}\hat\beta$ は $a^{\mathsf T}\beta$ の線形不偏推定量の中で分散が最小です（正規性は不要）。残差平方和を $n-p$ で割ると $\sigma^2$ の不偏推定量になります。
• 誤差が正規分布なら、Cochran の定理（直交する部分空間への射影は独立で、各々の二乗和はカイ二乗分布）から、$\hat\beta$ と $s^2$ の独立性と、$t$ 統計量が $t_{n-p}$ に従うことが出ます。
• 入れ子のモデルの比較は $F$ 検定 $F=\dfrac{(\mathrm{RSS}_0-\mathrm{RSS})/q}{\mathrm{RSS}/(n-p)}\sim F_{q,n-p}$ で行います。これも Cochran の定理の帰結です。
• 誤差に相関があるときは一般化最小二乗（誤差の共分散行列で白色化。白色化とは、相関のある誤差を、無相関で分散の等しい誤差に変換することです）が最良線形不偏推定量です。時系列的に相関するモンテカルロ・データ（乱数を使った数値シミュレーションで得た測定値）の平均では、有効標本数が $N/(2\tau_{\mathrm{int}})$ に減り（$\tau_{\mathrm{int}}$ は統合自己相関時間、相関がどれだけ長く続くかを表す量です）、相関を無視すると誤差を過小評価します。

この記事で使う事前知識

• 直交射影: ベクトルを部分空間の上へ、ずれが部分空間と直交するように落とす操作。→ 直交射影
• 正規直交基底: 長さが 1 で互いに直交するベクトルからなる基底。→ 正規直交基底
• 推定量と偏り: データから未知の値を推し量る式と、その期待値の真の値からのずれ。→ 推定量
• 分散と共分散: ばらつきの大きさと、2 つの量が一緒に動く度合い。→ 共分散
• Gauss ベクトル: 成分の任意の線形結合が正規分布に従う確率ベクトル。→ Gauss ベクトル
• 信頼区間（信頼集合）: 真の値を一定の確率で含むように作る区間。→ 信頼集合

1. 動機

最小二乗法は、実験データに直線や多項式を当てはめるとき、まず思い浮かぶ方法です。しかし、「これで最良なのか」「得られた係数はどの程度信頼できるのか」「直線ではなく放物線を仮定したほうがよいのか」を言うには、確率モデルが要ります。この章は、第 1〜3 章で作った道具（不偏推定、検定、信頼区間）を、最も重要な模型である線形モデルに適用します。

もう一つの動機は、数値シミュレーション（モンテカルロ法）の誤差評価です。たとえば、格子上の場の理論の数値計算では、相関関数 $C(t)$ を複数の時間 $t$ で測り、$C(t)\simeq\sum_nA_ne^{-E_nt}$ のような関数に当てはめて物理量を取り出します。測定値は時間方向にも、計算の更新ごとにも相関しています。相関を無視して最小二乗を行うと、誤差が過小評価され、検定も信頼区間も誤ります。この問題を正しく扱う標準的な道具が、この記事の後半で扱う一般化最小二乗と有効標本数です。

2. 最小二乗

定義 2.1（線形モデル）↗

$n$ 個の観測 $y\in\mathbb R^n$ が

$$y=X\beta+\varepsilon,\qquad E[\varepsilon]=0,\quad\mathrm{Cov}(\varepsilon)=\sigma^2\mathbb 1_n$$

で与えられるとする。$X$ は既知の $n\times p$ 計画行列で、列は 1 次独立（フルランク、$p\le n$）、$\beta\in\mathbb R^p$ は未知の係数、$\sigma^2>0$ は未知の誤差分散である。最小二乗推定量は $\|y-X\beta\|^2$ を最小にする $\hat\beta$ 、残差平方和は $\mathrm{RSS}=\|y-X\hat\beta\|^2$ である。

$X$ の列が 1 次独立のとき、$X^{\mathsf T}X$ は正定値です（$v\ne0$ なら $v^{\mathsf T}X^{\mathsf T}Xv=\|Xv\|^2>0$）。したがって逆行列をもちます。

定理 2.2（最小二乗推定量と射影）✓

$\hat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}y$ が $\|y-X\beta\|^2$ の唯一の最小点である。$\hat y=X\hat\beta=Hy$、$H=X(X^{\mathsf T}X)^{-1}X^{\mathsf T}$ は、$y$ の $W=\mathrm{col}(X)$（$X$ の列空間）への直交射影で、$H^{\mathsf T}=H=H^2$、$\mathrm{tr}H=p$ をみたす。残差 $\hat\varepsilon=(\mathbb 1-H)y$ は $W$ と直交し、$\mathrm{tr}(\mathbb 1-H)=n-p$。

証明の方針は、$H$ が対称かつべき等であることを確かめ、残差が $X$ の列と直交することからピタゴラスの定理で最小性を示す、というものです。$\mathrm{tr}H=p$ は、トレースで $\mathrm{tr}(AB)=\mathrm{tr}(BA)$ と順序を入れ替えられること（巡回性）を使って出します。

証明（定理 2.2）

$H^{\mathsf T}=H$ は明らか。$H^2=X(X^{\mathsf T}X)^{-1}X^{\mathsf T}X(X^{\mathsf T}X)^{-1}X^{\mathsf T}=H$。$\mathrm{tr}H=\mathrm{tr}\bigl((X^{\mathsf T}X)^{-1}X^{\mathsf T}X\bigr)=\mathrm{tr}\,\mathbb 1_p=p$ （トレースの巡回性）。$X^{\mathsf T}(\mathbb 1-H)=X^{\mathsf T}-X^{\mathsf T}=0$ なので、$(\mathbb 1-H)y$ は $X$ の列すべてと直交する。したがって任意の $\beta$ に対し $Hy-X\beta\in W$ と $y-Hy\perp W$ から、ピタゴラスの定理（最良近似（定理 7.2）［内積空間とグラム・シュミット直交化］ と同じ）で

$$\|y-X\beta\|^2=\|y-Hy\|^2+\|Hy-X\beta\|^2.$$

右辺は $X\beta=Hy$ のとき最小で、$X$ がフルランクなら $X\beta=Hy$ を満たす $\beta$ は $\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}y$ の唯一つ。

∎

$\hat\beta$ を決める連立方程式 $X^{\mathsf T}X\beta=X^{\mathsf T}y$ を正規方程式といいます。

例 2.3（単回帰）

$y_i=\beta_0+\beta_1x_i+\varepsilon_i$ では $X=(\mathbf 1,x)$。$S_{xx}=\sum(x_i-\bar x)^2$、$S_{xy}=\sum(x_i-\bar x)(y_i-\bar y)$ として

$$\hat\beta_1=\frac{S_{xy}}{S_{xx}},\qquad\hat\beta_0=\bar y-\hat\beta_1\bar x.$$

実際、正規方程式 $\binom{n\ \ \sum x_i}{\sum x_i\ \ \sum x_i^2}\binom{\beta_0}{\beta_1}=\binom{\sum y_i}{\sum x_iy_i}$ を解くと得られる。数値例：$x=(1,2,3,4,5)$、$y=(2.1,3.9,6.2,7.8,10.1)$ では $\bar x=3$、$\bar y=6.02$、$S_{xx}=10$、$S_{xy}=19.9$ から $\hat\beta_1=1.99$、$\hat\beta_0=0.05$。

3. Gauss–Markov の定理

定理 3.1（Gauss–Markov の定理）✓

定義 2.1 の仮定（誤差は無相関・等分散；正規性は不要）のもとで、次が成り立つ。

1. $E\hat\beta=\beta$、$\mathrm{Cov}(\hat\beta)=\sigma^2(X^{\mathsf T}X)^{-1}$。
2. 任意の $a\in\mathbb R^p$ について、$a^{\mathsf T}\beta$ の線形不偏推定量（$y$ の線形関数 $c^{\mathsf T}y$ で $E[c^{\mathsf T}y]=a^{\mathsf T}\beta$ がすべての $\beta$ で成り立つもの）のうち、$a^{\mathsf T}\hat\beta$ の分散が最小で、等号は $c^{\mathsf T}y=a^{\mathsf T}\hat\beta$ のときに限る（BLUE）。
3. $s^2=\mathrm{RSS}/(n-p)$ は $\sigma^2$ の不偏推定量である。

2 の証明の方針は、別の線形不偏推定量 $c^{\mathsf T}y$ を、$a^{\mathsf T}\hat\beta$ に対応するベクトル $c_0$ とそこからのずれ $d$ に分けることです。ずれ $d$ は $X$ の列と直交するので、交差項が消え、分散は $d$ の分だけ増えるだけになります。

証明（定理 3.1）

1. $\hat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}(X\beta+\varepsilon)=\beta+(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon$。期待値は $\beta$、共分散は $(X^{\mathsf T}X)^{-1}X^{\mathsf T}(\sigma^2\mathbb 1)X(X^{\mathsf T}X)^{-1}=\sigma^2(X^{\mathsf T}X)^{-1}$。

2. $c^{\mathsf T}y$ が不偏であることは $E[c^{\mathsf T}y]=c^{\mathsf T}X\beta=a^{\mathsf T}\beta$ （全 $\beta$）、すなわち $X^{\mathsf T}c=a$。$c_0=X(X^{\mathsf T}X)^{-1}a$ とおくと $a^{\mathsf T}\hat\beta=c_0^{\mathsf T}y$ で、$d=c-c_0$ は $X^{\mathsf T}d=a-a=0$ をみたす。$\mathrm{Var}(c^{\mathsf T}y)=\sigma^2\|c\|^2=\sigma^2(\|c_0\|^2+2c_0^{\mathsf T}d+\|d\|^2)$ で、交差項は $c_0^{\mathsf T}d=a^{\mathsf T}(X^{\mathsf T}X)^{-1}X^{\mathsf T}d=0$ 。よって $\mathrm{Var}(c^{\mathsf T}y)=\mathrm{Var}(a^{\mathsf T}\hat\beta)+\sigma^2\|d\|^2\ge\mathrm{Var}(a^{\mathsf T}\hat\beta)$ で、等号は $d=0$ のとき。

3. $(\mathbb 1-H)X=0$ から $\hat\varepsilon=(\mathbb 1-H)y=(\mathbb 1-H)\varepsilon$。$\mathrm{RSS}=\varepsilon^{\mathsf T}(\mathbb 1-H)\varepsilon$（$\mathbb 1-H$ は対称・べき等）。対称行列 $A$ について $E[\varepsilon^{\mathsf T}A\varepsilon]=\sum A_{ij}E[\varepsilon_i\varepsilon_j]=\sigma^2\mathrm{tr}A$ なので、$E[\mathrm{RSS}]=\sigma^2\mathrm{tr}(\mathbb 1-H)=\sigma^2(n-p)$。

∎

自由度が $n-p$ になる理由は、残差が $n$ 次元空間の $(n-p)$ 次元の部分空間 $W^\perp$ にしか自由度をもたないからです。

注意 3.2（BLUE が最良とは限らない）

Gauss–Markov が最良とするのは線形不偏推定量の範囲だけです。偏りを許すと MSE が下がることがあります。たとえば $y_i=\beta+\varepsilon_i$（$n$ 個）では $\bar y$ が BLUE ですが、縮小した $c\bar y$（$0<c<1$）は偏り $(c-1)\beta$ を持つ代わりに分散が $c^2\sigma^2/n$ に減り、$c=\beta^2/(\beta^2+\sigma^2/n)$ で MSE が最小になります。説明変数が多いとき、この考え方が Ridge 回帰などの正則化につながります。

4. 正規線形モデルの分布論

以下、$\varepsilon\sim N(0,\sigma^2\mathbb 1_n)$ （正規線形モデル）とします。ガウスベクトルの性質（Gauss ベクトルの構造（定理 5.2）［特性関数と Gauss ベクトル］、無相関ならば独立（命題 5.3）［特性関数と Gauss ベクトル］）を使います。

定義 4.1（カイ二乗分布・t 分布・F 分布）↗

$Z_1,Z_2,\dots$ を独立な $N(0,1)$ とする。自由度 $k$ のカイ二乗分布 $\chi^2_k$ は $Z_1^2+\cdots+Z_k^2$ の分布。$Z\sim N(0,1)$ と $V\sim\chi^2_k$ が独立のとき $T=Z/\sqrt{V/k}$ の分布を 自由度 $k$ の $t$ 分布 $t_k$ という。$U\sim\chi^2_q$ と $V\sim\chi^2_k$ が独立のとき $F=(U/q)/(V/k)$ の分布を $F$ 分布 $F_{q,k}$ という。

命題 4.2（カイ二乗分布の密度）✓

$\chi^2_k$ の密度は $\dfrac{x^{k/2-1}e^{-x/2}}{2^{k/2}\Gamma(k/2)}$（$x>0$）で、平均 $k$、分散 $2k$ である。

証明（命題 4.2）

$Z\sim N(0,1)$ の $Z^2$ の特性関数は $E e^{itZ^2}=\int\frac{e^{-(1-2it)z^2/2}}{\sqrt{2\pi}}dz=(1-2it)^{-1/2}$（ガウス積分の複素版；$\mathrm{Re}(1-2it)=1>0$）。独立和の特性関数は積なので $\chi^2_k$ の特性関数は $(1-2it)^{-k/2}$。一方、ガンマ分布 $\mathrm{Gamma}(k/2,\text{レート }1/2)$ の密度 $\frac{x^{k/2-1}e^{-x/2}}{2^{k/2}\Gamma(k/2)}$ の特性関数も同じ $(1-2it)^{-k/2}$（積分 $\int_0^\infty x^{\alpha-1}e^{-(1/2-it)x}dx=\Gamma(\alpha)(1/2-it)^{-\alpha}$ から）。特性関数の一意性（定理 3.3）［特性関数と Gauss ベクトル］ により分布が一致する。平均は $E Z^2=1$ から $k$、分散は $\mathrm{Var}(Z^2)=E Z^4-1=3-1=2$ から $2k$（独立和）。

∎

$t_k$ は $k\to\infty$ で $N(0,1)$ に近づきます。$V/k\to1$（大数の法則）にスルツキーの定理を使えば従います。

定理 4.3（Cochran の定理）✓

$Z\sim N(0,\mathbb 1_n)$ とし、$\mathbb R^n$ が互いに直交する部分空間 $V_1,\dots,V_m$ の直和で $\dim V_j=r_j$ とする。$P_j$ を $V_j$ への直交射影とすると、$P_1Z,\dots,P_mZ$ は互いに独立で、$\|P_jZ\|^2\sim\chi^2_{r_j}$ である。

この定理は、正規線形モデルの分布論の中心です。標準正規ベクトルを直交する部分空間に分けると、各部分の成分は互いに独立で、長さの二乗はカイ二乗分布に従います。これを使って、残差平方和と推定量の独立性や、$t$ 分布・$F$ 分布の導出ができます。証明の方針は、正規直交基底を取って座標で見ると、独立な標準正規変数の二乗和に分かれることを確かめるだけです。

証明（定理 4.3）

各 $V_j$ の正規直交基底を並べて $\mathbb R^n$ の正規直交基底 $\{u_1,\dots,u_n\}$ を作り、直交行列 $O=(u_1,\dots,u_n)^{\mathsf T}$ を定める。Gauss ベクトルの構造（定理 5.2）［特性関数と Gauss ベクトル］ の 4 より $OZ\sim N(0,O\mathbb 1O^{\mathsf T})=N(0,\mathbb 1_n)$。成分 $\xi_i=u_i^{\mathsf T}Z$ はガウスベクトルの成分で互いに無相関なので、無相関ならば独立（命題 5.3）［特性関数と Gauss ベクトル］ を繰り返し使って互いに独立な $N(0,1)$。$P_jZ=\sum_{i\in I_j}\xi_iu_i$ （$I_j$ は $V_j$ の基底の添字集合、$|I_j|=r_j$）で、$\|P_jZ\|^2=\sum_{i\in I_j}\xi_i^2$ 。添字集合は互いに素なので、異なる $j$ のブロックは独立で、各ブロックは $r_j$ 個の独立な標準正規の二乗和、すなわち $\chi^2_{r_j}$。

∎

定理 4.4（正規線形モデルの標本分布）✓

$y=X\beta+\varepsilon$、$\varepsilon\sim N(0,\sigma^2\mathbb 1_n)$ のとき、

1. $\hat\beta\sim N\bigl(\beta,\sigma^2(X^{\mathsf T}X)^{-1}\bigr)$。
2. $(n-p)s^2/\sigma^2=\mathrm{RSS}/\sigma^2\sim\chi^2_{n-p}$。
3. $\hat\beta$ と $s^2$ は独立である。

証明（定理 4.4）

1. $\hat\beta=\beta+(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon$ はガウスベクトルの線形変換なので、Gauss ベクトルの構造（定理 5.2）［特性関数と Gauss ベクトル］ の 4 と 定理 3.1 の 1 による。2, 3. $Z=\varepsilon/\sigma\sim N(0,\mathbb 1_n)$ とし、$\mathbb R^n=W\oplus W^\perp$（$W=\mathrm{col}(X)$、$\dim W=p$、$\dim W^\perp=n-p$）に 定理 4.3 を使う。$\mathrm{RSS}=\|(\mathbb 1-H)\varepsilon\|^2=\sigma^2\|P_{W^\perp}Z\|^2\sim\sigma^2\chi^2_{n-p}$ で 2 を得る。さらに $\hat\beta-\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon$ は $X^{\mathsf T}\varepsilon=X^{\mathsf T}H\varepsilon$ （$X^{\mathsf T}H=X^{\mathsf T}$ より）を通じて $H\varepsilon=\sigma P_WZ$ のみの関数で、$P_WZ$ と $P_{W^\perp}Z$ は独立なので、$\hat\beta$ と $\mathrm{RSS}$ も独立。

∎

系 4.5（t 検定と t 区間）✓

$a\in\mathbb R^p$ について、$\mathrm{se}(a^{\mathsf T}\hat\beta)=s\sqrt{a^{\mathsf T}(X^{\mathsf T}X)^{-1}a}$ とおくと

$$T=\frac{a^{\mathsf T}\hat\beta-a^{\mathsf T}\beta}{\mathrm{se}(a^{\mathsf T}\hat\beta)}\sim t_{n-p}.$$

したがって $a^{\mathsf T}\beta$ の信頼係数 $1-\alpha$ の信頼区間は $a^{\mathsf T}\hat\beta\pm t_{n-p,\alpha/2}\,\mathrm{se}(a^{\mathsf T}\hat\beta)$ である。

証明（系 4.5）

定理 4.4 の 1 より $Z=\dfrac{a^{\mathsf T}\hat\beta-a^{\mathsf T}\beta}{\sigma\sqrt{a^{\mathsf T}(X^{\mathsf T}X)^{-1}a}}\sim N(0,1)$。2 より $V=(n-p)s^2/\sigma^2\sim\chi^2_{n-p}$、3 より $Z$ と $V$ は独立。$T=Z/\sqrt{V/(n-p)}$ で、$\sigma$ が約分され $t_{n-p}$ の定義そのもの。信頼区間は 検定と信頼集合の双対性（定理 6.2）［検定と区間推定］ による。

∎

$X=\mathbf 1$（全部 1 の列）の場合が、母平均の古典的な $t$ 区間 $\bar X\pm t_{n-1,\alpha/2}s/\sqrt n$ です。標本数が小さいときは正規分布ではなく $t$ 分布を使う理由が、$\sigma$ を $s$ で置き換えたことにあるのが分かります。

例 4.6（単回帰の推測）

例 2.3 のデータで、$\mathrm{RSS}=0.107$、$s^2=0.107/3=0.0357$（自由度 $n-p=3$）。傾きの標準誤差は $\sqrt{s^2/S_{xx}}=0.0597$、$t=1.99/0.0597=33.3$ 。95% 信頼区間は $t_{3,0.025}=3.182$ から $1.99\pm3.182\times0.0597=(1.80,\ 2.18)$。切片の標準誤差は $s\sqrt{1/n+\bar x^2/S_{xx}}=0.198$、$\hat\beta_0=0.05$ は $0$ と有意に異なると言えない（$t=0.25$）。

5. F 検定

係数のいくつかが $0$ かどうか、つまり小さいモデルで十分かを調べるのが $F$ 検定です。一般に、$W=\mathrm{col}(X)$ の部分空間 $W_0$（$\dim W_0=p-q$、$q\ge1$）を考え、$H_0:E[y]=X\beta\in W_0$ を検定します。たとえば、$q$ 個の係数が $0$ という仮説です。

定理 5.1（入れ子モデルの F 検定）✓

正規線形モデルで $H_0:X\beta\in W_0$ が成り立つとき、$\mathrm{RSS}_0=\|(\mathbb 1-P_{W_0})y\|^2$ （$H_0$ のもとでの最小二乗の残差平方和）、$\mathrm{RSS}=\|(\mathbb 1-P_W)y\|^2$ として

$$F=\frac{(\mathrm{RSS}_0-\mathrm{RSS})/q}{\mathrm{RSS}/(n-p)}\sim F_{q,\,n-p}.$$

$F$ が大きいとき $H_0$ を棄却する。

証明の方針は、$\mathbb R^n$ を三つの直交する部分空間に分けることです。小さなモデルの空間 $W_0$、フルモデルの空間 $W$ のうち $W_0$ に含まれない部分、そして $W^\perp$ です。$H_0$ のもとでは、後ろ二つの部分の成分は誤差だけで決まるので、Cochran の定理が当てはまります。

証明（定理 5.1）

$\mathbb R^n=W_0\oplus(W\ominus W_0)\oplus W^\perp$ （直交する 3 つの部分空間、次元は $p-q$、$q$、$n-p$）と分け、射影を $P_0,P_1=P_W-P_{W_0},P_2=\mathbb 1-P_W$ とする。$H_0$ のもとで $X\beta\in W_0$ なので、$P_1X\beta=P_2X\beta=0$、したがって $P_1y=P_1\varepsilon$、$P_2y=P_2\varepsilon$。$(\mathbb 1-P_{W_0})=P_1+P_2$ で $P_1,P_2$ は直交するから $\mathrm{RSS}_0=\|P_1y\|^2+\|P_2y\|^2$。$\mathrm{RSS}=\|P_2y\|^2$ なので $\mathrm{RSS}_0-\mathrm{RSS}=\|P_1\varepsilon\|^2$。定理 4.3 を $Z=\varepsilon/\sigma$ に適用すると、$\|P_1\varepsilon\|^2/\sigma^2\sim\chi^2_q$ と $\|P_2\varepsilon\|^2/\sigma^2=\mathrm{RSS}/\sigma^2\sim\chi^2_{n-p}$ は独立で、比 $F$ は $\sigma^2$ が約分され 定義 4.1 の $F_{q,n-p}$ である。

∎

対立仮説（$X\beta\notin W_0$）のもとでは、$P_1y=P_1X\beta+P_1\varepsilon$ の平均がずれ、$\|P_1y\|^2/\sigma^2$ は非心カイ二乗分布（非心度 $\|P_1X\beta\|^2/\sigma^2$）に従い、$F$ は大きくなる傾向をもちます。これが検出力の源です。

入れ子モデルの射影の幾何。y を W（フルモデル）に射影して ŷ、さらに W₀（小さなモデル）に射影して ŷ₀。RSS = |y − ŷ|²、RSS₀ − RSS = |ŷ − ŷ₀|²。両者は直交する成分で、H₀ のもとで独立なカイ二乗分布に従う。

例 5.2（1 個の係数の検定では $F=t^2$）

$q=1$（$a^{\mathsf T}\beta=0$ の検定）では $F_{1,k}$ と $t_k^2$ は同じ分布です。実際 $Z^2/(V/k)$ は $\chi^2_1/(V/k)$ の定義そのもの。例 4.6 のデータで $H_0:\beta_1=0$ の $F$ は $\mathrm{RSS}_0=S_{yy}=39.708$ から $F=\frac{(39.708-0.107)/1}{0.107/3}=1110$ で、$t^2=33.3^2=1110$ と一致します。

例 5.3（2 つの係数を加えたモデルの比較）

$n=20$ 個のデータに、$p=4$ 個の係数をもつフルモデルと、2 個の係数が 0 の小さなモデルを当てはめ、$\mathrm{RSS}_0=50$、$\mathrm{RSS}=30$ だったとする。$q=2$ で $F=\dfrac{(50-30)/2}{30/16}=5.33$ 。$F_{2,16}$ の上側 $5\%$ 点は $3.63$ なので、$H_0$（小さなモデルで十分）を棄却する。

例 5.4（一元配置分散分析）

$g$ 個の群があり、群 $j$ に $n_j$ 個の観測 $y_{ji}\sim N(\mu_j,\sigma^2)$ がある（$n=\sum n_j$）。フルモデルは群ごとの平均（$p=g$）、小さなモデルは全体の平均 1 個（$p-q=1$、$q=g-1$）。$\mathrm{RSS}=\sum_{j,i}(y_{ji}-\bar y_j)^2$（群内）、$\mathrm{RSS}_0-\mathrm{RSS}=\sum_jn_j(\bar y_j-\bar y)^2$（群間）。$F=\dfrac{\text{群間}/(g-1)}{\text{群内}/(n-g)}\sim F_{g-1,n-g}$ が分散分析（ANOVA）の $F$ 検定です。

6. 一般化最小二乗と相関のあるデータ

誤差が無相関・等分散でないとき、すなわち $\mathrm{Cov}(y)=C$ （既知の正定値行列）のときを考えます。

定理 6.1（一般化最小二乗（Aitken））✓

$y=X\beta+\varepsilon$、$E\varepsilon=0$、$\mathrm{Cov}(\varepsilon)=C$（正定値）とする。一般化最小二乗（GLS）推定量

$$\hat\beta_{\mathrm{GLS}}=(X^{\mathsf T}C^{-1}X)^{-1}X^{\mathsf T}C^{-1}y$$

は $\beta$ の線形不偏推定量の中で最小分散（BLUE）で、$\mathrm{Cov}(\hat\beta_{\mathrm{GLS}})=(X^{\mathsf T}C^{-1}X)^{-1}$ である。$\hat\beta_{\mathrm{GLS}}$ は $\chi^2(\beta)=(y-X\beta)^{\mathsf T}C^{-1}(y-X\beta)$ の最小化で得られ、$\varepsilon\sim N(0,C)$ なら最小値 $\chi^2_{\min}$ は $\chi^2_{n-p}$ に従う。

証明（定理 6.1）

$C$ は正定値な対称行列なので、スペクトル定理（定理 4.2）［スペクトル定理］ で対角化して正定値な平方根 $C^{1/2}$ とその逆 $C^{-1/2}$ が作れる。$\tilde y=C^{-1/2}y$、$\tilde X=C^{-1/2}X$、$\tilde\varepsilon=C^{-1/2}\varepsilon$ とおくと $\tilde y=\tilde X\beta+\tilde\varepsilon$、$\mathrm{Cov}(\tilde\varepsilon)=C^{-1/2}CC^{-1/2}=\mathbb 1_n$（白色化）。これは $\sigma^2=1$ の線形モデルで、定理 2.2 と 定理 3.1 が使える。最小二乗推定量は $(\tilde X^{\mathsf T}\tilde X)^{-1}\tilde X^{\mathsf T}\tilde y=(X^{\mathsf T}C^{-1}X)^{-1}X^{\mathsf T}C^{-1}y$ で、$\|\tilde y-\tilde X\beta\|^2=\chi^2(\beta)$ 。線形不偏推定量は $c^{\mathsf T}y=(C^{1/2}c)^{\mathsf T}\tilde y$ と書き直せば $\tilde y$ の線形不偏推定量なので、BLUE の主張と共分散が従う。正規性のもとでは 定理 4.4 の 2 （$\sigma=1$）から $\chi^2_{\min}=\mathrm{RSS}(\tilde y,\tilde X)\sim\chi^2_{n-p}$。

∎

証明の方針は、誤差に $C^{-1/2}$ をかけて無相関・等分散の誤差に直し（白色化）、これまでの線形モデルの結果を使うことです。$C^{-1/2}$ は、$C$ を対角化して固有値の平方根の逆数を並べて作ります。

最小値 $\chi^2_{\min}$ は当てはめの良さの検定統計量です。$\chi^2_{\min}/(n-p)\approx1$ ならモデルとデータは整合し、はるかに大きければモデルが誤り（または誤差を過小評価）しています。

次に、モンテカルロ法の標本のように、同じ量を時系列的に繰り返し測ったデータで、平均値の誤差を評価します。測定値 $x_1,\dots,x_N$ は定常（時刻をずらしても統計的な性質が変わらない）で、自己共分散 $\gamma(k)=\mathrm{Cov}(x_i,x_{i+k})$、自己相関 $\rho_k=\gamma(k)/\gamma(0)$ をもつとします。

定理 6.2（相関のあるデータの平均の分散）✓

定常列 $x_1,\dots,x_N$ の標本平均 $\bar x$ について

$$\mathrm{Var}(\bar x)=\frac{\gamma(0)}N\Bigl[1+2\sum_{k=1}^{N-1}\Bigl(1-\frac kN\Bigr)\rho_k\Bigr].$$

$\sum_{k\ge1}|\rho_k|<\infty$ ならば

$$N\,\mathrm{Var}(\bar x)\to\gamma(0)\cdot2\tau_{\mathrm{int}},\qquad\tau_{\mathrm{int}}=\frac12+\sum_{k=1}^\infty\rho_k\quad(N\to\infty).$$

統合自己相関時間 $\tau_{\mathrm{int}}$ を使うと、$\bar x$ の分散は独立な $N_{\mathrm{eff}}=N/(2\tau_{\mathrm{int}})$ 個の標本の平均の分散 $\gamma(0)/N_{\mathrm{eff}}$ に等しい。

証明の方針は、$\mathrm{Var}(\bar x)$ が $N^2$ 個の共分散の和であることから、時刻の差 $k=i-j$ が同じ組をまとめて数えることです。たとえば $N=3$ なら、$k=0$ の組は 3 個、$k=1$ の組は $(2,1),(3,2)$ の 2 個で、一般に差が $|k|$ の組は $N-|k|$ 個です。

証明（定理 6.2）

$\mathrm{Var}(\bar x)=\frac1{N^2}\sum_{i,j=1}^N\gamma(i-j)$。差 $k=i-j$ ごとにまとめると、$k$ を与える $(i,j)$ の組は $N-|k|$ 個なので $\frac1{N^2}\sum_{|k|<N}(N-|k|)\gamma(k)=\frac1N\sum_{|k|<N}(1-\frac{|k|}N)\gamma(k)$。$\gamma(-k)=\gamma(k)$ から第 1 式を得る。第 2 式は、各項 $(1-k/N)\rho_k\to\rho_k$ で、$|(1-k/N)\rho_k|\le|\rho_k|$ かつ $\sum|\rho_k|<\infty$ なので、和に対する優収束定理（ルベーグの優収束定理（定理 7.3）［ルベーグ積分の定義と収束定理］ を計数測度に使う）により $\sum_{k=1}^{N-1}(1-k/N)\rho_k\to\sum_{k\ge1}\rho_k$。$1+2\sum\rho_k=2\tau_{\mathrm{int}}$。

∎

独立な標本（$\rho_k=0$）では $\tau_{\mathrm{int}}=\frac12$、$N_{\mathrm{eff}}=N$ で、$\mathrm{Var}(\bar x)=\gamma(0)/N$ に戻ります。正の相関があると $\tau_{\mathrm{int}}>\frac12$ で、$N_{\mathrm{eff}}<N$ です。

例 6.3（AR(1) 過程の有効標本数）

$x_{i+1}-\mu=\phi(x_i-\mu)+\eta_i$（$|\phi|<1$、$\eta_i$ は無相関なノイズ）の定常解では $\rho_k=\phi^k$。$\sum_{k\ge1}\phi^k=\frac\phi{1-\phi}$ から

$$\tau_{\mathrm{int}}=\frac12+\frac\phi{1-\phi}=\frac{1+\phi}{2(1-\phi)},\qquad N_{\mathrm{eff}}=N\,\frac{1-\phi}{1+\phi}.$$

$\phi=0.9$ のとき $N_{\mathrm{eff}}=N/19$ 。10000 個の標本は 526 個の独立標本と同じ精度しかなく、相関を無視した標準誤差 $\sqrt{\gamma(0)/N}$ は真の値の $\sqrt{1/19}=23\%$ に過小評価されます。$\phi=0.5$ なら $N_{\mathrm{eff}}=N/3$ 。

注意 6.4（実際の誤差評価）

$\tau_{\mathrm{int}}$ は未知で、データから推定します。実務では、系列を長さ $B$ のブロックに分けてブロック平均を作り、$B\gg\tau_{\mathrm{int}}$ なら各ブロック平均は近似的に独立になるので、ブロック平均の標準偏差から誤差を評価します（ブロック化、またはジャックナイフ法）。$B$ を増やして誤差が一定値に飽和するのを確認します。さらに、複数の時間 $t$ の測定値を同時に当てはめるときは、各時間の値の間の共分散行列 $C$ を標本から推定して 定理 6.1 の $\chi^2$ 最小化を行い、$\chi^2_{\min}/(n-p)$ で当てはめの良さを判断します。

7. 演習

演習 7.1易

3 点 $(x,y)=(0,1),(1,3),(2,4)$ に直線 $y=\beta_0+\beta_1x$ を最小二乗で当てはめ、残差平方和を求めよ。

解答

$\bar x=1$、$\bar y=\frac83$。$S_{xx}=2$、$S_{xy}=(-1)(1-\frac83)+0+(1)(4-\frac83)=\frac53+\frac43=3$。$\hat\beta_1=\frac32$、$\hat\beta_0=\frac83-\frac32=\frac76$。残差：$1-\frac76=-\frac16$、$3-(\frac76+\frac32)=3-\frac{8}{3}=\frac13$、$4-(\frac76+3)=-\frac16$。$\mathrm{RSS}=\frac1{36}+\frac19+\frac1{36}=\frac16$。（残差の和は $0$ で、$x$ との内積も $0$ 。）

演習 7.2標準

注意 3.2 のモデル $y_i=\beta+\varepsilon_i$（$\mathrm{Var}\,\varepsilon_i=\sigma^2$）で、$\hat\beta_c=c\bar y$ の MSE を計算し、$c=\beta^2/(\beta^2+\sigma^2/n)$ で最小になることを示せ。

解答

$E\hat\beta_c=c\beta$、偏り $(c-1)\beta$、分散 $c^2\sigma^2/n$。$\mathrm{MSE}(c)=(c-1)^2\beta^2+c^2\sigma^2/n$。$c$ で微分して $2(c-1)\beta^2+2c\sigma^2/n=0$ から $c=\beta^2/(\beta^2+\sigma^2/n)$。このとき $\mathrm{MSE}=\frac{\beta^2\sigma^2/n}{\beta^2+\sigma^2/n}<\sigma^2/n$。（ただし最適な $c$ は未知の $\beta$ に依存するので、実際には使えない。）

演習 7.3標準

3 つの群の標本数が $n_1=n_2=n_3=5$、群平均が $(10,12,14)$、全体平均 $12$、群内平方和が $\mathrm{RSS}=60$ であるとき、$F$ 統計量を求め、$H_0:\mu_1=\mu_2=\mu_3$ を $5\%$ 水準で検定せよ（$F_{2,12}$ の上側 $5\%$ 点は $3.89$）。

解答

群間平方和は $5(4+0+4)=40$、$g-1=2$、$n-g=12$。$F=\dfrac{40/2}{60/12}=4.0>3.89$ なので、$5\%$ 水準で $H_0$ を棄却する（ぎりぎり）。

演習 7.4標準

$\phi=0.6$ の AR(1) 過程から $N=2000$ 個の標本を得たとき、$\tau_{\mathrm{int}}$ と有効標本数 $N_{\mathrm{eff}}$ を求めよ。標本平均の標準誤差は、相関を無視した場合の何倍か。

解答

$\tau_{\mathrm{int}}=\frac{1.6}{2\times0.4}=2$、$N_{\mathrm{eff}}=2000/4=500$（$=N(1-\phi)/(1+\phi)=2000\times0.25$）。標準誤差は $\sqrt{N/N_{\mathrm{eff}}}=\sqrt4=2$ 倍。

参考文献

• Shayle R. Searle and Marvin H. J. Gruber, Linear Models, 2nd ed., Wiley, 2017 — 最小二乗、Gauss–Markov、分布論。
• C. Radhakrishna Rao, Linear Statistical Inference and Its Applications, 2nd ed., Wiley, 1973 — 線形モデルの理論、Cochran の定理。
• George A. F. Seber and Alan J. Lee, Linear Regression Analysis, 2nd ed., Wiley, 2003 — 回帰分析の推測。
• Ulli Wolff, “Monte Carlo errors with less errors”, Computer Physics Communications 156 (2004), 143–153 — 統合自己相関時間と誤差評価。
• 久保川達也『現代数理統計学の基礎』共立出版、2017 — 線形モデルと正規分布論。