大数の法則と中心極限定理：標本平均はどこへ、どれだけ速く近づくか

0. この記事の要点

コインを何度も投げると、表の出る割合は $1/2$ に近づいていきます。この記事は、その「近づく」とは数学的にどういう意味か、そして近づくときに誤差がどれくらいの大きさで、どんな形をしているかを調べます。読み終えると、世論調査で約 $1000$ 人に聞けば足りる理由や、シミュレーションの精度が試行回数の平方根でしか上がらない理由を、定理から説明できるようになります。

• 確率変数列の「収束」には少なくとも 4 通りある。強い順に 概収束（ほとんどすべての実験記録で値が収束すること）→ 確率収束 → 分布収束、および $L^p$ 収束 → 確率収束 という含意があり、逆は一般に成り立ちません。反例はいずれも 1 行の関数で作れます。
• 大数の法則は「標本平均 $\bar{X}_n$ が期待値 $\mu$ に近づく」という主張です。弱法則は確率収束、強法則は概収束を主張します。両者の違いは「各 $n$ での確率」と「軌道全体の確率」の違いであり、シミュレーションの正当化に効くのは強法則のほうです。
• 中心極限定理は、大数の法則で消えた誤差 $\bar{X}_n - \mu$ を $\sqrt{n}$ 倍という正しい倍率で拡大すると、分布が必ず正規分布 $N(0,\sigma^2)$ に収束する、と述べます。元の分布が何であっても同じ極限に行く点が強力です。
• 証明の道具は特性関数（分布を調べるための道具となる関数で、第 5 節で定義します）とレヴィの連続性定理です。$\varphi(t) = 1 - t^2/2 + o(t^2)$ という 2 次までの展開と $(1 + c_n/n)^n \to e^{c}$ だけで極限が出ます。
• 応用面での結論は「精度は標本数の平方根でしか上がらない」ことです。誤差を $10$ 分の $1$ にするには $100$ 倍のデータが要ります。信頼区間・モンテカルロ法・確率的勾配降下法の収束速度は、すべてこの $1/\sqrt{n}$ に支配されています。

この記事で使う事前知識

• 確率変数: 試行の結果に実数を対応させる可測関数のこと。→ 確率変数
• 期待値: 確率変数の値を確率で重みづけして平均したもの（ルベーグ積分で定義されます）。→ 期待値
• 分散: 平均からのずれの 2 乗の期待値で、散らばりの大きさを表す量。→ 分散
• 可測関数: 確率や積分を考えられるように、値の範囲で決まる集合が可測になる関数。→ 可測関数
• 分布関数: 確率変数が $x$ 以下の値をとる確率を $x$ の関数として表したもの。→ 分布関数
• 正規分布: 平均のまわりに左右対称な釣り鐘の形に広がる分布。→ 正規分布

1. 動機

コインを $10$ 回投げて表が $7$ 回出たとき、私たちは「このコインは歪んでいる」とは言いません。$10{,}000$ 回投げて表が $7{,}000$ 回なら、そう言います。この直感、つまり「試行回数を増やせば相対頻度は真の確率に近づく」という信念は、確率論を現実に接続する要です。しかしこれは公理から自動的に出てくるものではありません。確率空間とコルモゴロフの公理は「確率とは全測度 $1$ の測度である」と述べるだけで、その測度がどうやって観測される頻度と結びつくのかは何も言っていないからです。

この橋渡しを最初に定理として証明したのがヤコブ・ベルヌーイで、遺著『推測法』(1713) に収められた結果は今日ベルヌーイの大数の法則と呼ばれます。彼は「これは素人でも本能的に知っていることだが、科学的に証明しなければならない」と書き、$20$ 年かけてこの証明に取り組みました。19 世紀にはチェビシェフが自身の不等式を使って一般の確率変数へ拡張し、20 世紀初頭にボレルとコルモゴロフが「各 $n$ について確率が高い」よりずっと強い、「ほとんどすべての軌道で収束する」形（強法則）を確立します。

一方、大数の法則は誤差の大きさを教えてくれません。$\bar{X}_n \to \mu$ が分かっても、$n = 10{,}000$ でどれくらい外れるのか、その外れ方はどんな形をしているのかは別問題です。ここで登場するのが中心極限定理です。ド・モアブル (1733) は二項分布の確率を階乗の近似から計算し、$n$ が大きいとき二項分布のグラフが今日いう正規分布に重なることを見出しました。ラプラスがこれを一般化し、リンドバーグとレヴィが 1920 年代に現代的な形に整えます。結論は驚くべきものです。元の分布の形によらず、和の分布は正規分布に収束する。サイコロでも、指数分布でも、値が $0$ と $1$ しかない分布でも、期待値と分散さえ有限なら極限は同じです。この普遍性が、正規分布を統計学の中心に据えた理由そのものです。

この記事では、まず収束概念を整理し（第 3 節）、大数の法則を弱・強の両方で証明し（第 4 節）、特性関数を使って中心極限定理を証明します（第 5 節）。最後に、これらが統計的推定と機械学習でどう使われるかを具体的な数値とともに見ます（第 6 節）。

2. 準備

以下、確率空間 $(\Omega, \mathcal{F}, P)$ を固定します。確率変数とは可測関数 $X : \Omega \to \mathbb{R}$ のことで、その期待値 $E[X] = \int_\Omega X \, dP$ はルベーグ積分として定義されます（確率変数と期待値、とくに定義 4.1［確率変数と期待値］を参照）。$\mathbb{N} = \{1, 2, \ldots\}$ とします。

記号を確認しておきます。$X_1, X_2, \ldots$ が独立同分布 (independent and identically distributed, i.i.d.) であるとは、互いに独立（定義 2.3［確率変数と期待値］）で、かつすべて同じ分布に従うことをいいます。このとき

$$S_n = \sum_{i=1}^{n} X_i, \qquad \bar{X}_n = \frac{S_n}{n}$$

をそれぞれ部分和、標本平均と書きます。$\mu = E[X_1]$、$\sigma^2 = \operatorname{Var}(X_1) = E[(X_1-\mu)^2]$ とします。独立性から分散は加法的（命題 5.3［確率変数と期待値］）なので

$$\operatorname{Var}(S_n) = n\sigma^2, \qquad \operatorname{Var}(\bar{X}_n) = \frac{\sigma^2}{n}$$

です。この $\operatorname{Var}(\bar{X}_n) = \sigma^2/n$ という一行が、この記事のほとんどすべてを支配します。標準偏差でいえば $\sigma/\sqrt{n}$、つまり誤差は $n$ ではなく $\sqrt{n}$ の逆数で縮むということです。

「ほとんど確実に」(almost surely, a.s.) とは、確率 $1$ の事象上で、という意味です。すなわち命題 $A(\omega)$ が a.s. で成り立つとは、$P(\{\omega : A(\omega) \text{ が成り立つ}\}) = 1$ であることをいいます。

3. 確率変数列の収束

数列の収束は一通りですが、確率変数列は $\Omega$ 上の関数の列なので、収束の意味が複数あります。実数の関数列に各点収束・一様収束・平均収束があったのと同じ事情です（関数列と一様収束）。確率論ではさらに「分布だけが近づく」という弱い概念が加わります。

3.1. 四つの収束

定義 3.1（概収束）↗

確率変数列 $(X_n)_{n \in \mathbb{N}}$ と確率変数 $X$ が同じ確率空間 $(\Omega, \mathcal{F}, P)$ 上で定義されているとする。

$$P\left(\left\{\omega \in \Omega : \lim_{n \to \infty} X_n(\omega) = X(\omega)\right\}\right) = 1$$

が成り立つとき、$X_n$ は $X$ に概収束するといい、$X_n \xrightarrow{\text{a.s.}} X$ と書く。

概収束は「各 $\omega$ ごとの数列 $X_n(\omega)$ が収束する」という各点収束を、確率 $1$ の例外を許して述べたものです。$\omega$ を一つの実験の全記録（コインを無限回投げた結果の列）だと思うと、概収束は「ほとんどすべての実験記録において、値の列が収束する」と読めます。

定義 3.2（確率収束）↗

$(X_n)$ と $X$ が同じ確率空間上で定義されているとする。任意の $\varepsilon > 0$ に対して

$$\lim_{n \to \infty} P(|X_n - X| > \varepsilon) = 0$$

が成り立つとき、$X_n$ は $X$ に確率収束するといい、$X_n \xrightarrow{P} X$ と書く。

確率収束は「各 $n$ を止めたときに、$X_n$ が $X$ から $\varepsilon$ 以上離れている確率が小さい」という主張です。$n$ ごとに外れる $\omega$ の集合が変わってもかまわない点が、概収束との決定的な差です。

定義 3.3（$L^p$ 収束）↗

$p \ge 1$ とし、$E[|X_n|^p] < \infty$、$E[|X|^p] < \infty$ とする。

$$\lim_{n \to \infty} E\left[|X_n - X|^p\right] = 0$$

が成り立つとき、$X_n$ は $X$ に $L^p$ 収束する（$p=2$ のときは平均二乗収束）といい、$X_n \xrightarrow{L^p} X$ と書く。

$L^p$ 収束は $L^p$ 空間のノルム収束にほかなりません（L^p空間と関数解析への導入の定義 3.1［L^p 空間と関数解析への導入］）。誤差を「平均的な大きさ」で測る立場です。

定義 3.4（分布収束（弱収束））↗

$X_n$ の分布関数を $F_n(x) = P(X_n \le x)$、$X$ の分布関数を $F(x) = P(X \le x)$ とする。$F$ が連続であるすべての点 $x$ において

$$\lim_{n \to \infty} F_n(x) = F(x)$$

が成り立つとき、$X_n$ は $X$ に分布収束するといい、$X_n \xrightarrow{d} X$ と書く。$X_n$ たちは同じ確率空間上にある必要はない。

分布収束だけは、確率変数そのものではなく分布の収束です。したがって $X_n$ と $X$ が別々の確率空間に住んでいても意味を持ちます。「$F$ の連続点でのみ要求する」という但し書きは外せません。$X_n \equiv 1/n$（定数）は $X \equiv 0$ に分布収束してほしいところですが、$F_n(0) = P(1/n \le 0) = 0$ に対し $F(0) = 1$ で、不連続点 $x=0$ では収束していないからです。直感的には、分布関数がジャンプする点ではわずかなずれで値が $0$ から $1$ に飛んでしまうので、そこは比べないことにしている、ということです。

3.2. 含意関係

四つの収束概念の含意関係。逆向きの矢印は一般には成立しない

命題 3.5（マルコフ・チェビシェフの不等式）✓

$Y$ を非負確率変数、$a > 0$ とすると

$$P(Y \ge a) \le \frac{E[Y]}{a}$$

が成り立つ（マルコフの不等式）。特に $E[X^2] < \infty$ なる確率変数 $X$ と $\varepsilon > 0$ に対し、$\mu = E[X]$ とおくと

$$P(|X - \mu| \ge \varepsilon) \le \frac{\operatorname{Var}(X)}{\varepsilon^2}$$

が成り立つ（チェビシェフの不等式）。

証明（命題 3.5）

$Y \ge 0$ なので、事象 $A = \{Y \ge a\}$ の定義関数 $\mathbf{1}_A$ について $Y \ge Y\mathbf{1}_A \ge a \mathbf{1}_A$ が各点で成り立ちます。実際、$\omega \in A$ なら $Y(\omega) \ge a$ であり、$\omega \notin A$ なら右辺は $0$ で $Y(\omega) \ge 0$ だからです。期待値の単調性（ルベーグ積分の単調性）より

$$E[Y] \ge E[a \mathbf{1}_A] = a\,P(A) = a\,P(Y \ge a)$$

となり、$a > 0$ で割ってマルコフの不等式を得ます。

チェビシェフの不等式は、$Y = (X-\mu)^2 \ge 0$、$a = \varepsilon^2 > 0$ としてマルコフの不等式を適用すれば得られます。事象として $\{|X-\mu| \ge \varepsilon\} = \{(X-\mu)^2 \ge \varepsilon^2\}$ が成り立つので、

$$P(|X-\mu| \ge \varepsilon) = P\left((X-\mu)^2 \ge \varepsilon^2\right) \le \frac{E[(X-\mu)^2]}{\varepsilon^2} = \frac{\operatorname{Var}(X)}{\varepsilon^2}$$

です。

∎

定理 3.6（収束概念の含意）✓

同じ確率空間上の確率変数列 $(X_n)$ と確率変数 $X$ について、次が成り立つ。

1. $X_n \xrightarrow{\text{a.s.}} X$ ならば $X_n \xrightarrow{P} X$。
2. ある $p \ge 1$ について $X_n \xrightarrow{L^p} X$ ならば $X_n \xrightarrow{P} X$。
3. $X_n \xrightarrow{P} X$ ならば $X_n \xrightarrow{d} X$。
4. $c$ を定数とするとき、$X_n \xrightarrow{d} c$ ならば $X_n \xrightarrow{P} c$。

1〜3 の逆はいずれも一般には成り立たない（4 は、極限が定数のときに限った 3 の逆である）。

以下の証明のうち (1) は、集合 $B_n$ を「$n$ 番目以降のどこかで、$X_m$ が $X$ から $\varepsilon$ より離れる」という事象として作り、$n$ を進めるにつれて $B_n$ が縮んでいくことを使います。縮んだ先の共通部分は「何度でも離れる」実験記録の集合なので、概収束ならその確率は $0$ で、$B_n$ の確率も $0$ に向かう、という流れです。(2)〜(4) は不等式で確率を直接評価します。

証明（定理 3.6）

(1) $\varepsilon > 0$ を固定し、$A_n = \{|X_n - X| > \varepsilon\}$、$B_n = \bigcup_{m \ge n} A_m$ とおきます。$B_n$ は $n$ について単調減少です。$\omega \in \bigcap_{n} B_n$ とは「$|X_m(\omega) - X(\omega)| > \varepsilon$ となる $m$ が無限個ある」ことで、これは $X_n(\omega) \to X(\omega)$ と両立しません。よって仮定（概収束）より $P(\bigcap_n B_n) = 0$ です。測度の上からの連続性（定理 4.3［確率空間とコルモゴロフの公理］。$P(B_1) \le 1 < \infty$ なので使えます）から $P(B_n) \to P(\bigcap_n B_n) = 0$、したがって $P(A_n) \le P(B_n) \to 0$ を得ます。

(2) $Y = |X_n - X|^p \ge 0$、$a = \varepsilon^p > 0$ として命題 3.5のマルコフの不等式を使うと

$$P(|X_n - X| \ge \varepsilon) = P(|X_n-X|^p \ge \varepsilon^p) \le \frac{E[|X_n - X|^p]}{\varepsilon^p}$$

となり、右辺は仮定より $0$ に収束します。

(3) $x$ を $F$ の連続点とし、$\varepsilon > 0$ を任意にとります。事象の包含関係

$$\{X \le x - \varepsilon\} \subset \{X_n \le x\} \cup \{|X_n - X| > \varepsilon\}$$

が成り立ちます（左辺の $\omega$ で $X_n(\omega) > x$ なら $X_n(\omega) - X(\omega) > \varepsilon$ だからです）。よって

$$F(x-\varepsilon) \le F_n(x) + P(|X_n - X| > \varepsilon).$$

同様に $\{X_n \le x\} \subset \{X \le x+\varepsilon\} \cup \{|X_n - X| > \varepsilon\}$ から

$$F_n(x) \le F(x+\varepsilon) + P(|X_n - X| > \varepsilon).$$

$n \to \infty$ とすると確率収束の仮定より $P(|X_n-X| > \varepsilon) \to 0$ なので

$$F(x-\varepsilon) \le \liminf_n F_n(x) \le \limsup_n F_n(x) \le F(x+\varepsilon).$$

$x$ は $F$ の連続点なので $\varepsilon \downarrow 0$ として両端がともに $F(x)$ に収束し、$F_n(x) \to F(x)$ を得ます。

(4) 極限が定数 $c$ のとき、$F(x) = \mathbf{1}_{[c,\infty)}(x)$ で連続点は $x \ne c$ です。$\varepsilon > 0$ に対し

$$P(|X_n - c| > \varepsilon) \le P(X_n \le c - \varepsilon) + P(X_n > c+\varepsilon) = F_n(c-\varepsilon) + 1 - F_n(c+\varepsilon).$$

$c \pm \varepsilon$ はともに $F$ の連続点なので、仮定より $F_n(c-\varepsilon) \to F(c-\varepsilon) = 0$、$F_n(c+\varepsilon) \to F(c+\varepsilon) = 1$ です。よって右辺は $0$ に収束します。

逆が成り立たないこと。 いずれも $\Omega=[0,1]$ にルベーグ測度を入れた確率空間で反例を作ります。

(1) の逆: $n=2^k+j$（$k\ge0$、$0\le j<2^k$）と書き、$X_n=\mathbf 1_{[j2^{-k},(j+1)2^{-k})}$ とします。$0<\varepsilon<1$ なら $P(|X_n|>\varepsilon)=2^{-k}\to0$ なので $X_n\xrightarrow{P}0$ です。一方、各 $\omega\in[0,1)$ と各 $k\ge1$ について $\omega$ を含む幅 $2^{-k}$ の窓がちょうど 1 つ、含まない窓が少なくとも 1 つあるので、$X_n(\omega)=1$ となる $n$ と $X_n(\omega)=0$ となる $n$ がともに無限個あり、$X_n(\omega)$ は収束しません。よって $X_n$ はどんな $X$ にも概収束しません。

(2) の逆: $X_n=n\mathbf 1_{(0,1/n)}$ とします。$\varepsilon>0$ について $P(|X_n|>\varepsilon)\le1/n\to0$ なので $X_n\xrightarrow{P}0$ です。もしある $X$ に $L^p$ 収束するなら、(2) より $X_n\xrightarrow{P}X$ で、$P(|X|>2\varepsilon)\le P(|X_n-X|>\varepsilon)+P(|X_n|>\varepsilon)\to0$ から $X=0$ a.s. です。しかし $E[|X_n|^p]=n^{p}\cdot\frac1n=n^{p-1}\ge1$ で $0$ に収束しないので矛盾です。

(3) の逆: $X(\omega)=\omega$ とし、$X_n=1-X$ とします。$1-X$ も $[0,1]$ 上の一様分布なので $F_n=F$ で $X_n\xrightarrow{d}X$ ですが、$P(|X_n-X|>\tfrac12)=P(|1-2X|>\tfrac12)=\tfrac12$ なので確率収束しません。

∎

逆が成り立たないことの詳しい観察は例 3.7、例 3.8、および下の注意にあります。

例 3.7（確率収束するが概収束しない列（タイプライター列））

$\Omega = [0,1]$ にルベーグ測度を入れます。$n \ge 1$ を $n = 2^k + j$（$k \ge 0$、$0 \le j < 2^k$）と一意に書き、

$$X_n(\omega) = \mathbf{1}_{[\,j2^{-k},\,(j+1)2^{-k}\,)}(\omega)$$

と定めます。これは幅 $2^{-k}$ の窓が $[0,1]$ を左から右へ走査し、走査が終わるたびに幅が半分になる列です。

確率収束: $0 < \varepsilon < 1$ に対し $P(|X_n - 0| > \varepsilon) = P(X_n = 1) = 2^{-k}$ で、$n \to \infty$ のとき $k \to \infty$ なので $0$ に収束します。よって $X_n \xrightarrow{P} 0$ です。

概収束しないこと: どの $\omega \in [0,1)$ を固定しても、各 $k$ についてちょうど一つの $j$ が $\omega \in [j2^{-k}, (j+1)2^{-k})$ を満たすので、$X_n(\omega) = 1$ となる $n$ が無限個あります。同時に $X_n(\omega) = 0$ となる $n$ も（$k \ge 1$ なら各段に少なくとも一つあるので）無限個あります。したがって $\omega \in [0,1)$ では $X_n(\omega)$ は $\limsup = 1$、$\liminf = 0$ で発散します。収束するのは、どの窓にも入らない端点 $\omega = 1$ だけです。すなわち収束する $\omega$ の集合は $\{1\}$ で、確率 $1$ どころか確率 $0$ です。

例 3.8（概収束するが $L^1$ 収束しない列）

同じく $\Omega = [0,1]$ にルベーグ測度を入れ、$X_n = n \cdot \mathbf{1}_{(0,1/n)}$ とします。

概収束: $\omega \in (0,1]$ を固定すると、$n > 1/\omega$ なるすべての $n$ で $\omega \notin (0,1/n)$ すなわち $X_n(\omega) = 0$ です。よって $X_n(\omega) \to 0$ が $(0,1]$ 上で成り立ち、$P((0,1]) = 1$ なので $X_n \xrightarrow{\text{a.s.}} 0$ です。

$L^1$ 収束しないこと: $E[|X_n - 0|] = n \cdot P((0,1/n)) = n \cdot \frac{1}{n} = 1$ で、これは $0$ に収束しません。高さ $n$、幅 $1/n$ の細い塔が、面積を保ったまま消えていく状況です。この例は、概収束から $L^1$ 収束を導くには一様可積分性のような追加仮定が要ることを示しています（優収束定理（定理 7.3）［ルベーグ積分の定義と収束定理］も参照）。

注意 3.9

分布収束から確率収束が出ないことも簡単に分かります。$X \sim N(0,1)$ とし、すべての $n$ で $X_n = -X$ と定めます。標準正規分布は原点対称なので $-X$ の分布も $N(0,1)$ で、$X_n \xrightarrow{d} X$ です。しかし $|X_n - X| = 2|X|$ であり、$P(2|X| > 1)$ は $n$ によらない正の定数（およそ $0.617$）なので、$X_n$ は $X$ に確率収束しません。分布収束は「値が近い」ことを一切主張しない、という点を押さえてください。

4. 大数の法則

4.1. 弱法則

定理 4.1（大数の弱法則）✓

$X_1, X_2, \ldots$ を独立同分布な確率変数列とし、$E[|X_1|] < \infty$、$\mu = E[X_1]$ とする。このとき標本平均 $\bar{X}_n = n^{-1}\sum_{i=1}^n X_i$ は $\mu$ に確率収束する。すなわち任意の $\varepsilon > 0$ に対して

$$\lim_{n\to\infty} P\left(\left|\bar{X}_n - \mu\right| > \varepsilon\right) = 0 .$$

証明（定理 4.1）

一般の場合は、後で（この定理を使わずに）証明する定理 4.5により $\bar{X}_n \to \mu$ が概収束し、定理 3.6 (1) により確率収束するので従います。以下では、追加仮定 $\sigma^2 = \operatorname{Var}(X_1) < \infty$ のもとでの直接の証明を与えます。

期待値の線形性より $E[\bar{X}_n] = \frac{1}{n}\sum_{i=1}^n E[X_i] = \frac{1}{n} \cdot n\mu = \mu$ です。独立性から分散が加法的であること、および $\operatorname{Var}(cY) = c^2\operatorname{Var}(Y)$ より

$$\operatorname{Var}(\bar{X}_n) = \frac{1}{n^2}\operatorname{Var}\left(\sum_{i=1}^n X_i\right) = \frac{1}{n^2}\sum_{i=1}^n \operatorname{Var}(X_i) = \frac{n\sigma^2}{n^2} = \frac{\sigma^2}{n}.$$

命題 3.5のチェビシェフの不等式を $X = \bar{X}_n$ に適用すると、任意の $\varepsilon > 0$ に対し

$$P\left(|\bar{X}_n - \mu| \ge \varepsilon\right) \le \frac{\operatorname{Var}(\bar{X}_n)}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2} \xrightarrow[n\to\infty]{} 0$$

となります。$P(|\bar{X}_n - \mu| > \varepsilon) \le P(|\bar{X}_n-\mu| \ge \varepsilon)$ なので主張が従います。

∎

証明が示しているのは、弱法則の本質が $\operatorname{Var}(\bar{X}_n) = \sigma^2/n \to 0$ の一行だという事実です。独立性は分散の加法性のためだけに使われました。したがって独立性を「無相関」に弱めても同じ証明が通ります。

例 4.2（コイン投げの数値評価）

公平なコインを $n$ 回投げ、表を $1$、裏を $0$ とする $X_i$ を考えます。$\mu = 1/2$、$\sigma^2 = 1/4$ です。$n = 10{,}000$、$\varepsilon = 0.01$ としてチェビシェフの評価を計算すると

$$P\left(\left|\bar{X}_{10000} - \tfrac12\right| \ge 0.01\right) \le \frac{1/4}{10^4 \times 10^{-4}} = \frac{0.25}{1} = 0.25 .$$

「$4$ 回に $1$ 回以下」という保証しか出ません。これは弱いように見えますが、分布の形を一切仮定せずに得られる保証であることを思えば妥当です。あとで定理 5.6を使うと、この確率が実際にはおよそ $0.046$ であることが分かります（例 5.7）。チェビシェフは安全側に大きく外していますが、その代わり有限の $n$ で常に正しい評価です。

例 4.3（期待値がないと大数の法則は破綻する）

$X_i$ が標準コーシー分布（密度 $f(x) = \frac{1}{\pi(1+x^2)}$）に従う独立列とします。$\int |x| f(x)\,dx = \infty$ なので $E[|X_1|]$ は有限でなく（例 4.8［確率変数と期待値］）、定理 4.1の仮定を満たしません。実際、コーシー分布の特性関数は $\varphi(t) = e^{-|t|}$ なので、独立性から

$$\varphi_{\bar{X}_n}(t) = \left[\varphi\!\left(\frac{t}{n}\right)\right]^n = \left(e^{-|t|/n}\right)^n = e^{-|t|}$$

となり、$\bar{X}_n$ は $n$ によらずふたたび標準コーシー分布に従います。$1$ 個の観測値も $100$ 万個の平均も、精度がまったく同じです。期待値の有限性は装飾ではなく、法則の生命線です。

4.2. 強法則

弱法則は各 $n$ ごとの確率を述べるだけなので、$\bar{X}_n$ が $\mu$ の近くに入ったり出たりを永遠に繰り返す可能性を排除しません（例 3.7のような振る舞いです）。「一本の実験を無限に続けたら、その軌道は収束するのか」に答えるのが強法則です。まず道具を用意します（ボレル・カンテリの補題（補題 6.5）［確率空間とコルモゴロフの公理］の再掲です）。

補題 4.4（ボレル・カンテリの補題（第一））✓

事象列 $(A_n)_{n\in\mathbb{N}}$ が $\sum_{n=1}^{\infty} P(A_n) < \infty$ を満たすならば

$$P\left(\limsup_{n\to\infty} A_n\right) = P\left(\bigcap_{n=1}^{\infty}\bigcup_{m \ge n} A_m\right) = 0$$

である。すなわち、確率 $1$ で「$A_n$ が起こる $n$ は有限個しかない」。

証明（補題 4.4）

$B_n = \bigcup_{m \ge n} A_m$ とおくと、劣加法性より

$$P(B_n) \le \sum_{m=n}^{\infty} P(A_m)$$

です。右辺は収束級数 $\sum_m P(A_m) < \infty$ の第 $n$ 項以降の和なので、$n \to \infty$ で $0$ に収束します。$\limsup_n A_n = \bigcap_n B_n \subset B_n$ がすべての $n$ で成り立つので、$P(\limsup_n A_n) \le P(B_n) \to 0$、したがって $P(\limsup_n A_n) = 0$ です。

∎

定理 4.5（大数の強法則（コルモゴロフ））✓

$X_1, X_2, \ldots$ を独立同分布な確率変数列とし、$E[|X_1|] < \infty$、$\mu = E[X_1]$ とする。このとき

$$P\left(\lim_{n\to\infty} \bar{X}_n = \mu\right) = 1,$$

すなわち $\bar{X}_n \xrightarrow{\text{a.s.}} \mu$ である。逆に $E[|X_1|] = \infty$ ならば、$\limsup_n |\bar{X}_n| = \infty$ が確率 $1$ で成り立つ。

証明の方針を先に述べます。後で示す 4 次モーメント版（命題 4.7）は、確率の和が $\sum n^{-2}$ のように収束するためにボレル・カンテリの補題が使えました。期待値しか仮定しないときは、すべての $n$ を相手にするとこの和が収束しません。そこで、番号を $\alpha^n$ のように急速に疎になる部分列に絞ると和が収束するので、まずその部分列の上で収束を示し、あとで部分列と部分列の間を、和が単調に増えることを使って挟んで埋めます。

証明（定理 4.5）

エテマディ (1981) の議論に従います。使う道具は、非負確率変数 $Z$ に対する

$$\sum_{k\ge1}P(Z>k)\le E[Z]\le1+\sum_{k\ge1}P(Z\ge k) \tag{$\dagger$}$$

だけです。これは $E[Z]=\int_0^\infty P(Z>t)\,dt$（定理 3.3［直積測度と Fubini–Tonelli の定理］ を $\mathbf 1_{\{t<Z\}}$ に適用）を区間 $[k-1,k)$ ごとに分け、そこで $P(Z\ge k)\le P(Z>t)\le P(Z>k-1)$ と挟めば得られます。

ステップ 0：非負への帰着。 $X_i=X_i^+-X_i^-$ と分けると、$(X_i^+)$ も $(X_i^-)$ も独立同分布で可積分です。両方について強法則が言えれば差を取って結論が出るので、以下 $X_i\ge0$ とします。

ステップ 1：切断。 $Y_k:=X_k\mathbf 1_{\{X_k\le k\}}$、$T_n:=\sum_{k=1}^nY_k$ とおきます。($\dagger$) より

$$\sum_{k\ge1}P(X_k\ne Y_k)=\sum_{k\ge1}P(X_1>k)\le E[X_1]<\infty$$

なので、補題 4.4 により確率 $1$ で $X_k\ne Y_k$ となる $k$ は有限個です。その $\omega$ では $(S_n-T_n)(\omega)$ はある番号から先で一定なので、$(S_n-T_n)/n\to0$ です。したがって $T_n/n\to\mu$ a.s. を示せば十分です。また $E[Y_k]=E[X_1\mathbf 1_{\{X_1\le k\}}]\uparrow E[X_1]=\mu$（定理 2.1［確率変数と期待値］）なので、Cesàro 平均として $E[T_n]/n\to\mu$ です。

ステップ 2：等比部分列での収束。 $\alpha>1$ を固定し、$k_n:=\lfloor\alpha^n\rfloor$ とします。$k_n\ge\alpha^n/2$ です。$Y_k$ たちは独立な $X_k$ の関数なので独立で、分散は加法的です（命題 5.3［確率変数と期待値］）。$\varepsilon>0$ に対し、チェビシェフの不等式（命題 3.5）から

$$\sum_{n\ge1}P\bigl(|T_{k_n}-E[T_{k_n}]|>\varepsilon k_n\bigr)\le\frac1{\varepsilon^2}\sum_{n\ge1}\frac1{k_n^2}\sum_{k\le k_n}E[Y_k^2] =\frac1{\varepsilon^2}\sum_{k\ge1}E[Y_k^2]\sum_{n:\,k_n\ge k}\frac1{k_n^2}.$$

$k_n\ge k$ なら $\alpha^n\ge k$ なので、内側の和は $4\sum_{n:\alpha^n\ge k}\alpha^{-2n}\le\dfrac{4}{(1-\alpha^{-2})k^2}$ 以下です。さらに

$$\sum_{k\ge1}\frac{E[Y_k^2]}{k^2}=E\Bigl[X_1^2\sum_{k\ge\max(1,X_1)}\frac1{k^2}\Bigr]\le E\Bigl[X_1^2\cdot\frac{2}{\max(1,X_1)}\Bigr]\le2E[X_1]<\infty$$

です（$m\ge1$ で $\sum_{k\ge m}k^{-2}\le m^{-2}+m^{-1}\le2/m$、和と期待値の交換は単調収束定理）。よって左辺の級数は収束し、補題 4.4 と $\varepsilon=1/j$（$j\in\mathbb{N}$）についての可算和から、$(T_{k_n}-E[T_{k_n}])/k_n\to0$ a.s.。$E[T_{k_n}]/k_n\to\mu$ と合わせて $T_{k_n}/k_n\to\mu$ a.s. です。

ステップ 3：間を埋める。 $Y_k\ge0$ なので $T_m$ は $m$ について単調増加です。$k_n\le m\le k_{n+1}$ なら

$$\frac{k_n}{k_{n+1}}\cdot\frac{T_{k_n}}{k_n}\le\frac{T_m}{m}\le\frac{k_{n+1}}{k_n}\cdot\frac{T_{k_{n+1}}}{k_{n+1}}$$

で、$k_{n+1}/k_n\to\alpha$ です。よって確率 $1$ で $\mu/\alpha\le\liminf_mT_m/m\le\limsup_mT_m/m\le\alpha\mu$。$\alpha=1+1/j$（$j\in\mathbb{N}$）の可算個について例外集合を合わせれば、$T_m/m\to\mu$ a.s. です。

逆の主張。 $E|X_1|=\infty$ とし、$c\in\mathbb{N}$ を固定します。($\dagger$) を $Z=|X_1|/c$ に使うと $\sum_{n\ge1}P(|X_n|\ge cn)=\sum_{n\ge1}P(|X_1|/c\ge n)=\infty$ です。事象 $A_n=\{|X_n|\ge cn\}$ は独立なので、$N>n$ について

$$P\Bigl(\bigcap_{m=n}^{N}A_m^c\Bigr)=\prod_{m=n}^{N}\bigl(1-P(A_m)\bigr)\le\exp\Bigl(-\sum_{m=n}^{N}P(A_m)\Bigr)\xrightarrow{N\to\infty}0$$

（$1-x\le e^{-x}$）。測度の連続性から $P(\bigcap_{m\ge n}A_m^c)=0$ がすべての $n$ で成り立ち、確率 $1$ で $A_n$ は無限回起こります（ボレル・カンテリの第二補題）。$|X_n|=|S_n-S_{n-1}|\le|S_n|+|S_{n-1}|$ なので、$|X_n|\ge cn$ のとき $|S_n|/n\ge c/2$ または $|S_{n-1}|/(n-1)\ge c/2$ です。よって確率 $1$ で $\limsup_n|\bar X_n|\ge c/2$。$c\in\mathbb{N}$ について例外集合を合わせれば $\limsup_n|\bar X_n|=\infty$ a.s. です。

∎

注意 4.6

上の証明（エテマディの方法）は独立性を「分散の加法性」と「第二補題」でしか使っておらず、前半は対ごとの独立性でも通ります。古典的な証明はコルモゴロフの最大値不等式と切断法によるもので、Durrett, Probability: Theory and Examples, 第 2 章、または Billingsley, Probability and Measure, 第 22 節にあります。次の命題 4.7は、仮定を強めれば切断も部分列も要らないことを示す短い証明で、証明の骨格（ボレル・カンテリの補題で「無限回外れる確率」を $0$ にする）がよく見えます。

命題 4.7（4 次モーメント版の強法則）✓

$X_1, X_2, \ldots$ を独立同分布な確率変数列とし、$E[X_1^4] < \infty$ とする。$\mu = E[X_1]$ とおくと $\bar{X}_n \xrightarrow{\text{a.s.}} \mu$ である。

証明（命題 4.7）

$Y_i = X_i - \mu$ とおけば $E[Y_i] = 0$、$E[Y_i^4] = K < \infty$、$E[Y_i^2] = \sigma^2 < \infty$ です（ヘルダーの不等式から $E[Y^2] \le (E[Y^4])^{1/2} < \infty$）。$T_n = \sum_{i=1}^n Y_i$ とすると $\bar{X}_n - \mu = T_n/n$ です。

$T_n^4$ を展開すると、現れる項は $Y_i^4$、$Y_i^3Y_j$、$Y_i^2Y_j^2$、$Y_i^2Y_jY_k$、$Y_iY_jY_kY_l$（添字は相異なる）の形です。独立性と $E[Y_i]=0$ より、添字がちょうど $1$ 回しか現れない因子を含む項の期待値は $0$ になります。たとえば $i \ne j$ のとき $E[Y_i^3Y_j] = E[Y_i^3]E[Y_j] = 0$ です。残るのは $Y_i^4$ 型（$n$ 個）と $Y_i^2Y_j^2$ 型（$i \ne j$、多項係数 $\binom{4}{2} = 6$ を掛けて順序対 $n(n-1)$ 個のうち非順序対 $\binom{n}{2}$ に対し $6$ 倍、合わせて $3n(n-1)$ 個）だけです。よって

$$E[T_n^4] = nK + 3n(n-1)\sigma^4 \le nK + 3n^2\sigma^4 .$$

したがって $C = K + 3\sigma^4$ とおくと、$n \ge 1$ で

$$E\left[\left(\frac{T_n}{n}\right)^4\right] \le \frac{nK + 3n^2\sigma^4}{n^4} \le \frac{C}{n^2}.$$

$\varepsilon > 0$ を固定し、$A_n = \{|T_n/n| > \varepsilon\}$ とおきます。命題 3.5のマルコフの不等式（$Y = (T_n/n)^4$、$a = \varepsilon^4$）より

$$P(A_n) \le \frac{E[(T_n/n)^4]}{\varepsilon^4} \le \frac{C}{\varepsilon^4 n^2},$$

であり $\sum_{n\ge1} n^{-2} < \infty$ なので $\sum_n P(A_n) < \infty$ です。補題 4.4より、確率 $1$ で $|T_n/n| > \varepsilon$ となる $n$ は有限個しかありません。すなわち $N_\varepsilon = \{\omega : |T_n(\omega)/n| > \varepsilon \text{ が無限回}\}$ は $P(N_\varepsilon) = 0$ を満たします。

最後に $\varepsilon$ を動かします。$N = \bigcup_{k \ge 1} N_{1/k}$ とおくと可算個の零集合の和なので $P(N) = 0$ です。$\omega \notin N$ ならば、各 $k$ について $|T_n(\omega)/n| \le 1/k$ が十分大きいすべての $n$ で成り立つので、$T_n(\omega)/n \to 0$、すなわち $\bar{X}_n(\omega) \to \mu$ です。$P(N^c) = 1$ なので概収束が示されました。

∎

注意 4.8

定理 4.5と定理 3.6(1) を合わせると、$E[|X_1|] < \infty$ だけから確率収束が従います。これが定理 4.1の一般形（ヒンチンの弱法則）です。歴史的には弱法則が先に、より弱い仮定のもとで切断法によって直接証明されました。

例 4.9（ボレルの正規数定理）

$\omega$ を $[0,1]$ 上の一様分布に従う確率変数とし、その 2 進展開 $\omega = \sum_{i\ge1} d_i(\omega) 2^{-i}$（$d_i \in \{0,1\}$）を考えます。$d_1, d_2, \ldots$ は独立で $P(d_i = 1) = 1/2$ の同分布列になることが知られています。定理 4.5を $X_i = d_i$（$\mu = 1/2$、$E[|X_1|] = 1/2 < \infty$）に適用すると

$$P\left(\lim_{n\to\infty} \frac{d_1 + \cdots + d_n}{n} = \frac12\right) = 1$$

です。ルベーグ測度の言葉に翻訳すれば、$[0,1]$ のほとんどすべての実数は、2 進展開における $1$ の出現頻度がちょうど $1/2$ になります。これがボレル (1909) の正規数定理です。「ほとんどすべて」なのに、具体的にそのような数を一つ書き下すのは容易ではありません（$\sqrt{2}$ や $\pi$ が正規数かどうかは未解決です）。

5. 中心極限定理

大数の法則は $\bar{X}_n - \mu \to 0$ を述べます。では $\bar{X}_n - \mu$ を何倍に拡大すれば、消えも発散もしない極限が見えるのでしょうか。第 2 節で見たとおり標準偏差は $\sigma/\sqrt{n}$ なので、$\sqrt{n}$ 倍が正しい倍率です。実際

$$Z_n = \frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} = \frac{S_n - n\mu}{\sigma\sqrt{n}}$$

は $E[Z_n] = 0$、$\operatorname{Var}(Z_n) = 1$ と正規化されています。中心極限定理は、この $Z_n$ の分布が元の分布によらず標準正規分布に収束すると主張します。

5.1. 特性関数

定義 5.1（特性関数）↗

確率変数 $X$ に対し、関数 $\varphi_X : \mathbb{R} \to \mathbb{C}$ を

$$\varphi_X(t) = E\left[e^{itX}\right] = E[\cos(tX)] + i\,E[\sin(tX)]$$

で定める。これを $X$ の特性関数という。$|e^{itX}| = 1$ なので期待値は常に存在し、$|\varphi_X(t)| \le 1$、$\varphi_X(0) = 1$ を満たす。

$e^{itX}$ は複素平面の単位円上の点で、$t$ を動かしながら平均をとる操作は、分布の Fourier 変換（Fourier 変換）にあたります。

特性関数を使う理由は二つです。第一に、独立な確率変数の和の特性関数は特性関数の積になります。$X, Y$ が独立なら $E[e^{it(X+Y)}] = E[e^{itX}e^{itY}] = \varphi_X(t)\varphi_Y(t)$ です（独立な確率変数の積の期待値（命題 7.5）［確率変数と期待値］が期待値の積になることを、有界可測関数 $e^{itx}$ に適用しています）。畳み込みという扱いにくい操作が掛け算に変わります。第二に、次の定理により、特性関数の各点収束が分布収束と同値になります。

定理 5.2（レヴィの連続性定理）✓

確率変数列 $(X_n)$ と確率変数 $X$ について、次が成り立つ。

1. $X_n \xrightarrow{d} X$ ならば、すべての $t \in \mathbb{R}$ で $\varphi_{X_n}(t) \to \varphi_X(t)$。
2. 逆に、ある関数 $\psi : \mathbb{R} \to \mathbb{C}$ が存在して、すべての $t$ で $\varphi_{X_n}(t) \to \psi(t)$ が成り立ち、かつ $\psi$ が $t = 0$ で連続であるならば、$\psi$ はある確率変数 $X$ の特性関数であり、$X_n \xrightarrow{d} X$ が成り立つ。

証明（定理 5.2）

特性関数と Gauss ベクトル で証明した二つの定理に帰着させます。橋渡しは、定義 3.4（分布関数が極限の連続点で収束すること）が、分布の弱収束（すべての有界連続関数の積分が収束すること）と同値であるという 補題 4.2［特性関数と Gauss ベクトル］ です。

(1) $X_n\xrightarrow{d}X$ なら、補題 4.2［特性関数と Gauss ベクトル］ により $X_n$ の分布は $X$ の分布に弱収束します。定理 4.4［特性関数と Gauss ベクトル］ の (1) ⇒ (2) から、すべての $t$ で $\varphi_{X_n}(t)\to\varphi_X(t)$ です。

(2) 仮定は 定理 4.7［特性関数と Gauss ベクトル］ の仮定そのものなので、$\psi$ はある確率測度 $\mu$ の特性関数で、$X_n$ の分布は $\mu$ に弱収束します。確率空間 $(\mathbb{R},\mathcal{B}(\mathbb{R}),\mu)$ 上の恒等写像 $X(x)=x$ は分布 $\mu$ の確率変数で、$\varphi_X=\psi$ です。補題 4.2［特性関数と Gauss ベクトル］ により $X_n\xrightarrow{d}X$ です。

∎

注意 5.3

証明の中身は上の記事にあります。(1) は $x \mapsto \cos(tx), \sin(tx)$ が有界連続なのでポートマントーの定理から従い、(2) は分布列の緊密性（プロホロフの定理）と反転公式を組み合わせて示します。Billingsley, Probability and Measure, 第 26 節、または Durrett, Probability: Theory and Examples, 第 3 章を参照してください。$t=0$ での連続性の仮定は外せません。たとえば $X_n \sim N(0, n)$ とすると $\varphi_{X_n}(t) = e^{-nt^2/2} \to \mathbf{1}_{\{0\}}(t)$ となりますが、この極限関数は $t=0$ で不連続で、実際 $X_n$ は（確率が無限遠へ逃げてしまうので）どんな確率変数にも分布収束しません。

5.2. 二つの補題

補題 5.4（特性関数の 2 次展開）✓

確率変数 $X$ が $E[X] = 0$、$E[X^2] = \sigma^2 < \infty$ を満たすとする。このとき $t \to 0$ において

$$\varphi_X(t) = 1 - \frac{\sigma^2 t^2}{2} + o(t^2)$$

が成り立つ。

証明（補題 5.4）

実数 $u$ に対する初等的な評価

$$\left|e^{iu} - \left(1 + iu - \frac{u^2}{2}\right)\right| \le \min\left(\frac{|u|^3}{6},\ u^2\right)$$

を使います。これは $e^{iu} - \sum_{k=0}^{m}\frac{(iu)^k}{k!} = \frac{i^{m+1}}{m!}\int_0^u (u-s)^m e^{is}\,ds$ という部分積分から得られる剰余項表示に、$|e^{is}| = 1$ を使って $m = 2$ と $m = 1$ の場合をそれぞれ評価したものです（$m=2$ から $|u|^3/6$、$m=1$ から $u^2$ が出ます。後者は $\frac{(iu)^2}{2}$ を差し引く分を三角不等式で処理します）。

$u = tX$ とおいて期待値をとり、$E[X] = 0$ を使うと

$$\left|\varphi_X(t) - 1 + \frac{\sigma^2t^2}{2}\right| = \left|E\left[e^{itX} - 1 - itX + \frac{t^2X^2}{2}\right]\right| \le E\left[\min\left(\frac{|t|^3|X|^3}{6},\ t^2X^2\right)\right].$$

右辺を $t^2$ で割ると $E[R_t]$、ただし $R_t = \min\left(\frac{|t||X|^3}{6}, X^2\right)$ です。各 $\omega$ について $t \to 0$ のとき $R_t \to 0$ であり、$0 \le R_t \le X^2$ かつ $E[X^2] < \infty$ なので、優収束定理より $E[R_t] \to 0$ です。よって左辺は $o(t^2)$ です。

∎

補題 5.5（指数関数への収束）✓

複素数列 $(c_n)$ が $c_n \to c \in \mathbb{C}$ を満たすならば

$$\lim_{n\to\infty}\left(1 + \frac{c_n}{n}\right)^n = e^{c}$$

が成り立つ。

次の補題は、$(1+c/n)^n \to e^c$ という高校以来の極限を、$c$ が $n$ とともに少し動く場合に広げたものです。証明は、$(1+c_n/n)^n$ と $e^{c_n}=(e^{c_n/n})^n$ を $n$ 乗の差として比べ、その差が $0$ に向かうことを示す形で進みます。途中に出る $\theta_n$ は、この差を評価するための共通の上界です。

証明（補題 5.5）

$M = \sup_n |c_n| < \infty$（収束列は有界）とおきます。$z_n = 1 + c_n/n$、$w_n = e^{c_n/n}$ とすると、$|z_n| \le 1 + M/n$、$|w_n| \le e^{M/n} \le 1 + M/n \cdot e^{M}$ です。$\theta_n = e^{M/n} + M/n$ とおけば $|z_n|, |w_n| \le \theta_n$ かつ $\theta_n^{\,n-1} \le \left(1 + \tfrac{2M+M^2}{n}\right)^{n} \le e^{2M+M^2}$（$n$ が十分大きいとき）と一様に押さえられます。

複素数 $a, b$ が $|a|, |b| \le \theta$ を満たすとき、恒等式 $a^n - b^n = (a-b)\sum_{k=0}^{n-1} a^k b^{n-1-k}$ から $|a^n - b^n| \le n\theta^{n-1}|a-b|$ です。さらに指数関数のべき級数から

$$|e^{u} - 1 - u| = \left|\sum_{k\ge2}\frac{u^k}{k!}\right| \le \frac{|u|^2}{2}e^{|u|}$$

なので、$u = c_n/n$ として $|z_n - w_n| \le \frac{M^2}{2n^2}e^{M}$ です。以上を合わせると、$n$ が十分大きいとき

$$\left|z_n^{\,n} - w_n^{\,n}\right| \le n \cdot e^{2M+M^2}\cdot \frac{M^2 e^{M}}{2n^2} = \frac{M^2 e^{3M + M^2}}{2n} \xrightarrow[n\to\infty]{} 0 .$$

一方 $w_n^{\,n} = e^{c_n} \to e^{c}$（指数関数の連続性）なので、$z_n^{\,n} \to e^c$ です。

∎

5.3. 定理と証明

定理 5.6（中心極限定理（リンドバーグ・レヴィ））✓

$X_1, X_2, \ldots$ を独立同分布な確率変数列とし、$\mu = E[X_1]$、$\sigma^2 = \operatorname{Var}(X_1)$ が存在して $0 < \sigma^2 < \infty$ を満たすとする。$S_n = \sum_{i=1}^n X_i$ とおくとき、

$$Z_n = \frac{S_n - n\mu}{\sigma\sqrt{n}} \xrightarrow{d} Z \sim N(0,1)$$

が成り立つ。すなわち、すべての $x \in \mathbb{R}$ に対して

$$\lim_{n\to\infty} P\left(\frac{S_n - n\mu}{\sigma\sqrt{n}} \le x\right) = \Phi(x) = \int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-u^2/2}\,du .$$

証明（定理 5.6）

$Y_i = (X_i - \mu)/\sigma$ とおくと、$Y_i$ は独立同分布で $E[Y_i] = 0$、$E[Y_i^2] = 1$ です。また

$$Z_n = \frac{1}{\sqrt{n}}\sum_{i=1}^{n} Y_i .$$

$\varphi$ を $Y_1$ の特性関数とします。独立性より積に分解でき、$E[e^{it(Y/\sqrt n)}] = \varphi(t/\sqrt n)$ なので

$$\varphi_{Z_n}(t) = E\left[\exp\left(\frac{it}{\sqrt{n}}\sum_{i=1}^n Y_i\right)\right] = \prod_{i=1}^{n} \varphi\!\left(\frac{t}{\sqrt{n}}\right) = \left[\varphi\!\left(\frac{t}{\sqrt{n}}\right)\right]^{n}.$$

$t$ を固定します。$n \to \infty$ のとき $t/\sqrt{n} \to 0$ なので、補題 5.4（$\sigma^2 = 1$ の場合）より

$$\varphi\!\left(\frac{t}{\sqrt{n}}\right) = 1 - \frac{t^2}{2n} + o\!\left(\frac{1}{n}\right) = 1 + \frac{c_n}{n}, \qquad c_n = -\frac{t^2}{2} + n\cdot o\!\left(\frac{1}{n}\right).$$

ここで $o(1/n)$ は $n\to\infty$ で $n$ を掛けても $0$ に収束する量なので、$c_n \to -t^2/2$ です。補題 5.5を適用して

$$\varphi_{Z_n}(t) = \left(1 + \frac{c_n}{n}\right)^{n} \xrightarrow[n\to\infty]{} e^{-t^2/2}.$$

これがすべての $t \in \mathbb{R}$ で成り立ちます。$e^{-t^2/2}$ は標準正規分布 $N(0,1)$ の特性関数であり、$t=0$ で連続なので、定理 5.2(2) より $Z_n \xrightarrow{d} N(0,1)$ です。

最後に、$\Phi$ は $\mathbb{R}$ 全体で連続なので、定義 3.4の「連続点で」という制限は消え、すべての $x$ で分布関数が収束します。

∎

証明を振り返ると、正規分布が現れた理由がはっきりします。$Y_1$ の分布のうち使われたのは $E[Y]=0$ と $E[Y^2]=1$ という 2 個の数だけで、3 次以上の情報はすべて $o(t^2)$ に吸収されました。$\sqrt{n}$ で割るという操作が高次モーメントの寄与を潰し、2 次までの情報しか残さない――これが「元の分布によらない」ことの正体です。

標準正規分布の密度と、確率 95% を占める区間 [-1.96, 1.96]

$n$ を増やすと $Z_n$ の分布が実際に釣り鐘へ近づくところを、値が $0$ と $1$ だけの偏った分布とサイコロの 2 通りで見てみましょう。赤い曲線が $N(0,1)$ の密度で、棒が $Z_n$ の（厳密に計算した）分布です。

$Z_n$ の分布（棒）が $n=1$ から $200$ へ増えるにつれて標準正規分布の密度（赤）に近づく。左は $P(X=1)=0.2$ の 0/1 分布（偏っているので収束が遅い）、右はサイコロ。各図の右上に分布関数の最大差を示す。

例 5.7（コイン投げ再訪：チェビシェフと正規近似の比較）

例 4.2の設定（$n = 10{,}000$、$\mu = 1/2$、$\sigma = 1/2$）で、$P(|\bar{X}_n - 1/2| \ge 0.01)$ を正規近似で計算します。$\bar{X}_n$ の標準偏差は $\sigma/\sqrt{n} = 0.5/100 = 0.005$ なので、$0.01$ はちょうど $2$ 標準偏差です。定理 5.6より

$$P\left(\left|\bar{X}_n - \tfrac12\right| \ge 0.01\right) = P(|Z_n| \ge 2) \approx 2\left(1 - \Phi(2)\right) = 2 \times 0.02275 = 0.0455 .$$

チェビシェフの $0.25$ に対して実際は約 $0.046$、$5$ 倍以上の開きがあります。分布の形の情報（ここでは正規近似）を使えると評価がどれだけ鋭くなるかが分かります。ただし正規近似は $n \to \infty$ の漸近論であり、有限の $n$ での誤差保証は次の定理が与えます。

有限の $n$ での誤差を測るには、特性関数の差を分布関数の差に翻訳する道具が要ります。特性関数の差が小さいのは $|t|\le T$ の範囲だけなので、分布を幅 $1/T$ 程度でぼかしてから比べ、ぼかしによる損失を別に評価します。

補題 5.8（エセーンの平滑化不等式）✓

$F$ を確率変数 $X$ の分布関数、$\varphi$ をその特性関数、$\Phi$ を標準正規分布の分布関数とし、$m=1/\sqrt{2\pi}$（標準正規密度の最大値）とおく。$T\gt0$ について $\displaystyle\int_{-T}^{T}\frac{|\varphi(t)-e^{-t^2/2}|}{|t|}\,dt\lt\infty$ ならば

$$\sup_{x\in\mathbb{R}}|F(x)-\Phi(x)|\le\frac1\pi\int_{-T}^{T}\frac{|\varphi(t)-e^{-t^2/2}|}{|t|}\,dt+\frac{24m}{\pi T}.$$

証明は三段階です。(1) 分布を少しぼかすための、特性関数が簡単な形になる密度 $h_T$ を用意します。(2) ぼかした後の分布関数の差を、特性関数の差の積分で上から押さえます。(3) ぼかしたことで失う分を、$T$ に反比例する項として評価し、元の差に戻します。「ぼかしの核」とは (1) の $h_T$ のことです。

証明（補題 5.8）

(1) ぼかしの核. $\Lambda_T(t)=(1-|t|/T)_+$ と $h_T(y)=\dfrac{1-\cos Ty}{\pi Ty^2}$ を考えます。$\Lambda_T$ は偶関数なので、部分積分で

$$\int_{\mathbb{R}}\Lambda_T(t)e^{-ity}\,dt=2\int_0^T\Bigl(1-\frac tT\Bigr)\cos(ty)\,dt=\frac{2}{Ty}\int_0^T\sin(ty)\,dt=\frac{2(1-\cos Ty)}{Ty^2}=2\pi h_T(y)$$

です。$0\le h_T(y)\le\min\bigl(\frac{T}{2\pi},\frac{2}{\pi Ty^2}\bigr)$（$1-\cos u\le u^2/2$ と $1-\cos u\le2$）なので $h_T\in L^1$ で、$\Lambda_T\in L^1$ に反転公式（定理 3.3［ℝⁿ 上のフーリエ変換］）を使うと、両辺が連続なのですべての $t$ で $\int h_T(y)e^{ity}dy=\Lambda_T(t)$ です。とくに $h_T$ は確率密度で、その特性関数は $\Lambda_T$ です。

(2) ぼかした差の表示. 確率空間を広げて、$X$ と独立に密度 $h_T$ の確率変数 $Y$ と標準正規の $Z$ を取ります（$Z$ と $Y$ も独立）。$\Delta=F-\Phi$ とおき、$\Delta_T(x)=\int\Delta(x-y)h_T(y)\,dy$ と定めると、Fubini の定理から $\Delta_T(x)=P(X+Y\le x)-P(Z+Y\le x)$ です。$X+Y$ の特性関数は $\varphi\Lambda_T$（独立な和は積、命題 2.2［特性関数と Gauss ベクトル］ の 4）で、台が $[-T,T]$ の有界関数なので可積分です。定理 3.3［特性関数と Gauss ベクトル］ の 2 から $X+Y$ は連続な密度 $f_T(x)=\frac1{2\pi}\int\varphi(t)\Lambda_T(t)e^{-itx}dt$ をもち、同様に $Z+Y$ は密度 $g_T(x)=\frac1{2\pi}\int e^{-t^2/2}\Lambda_T(t)e^{-itx}dt$ をもちます（$e^{-t^2/2}$ は $Z$ の特性関数、補題 2.3［特性関数と Gauss ベクトル］）。$D(t)=\varphi(t)-e^{-t^2/2}$ とおくと、$a\lt b$ について、有界な被積分関数に対する Fubini の定理から

$$\Delta_T(b)-\Delta_T(a)=\int_a^b(f_T-g_T)\,dx=\frac1{2\pi}\int_{-T}^{T}D(t)\Lambda_T(t)\,\frac{e^{-ita}-e^{-itb}}{it}\,dt .$$

仮定から $k(t)=D(t)\Lambda_T(t)/(it)$ は $L^1(\mathbb{R})$ に属するので、右辺は $\frac1{2\pi}(\hat k(a)-\hat k(b))$ と書けます（$\hat k$ は 定義 2.1［ℝⁿ 上のフーリエ変換］ の Fourier 変換）。$a\to-\infty$ とすると $\Delta_T(a)\to0$（どちらの確率も $0$ に近づく）、$\hat k(a)\to0$（定理 2.4［ℝⁿ 上のフーリエ変換］）なので、

$$|\Delta_T(b)|=\frac1{2\pi}|\hat k(b)|\le\frac1{2\pi}\int_{-T}^{T}\frac{|D(t)|}{|t|}\,dt\qquad(b\in\mathbb{R}).$$

(3) ぼかしによる損失. $\eta=\sup|\Delta|$ とし、$\eta\gt0$ としてよいとします。$\Delta(x)\to0$（$x\to\pm\infty$）なので、$|\Delta(x_n)|\to\eta$ となる列は有界で、片側から単調に収束し $\Delta(x_n)$ の符号が一定な部分列が取れます。その極限点を $x_0$ とすると、$F$ の右連続性と $\Phi$ の連続性から、$\Delta(x_0)$ または $\Delta(x_0-)=F(x_0-)-\Phi(x_0)$ のどちらかが $\eta$ または $-\eta$ に等しくなります。$F$ は単調非減少で $\Phi'\le m$ なので、$s\gt0$ について

• (A) $\Delta(x_0)=\eta$ または $\Delta(x_0-)=\eta$ の場合: $F(x_0+s)\ge F(x_0)\ge F(x_0-)$ から $F(x_0+s)-\Phi(x_0)\ge\max(\Delta(x_0),\Delta(x_0-))=\eta$ で、$\Phi(x_0+s)\le\Phi(x_0)+ms$ と合わせて $\Delta(x_0+s)\ge\eta-ms$。
• (B) $\Delta(x_0)=-\eta$ または $\Delta(x_0-)=-\eta$ の場合: $F(x_0-s)\le F(x_0-)$、$\Phi(x_0-s)\ge\Phi(x_0)-ms$ から $\Delta(x_0-s)\le-\eta+ms$。

(A) の場合、$\delta=\eta/(2m)$、$x=x_0+\delta$ とおくと、$|y|\lt\delta$ で $\Delta(x-y)\ge\eta-m(\delta-y)=\frac\eta2+my$、$|y|\ge\delta$ で $\Delta(x-y)\ge-\eta$ です。$h_T$ は偶関数なので $\int_{|y|\lt\delta}y\,h_T(y)dy=0$ で、$P_\delta=\int_{|y|\ge\delta}h_T$ と書くと

$$\Delta_T(x)\ge\frac\eta2(1-P_\delta)-\eta P_\delta=\frac\eta2-\frac{3\eta}2P_\delta,\qquad P_\delta\le2\int_\delta^\infty\frac{2}{\pi Ty^2}dy=\frac{4}{\pi T\delta}=\frac{8m}{\pi T\eta}.$$

よって $\Delta_T(x)\ge\frac\eta2-\frac{12m}{\pi T}$。(B) の場合も $x=x_0-\delta$ として同様に $\Delta_T(x)\le-\frac\eta2+\frac{12m}{\pi T}$。いずれにせよ $\sup|\Delta_T|\ge\frac\eta2-\frac{12m}{\pi T}$ で、(2) と合わせて $\eta\le2\sup|\Delta_T|+\frac{24m}{\pi T}$ が主張です。

∎

定理 5.9（ベリー・エセーンの定理）✓

$X_1, X_2, \ldots$ を独立同分布とし、$E[X_1] = \mu$、$\operatorname{Var}(X_1) = \sigma^2 \in (0,\infty)$、$\rho = E[|X_1 - \mu|^3] < \infty$ とする。$F_n$ を $Z_n = (S_n - n\mu)/(\sigma\sqrt{n})$ の分布関数とすると、絶対定数 $C$ が存在して

$$\sup_{x \in \mathbb{R}} \left|F_n(x) - \Phi(x)\right| \le \frac{C\rho}{\sigma^3\sqrt{n}}$$

がすべての $n \ge 1$ で成り立つ。

証明（定理 5.9）

$Y_i=(X_i-\mu)/\sigma$ とおくと $E[Y_1]=0$、$E[Y_1^2]=1$ で、$\beta:=E|Y_1|^3=\rho/\sigma^3$ です。Hölder の不等式（定理 4.2［L^p 空間と関数解析への導入］、$p=3/2$、$q=3$）から $1=E[|Y_1|^2\cdot1]\le(E|Y_1|^3)^{2/3}$、すなわち $\beta\ge1$ です。$\varphi$ を $Y_1$ の特性関数とすると、定理 5.6 の証明と同じく $\varphi_{Z_n}(t)=\varphi(t/\sqrt n)^n$ です。

(1) 二つの初等評価. 実数 $u$ について $e^{iu}-1-iu+\frac{u^2}2=\frac{i^3}{2}\int_0^u(u-r)^2e^{ir}dr$ から $|e^{iu}-1-iu+\frac{u^2}{2}|\le\frac{|u|^3}6$（補題 5.4 の証明の評価）。$u=sY_1$ として期待値を取ると

$$\Bigl|\varphi(s)-1+\frac{s^2}2\Bigr|\le\frac{\beta|s|^3}6 .$$

また $w\ge0$ について $0\le e^{-w}-1+w=\int_0^w(w-r)e^{-r}dr\le\frac{w^2}2$ なので、$|e^{-s^2/2}-1+\frac{s^2}2|\le\frac{s^4}8$。

(2) $|t|\le T:=\sqrt n/\beta$ での特性関数の差. $s=t/\sqrt n$ とおくと $|s|\le1/\beta\le1$ です。(1) から $|\varphi(s)|\le1-\frac{s^2}2+\frac{\beta|s|^3}6\le1-\frac{s^2}3\le e^{-s^2/3}$（$\beta|s|\le1$ と $1-\frac{s^2}{2}\ge0$ を使った）、また $e^{-s^2/2}\le e^{-s^2/3}$。複素数 $a,b$ が $|a|,|b|\le\gamma$ なら $|a^n-b^n|\le n\gamma^{n-1}|a-b|$ なので（$a^n-b^n=(a-b)\sum_ka^kb^{n-1-k}$）、$a=\varphi(s)$、$b=e^{-s^2/2}$、$\gamma=e^{-s^2/3}$ に使います。$s^4=|s|^3|s|\le|s|^3/\beta\le\beta|s|^3$（$\beta\ge1$）より $|a-b|\le(\frac16+\frac18)\beta|s|^3=\frac7{24}\beta|s|^3$、また $t^2/n=s^2\le1$ より $\gamma^{n-1}=e^{-t^2/3}e^{t^2/(3n)}\le e^{1/3}e^{-t^2/3}$。よって

$$\bigl|\varphi_{Z_n}(t)-e^{-t^2/2}\bigr|\le n\cdot\frac7{24}\beta\frac{|t|^3}{n^{3/2}}\cdot e^{1/3}e^{-t^2/3}=\frac{7e^{1/3}}{24}\,\frac{\beta}{\sqrt n}\,|t|^3e^{-t^2/3}\qquad(|t|\le T).$$

(3) 平滑化不等式の適用. (2) から 補題 5.8 の積分は有限で、$\int_{\mathbb{R}}t^2e^{-t^2/3}dt=\frac32\sqrt{3\pi}$ を使うと

$$\sup_x|F_n(x)-\Phi(x)|\le\frac1\pi\cdot\frac{7e^{1/3}}{24}\cdot\frac32\sqrt{3\pi}\,\frac{\beta}{\sqrt n}+\frac{24}{\pi\sqrt{2\pi}}\,\frac{\beta}{\sqrt n}\le3.7\,\frac{\beta}{\sqrt n}.$$

数値は第 1 項の係数が約 $0.597$、第 2 項の係数が約 $3.048$ です。$\beta=\rho/\sigma^3$ なので、$C=3.7$ で主張が成り立ちます。

∎

注意 5.10

上の証明は Feller, An Introduction to Probability Theory and Its Applications, Vol. II, 第 XVI 章の筋道を、定数を追わない形に簡略化したものです。定数は大きく改良でき、$C \le 0.4748$ と取れることを Shevtsova, “On the absolute constants in the Berry-Esseen type inequalities for identically distributed summands” (2011), arXiv:1111.6554 が示しています（この値は本記事では証明しません）。実務上重要なのは、誤差の上界がやはり $1/\sqrt{n}$ のオーダーで、しかも歪度に相当する量 $\rho/\sigma^3$ に比例することです。左右非対称な分布ほど正規近似が効きにくい、という経験則がここに定量化されています。

6. 統計と機械学習における意味

6.1. 標準誤差と信頼区間

命題 6.1（スルツキーの定理）✓

$X_n \xrightarrow{d} X$ かつ $Y_n \xrightarrow{P} c$（$c$ は定数）ならば、

$$X_n + Y_n \xrightarrow{d} X + c, \qquad X_n Y_n \xrightarrow{d} cX$$

が成り立つ。さらに $c \ne 0$ ならば $X_n / Y_n \xrightarrow{d} X/c$ である。

証明（命題 6.1）

$F$ を $X$ の分布関数とし、$C_F$ を $F$ の連続点全体とします。$F$ は単調なので不連続点は高々可算で、$C_F$ は $\mathbb{R}$ で稠密です。

和。 $X+c$ の分布関数は $F(\cdot-c)$ なので、$x-c\in C_F$ となる $x$ で $P(X_n+Y_n\le x)\to F(x-c)$ を示します。$\varepsilon>0$ を $x-c\pm\varepsilon\in C_F$ となるように取ります。事象の包含

$$\{X_n+Y_n\le x\}\subset\{X_n\le x-c+\varepsilon\}\cup\{|Y_n-c|>\varepsilon\},\qquad \{X_n\le x-c-\varepsilon\}\subset\{X_n+Y_n\le x\}\cup\{|Y_n-c|>\varepsilon\}$$

から

$$F_n(x-c-\varepsilon)-P(|Y_n-c|>\varepsilon)\le P(X_n+Y_n\le x)\le F_n(x-c+\varepsilon)+P(|Y_n-c|>\varepsilon).$$

$n\to\infty$ とすると $F(x-c-\varepsilon)\le\liminf\le\limsup\le F(x-c+\varepsilon)$ で、$C_F$ の稠密性から $\varepsilon\downarrow0$ と取れるので、$F$ の $x-c$ での連続性より結論を得ます。

積。 $X_nY_n=cX_n+(Y_n-c)X_n$ と分けます。まず $(Y_n-c)X_n\xrightarrow{P}0$ を示します。$\eta>0$ に対し $M>0$ を $\pm M\in C_F$、$F(-M)<\eta$、$1-F(M)<\eta$ となるように取ると、$P(|X_n|>M)\le F_n(-M)+1-F_n(M)\to F(-M)+1-F(M)<2\eta$ です。$\varepsilon>0$ について

$$P(|(Y_n-c)X_n|>\varepsilon)\le P(|X_n|>M)+P(|Y_n-c|>\varepsilon/M)$$

なので $\limsup_nP(|(Y_n-c)X_n|>\varepsilon)\le2\eta$、$\eta$ は任意です。

次に $cX_n\xrightarrow{d}cX$ です。$c=0$ なら両辺とも定数 $0$ です。$c>0$ なら $P(cX_n\le x)=F_n(x/c)$ で、$x$ が $cX$ の分布関数の連続点であることと $x/c\in C_F$ は同値なので明らかです。$c<0$ なら $P(cX_n\le x)=1-P(X_n<x/c)$ で、$y=x/c\in C_F$ のとき $F_n(y-\varepsilon)\le P(X_n<y)\le F_n(y)$（$y-\varepsilon\in C_F$）から $P(X_n<y)\to F(y)=P(X<y)$ となり、$P(cX\le x)=1-P(X<y)$ に収束します。

最後に、すでに示した和の場合を「$cX_n\xrightarrow{d}cX$ と $(Y_n-c)X_n\xrightarrow{P}0$」に適用すれば $X_nY_n\xrightarrow{d}cX$ です。

商。 $c\neq0$ とします（$Y_n=0$ となる $\omega$ では $X_n/Y_n$ を $0$ と定めておきます）。$\varepsilon>0$ に対し $\delta\in(0,|c|/2)$ を $|y-c|<\delta\Rightarrow|1/y-1/c|<\varepsilon$ となるように取ると $P(|1/Y_n-1/c|\ge\varepsilon)\le P(|Y_n-c|\ge\delta)\to0$ なので、$1/Y_n\xrightarrow{P}1/c$ です（$Y_n=0$ の事象は $\{|Y_n-c|\ge\delta\}$ に含まれます）。積の場合を $X_n$ と $1/Y_n$ に適用して $X_n/Y_n\xrightarrow{d}X/c$ を得ます。

∎

注意 6.2

上の証明は分布関数だけで完結させました。標準的な別証明は、$(X_n, Y_n) \xrightarrow{d} (X, c)$（極限の一方が定数のときはこの同時収束が成り立つ）を示したうえで連続写像定理を適用する形です。Billingsley, Convergence of Probability Measures、または van der Vaart, Asymptotic Statistics, 第 2 章を参照してください。

母平均 $\mu$ を推定したいとします。定理 5.6より $\sqrt{n}(\bar{X}_n - \mu)/\sigma \xrightarrow{d} N(0,1)$ ですが、実際には $\sigma$ も未知です。標本標準偏差

$$\hat{\sigma}_n = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(X_i - \bar{X}_n)^2}$$

は $E[X_1^2] < \infty$ のもとで定理 4.5から $\hat{\sigma}_n \xrightarrow{\text{a.s.}} \sigma$（したがって確率収束）を満たすので、$\sigma/\hat{\sigma}_n \xrightarrow{P} 1$ です。命題 6.1を $X_n = \sqrt{n}(\bar{X}_n-\mu)/\sigma$、$Y_n = \sigma/\hat{\sigma}_n$ に適用すると

$$\frac{\sqrt{n}\,(\bar{X}_n - \mu)}{\hat{\sigma}_n} \xrightarrow{d} N(0,1)$$

を得ます。これを $\mu$ について解けば、信頼水準 $95\%$ の信頼区間

$$\left[\ \bar{X}_n - 1.96\frac{\hat{\sigma}_n}{\sqrt{n}},\quad \bar{X}_n + 1.96\frac{\hat{\sigma}_n}{\sqrt{n}}\ \right]$$

が出ます。$1.96$ は $\Phi(1.96) - \Phi(-1.96) = 0.95$ から来る値です。統計学の入門で天下り的に現れるこの区間は、中心極限定理とスルツキーの定理の帰結にほかなりません。$\hat{\sigma}_n/\sqrt{n}$ を標準誤差と呼びます。

例 6.3（世論調査の標本サイズ）

支持率 $p$ を誤差 $\pm 3\%$、信頼水準 $95\%$ で推定するのに必要な標本数を求めます。$X_i$ は $0$ か $1$ の値をとり $\sigma^2 = p(1-p) \le 1/4$ です。正規近似による条件は

$$1.96 \times \frac{\sqrt{p(1-p)}}{\sqrt{n}} \le 0.03 .$$

最悪の場合 $p = 1/2$ を取ると $\sqrt{p(1-p)} = 0.5$ なので、$\sqrt{n} \ge 1.96 \times 0.5 / 0.03 = 32.67$、すなわち $n \ge 1067.1$、$n = 1068$ です。世論調査の標本数がしばしば $1000$ 人強である理由がこれです。

比較のため、命題 3.5のチェビシェフの不等式だけで同じ保証を得るには

$$\frac{0.25}{n \times 0.03^2} \le 0.05 \iff n \ge \frac{0.25}{0.0009 \times 0.05} = 5555.6,$$

つまり $5556$ 人が必要です。分布の形を知っているかどうかで、コストが $5$ 倍以上変わります。

そして注目すべきは、必要な標本数が母集団の大きさに依存しないことです。人口 $1$ 億人の国でも $1$ 万人の町でも、必要なのは約 $1068$ 人です。$\sigma/\sqrt{n}$ という式に母集団サイズが現れないからです。

6.2. モンテカルロ法と平方根の壁

例 6.4（モンテカルロ積分の精度）

$[0,1]^2$ 上の一様分布から点 $(U_i, V_i)$ を独立に $n$ 個生成し、$X_i = \mathbf{1}\{U_i^2 + V_i^2 \le 1\}$ とします。$E[X_1] = \pi/4$ なので、$\hat{\pi}_n = 4\bar{X}_n$ は定理 4.5より $\pi$ に概収束します。精度を評価しましょう。$p = \pi/4 \approx 0.7854$ なので

$$\sigma^2 = p(1-p) \approx 0.7854 \times 0.2146 \approx 0.1686, \qquad \sigma \approx 0.4106 .$$

$\hat{\pi}_n$ の標準偏差は $4\sigma/\sqrt{n} \approx 1.642/\sqrt{n}$ です。$n = 10^6$ で約 $0.00164$、つまり $100$ 万点を投げても $\pi$ の値は小数第 $3$ 位程度までしか決まりません。小数第 $5$ 位まで欲しければ標準偏差を $100$ 分の $1$ にする必要があり、$n = 10^{10}$ が要ります。

import numpy as np

rng = np.random.default_rng(0)
n = 1_000_000
u, v = rng.random(n), rng.random(n)
x = (u**2 + v**2 <= 1.0).astype(float)
pi_hat = 4 * x.mean()
se = 4 * x.std(ddof=1) / np.sqrt(n)
print(f"pi_hat = {pi_hat:.5f}, 95% CI = [{pi_hat - 1.96*se:.5f}, {pi_hat + 1.96*se:.5f}]")

この $1/\sqrt{n}$ は改善できない壁ではなく、$\sigma$ を小さくする工夫（重点サンプリング、制御変量、準モンテカルロ）で定数倍を稼ぐのが実務の腕の見せどころです。ただし独立サンプリングを続ける限り、指数 $-1/2$ は定理 5.6が決めています。

ヒント

機械学習で確率的勾配降下法 (SGD) の収束が遅く見えるのも同じ理由です。ミニバッチ勾配は真の勾配の不偏推定量で、その標準誤差はバッチサイズ $B$ に対して $1/\sqrt{B}$ で減ります。バッチサイズを $4$ 倍にしても勾配ノイズは半分にしかならない、という経験則はここから来ています。

6.3. 使うときの注意

中心極限定理は「$n$ が大きければ何でも正規分布」ではありません。仮定を確認してください。

仮定	破れた場合に起きること
$E[X_1^2] < \infty$	裾の重い分布（コーシー、指数 $\alpha < 2$ の安定分布）では極限が正規分布にならず、安定分布になる。例 4.3参照
独立性	相関が強いと有効標本サイズが減り、標準誤差 $\sigma/\sqrt{n}$ を過小評価する。時系列では自己相関を補正した分散推定が要る
同分布	独立だが分布が異なる場合はリンドバーグ条件（どの 1 項も和を支配しないこと）が必要
収束の速さ	定理 5.9より誤差は $\rho/(\sigma^3\sqrt n)$ 程度。歪んだ分布や裾の確率（$P(Z_n > 4)$ など）では $n$ が数千でも近似が悪い

特に最後の行は実務で見落とされがちです。中心極限定理は分布の中心の近似定理であり、極端な裾の確率を精密に与えるものではありません。裾には大偏差原理という別の理論があり、そちらは $e^{-nI(x)}$ という指数的に小さい確率を扱います。

7. 演習

演習 7.1易

(a) $X_n \xrightarrow{L^2} X$ ならば $X_n \xrightarrow{L^1} X$ であることを示してください。(b) $L^1$ 収束するが $L^2$ 収束しない列の例を挙げてください。

解答

(a) コーシー・シュワルツの不等式を $|X_n - X|$ と定数 $1$ に適用すると

$$E[|X_n - X|] = E[|X_n-X|\cdot 1] \le \left(E[|X_n-X|^2]\right)^{1/2}\left(E[1^2]\right)^{1/2} = \left(E[|X_n-X|^2]\right)^{1/2}.$$

右辺は仮定より $0$ に収束するので、左辺も $0$ に収束します。（一般に確率測度上では $p \le q$ のとき $\|Y\|_p \le \|Y\|_q$ が成り立ちます。全測度が $1$ であることが効いています。）

(b) $\Omega = [0,1]$ にルベーグ測度を入れ、$X_n = \sqrt{n}\,\mathbf{1}_{(0,1/n)}$ とします。すると

$$E[|X_n|] = \sqrt{n}\cdot\frac{1}{n} = \frac{1}{\sqrt{n}} \to 0, \qquad E[|X_n|^2] = n \cdot \frac{1}{n} = 1 \not\to 0 .$$

よって $X_n \xrightarrow{L^1} 0$ ですが $L^2$ 収束はしません。

演習 7.2標準

ある工場の製品の重量 $X$ は平均 $\mu$（未知）、標準偏差 $\sigma = 20$ グラム（既知）とします。$\mu$ を誤差 $\pm 2$ グラム以内で、信頼水準 $99\%$ で推定するのに必要な標本数 $n$ を、(a) チェビシェフの不等式、(b) 中心極限定理による正規近似、のそれぞれで求めてください。$\Phi(2.576) = 0.995$ を使ってかまいません。

解答

(a) 命題 3.5より $P(|\bar{X}_n - \mu| \ge 2) \le \sigma^2/(n \cdot 2^2) = 400/(4n) = 100/n$。これを $0.01$ 以下にするには $n \ge 10{,}000$ です。

(b) 定理 5.6より $\bar{X}_n \approx N(\mu, \sigma^2/n)$ なので、$99\%$ の条件は

$$2.576 \times \frac{20}{\sqrt{n}} \le 2 \iff \sqrt{n} \ge \frac{2.576 \times 20}{2} = 25.76 \iff n \ge 663.6 .$$

よって $n = 664$ です。チェビシェフの $10{,}000$ に対して約 $15$ 分の $1$ で済みます。信頼水準を上げるほど（裾に行くほど）この差は開きます。チェビシェフは分布の形を仮定しない代わりに大きく安全側へ倒す評価だからです。

演習 7.3標準

$X_1, X_2, \ldots$ を独立同分布、$E[X_1] = 0$、$E[X_1^2] = \sigma^2 < \infty$ とします。$\varepsilon > 0$ を固定するとき、部分列 $(\bar{X}_{n^2})_{n \in \mathbb{N}}$ については $\bar{X}_{n^2} \xrightarrow{\text{a.s.}} 0$ が 4 次モーメントの仮定なしに示せることを証明してください。

解答

$A_n = \{|\bar{X}_{n^2}| > \varepsilon\}$ とおきます。命題 3.5のチェビシェフの不等式と $\operatorname{Var}(\bar{X}_m) = \sigma^2/m$（第 2 節）より、$m = n^2$ として

$$P(A_n) \le \frac{\sigma^2}{n^2 \varepsilon^2}.$$

$\sum_{n \ge 1} n^{-2} = \pi^2/6 < \infty$ なので $\sum_n P(A_n) \le \sigma^2\pi^2/(6\varepsilon^2) < \infty$ です。補題 4.4より確率 $1$ で $|\bar{X}_{n^2}| > \varepsilon$ となる $n$ は有限個です。

これを $\varepsilon = 1/k$（$k \in \mathbb{N}$）について行い、例外集合の可算和 $N = \bigcup_k N_{1/k}$ をとれば $P(N) = 0$ で、$\omega \notin N$ に対し $\bar{X}_{n^2}(\omega) \to 0$ です。

補足: 一般の $n$ に沿った収束を出すには、$n^2 \le m < (n+1)^2$ の範囲で $\bar{X}_m$ が $\bar{X}_{n^2}$ から大きく離れないことを別途評価する必要があります（有界な確率変数ならこの「隙間埋め」は容易です）。この部分列による議論は、命題 4.7で 4 次モーメントを仮定して $\sum_n P(A_n) < \infty$ を直接出した戦略と同じ骨格をしています。

演習 7.4難

$X_1, X_2, \ldots$ を独立同分布、$E[X_1] = \mu \ne 0$、$\operatorname{Var}(X_1) = \sigma^2 \in (0,\infty)$ とします。このとき

$$\sqrt{n}\left(\bar{X}_n^{\,2} - \mu^2\right) \xrightarrow{d} N\left(0,\ 4\mu^2\sigma^2\right)$$

を示してください（デルタ法の $g(x) = x^2$ の場合）。定理 5.6と命題 6.1を使ってかまいません。

解答

因数分解します。

$$\sqrt{n}\left(\bar{X}_n^{\,2} - \mu^2\right) = \sqrt{n}\left(\bar{X}_n - \mu\right)\left(\bar{X}_n + \mu\right).$$

第 1 因子について、定理 5.6より $\sqrt{n}(\bar{X}_n - \mu) \xrightarrow{d} N(0, \sigma^2)$ です。

第 2 因子について、定理 4.1（あるいは定理 4.5と定理 3.6(1)）より $\bar{X}_n \xrightarrow{P} \mu$ なので、$\bar{X}_n + \mu \xrightarrow{P} 2\mu$ です。ここで $2\mu$ は定数です。

命題 6.1の積の部分（$X_n \xrightarrow{d} X$、$Y_n \xrightarrow{P} c$ ならば $X_nY_n \xrightarrow{d} cX$）を、$X_n = \sqrt n(\bar X_n - \mu)$、$Y_n = \bar X_n + \mu$、$c = 2\mu$ として適用すると

$$\sqrt{n}\left(\bar{X}_n^{\,2} - \mu^2\right) \xrightarrow{d} 2\mu \cdot N(0,\sigma^2).$$

$W \sim N(0,\sigma^2)$ に対し $2\mu W$ は平均 $0$、分散 $(2\mu)^2\sigma^2 = 4\mu^2\sigma^2$ の正規分布に従うので、主張が示されました。

なお $4\mu^2\sigma^2 = \left(g'(\mu)\right)^2\sigma^2$（$g(x)=x^2$、$g'(x) = 2x$）となっており、一般のデルタ法の公式

$$\sqrt{n}\left(g(\bar X_n) - g(\mu)\right) \xrightarrow{d} N\left(0, (g'(\mu))^2\sigma^2\right) \quad (g \text{ は } \mu \text{ で微分可能})$$

と整合しています。$\mu = 0$ のときは $g'(\mu) = 0$ となり退化して極限が定数 $0$ になるため、この設定では $\mu \ne 0$ を仮定しました。

参考文献

• 伊藤清『確率論』岩波書店、1991 — 第 3 章（大数の法則）、第 4 章（中心極限定理）。
• 舟木直久『確率論』朝倉書店、2004 — 第 5 章から第 7 章にかけて、収束概念・大数の法則・中心極限定理が体系的に扱われています。
• R. Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019 — 第 2 章（大数の法則、ボレル・カンテリの補題）、第 3 章（中心極限定理、特性関数、リンドバーグ条件）。著者サイトで PDF が公開されています。
• P. Billingsley, Probability and Measure, 3rd ed., Wiley, 1995 — 第 22 節（強法則）、第 26–27 節（特性関数とレヴィの連続性定理）。
• W. Feller, An Introduction to Probability Theory and Its Applications, Vol. II, 2nd ed., Wiley, 1971 — 第 XVI 章にベリー・エセーンの定理と正規近似の誤差評価。
• A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998 — 第 2 章（確率的収束、スルツキーの定理、デルタ法）。統計への応用を重視する読者向け。

Appendix: 極限定理はこの先どこへ向かうか

独立同分布を外す。 定理 5.6は同分布を仮定していますが、実際には各項が和全体を支配しないことだけが本質です。独立だが分布が異なる $X_{n,1},\ldots,X_{n,n}$（平均 $0$、分散和 $s_n^2$）に対し、任意の $\varepsilon>0$ で

$$\frac{1}{s_n^2}\sum_{i=1}^{n} E\left[X_{n,i}^2\,\mathbf{1}\{|X_{n,i}| > \varepsilon s_n\}\right] \to 0$$

が成り立つ（リンドバーグ条件）ならば $s_n^{-1}\sum_i X_{n,i} \xrightarrow{d} N(0,1)$ です。条件の意味は「大きな値を出す項の分散への寄与が消える」ことで、まさに「どの 1 項も支配しない」の定量化です。同分布の場合はこの条件が自動的に満たされるので、定理 5.6はその系になります。

独立性を外す。 独立性の代わりにマルチンゲール差列であることを仮定しても中心極限定理が成り立ちます（マルチンゲール中心極限定理）。時系列解析や確率的アルゴリズムの解析では、独立性は望めない一方で「過去の情報のもとでの条件付き期待値が $0$」という性質は成り立つことが多く、こちらの定式化が実用的です。条件付き期待値の枠組みは条件付き期待値（定義 3.1［条件付き期待値］）で、マルチンゲールそのものはマルチンゲールとブラウン運動（定義 3.1［マルチンゲールとブラウン運動］）で扱います。

極限を過程に格上げする。 定理 5.6は「時刻 $n$ における 1 点の分布」の収束です。これを $t \in [0,1]$ で添字付けた部分和の折れ線

$$W_n(t) = \frac{S_{\lfloor nt \rfloor} - \lfloor nt\rfloor \mu}{\sigma\sqrt{n}}$$

に格上げすると、この確率過程がブラウン運動（定義 5.1）［マルチンゲールとブラウン運動］に分布収束する、というドンスカーの不変原理が得られます。中心極限定理が「正規分布の普遍性」を語るのに対し、不変原理は「ブラウン運動の普遍性」を語ります。ここから先が確率解析の入り口で、確率微分方程式（伊藤積分）へ続きます。

裾を見る。 最後に、$P(\bar X_n - \mu > x)$ を固定した $x > 0$ について評価したいときは、中心極限定理は使えません（この確率は $0$ に収束し、正規近似の誤差 $O(1/\sqrt n)$ に埋もれるからです）。指数モーメントが有限なら、クラメールの定理が $\frac{1}{n}\log P(\bar X_n - \mu > x) \to -I(x)$ という指数的減衰を与えます。ここに現れる $I$ はレート関数と呼ばれ、キュムラント母関数のルジャンドル変換として書けます。大数の法則（$0$ に潰れる）、中心極限定理（$\sqrt n$ の窓で見る）、大偏差原理（対数を取って $n$ で割る）は、同じ量を異なる倍率で覗いた三つの像だと考えると見通しがよくなります。