確率空間とコルモゴロフの公理：確率を「全測度 1 の測度」として定義する

0. この記事の要点

サイコロの目や賭けの勝ち負けのように、「どれくらい起こりやすいか」を数で表したものが確率です。ところが「円に弦を無作為に引く」のように無限の可能性がある場面では、「無作為」の意味があいまいで、答えが何通りも出てしまいます。この記事では、確率を計算の前に「何を事象とし、それにどんな数を割り当てるか」を決めるルールとして定め、そこから和の公式や条件付き確率、ベイズの定理が導かれる様子を順に見ていきます。

• 確率とは「全体の測度が $1$ である測度」です（測度とは、集合に長さや面積のような「大きさ」を割り当てる規則のことです）。標本空間 $\Omega$、事象の族 $\mathcal{F}$、確率測度 $P$ という三つ組 $(\Omega, \mathcal{F}, P)$ が、確率論のすべての出発点になります。
• 事象の族 $\mathcal{F}$ を $\Omega$ の部分集合全体にできない場合があります。ヴィタリの非可測集合（大きさをうまく割り当てられない集合）がその理由です（Appendix）。だから「確率を割り当てる対象」をあらかじめ制限しておく必要があります。
• 公理は $3$ つだけです（非負性・全確率 $1$・可算加法性）。単調性、加法定理、劣加法性、上下からの連続性は、すべてこの $3$ つから証明できます。
• 可算加法性は「有限加法性 $+$ 空集合への連続性」と同値です。これが $n \to \infty$ を含む主張を語れるようにする条件で、有限加法性だけでは極限定理が書けません。
• 条件付き確率 $P(\,\cdot \mid B)$ は、それ自体がひとつの確率測度です。だから確率測度について証明した性質はすべて条件付き確率でも使えます。ベイズの定理は、この事実の上での $2$ 行の計算にすぎません。
• 独立性は「積の形」で定義します。$3$ つ以上の事象では、対ごとの独立と族としての独立は別物です。

この記事で使う事前知識

• 補集合・共通部分: 補集合は「集合に入らないもの全体」、共通部分は「どちらにも入るもの全体」。→ 和集合・共通部分・差集合・補集合
• 可算・非可算: 自然数と一対一に対応づけられる無限が可算、そうでない無限が非可算。→ 可算・非可算
• 数列の上極限・下極限: 数列の十分先の項だけを見たときの上限（下限）の、さらに極限。§2 で集合の列に対して同じ形を使います。
• 完備性の公理（単調収束の原理）: 上に有界な単調増加数列は収束する、という性質。→ 完備性の公理
• 同値関係: 反射律・対称律・推移律を満たす関係。Appendix で使います。→ 同値関係

1. 動機：確率はなぜ測度でなければならないのか

確率論は $1654$ 年のパスカルとフェルマーの往復書簡から始まったとされます。話題は「分配問題」でした。$2$ 人が賭けをしていて、先に $3$ 勝したほうが賭金を総取りする約束だったが、$2$ 対 $1$ の時点で中断された。掛金をどう分けるべきか。$2$ 人は、残りの試合の起こりうる進行をすべて数え上げ、勝つ場合の数の比で分ける、という解に到達しました。ホイヘンスは $1657$ 年にこの考えを『偶然のゲームにおける計算について』としてまとめ、ヤコブ・ベルヌーイは『推測法』（$1713$）で試行回数を増やしたときの振る舞い、すなわち大数の法則の最初の形に到達します。

こうした計算を一般化したのがラプラスの古典的定義です。「同様に確からしい」$N$ 通りの場合のうち、事象 $A$ が起こる場合が $N_A$ 通りあるとき

$$P(A) = \frac{N_A}{N}$$

とする、というものです。この定義は $2$ か所で行き詰まります。

第一に、循環しています。「同様に確からしい」という言葉のなかに「確からしい」が入っており、確率を定義するために確率を使っています。

第二に、そして致命的なことに、場合の数が無限のときに使えません。「$[0,1]$ から無作為に $1$ 点を選ぶ」という操作を考えると、$N = \infty$、どの $1$ 点についても $N_A = 1$ で、比の形が意味を失います。

1.1. ベルトランのパラドックス

無限の場合に何が起きるかを、ベルトランが $1889$ 年に鮮やかな形で示しました。半径 $1$ の円に弦を「無作為に」引くとき、その長さが内接正三角形の一辺 $\sqrt{3}$ より長くなる確率はいくらか。

端点で測る。 弦の一方の端点を固定し、他方の端点の位置を中心角 $\theta \in (0, 2\pi)$ で表して一様に選びます。このとき弦の長さは $2\sin(\theta/2)$ なので、 $2\sin(\theta/2) > \sqrt{3} \iff \sin(\theta/2) > \sqrt{3}/2 \iff \theta/2 \in (\pi/3, 2\pi/3) \iff \theta \in (2\pi/3, 4\pi/3)$。 区間の長さの比は $(2\pi/3)/(2\pi) = 1/3$ です。

中点の半径方向の位置で測る。 弦の中点の中心からの距離 $d$ を $[0,1]$ 上一様に選びます。弦の長さは $2\sqrt{1-d^2}$ なので、 $2\sqrt{1-d^2} > \sqrt{3} \iff 1 - d^2 > 3/4 \iff d < 1/2$。 確率は $1/2$ です。

中点の平面上の位置で測る。 弦の中点を円板上に一様に選びます。条件は同じく $d < 1/2$ ですが、いま測るのは面積なので $\pi (1/2)^2 / (\pi \cdot 1^2) = 1/4$ です。

同じ問いに $1/3$、$1/2$、$1/4$ という $3$ つの答えが出ました。これは矛盾ではありません。「無作為に弦を引く」という日本語が、$3$ つの異なる数学的操作を指しうる、というだけのことです。教訓は明快です。確率を語る前に、どの集合に、どういう重みを割り当てるかを明示しなければならない。 割り当てる先の集合の族と、割り当てそのものを、独立した数学的対象として立てる必要があります。

1.2. 無限回のコイン投げ

もうひとつ、決定的な例があります。コインを無限回投げる試行です。結果の全体は $\Omega = \{0,1\}^{\mathbb{N}} = \{\omega = (\omega_1, \omega_2, \ldots) : \omega_n \in \{0,1\}\}$ という非可算集合です。個々の列 $\omega$ が出る確率は $0$ でなければなりません（最初の $n$ 個が一致する確率は $2^{-n}$ で、$n \to \infty$ とすると $0$）。しかし全体では確率 $1$ です。「確率 $0$ の結果を可算個より多く集めると確率 $1$ になる」というこの状況は、$1$ 点ごとの重みの足し算では扱えません。

さらに、この試行で本当に問いたいのは「表の出る割合が $1/2$ に収束する確率」のような、極限が関わる事象です。それを扱うには、事象の族が可算個の操作で閉じていること、そして確率が可算個の合併に対して足し算になること（可算加法性）が要ります。可算加法性は、あとで見るように「極限との交換」（定理 4.3）と同値であり、これこそが有限的な確率計算と極限定理を橋渡しします。

1.3. コルモゴロフの解答

ヒルベルトは $1900$ 年の第 $6$ 問題で、確率論を含む物理学の公理化を求めました。ボレル（$1909$ 年、正規数の定理）とルベーグ（$1902$ 年、測度の理論）の仕事を経て、コルモゴロフが $1933$ 年の『確率論の基礎概念』で与えた答えは、いま見ると拍子抜けするほど簡潔です。

確率とは、全体の測度が $1$ であるような測度のことである。

つまり確率論は測度論の一分科であり、独自の公理は「全測度が $1$」の一点だけである、というのがコルモゴロフの主張でした。以下ではこれを正確に述べていきます。

コルモゴロフの枠組み：現実の問いから極限定理まで

2. 準備：標本空間と事象の言い換え

ひとつの試行について、起こりうる結果をすべて集めた空でない集合 $\Omega$ を標本空間、その元 $\omega \in \Omega$ を標本点（根元事象）と呼びます。$\Omega$ の部分集合が「事象」の候補です。$\Omega$ の取り方は問題ごとの設計であって、数学が決めてくれるものではありません。サイコロ $2$ 個なら $\Omega = \{1,\dots,6\}^2$、無限回のコイン投げなら $\Omega = \{0,1\}^{\mathbb{N}}$、というように、問いたいことがすべて $\Omega$ の部分集合として書けるように選びます。

集合の言葉と確率の言葉は次のように対応します。この対応があるので、事象についての議論はすべて集合演算に還元できます。

集合の言葉	確率の言葉
$\Omega$	全事象（必ず起こる）
$\emptyset$	空事象（決して起こらない）
$\omega \in A$	結果が $\omega$ のとき $A$ が起こる
$A \cup B$	$A$ または $B$ が起こる
$A \cap B$	$A$ かつ $B$ が起こる
$A^{c} = \Omega \setminus A$	$A$ が起こらない
$A \subset B$	$A$ が起これば $B$ も起こる
$A \cap B = \emptyset$	$A$ と $B$ は排反（同時には起こらない）

事象の列 $(A_n)_{n \ge 1}$ に対しては、次の $2$ つの集合が頻繁に現れます。

$$\limsup_{n \to \infty} A_n := \bigcap_{n=1}^{\infty} \bigcup_{k=n}^{\infty} A_k, \qquad \liminf_{n \to \infty} A_n := \bigcup_{n=1}^{\infty} \bigcap_{k=n}^{\infty} A_k .$$

意味を確かめておきます。$\omega \in \limsup_n A_n$ とは、「任意の $n$ に対しある $k \ge n$ が存在して $\omega \in A_k$」ということ、すなわち $\omega$ が無限に多くの $A_k$ に属することです。だから $\limsup_n A_n$ は「$A_n$ が無限回起こる」という事象で、$\{A_n \text{ i.o.}\}$（infinitely often）とも書きます。一方 $\omega \in \liminf_n A_n$ とは、「ある $n$ が存在して、すべての $k \ge n$ に対し $\omega \in A_k$」、つまり有限個を除くすべての $A_k$ に $\omega$ が属することです。定義から $\liminf_n A_n \subset \limsup_n A_n$ が成り立ちます（有限個を除いてすべてで起これば、当然無限回起こる）。

ある標本点 ω が A_n に属するか（● が属する、○ が属さない）。ω₁ は奇数番だけ属し、ω₂ は n ≥ 4 ですべて属する

3. σ-加法族：確率を割り当てる事象の族

ベルトランのパラドックスの教訓は「割り当て先を明示せよ」でした。では割り当て先の族はどんな条件を満たすべきでしょうか。$A$ の確率が言えるなら $A$ が起こらない確率も言えてほしい。$A_1, A_2, \ldots$ の確率が言えるなら「どれかが起こる」確率も言えてほしい。この $2$ つ（と、全体が入っていること）だけを要求します。

定義 3.1（σ-加法族と可測空間）↗

$\Omega$ を空でない集合とする。$\Omega$ の部分集合からなる族 $\mathcal{F}$ が次の $3$ 条件を満たすとき、$\mathcal{F}$ を $\Omega$ 上の $\sigma$-加法族（完全加法族）という。

1. $\Omega \in \mathcal{F}$。
2. $A \in \mathcal{F}$ ならば $A^{c} \in \mathcal{F}$。
3. $A_1, A_2, A_3, \ldots \in \mathcal{F}$（可算個）ならば $\bigcup_{n=1}^{\infty} A_n \in \mathcal{F}$。

このとき組 $(\Omega, \mathcal{F})$ を可測空間、$\mathcal{F}$ の元を事象と呼ぶ。

条件 3 で要求しているのが可算個であることに注意してください。有限個でも非可算個でもなく可算個、という選択が、このあとのすべてを決めます。有限個では極限が扱えず、非可算個まで許すと（Appendix で見るように）長さと整合する測度が存在しなくなります。

命題 3.2（σ-加法族が閉じている演算）✓

$\mathcal{F}$ を $\Omega$ 上の $\sigma$-加法族とする。このとき次が成り立つ。

1. $\emptyset \in \mathcal{F}$。
2. $A_1, \ldots, A_n \in \mathcal{F}$ ならば $\bigcup_{k=1}^{n} A_k \in \mathcal{F}$。
3. $A_1, A_2, \ldots \in \mathcal{F}$ ならば $\bigcap_{n=1}^{\infty} A_n \in \mathcal{F}$。有限個の交叉についても同様。
4. $A, B \in \mathcal{F}$ ならば $A \setminus B \in \mathcal{F}$。
5. $A_1, A_2, \ldots \in \mathcal{F}$ ならば $\limsup_n A_n \in \mathcal{F}$ かつ $\liminf_n A_n \in \mathcal{F}$。

証明（命題 3.2）

1. 定義 3.1 の条件 1 より $\Omega \in \mathcal{F}$ であり、条件 2 を $A = \Omega$ に適用して $\emptyset = \Omega^{c} \in \mathcal{F}$。

2. $k > n$ に対して $A_k := \emptyset$ と定める。(1) より $A_k \in \mathcal{F}$ なので、条件 3 が使えて $\bigcup_{k=1}^{\infty} A_k \in \mathcal{F}$。空集合を付け足しても合併は変わらないから $\bigcup_{k=1}^{\infty} A_k = \bigcup_{k=1}^{n} A_k$ であり、これが $\mathcal{F}$ に属する。

3. ド・モルガンの法則により

   $$\bigcap_{n=1}^{\infty} A_n = \Bigl( \bigcup_{n=1}^{\infty} A_n^{c} \Bigr)^{c}.$$

   各 $A_n^{c} \in \mathcal{F}$（条件 2）、その可算合併が $\mathcal{F}$ に属し（条件 3）、その補集合も $\mathcal{F}$ に属する（条件 2）。有限個の場合は (2) と同じ手口で、余った添字に $A_k := \Omega$ を割り当てればよい。

4. $A \setminus B = A \cap B^{c}$ であり、$B^{c} \in \mathcal{F}$（条件 2）だから (3) の有限交叉の場合による。

5. $B_n := \bigcup_{k=n}^{\infty} A_k$ は条件 3 より $\mathcal{F}$ に属し、$\limsup_n A_n = \bigcap_{n=1}^{\infty} B_n$ は (3) より $\mathcal{F}$ に属する。$\liminf$ については $C_n := \bigcap_{k=n}^{\infty} A_k \in \mathcal{F}$（(3) による）とし、$\liminf_n A_n = \bigcup_{n=1}^{\infty} C_n \in \mathcal{F}$（条件 3）。

∎

この命題の (5) が、$\sigma$-加法族を使う実際的な理由です。「$A_n$ が無限回起こる」という、極限の言葉でしか書けない事象が、自動的に事象として認められます。

例 3.3（σ-加法族の例と非例）

$\Omega$ を空でない集合とする。

(a) 自明な $\sigma$-加法族 $\mathcal{F} = \{\emptyset, \Omega\}$。$3$ 条件はすべて直接確かめられる。これは「何の情報も持たない」族です。

(b) 冪集合 $\mathcal{F} = 2^{\Omega}$（$\Omega$ の部分集合全体）。明らかに $3$ 条件を満たします。$\Omega$ が可算のときはこれを使えばよく、$\sigma$-加法族という概念は無用に見えます。非可算のときにそうはいかないことが Appendix で分かります。

(c) $1$ つの事象が生む族 $A \subset \Omega$ に対し $\mathcal{F} = \{\emptyset, A, A^{c}, \Omega\}$。補集合を取る操作でこの $4$ つは互いに移り合い、合併もこの $4$ つの中に収まります（例えば $A \cup A^{c} = \Omega$）。

(d) 可算・余可算族 $\mathcal{F} = \{A \subset \Omega : A \text{ が可算、または } A^{c} \text{ が可算}\}$。条件 1 は $\Omega^{c} = \emptyset$ が可算だから成立。条件 2 は定義が $A$ と $A^{c}$ について対称だから成立。条件 3 を確かめます。$A_1, A_2, \ldots \in \mathcal{F}$ とし、$A := \bigcup_n A_n$ とおく。すべての $A_n$ が可算なら、可算個の可算集合の合併は可算なので $A$ は可算。そうでなければある $n_0$ で $A_{n_0}^{c}$ が可算であり、$A^{c} = \bigcap_n A_n^{c} \subset A_{n_0}^{c}$ だから $A^{c}$ も可算。いずれの場合も $A \in \mathcal{F}$。

(e) 非例 $\Omega = \mathbb{N}$ とし、$\mathcal{F}$ を「有限集合と、その補集合が有限な集合」の全体とする。これは有限合併で閉じているが、可算合併では閉じていない。実際 $A_n = \{2n\}$ は有限だが $\bigcup_n A_n$ は偶数全体で、それ自身も補集合も無限。よって $\sigma$-加法族ではありません（有限加法族ではあります）。

3.1. 生成される σ-加法族

実際には $\sigma$-加法族を要素を並べて書き下すことはできません。「これらの集合には確率を割り当てたい」という出発点の族があり、そこから必要最小限だけ膨らませる、という作り方をします。

命題 3.4（生成 σ-加法族の存在と最小性）✓

$\mathcal{C}$ を $\Omega$ の部分集合からなる任意の族とする。このとき $\mathcal{C}$ を含む $\sigma$-加法族のうち最小のものが一意に存在する。すなわち、ある $\sigma$-加法族 $\sigma(\mathcal{C})$ が存在して、$\mathcal{C} \subset \sigma(\mathcal{C})$ であり、かつ $\mathcal{C}$ を含む任意の $\sigma$-加法族 $\mathcal{G}$ に対し $\sigma(\mathcal{C}) \subset \mathcal{G}$ となる。

次の証明のねらいは、「必要最小限だけ膨らませた族」を具体的に書き下さずに作ることです。$\mathcal{C}$ を含む $\sigma$-加法族を全部集め、そのすべてに共通して入っている集合だけを取り出します。共通部分を取っても $\sigma$-加法族の $3$ 条件は壊れないので、できあがった族が最小になります。

証明（命題 3.4）

$\Sigma := \{\mathcal{G} : \mathcal{G} \text{ は } \Omega \text{ 上の } \sigma\text{-加法族で } \mathcal{C} \subset \mathcal{G}\}$ とおく。冪集合 $2^{\Omega}$ は $\sigma$-加法族です（$\Omega\in2^\Omega$ であり、$\Omega$ の部分集合の補集合も可算合併も $\Omega$ の部分集合だから、定義 3.1 の 3 条件がすべて成り立ちます）。$\mathcal{C}\subset2^\Omega$ も明らかなので $2^{\Omega} \in \Sigma$ であり、$\Sigma \neq \emptyset$ だから次の定義が意味を持つ。

$$\sigma(\mathcal{C}) := \bigcap_{\mathcal{G} \in \Sigma} \mathcal{G} = \{A \subset \Omega : \text{すべての } \mathcal{G} \in \Sigma \text{ に対し } A \in \mathcal{G}\}.$$

これが $\sigma$-加法族であることを 定義 3.1 の $3$ 条件について確かめる。

1. 各 $\mathcal{G} \in \Sigma$ は $\sigma$-加法族なので $\Omega \in \mathcal{G}$。すべての $\mathcal{G}$ について成り立つから $\Omega \in \sigma(\mathcal{C})$。
2. $A \in \sigma(\mathcal{C})$ とする。任意の $\mathcal{G} \in \Sigma$ について $A \in \mathcal{G}$、$\mathcal{G}$ は補集合で閉じるので $A^{c} \in \mathcal{G}$。すべての $\mathcal{G}$ で成り立つから $A^{c} \in \sigma(\mathcal{C})$。
3. $A_1, A_2, \ldots \in \sigma(\mathcal{C})$ とする。任意の $\mathcal{G} \in \Sigma$ について、すべての $n$ で $A_n \in \mathcal{G}$ だから $\bigcup_n A_n \in \mathcal{G}$。よって $\bigcup_n A_n \in \sigma(\mathcal{C})$。

さらに $\mathcal{C}$ を含むこと：各 $\mathcal{G} \in \Sigma$ が $\mathcal{C}$ を含むから、その共通部分も $\mathcal{C}$ を含む。最小性：$\mathcal{G}$ が $\mathcal{C}$ を含む $\sigma$-加法族なら $\mathcal{G} \in \Sigma$ であり、共通部分は各項に含まれるので $\sigma(\mathcal{C}) \subset \mathcal{G}$。一意性は、最小性を持つ $2$ つの族が互いに他を含むことから従う。

∎

定義 3.5（生成 σ-加法族とボレル集合族）↗

命題 3.4 の $\sigma(\mathcal{C})$ を、$\mathcal{C}$ が生成する $\sigma$-加法族という。とくに $\mathbb{R}^{d}$ の開集合全体が生成する $\sigma$-加法族をボレル集合族と呼び $\mathcal{B}(\mathbb{R}^{d})$ と書く。その元をボレル集合という。

$\mathcal{B}(\mathbb{R})$ は開区間、閉区間、半直線 $(-\infty, a]$、$1$ 点集合、可算集合、そしてそれらから可算回の合併・交叉・補集合で作れるものをすべて含みます。実際 $\mathcal{B}(\mathbb{R}) = \sigma(\{(-\infty, a] : a \in \mathbb{Q}\})$ が示せます。ボレル集合族とルベーグ測度の構成は 可測集合とルベーグ測度 で扱います（定義 4.6［可測集合とルベーグ測度］）。

例 3.6（無限回のコイン投げの確率空間）

$\Omega = \{0,1\}^{\mathbb{N}}$（$1$ が表）とする。$n \ge 1$ と $\varepsilon_1, \ldots, \varepsilon_n \in \{0,1\}$ に対し

$$C(\varepsilon_1, \ldots, \varepsilon_n) := \{\omega \in \Omega : \omega_1 = \varepsilon_1, \ldots, \omega_n = \varepsilon_n\}$$

を筒集合という。これは「最初の $n$ 回の出方が指定どおり」という、有限回の観測で判定できる事象です。筒集合の全体を $\mathcal{C}$ とし、$\mathcal{F} := \sigma(\mathcal{C})$ と定めます。公平なコインなら $P(C(\varepsilon_1,\ldots,\varepsilon_n)) = 2^{-n}$ と決めたい。この「決めたい値」が $\mathcal{F}$ 全体の確率測度にただ一通りに拡張されることは、カラテオドリの拡張定理（あるいはコルモゴロフの拡張定理）から従います。証明はこの記事では扱いませんが、存在は保証されていると認めて先に進みます。

このとき $A_n := \{\omega : \omega_n = 1\}$（$n$ 回目が表）は筒集合の有限合併なので $\mathcal{F}$ に属し、命題 3.2 (5) より

$$\limsup_{n \to \infty} A_n = \{\omega : \omega_n = 1 \text{ となる } n \text{ が無限個ある}\} = \{\text{表が無限回出る}\}$$

も事象です。有限回の観測では決して判定できないこの事象に確率を語れるようになったこと、それが $\sigma$-加法族を導入した見返りです。

4. 確率測度とコルモゴロフの公理

定義 4.1（確率測度と確率空間（コルモゴロフの公理））↗

$(\Omega, \mathcal{F})$ を可測空間とする。写像 $P : \mathcal{F} \to \mathbb{R}$ が次の $3$ 条件を満たすとき、$P$ を $(\Omega,\mathcal{F})$ 上の確率測度という。

• (P1) 非負性 すべての $A \in \mathcal{F}$ に対し $P(A) \ge 0$。
• (P2) 全確率 $P(\Omega) = 1$。
• (P3) 可算加法性（$\sigma$-加法性） $A_1, A_2, \ldots \in \mathcal{F}$ が互いに素（$i \neq j$ ならば $A_i \cap A_j = \emptyset$）ならば $$P\Bigl( \bigcup_{n=1}^{\infty} A_n \Bigr) = \sum_{n=1}^{\infty} P(A_n).$$

三つ組 $(\Omega, \mathcal{F}, P)$ を確率空間という。

(P3) の右辺は非負項の級数なので、和の順序を変えても値は変わりません（非負項級数の可換性。定理 7.10［級数と収束判定］ の 1）。左辺は $A_n$ の並べ方によらない集合の確率ですから、この整合性は必要です。また左辺は実数値なので、(P3) は「この級数が収束する」ことも同時に主張しています。

定理 4.2（確率測度の基本性質）✓

$(\Omega, \mathcal{F}, P)$ を確率空間とする。$A, B \in \mathcal{F}$、$A_1, \ldots, A_n \in \mathcal{F}$、$(A_n)_{n \ge 1} \subset \mathcal{F}$ に対し次が成り立つ。

1. $P(\emptyset) = 0$。
2. （有限加法性）$A_1, \ldots, A_n$ が互いに素ならば $P\bigl(\bigcup_{k=1}^{n} A_k\bigr) = \sum_{k=1}^{n} P(A_k)$。
3. $P(A^{c}) = 1 - P(A)$。
4. （単調性）$A \subset B$ ならば $P(B \setminus A) = P(B) - P(A)$。とくに $P(A) \le P(B)$。
5. $0 \le P(A) \le 1$。
6. （加法定理）$P(A \cup B) = P(A) + P(B) - P(A \cap B)$。
7. （可算劣加法性）$P\bigl(\bigcup_{n=1}^{\infty} A_n\bigr) \le \sum_{n=1}^{\infty} P(A_n)$。互いに素であることは仮定しない。

証明（定理 4.2）

(1) すべての $n$ で $A_n := \emptyset$ と取る。$\emptyset \cap \emptyset = \emptyset$ だからこの列は互いに素であり、(P3) が使えて $P(\emptyset) = \sum_{n=1}^{\infty} P(\emptyset)$。 $c := P(\emptyset)$ とおくと (P1) より $c \ge 0$。もし $c > 0$ なら右辺の級数は $+\infty$ に発散し、左辺が実数であることに反する。よって $c = 0$。

(2) $k > n$ に対し $A_k := \emptyset$ と定める。$\emptyset$ は他のどの集合とも素なので $(A_k)_{k \ge 1}$ は互いに素であり、(P3) と (1) より

$$P\Bigl(\bigcup_{k=1}^{n} A_k\Bigr) = P\Bigl(\bigcup_{k=1}^{\infty} A_k\Bigr) = \sum_{k=1}^{\infty} P(A_k) = \sum_{k=1}^{n} P(A_k) + \sum_{k>n} 0 = \sum_{k=1}^{n} P(A_k).$$

(3) $A \cup A^{c} = \Omega$ かつ $A \cap A^{c} = \emptyset$ なので、(2) を $n=2$ に適用して $P(A) + P(A^{c}) = P(\Omega)$。(P2) より右辺は $1$。

(4) $A \subset B$ のとき $B = A \cup (B \setminus A)$ であり、$A \cap (B \setminus A) = \emptyset$。$B \setminus A \in \mathcal{F}$ は 命題 3.2 (4) による。(2) より $P(B) = P(A) + P(B \setminus A)$、移項して $P(B \setminus A) = P(B) - P(A)$。さらに (P1) より $P(B \setminus A) \ge 0$ なので $P(A) \le P(B)$。

(5) $\emptyset \subset A \subset \Omega$ に (4) の後半を二度適用し、(1) と (P2) を使うと $0 = P(\emptyset) \le P(A) \le P(\Omega) = 1$。

(6) $A \cup B = A \cup (B \setminus A)$ で、この $2$ つは素。また $B = (A \cap B) \cup (B \setminus A)$ で、この $2$ つも素（前者は $A$ に含まれ、後者は $A$ と交わらない）。(2) をそれぞれに適用して

$$P(A \cup B) = P(A) + P(B\setminus A), \qquad P(B) = P(A \cap B) + P(B \setminus A).$$

第 $2$ 式から $P(B \setminus A) = P(B) - P(A \cap B)$ を得て、第 $1$ 式に代入すれば主張が出る。

(7) 与えられた列を素な列に置き換える（不交化）。

$$B_1 := A_1, \qquad B_n := A_n \setminus (A_1 \cup \cdots \cup A_{n-1}) \quad (n \ge 2).$$

命題 3.2 (2)(4) より $B_n \in \mathcal{F}$。$m < n$ のとき $B_n \cap A_m = \emptyset$ であり $B_m \subset A_m$ だから $B_n \cap B_m = \emptyset$、すなわち $(B_n)$ は互いに素。また $B_n \subset A_n$ であり、帰納法から任意の $N$ で $\bigcup_{k \le N} B_k = \bigcup_{k \le N} A_k$、したがって $\bigcup_{n} B_n = \bigcup_{n} A_n$。以上より (P3) と (4) を使って

$$P\Bigl(\bigcup_{n=1}^{\infty} A_n\Bigr) = P\Bigl(\bigcup_{n=1}^{\infty} B_n\Bigr) = \sum_{n=1}^{\infty} P(B_n) \le \sum_{n=1}^{\infty} P(A_n).$$∎

これらは日常的な確率計算のほぼすべてを支えています。(6) の加法定理は「重複して数えた分を引く」という数え上げの原理そのものですし、(7) の劣加法性は「悪いことが $1$ つでも起こる確率は、それぞれの確率の和以下」という形で、確率的な誤差評価（合併限界、ユニオンバウンド）として機械学習の理論でも繰り返し使われます。

4.1. 可算加法性がもたらすもの：測度の連続性

定理 4.3（測度の連続性と σ-加法性の特徴づけ）✓

$(\Omega, \mathcal{F})$ を可測空間とする。

1. （下からの連続性）$P$ を確率測度、$(A_n)_{n\ge1} \subset \mathcal{F}$ が $A_1 \subset A_2 \subset \cdots$ を満たすとき、数列 $(P(A_n))$ は収束し $$P\Bigl( \bigcup_{n=1}^{\infty} A_n \Bigr) = \lim_{n \to \infty} P(A_n).$$
2. （上からの連続性）$P$ を確率測度、$(A_n)_{n\ge1} \subset \mathcal{F}$ が $A_1 \supset A_2 \supset \cdots$ を満たすとき $$P\Bigl( \bigcap_{n=1}^{\infty} A_n \Bigr) = \lim_{n \to \infty} P(A_n).$$
3. （逆向き）写像 $P : \mathcal{F} \to \mathbb{R}$ が (P1)、(P2) と有限加法性（定理 4.2 (2) の性質）を満たし、さらに「$B_1 \supset B_2 \supset \cdots$ かつ $\bigcap_n B_n = \emptyset$ ならば $\lim_n P(B_n) = 0$」を満たすならば、$P$ は (P3) を満たす。すなわち $P$ は確率測度である。

(1)(2) は「確率測度ならば連続性が成り立つ」という向き、(3) はその逆向きです。(3) の意味は、可算加法性を直接確かめる代わりに、有限加法性と「空集合に縮んでいく列の確率が $0$ に近づく」ことだけ確かめれば十分、ということです。有限加法性だけでは足りない例は、この定理の直後の注意で見ます。(3) の証明では、無限個の和を「最初の $n$ 個の和」と「残りの部分 $R_n$」に分け、$R_n$ の確率が $0$ に近づくことを使います。

証明（定理 4.3）

(1) まず収束を確かめる。$A_n \subset A_{n+1}$ と 定理 4.2 (4) より $P(A_n) \le P(A_{n+1})$ であり、同 (5) より $P(A_n) \le 1$。単調増加かつ上に有界な実数列は収束します（実数の完備性とコーシー列 の 完備性の公理（公理 3.1）［実数の完備性とコーシー列］）。

値を求める。$B_1 := A_1$、$B_n := A_n \setminus A_{n-1}$（$n \ge 2$）とおく。$m < n$ なら $B_m \subset A_m \subset A_{n-1}$ かつ $B_n \cap A_{n-1} = \emptyset$ なので $(B_n)$ は互いに素。$\bigcup_{k=1}^{n} B_k = A_n$ は帰納法で分かる（$n=1$ は定義、$\bigcup_{k \le n} B_k = A_{n-1} \cup (A_n \setminus A_{n-1}) = A_n$、最後の等号は $A_{n-1} \subset A_n$ による）。したがって $\bigcup_{k=1}^{\infty} B_k = \bigcup_{n=1}^{\infty} A_n$ であり、(P3) と有限加法性から

$$P\Bigl(\bigcup_{n} A_n\Bigr) = \sum_{k=1}^{\infty} P(B_k) = \lim_{n \to \infty} \sum_{k=1}^{n} P(B_k) = \lim_{n \to \infty} P\Bigl(\bigcup_{k=1}^{n} B_k\Bigr) = \lim_{n \to \infty} P(A_n).$$

(2) $A_n^{c}$ は増大列であり、ド・モルガンより $\bigcup_n A_n^{c} = (\bigcap_n A_n)^{c}$。(1) を $(A_n^{c})$ に適用して $P\bigl((\bigcap_n A_n)^{c}\bigr) = \lim_n P(A_n^{c})$。 定理 4.2 (3) を両辺に使うと $1 - P(\bigcap_n A_n) = \lim_n (1 - P(A_n)) = 1 - \lim_n P(A_n)$。移項して主張を得る。

(3) $(A_n)_{n \ge 1} \subset \mathcal{F}$ を互いに素とし、$A := \bigcup_{n=1}^{\infty} A_n \in \mathcal{F}$ とおく。$R_n := A \setminus \bigcup_{k=1}^{n} A_k = \bigcup_{k > n} A_k$ とおくと、命題 3.2 より $R_n \in \mathcal{F}$ で、$R_1 \supset R_2 \supset \cdots$。さらに $\bigcap_n R_n = \emptyset$ である：もし $\omega \in \bigcap_n R_n$ なら、任意の $n$ に対しある $k > n$ で $\omega \in A_k$ となり、$\omega$ は無限個の $A_k$ に属することになるが、$(A_k)$ は互いに素なので $\omega$ が属する $A_k$ は高々 $1$ つで、矛盾。

$A = \bigl(\bigcup_{k=1}^{n} A_k\bigr) \cup R_n$ は素な合併なので、有限加法性より

$$P(A) = \sum_{k=1}^{n} P(A_k) + P(R_n).$$

仮定より $P(R_n) \to 0$（$n \to \infty$）なので、右辺の第 $1$ 項は $n \to \infty$ で収束し、$P(A) = \sum_{k=1}^{\infty} P(A_k)$。これが (P3) である。

∎

注意 4.4（なぜ可算加法性を要求するのか）

定理 4.3 (3) は、可算加法性が「有限加法性 $+$ 空事象への連続性」と同値であることを示しています。つまり (P3) を課すことは、確率と極限操作の交換を認めることにほかなりません。$\lim_{n} S_n/n = p$ のような極限を含む事象の確率を、有限個の観測から決まる量の極限として計算できるのは、この同値性のおかげです。大数の法則と中心極限定理 の証明は、すべてここに乗っています。

有限加法性だけを課した「有限加法的確率」も数学的には存在します。例えば $\Omega = \mathbb{N}$ 上に、すべての有限集合の値が $0$ で全体の値が $1$ となる有限加法的な $P$ を作ることができます（非主超フィルターを使います）。しかしこの $P$ は (P3) を満たしません。$A_n := \{n\}$ は互いに素で $\bigcup_n A_n = \mathbb{N}$ ですが、$\sum_n P(A_n) = 0 \ne 1 = P(\mathbb{N})$ だからです。このような $P$ の上では、$A_n \uparrow A$ でも $P(A_n) \to P(A)$ が成り立たず、極限定理は一切書けません。

例 4.5（離散確率空間とサイコロ 2 個の計算）

$\Omega$ が高々可算のときは $\mathcal{F} = 2^{\Omega}$ と取れます。$p : \Omega \to [0,1]$ が $\sum_{\omega \in \Omega} p(\omega) = 1$ を満たすとき

$$P(A) := \sum_{\omega \in A} p(\omega) \qquad (A \subset \Omega)$$

は確率測度です。実際 (P1) は非負項の和だから、(P2) は仮定から従い、(P3) は $(A_n)$ が互いに素なら各 $\omega \in \bigcup_n A_n$ がちょうど $1$ つの $A_n$ に属することから、非負項二重級数の項別和として成立します（定理 7.11［級数と収束判定］ の 1）。とくに $\Omega$ が有限で $p(\omega) = 1/|\Omega|$ のとき $P(A) = |A|/|\Omega|$ となり、ラプラスの古典的確率が特別な場合として回収されます。

具体例を最後まで計算します。サイコロ $2$ 個を振る試行を $\Omega = \{1,\ldots,6\}^2$、$|\Omega| = 36$、一様分布でモデル化します。$A := \{\text{目の和が } 7\}$、$B := \{\text{少なくとも一方が } 6\}$ とおきます。

$A = \{(1,6),(2,5),(3,4),(4,3),(5,2),(6,1)\}$ なので $P(A) = 6/36 = 1/6$。$B^{c}$ は両方とも $6$ でない場合で $|B^{c}| = 5^2 = 25$、よって 定理 4.2 (3) より $P(B) = 1 - 25/36 = 11/36$。$A \cap B = \{(1,6),(6,1)\}$ で $P(A \cap B) = 2/36 = 1/18$。加法定理 定理 4.2 (6) より

$$P(A \cup B) = \frac{6}{36} + \frac{11}{36} - \frac{2}{36} = \frac{15}{36} = \frac{5}{12}.$$

数え上げで直接確かめると、$A \cup B$ の元は $A$ の $6$ 個と $B$ の $11$ 個のうち $A$ に入らない $9$ 個で計 $15$ 個、確かに $15/36$ です。

注意 4.6（確率 0 は「起こらない」ではない）

$P(A) = 0$ でも $A \neq \emptyset$ はありえます。$\Omega = [0,1]$、$\mathcal{F} = \mathcal{B}([0,1])$、$P$ をルベーグ測度の制限（$[0,1]$ 上の一様分布）とすると、各 $x \in [0,1]$ について $P(\{x\}) = 0$ です。それでも $P([0,1]) = 1$ であることは (P3) と矛盾しません。$[0,1]$ は非可算なので、$1$ 点集合の可算個の合併としては書けず、(P3) を適用する資格がないからです。ここに「可算」という制限が効いています。

$P(A) = 1$ となる事象については「$A$ はほとんど確実に（almost surely, a.s.）起こる」といいます。確率 $1$ で成り立つことと、すべての $\omega$ で成り立つことは別です。この区別は 確率変数と期待値 以降で本質的になります。たとえば概収束（定義 3.1［大数の法則と中心極限定理］）は、まさにこの「確率 $1$ で」という言い方の上に立っています。

5. 条件付き確率とベイズの定理

情報を得ると確率は変わります。「サイコロの目が $3$ 以上」と知らされた後で「目が偶数」の確率を問うなら、残る目は $3,4,5,6$ の $4$ 通りで偶数は $4,6$ の $2$ 通りなので $2/4 = 1/2$ です。この例では情報を得る前の確率 $3/6 = 1/2$ と偶然一致しますが、「目が $4$ 以上」と知らされたなら偶数の確率は $2/3$ になるように、一般には変わります。この「知らされた後の確率」を定義します。

頻度の言葉で考えると定義の形が見えます。試行を $N$ 回繰り返し、$B$ が起きた回数を $N_B$、$A$ と $B$ の両方が起きた回数を $N_{A \cap B}$ とすると、「$B$ が起きた回のうち $A$ も起きた割合」は

$$\frac{N_{A \cap B}}{N_B} = \frac{N_{A \cap B}/N}{N_B/N} \longrightarrow \frac{P(A \cap B)}{P(B)}$$

となるはずです。そこで次のように定義します。

定義 5.1（条件付き確率）↗

$(\Omega, \mathcal{F}, P)$ を確率空間、$B \in \mathcal{F}$ を $P(B) > 0$ なる事象とする。$A \in \mathcal{F}$ に対し

$$P(A \mid B) := \frac{P(A \cap B)}{P(B)}$$

を、$B$ が起きたという条件のもとでの $A$ の条件付き確率という。

$P(B) = 0$ のときこの定義は使えません。連続分布では「$X = x$ が起きたという条件」がまさにこの状況で、それを扱うには別の枠組みが必要になります。条件付き期待値 の $\sigma$-加法族による定義（定義 3.1［条件付き期待値］）がその一般化です。

命題 5.2（条件付き確率は確率測度である）✓

$(\Omega, \mathcal{F}, P)$ を確率空間、$B \in \mathcal{F}$、$P(B) > 0$ とする。写像 $P_B : \mathcal{F} \to \mathbb{R}$ を $P_B(A) := P(A \mid B)$ で定めると、$P_B$ は $(\Omega, \mathcal{F})$ 上の確率測度である。さらに $P_B(B) = 1$ であり、$A \cap B = \emptyset$ ならば $P_B(A) = 0$ である。

証明（命題 5.2）

(P1) $A \in \mathcal{F}$ に対し $A \cap B \in \mathcal{F}$（命題 3.2 (3)）で、$P(A \cap B) \ge 0$（(P1)）、$P(B) > 0$ だから $P_B(A) \ge 0$。

(P2) $\Omega \cap B = B$ より $P_B(\Omega) = P(B)/P(B) = 1$。

(P3) $(A_n)_{n \ge 1} \subset \mathcal{F}$ を互いに素とする。$(A_n \cap B)$ も互いに素であり（$(A_i \cap B) \cap (A_j \cap B) \subset A_i \cap A_j = \emptyset$）、分配法則より $\bigl(\bigcup_n A_n\bigr) \cap B = \bigcup_n (A_n \cap B)$。$P$ の (P3) を使うと

$$P_B\Bigl(\bigcup_{n} A_n\Bigr) = \frac{1}{P(B)} P\Bigl(\bigcup_{n} (A_n \cap B)\Bigr) = \frac{1}{P(B)}\sum_{n=1}^{\infty} P(A_n \cap B) = \sum_{n=1}^{\infty} P_B(A_n).$$

第 $3$ の等号では、収束する級数を定数 $1/P(B)$ 倍してよいことを使った。

最後の $2$ 主張：$P_B(B) = P(B \cap B)/P(B) = 1$。$A \cap B = \emptyset$ なら $P_B(A) = P(\emptyset)/P(B) = 0$（定理 4.2 (1)）。

∎

この命題は、見た目より重要です。定理 4.2 と 定理 4.3 で証明した性質は、確率測度なら何にでも成り立つのですから、$P_B$ にも自動的に成り立ちます。たとえば $P(A^{c} \mid B) = 1 - P(A \mid B)$ や $P(A_1 \cup A_2 \mid B) = P(A_1\mid B) + P(A_2 \mid B) - P(A_1 \cap A_2 \mid B)$ を、改めて証明する必要はありません。

定理 5.3（乗法定理・全確率の公式・ベイズの定理）✓

$(\Omega, \mathcal{F}, P)$ を確率空間とする。

1. （乗法定理）$A_1, \ldots, A_n \in \mathcal{F}$ が $P(A_1 \cap \cdots \cap A_{n-1}) > 0$ を満たすならば $$P(A_1 \cap \cdots \cap A_n) = P(A_1)\, P(A_2 \mid A_1)\, P(A_3 \mid A_1 \cap A_2) \cdots P(A_n \mid A_1 \cap \cdots \cap A_{n-1}).$$
2. （全確率の公式）$I$ を高々可算な添字集合、$(B_i)_{i \in I} \subset \mathcal{F}$ が互いに素で $\bigcup_{i \in I} B_i = \Omega$、かつすべての $i$ で $P(B_i) > 0$ とする。このとき任意の $A \in \mathcal{F}$ に対し $$P(A) = \sum_{i \in I} P(A \mid B_i)\, P(B_i).$$
3. （ベイズの定理）(2) と同じ仮定のもとで、さらに $P(A) > 0$ ならば、各 $j \in I$ に対し $$P(B_j \mid A) = \frac{P(A \mid B_j)\, P(B_j)}{\sum_{i \in I} P(A \mid B_i)\, P(B_i)}.$$

証明（定理 5.3）

(1) まず右辺の各条件付き確率が定義されていることを確認する。$k \le n-1$ に対し $A_1 \cap \cdots \cap A_k \supset A_1 \cap \cdots \cap A_{n-1}$ なので、単調性 定理 4.2 (4) より $P(A_1 \cap \cdots \cap A_k) \ge P(A_1 \cap \cdots \cap A_{n-1}) > 0$。よって 定義 5.1 が適用できる。$D_k := A_1 \cap \cdots \cap A_k$ と書くと、定義より $P(A_{k+1} \mid D_k) = P(D_{k+1})/P(D_k)$ である。したがって右辺は

$$P(D_1) \cdot \frac{P(D_2)}{P(D_1)} \cdot \frac{P(D_3)}{P(D_2)} \cdots \frac{P(D_n)}{P(D_{n-1})} = P(D_n)$$

と telescoping し、左辺に一致する。

(2) $(B_i)$ が $\Omega$ の分割であることと分配法則から

$$A = A \cap \Omega = A \cap \bigcup_{i \in I} B_i = \bigcup_{i \in I} (A \cap B_i),$$

であり、$(A \cap B_i)_{i \in I}$ は互いに素（$i \ne j$ なら $(A\cap B_i) \cap (A \cap B_j) \subset B_i \cap B_j = \emptyset$）。$I$ が高々可算なので (P3)（$I$ が有限なら 定理 4.2 (2)）が使えて

$$P(A) = \sum_{i \in I} P(A \cap B_i) = \sum_{i \in I} P(A \mid B_i)\, P(B_i).$$

最後の等号は 定義 5.1 を $P(A \cap B_i) = P(A \mid B_i) P(B_i)$ の形で使った（$P(B_i) > 0$ が効いている）。

(3) $P(A) > 0$ なので $P(B_j \mid A)$ が定義でき、定義より

$$P(B_j \mid A) = \frac{P(A \cap B_j)}{P(A)} = \frac{P(A \mid B_j) P(B_j)}{P(A)}.$$

分母に (2) を代入すれば主張を得る。

∎

全確率の公式：事象 A を分割 B₁, …, B₄ で切り分ける

例 5.4（検査の陽性は何を意味するか）

有病率 $0.1\%$ の病気に対し、感度 $99\%$（病気の人が陽性になる確率）、特異度 $95\%$（健康な人が陰性になる確率）の検査があるとします。無作為に選ばれた人が陽性だったとき、その人が本当に病気である確率を求めます。

$D$ を「病気である」、$T$ を「検査が陽性」という事象とすると、仮定は

$$P(D) = 0.001, \quad P(T \mid D) = 0.99, \quad P(T \mid D^{c}) = 1 - 0.95 = 0.05.$$

$\{D, D^{c}\}$ は $\Omega$ の分割で、$P(D) > 0$、$P(D^{c}) = 0.999 > 0$。全確率の公式 定理 5.3 (2) より

$$P(T) = 0.99 \times 0.001 + 0.05 \times 0.999 = 0.00099 + 0.04995 = 0.05094.$$

ベイズの定理 定理 5.3 (3) より

$$P(D \mid T) = \frac{0.00099}{0.05094} = 0.01943\ldots \approx 1.9\%.$$

感度 $99\%$ の検査で陽性なのに、病気である確率は約 $2\%$ にすぎません。理由は分母の内訳を見れば分かります。陽性者 $0.05094$ のうち、真の陽性は $0.00099$、偽陽性は $0.04995$ で、偽陽性が $50$ 倍も多いのです。母集団の $99.9\%$ を占める健康な人の $5\%$ が、母集団の $0.1\%$ しかいない病人の総数を圧倒します。事前確率を無視して尤度だけを見る誤りは基準率の無視と呼ばれます。

オッズの形で書くと構造がさらに見やすくなります。$\dfrac{P(D \mid T)}{P(D^{c} \mid T)} = \dfrac{P(T \mid D)}{P(T \mid D^{c})} \cdot \dfrac{P(D)}{P(D^{c})}$ （ベイズの定理を $D$ と $D^{c}$ について書いて比を取ると、分母の $P(T)$ が消えます）。数値を入れると

$$\text{事後オッズ} = \frac{0.99}{0.05} \times \frac{0.001}{0.999} = 19.8 \times 0.0010010\ldots = 0.019820\ldots,$$

確率に戻して $0.019820/(1 + 0.019820) = 0.01943\ldots$ となり、上と一致します。検査が持ち込む情報量は「$19.8$ 倍」という $1$ つの数（尤度比）に集約され、それが事前オッズ $1{:}999$ を掛け算で更新している、という読み方ができます。

6. 事象の独立性とボレル–カンテリの補題

条件付き確率 $P(A \mid B)$ が $P(A)$ と等しいなら、$B$ を知っても $A$ についての判断は変わりません。これが独立性です。ただし定義は割り算のない形で書きます。$P(B) = 0$ の場合も含められるうえ、$3$ 個以上への一般化が自然になるからです。

定義 6.1（事象の独立性）↗

$(\Omega, \mathcal{F}, P)$ を確率空間とする。

1. $A, B \in \mathcal{F}$ が独立であるとは $P(A \cap B) = P(A) P(B)$ が成り立つことをいう。
2. 事象の族 $(A_i)_{i \in I} \subset \mathcal{F}$ が独立であるとは、$I$ の任意の空でない有限部分集合 $J$ に対し $$P\Bigl( \bigcap_{i \in J} A_i \Bigr) = \prod_{i \in J} P(A_i)$$

が成り立つことをいう。 3. 族 $(A_i)_{i \in I}$ が対独立であるとは、$i \ne j$ なる任意の $i, j \in I$ に対し $A_i$ と $A_j$ が独立なことをいう。

$P(B) > 0$ のとき、$A$ と $B$ が独立であることは $P(A \mid B) = P(A)$ と同値です。実際 $P(A \mid B) = P(A \cap B)/P(B)$ なので、両辺に $P(B)$ を掛ければ一方から他方が出ます。

命題 6.2（独立性は補集合を取っても保たれる）✓

$(\Omega,\mathcal{F},P)$ を確率空間、$A, B \in \mathcal{F}$ が独立であるとする。このとき $A$ と $B^{c}$、$A^{c}$ と $B$、$A^{c}$ と $B^{c}$ はいずれも独立である。

証明（命題 6.2）

$A \cap B \subset A$ かつ $A \cap B^{c} = A \setminus (A \cap B)$ である。定理 4.2 (4) を $A \cap B \subset A$ に適用して

$$P(A \cap B^{c}) = P(A) - P(A \cap B).$$

仮定 $P(A \cap B) = P(A)P(B)$ を代入し、定理 4.2 (3) を使うと

$$P(A \cap B^{c}) = P(A) - P(A)P(B) = P(A)\bigl(1 - P(B)\bigr) = P(A) P(B^{c}).$$

よって $A$ と $B^{c}$ は独立。$A^{c}$ と $B$ の独立性は、$A$ と $B$ の役割を入れ替えて同じ議論をすればよい。$A^{c}$ と $B^{c}$ については、いま示した「$A$ と $B^{c}$ が独立」に対してもう一度この操作を（$B^{c}$ を固定して $A$ の側で）適用すればよい。

∎

例 6.3（対独立だが独立でない例（ベルンシュタイン））

$\Omega = \{1,2,3,4\}$、$\mathcal{F} = 2^{\Omega}$、$P$ を一様分布（各点 $1/4$）とし

$$A := \{1,2\}, \qquad B := \{1,3\}, \qquad C := \{1,4\}$$

とおきます。$P(A) = P(B) = P(C) = 2/4 = 1/2$ です。対ごとの交わりはいずれも $\{1\}$ なので

$$P(A \cap B) = P(B \cap C) = P(A \cap C) = \frac{1}{4} = \frac{1}{2} \cdot \frac{1}{2},$$

つまり $A, B, C$ は対独立です。ところが $A \cap B \cap C = \{1\}$ なので

$$P(A \cap B \cap C) = \frac{1}{4} \neq \frac{1}{8} = P(A)P(B)P(C).$$

よって族 $\{A, B, C\}$ は 定義 6.1 (2) の意味では独立ではありません。直観的には、$A$ と $B$ の両方が起きたと知った時点で結果は $1$ に確定し、$C$ も自動的に起きるからです。$1$ つずつ見ると無関係でも、$2$ つ合わせると $3$ つ目を完全に決めてしまう、ということが起こりえます。

注意 6.4（逆向きの例）

$3$ 個の積の等式だけが成り立ち、対独立が破れる例もあります。$\Omega = \{1,\ldots,8\}$ を一様分布とし、$A = \{1,2,3,4\}$、$B = \{1,2,3,5\}$、$C = \{1,6,7,8\}$ とおくと $P(A) = P(B) = P(C) = 1/2$ で、$A \cap B \cap C = \{1\}$ より $P(A\cap B \cap C) = 1/8 = P(A)P(B)P(C)$ が成り立ちます。しかし $A \cap B = \{1,2,3\}$ なので $P(A \cap B) = 3/8 \ne 1/4$ で、$A$ と $B$ は独立ではありません。$3$ 個以上の独立性の定義で「すべての有限部分集合について」と要求しているのは、こうした例があるからです。

6.1. ボレル–カンテリの補題

可算加法性が本当に効く最初の定理を挙げます。無限個の事象のうち「無限回起こる」ものの確率を、各事象の確率の和だけから評価します。

補題 6.5（ボレル–カンテリの補題（第一））✓

$(\Omega, \mathcal{F}, P)$ を確率空間、$(A_n)_{n \ge 1} \subset \mathcal{F}$ とする。もし

$$\sum_{n=1}^{\infty} P(A_n) < \infty$$

ならば $P\bigl(\limsup_{n \to \infty} A_n\bigr) = 0$ である。すなわち確率 $1$ で、$A_n$ が起こる $n$ は高々有限個しかない。独立性は仮定しない。

証明（補題 6.5）

$B_n := \bigcup_{k=n}^{\infty} A_k$ とおく。命題 3.2 より $B_n \in \mathcal{F}$ であり、定義から $L := \limsup_m A_m = \bigcap_{n=1}^{\infty} B_n$ で、これも事象である（同 (5)）。

任意の $n$ について $L \subset B_n$ なので、単調性 定理 4.2 (4) より $P(L) \le P(B_n)$。さらに可算劣加法性 定理 4.2 (7) を $B_n = \bigcup_{k \ge n} A_k$ に適用して

$$P(L) \le P(B_n) \le \sum_{k=n}^{\infty} P(A_k).$$

右辺は収束級数 $\sum_{k} P(A_k)$ の第 $n$ 剰余項であり、級数が収束することから $n \to \infty$ で $0$ に収束する。左辺 $P(L)$ は $n$ によらない定数なので、$0 \le P(L) \le \inf_n \sum_{k \ge n} P(A_k) = 0$、すなわち $P(L) = 0$。

なお $(B_n)$ は減少列なので、上からの連続性 定理 4.3 (2) を使って $P(L) = \lim_n P(B_n) = 0$ と結論しても同じです。

∎

例 6.6（長い連勝はいつか必ず途切れる）

例 3.6 の公平なコイン投げの確率空間 $(\Omega, \mathcal{F}, P)$ で

$$A_n := \{\omega : \omega_n = \omega_{n+1} = \cdots = \omega_{2n-1} = 1\}$$

（第 $n$ 回目から $n$ 回続けて表が出る）とおきます。$A_n$ は最初の $2n-1$ 座標で決まる筒集合の合併です。$n-1$ 個の自由な座標 $\omega_1,\ldots,\omega_{n-1}$ の取り方が $2^{n-1}$ 通り、各筒集合の確率が $2^{-(2n-1)}$ なので、有限加法性 定理 4.2 (2) より

$$P(A_n) = 2^{n-1} \cdot 2^{-(2n-1)} = 2^{(n-1)-(2n-1)} = 2^{-n}.$$

したがって $\sum_{n=1}^{\infty} P(A_n) = \sum_{n=1}^{\infty} 2^{-n} = 1 < \infty$ です。補題 6.5 より $P(\limsup_n A_n) = 0$、つまり確率 $1$ で、「$n$ 回目から $n$ 回連続で表が出る」ことが起こる $n$ は有限個しかありません。言い換えれば、ある $N$ より先ではこの現象は二度と起こりません。

各 $A_n$ 自体の確率は $0$ ではない（$2^{-n} > 0$）のに、それらが無限回起こる確率は $0$ です。有限加法性だけではこの種の結論には到達できず、(P3) から導いた劣加法性と単調性が必要でした。独立性を仮定して $\sum_n P(A_n) = \infty$ から $P(\limsup_n A_n) = 1$ を導く逆向きの主張（第二補題）もあります。いま使った第一補題のほうは、大数の強法則（定理 4.5［大数の法則と中心極限定理］）の証明で「平均が $\mu$ から離れることが無限回起こる確率」を $0$ にするために使われます。大数の法則と中心極限定理 を参照してください。

7. 演習

演習 7.1易

$(\Omega,\mathcal{F},P)$ を確率空間、$A, B, C \in \mathcal{F}$ とする。次を示せ。

$$P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(A\cap B) - P(B \cap C) - P(A \cap C) + P(A \cap B \cap C).$$

解答

加法定理 定理 4.2 (6) を $A \cup B$ と $C$ に適用します。

$$P(A \cup B \cup C) = P(A \cup B) + P(C) - P\bigl((A\cup B) \cap C\bigr).$$

第 $1$ 項にもう一度 (6) を使うと $P(A \cup B) = P(A) + P(B) - P(A \cap B)$。第 $3$ 項は分配法則 $(A \cup B) \cap C = (A \cap C) \cup (B \cap C)$ より、また (6) を使って

$$P\bigl((A\cup B)\cap C\bigr) = P(A \cap C) + P(B \cap C) - P\bigl((A \cap C) \cap (B \cap C)\bigr),$$

であり、$(A\cap C)\cap(B\cap C) = A \cap B \cap C$ です。以上を代入すると

$$P(A\cup B \cup C) = \bigl(P(A)+P(B)-P(A\cap B)\bigr) + P(C) - P(A\cap C) - P(B\cap C) + P(A\cap B\cap C)$$

となり、求める式を得ます。なお登場する $A \cup B$、$(A\cup B)\cap C$ などがすべて $\mathcal{F}$ に属することは 命題 3.2 (2)(3) によります。

演習 7.2標準

$3$ つの扉のうち $1$ つの後ろに賞品があり、残り $2$ つは外れである。賞品の位置は $3$ つの扉について一様に分布しているとする。挑戦者が扉 $1$ を選んだあと、賞品の位置を知っている司会者が、挑戦者が選んでおらず賞品もない扉を $1$ つ開ける（そのような扉が $2$ つあるとき、すなわち賞品が扉 $1$ にあるときは、$2$ つを等確率で選ぶ）。司会者が扉 $3$ を開けたという条件のもとで、賞品が扉 $2$ にある条件付き確率を求めよ。確率空間を明示して答えること。

解答

$C \in \{1,2,3\}$ を賞品のある扉、$H \in \{2,3\}$ を司会者が開ける扉とし、$\Omega := \{(c,h) : c \in \{1,2,3\},\, h \in \{2,3\},\, h \ne c\}$、$\mathcal{F} := 2^{\Omega}$ とします。仮定は

$$P(C = c) = \tfrac13 \ (c=1,2,3), \quad P(H = 3 \mid C = 1) = \tfrac12, \quad P(H=3 \mid C = 2) = 1, \quad P(H = 3 \mid C = 3) = 0$$

です（$C=2$ のとき司会者は扉 $2$ を開けられず、扉 $1$ は挑戦者が選んでいるので扉 $3$ しかない。$C=3$ のときは扉 $3$ を開けられない）。乗法定理 定理 5.3 (1) より各点の確率が定まります。

$$P(C=1, H=3) = \tfrac13 \cdot \tfrac12 = \tfrac16, \quad P(C=2,H=3) = \tfrac13 \cdot 1 = \tfrac13, \quad P(C=3,H=3) = 0.$$

$\{C=1\},\{C=2\},\{C=3\}$ は $\Omega$ の分割で各確率が正なので、全確率の公式 定理 5.3 (2) が使えて

$$P(H = 3) = \tfrac16 + \tfrac13 + 0 = \tfrac12 .$$

$P(H=3) > 0$ なのでベイズの定理 定理 5.3 (3) が適用でき、

$$P(C = 2 \mid H = 3) = \frac{P(C=2, H=3)}{P(H=3)} = \frac{1/3}{1/2} = \frac{2}{3}, \qquad P(C = 1 \mid H = 3) = \frac{1/6}{1/2} = \frac{1}{3}.$$

扉を変更すれば確率 $2/3$ で当たります。鍵は $P(H=3\mid C=1) = 1/2$ と $P(H=3 \mid C=2) = 1$ が違うこと、つまり司会者の行動が賞品の位置の情報を運んでいることです。もし司会者が賞品の位置を知らずに扉 $2$、$3$ から等確率で選び、たまたま外れだった場合は $P(H=3\mid C=1) = P(H=3\mid C=2) = 1/2$ となり、同じ計算で答えは $1/2$ になります。

演習 7.3標準

$(\Omega,\mathcal{F},P)$ を確率空間とし、$A, B, C \in \mathcal{F}$ が 定義 6.1 (2) の意味で独立であるとする。このとき $A$ と $B \cup C$ が独立であることを示せ。

解答

分配法則より $A \cap (B \cup C) = (A \cap B) \cup (A \cap C)$ です。加法定理 定理 4.2 (6) を右辺に使うと、$(A\cap B) \cap (A \cap C) = A \cap B \cap C$ なので

$$P\bigl(A \cap (B\cup C)\bigr) = P(A\cap B) + P(A \cap C) - P(A \cap B \cap C).$$

族 $\{A,B,C\}$ の独立性を、部分集合 $\{A,B\}$、$\{A,C\}$、$\{A,B,C\}$ に対して使うと

$$= P(A)P(B) + P(A)P(C) - P(A)P(B)P(C) = P(A)\bigl(P(B) + P(C) - P(B)P(C)\bigr).$$

さらに $\{B,C\}$ に対する独立性から $P(B)P(C) = P(B\cap C)$ なので、括弧の中は加法定理により $P(B) + P(C) - P(B\cap C) = P(B \cup C)$ です。したがって

$$P\bigl(A \cap (B \cup C)\bigr) = P(A)\, P(B\cup C),$$

すなわち $A$ と $B \cup C$ は独立です。証明のどこで「対独立では足りない」かを見ておくと、$P(A\cap B\cap C) = P(A)P(B)P(C)$ を使った箇所です。例 6.3 の $A,B,C$ で確かめると、$B \cup C = \{1,3,4\}$、$P(B\cup C) = 3/4$、$A \cap (B\cup C) = \{1\}$ で $P = 1/4 \ne (1/2)(3/4) = 3/8$ となり、対独立だけでは結論が成り立ちません。

次の演習には $2$ 種類の極限が混ざります。$\liminf_n A_n$、$\limsup_n A_n$ は集合の列の極限で、$\liminf_n P(A_n)$、$\limsup_n P(A_n)$ は実数列の極限です。前者の確率と後者を比べるのがこの演習で、橋渡しをするのが上下からの連続性です。

演習 7.4難

$(\Omega,\mathcal{F},P)$ を確率空間、$(A_n)_{n\ge1} \subset \mathcal{F}$ とする。次を示せ。

$$P\Bigl(\liminf_{n\to\infty} A_n\Bigr) \le \liminf_{n \to \infty} P(A_n) \le \limsup_{n\to\infty} P(A_n) \le P\Bigl(\limsup_{n\to\infty} A_n\Bigr).$$

解答

$C_n := \bigcap_{k=n}^{\infty} A_k$、$B_n := \bigcup_{k=n}^{\infty} A_k$ とおきます。命題 3.2 より $B_n, C_n \in \mathcal{F}$ で、$C_1 \subset C_2 \subset \cdots$、$B_1 \supset B_2 \supset \cdots$、そして $\liminf_n A_n = \bigcup_n C_n$、$\limsup_n A_n = \bigcap_n B_n$ です。

左の不等式。 下からの連続性 定理 4.3 (1) より $P(\liminf_n A_n) = \lim_{n} P(C_n)$。一方 $C_n \subset A_n$ なので単調性 定理 4.2 (4) より $P(C_n) \le P(A_n)$。数列の下極限は各項の不等式を保つので

$$P\Bigl(\liminf_n A_n\Bigr) = \lim_n P(C_n) = \liminf_n P(C_n) \le \liminf_n P(A_n).$$

（$\lim_n P(C_n)$ は存在するので $\liminf$ と一致します。）

中央の不等式。 任意の実数列について $\liminf \le \limsup$ が成り立ちます（$\inf_{k\ge n} x_k \le \sup_{k \ge n} x_k$ の両辺で $n \to \infty$）。

右の不等式。 上からの連続性 定理 4.3 (2) より $P(\limsup_n A_n) = \lim_n P(B_n)$。$A_n \subset B_n$ なので単調性より $P(A_n) \le P(B_n)$、したがって

$$\limsup_n P(A_n) \le \limsup_n P(B_n) = \lim_n P(B_n) = P\Bigl(\limsup_n A_n\Bigr).$$

とくに $\lim_n A_n$ が存在するとき（$\liminf_n A_n = \limsup_n A_n$ のとき）は、$4$ つの量がすべて一致して $P(\lim_n A_n) = \lim_n P(A_n)$ を得ます。これは測度に対するファトゥの補題の集合版で、ルベーグ積分の定義と収束定理 で扱う関数版（補題 6.1［ルベーグ積分の定義と収束定理］）の原型にあたります。

参考文献

• A. N. コルモゴロフ『確率論の基礎概念』（原著: Grundbegriffe der Wahrscheinlichkeitsrechnung, Springer, 1933; 英訳: Foundations of the Theory of Probability, Chelsea, 1950）— 第 I 章。この記事の公理系の出典です。
• 伊藤清『確率論』岩波書店（岩波基礎数学選書）、1991 — 第 1 章。測度論的確率論の日本語標準文献です。
• 舟木直久『確率論』朝倉書店（講座 数学の考え方 20）、2004 — 第 1 章・第 2 章。確率空間の構成と拡張定理が丁寧です。
• P. Billingsley, Probability and Measure, 3rd ed., Wiley, 1995 — Chapters 1–4。ボレル–カンテリの補題と独立性の扱いが詳しい。
• R. Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019 — Chapter 1。
• D. Williams, Probability with Martingales, Cambridge University Press, 1991 — Chapters 1–4。$\sigma$-加法族を「情報」として読む視点が明快です。

Appendix: 非可測集合 — なぜ事象の族を制限するのか

問題設定。 例 3.3 (b) で見たように、$\Omega$ の部分集合全体 $2^{\Omega}$ はつねに $\sigma$-加法族です。ではなぜ、わざわざ小さな $\mathcal{F}$ を選ぶ必要があるのでしょうか。答えは、$2^{\Omega}$ の上には欲しい性質を持つ確率測度が存在しないことがあるからです。ヴィタリが $1905$ 年に示した次の事実がその典型です。

主張。 $\Omega := [0,1)$ 上に、$2^{\Omega}$ 全体で定義された確率測度 $P$ で、平行移動不変、すなわち任意の $A \subset [0,1)$ と $t \in [0,1)$ に対し $P(A \oplus t) = P(A)$ を満たすものは存在しません。ここで $A \oplus t := \{(a + t) \bmod 1 : a \in A\}$ とします。

構成。 $[0,1)$ 上に同値関係 $x \sim y :\iff x - y \in \mathbb{Q}$ を入れます。反射律・対称律・推移律は有理数が加法群をなすことから従います。選択公理により、各同値類からちょうど $1$ 点を選んだ集合 $V \subset [0,1)$ が取れます。$\mathbb{Q} \cap [0,1)$ は可算無限集合なので $\{q_1, q_2, q_3, \ldots\}$ と番号づけ、$V_n := V \oplus q_n$ とおきます。

この列は $[0,1)$ の可算分割である。 まず互いに素であること。$x \in V_n \cap V_m$ とすると、ある $v, v' \in V$ で $x = (v + q_n) \bmod 1 = (v' + q_m) \bmod 1$。すると $v - v' \in \mathbb{Q}$ なので $v \sim v'$ であり、$V$ は各同値類から $1$ 点しか含まないので $v = v'$、したがって $q_n = q_m$、すなわち $n = m$ です。次に全体を覆うこと。$x \in [0,1)$ を任意に取り、$x$ の属する同値類の代表元を $v \in V$ とすると $x - v \in \mathbb{Q}$ であり、$(x - v) \bmod 1$ は $\mathbb{Q}\cap[0,1)$ の元、つまりある $q_n$ に等しい。よって $x = (v + q_n) \bmod 1 \in V_n$ です。

矛盾。 そのような $P$ が存在したとします。平行移動不変性より、すべての $n$ について $P(V_n) = P(V) =: c$ です。$(V_n)$ は互いに素で合併が $[0,1)$ ですから、(P3) と (P2) より

$$1 = P([0,1)) = \sum_{n=1}^{\infty} P(V_n) = \sum_{n=1}^{\infty} c .$$

$c = 0$ なら右辺は $0$、$c > 0$ なら右辺は $+\infty$ に発散します。どちらも $1$ にはならず、矛盾です。

結論と注意。 したがって $[0,1)$ のすべての部分集合に、平行移動不変な確率を整合的に割り当てることはできません。長さの概念を保ちたければ、確率を割り当てる対象をボレル集合族（あるいはルベーグ可測集合族）程度に制限するほかない、というのが $\sigma$-加法族を導入する理由です。詳しい構成、とくにカラテオドリの条件による可測集合の定義（定義 4.1［可測集合とルベーグ測度］）は 可測集合とルベーグ測度 を参照してください。

なお、この議論は選択公理を本質的に使っています。ソロヴェイは $1970$ 年に、（到達不能基数の存在を仮定した上で）選択公理を従属選択公理に弱めた集合論のモデルでは「$\mathbb{R}$ のすべての部分集合がルベーグ可測」となりうることを示しました。非可測集合は選択公理が生む対象であって、具体的に書き下せるものではありません。それでも通常の数学は選択公理を採用するので、$\sigma$-加法族は必要な道具として残ります。

ヒント

$\sigma$-加法族は「面倒な技術的制約」ではなく、どこまでの情報を使ってよいかを指定する道具でもあります。$\mathcal{F}$ が小さいほど区別できる事象が少ない、という読み方をすると、$\sigma$-加法族の増大列（フィルトレーション）が時間とともに増えていく情報を表す、という見方が自然になります。この視点は マルチンゲールとブラウン運動 で中心的な役割を果たします（フィルトレーションの定義（定義 2.1）［マルチンゲールとブラウン運動］）。