コンテンツにスキップ

確率変数と期待値:可測関数としての確率変数、ルベーグ積分としての期待値

前提:確率空間とコルモゴロフの公理:確率を「全測度 1 の測度」として定義する

生 Markdown
  • 確率変数とは、確率空間から実数への可測関数です。可測性を要求するのは、P(Xa)P(X \le a) のような量が意味を持つ、すなわち {ω:X(ω)a}\{\omega : X(\omega) \le a\} が確率の定義された事象である、ということを保証するためです。
  • 確率変数 XX は実数直線上に分布 PXP_X(像測度)を誘導します。「離散型」「連続型」という区別は、この PXP_X が可算集合に集中しているか、ルベーグ測度に関する密度を持つか、という違いにすぎません。
  • 期待値は E[X]=ΩXdPE[X] = \int_\Omega X \, dP というルベーグ積分です。指示関数 → 非負単関数 → 非負可測関数 → 可積分関数、という 4 段階で構成します。
  • 変数変換公式 E[g(X)]=RgdPXE[g(X)] = \int_{\mathbb{R}} g \, dP_X によって、抽象的な Ω\Omega 上の積分が、なじみのある和や実数上の積分に翻訳されます。実際の計算はすべてこの定理を経由します。
  • 分散・共分散は L2L^2 空間の内積構造そのものです。相関係数 ρ\rho は中心化した 2 つの確率変数がなす角の余弦であり、ρ1|\rho| \le 1 はコーシー・シュワルツの不等式にほかなりません。
  • チェビシェフの不等式は、分布の形を一切仮定せずに裾の確率を分散だけで抑えます。大数の弱法則はこの不等式の 2 行の帰結です。

1.1. 「ランダムに決まる変数」では定義になっていない

Section titled “1.1. 「ランダムに決まる変数」では定義になっていない”

高校や初等的な統計の教科書では、確率変数は「試行の結果に応じて値が定まる変数」と説明されます。この説明は直観的には正しいのですが、数学の対象としては何も定めていません。「変数」とは何か、「ランダムに定まる」とは何か、が未定義だからです。

コルモゴロフが 1933 年の『確率論の基礎概念』で与えた解決は、拍子抜けするほど単純です。ランダムさをすべて確率測度 PP の側に押し込め、確率変数そのものは決定論的な関数にしてしまうのです。標本空間 Ω\Omega の点 ω\omega が「どの結果が起きたか」を表し、X(ω)X(\omega) はその結果に対して定まる数値です。ω\omega の選ばれ方だけがランダムで、XX という対応規則には何のランダムさもありません。

たとえばサイコロを 2 個振る試行では Ω={1,,6}2\Omega = \{1,\dots,6\}^2 と取れ、目の和は X(ω1,ω2)=ω1+ω2X(\omega_1,\omega_2) = \omega_1 + \omega_2 という、完全に決定論的な関数です。「和が 77 になる確率」とは、集合 X1({7})X^{-1}(\{7\})PP による測度のことです。

1.2. なぜ可測性という条件が要るのか

Section titled “1.2. なぜ可測性という条件が要るのか”

この見方を採ると、確率変数に課すべき条件が自動的に見えてきます。私たちが計算したいのは P(Xa)P(X \le a)P(XB)P(X \in B) といった量です。ところが確率測度 PPΩ\Omegaすべての部分集合に定義されているわけではなく、σ\sigma-加法族 F\mathcal{F} に属する集合(事象)にしか定義されていません。したがって

{ωΩ:X(ω)a}F\{\omega \in \Omega : X(\omega) \le a\} \in \mathcal{F}

でなければ、P(Xa)P(X \le a) という記号は無意味です。これを R\mathbb{R} のボレル集合すべてに対して要求したものが可測性であり、確率変数の定義そのものになります。

この条件は決して自動的には満たされません。Ω=[0,1]\Omega = [0,1]F\mathcal{F} をルベーグ可測集合、PP をルベーグ測度とし、V[0,1]V \subset [0,1] をヴィタリの非可測集合とすると、X=1VX = \mathbf{1}_V[0,1][0,1] 上の実数値関数ですが X1({1})=VFX^{-1}(\{1\}) = V \notin \mathcal{F} なので、P(X=1)P(X = 1) は定義できません。可測性は「病的な関数を排除するための最小限の作法」です。詳しくは 確率空間とコルモゴロフの公理、とくに σ-加法族と可測空間の定義(定義 3.1)[確率空間とコルモゴロフの公理] を参照してください。

1.3. なぜ期待値をルベーグ積分で定義するのか

Section titled “1.3. なぜ期待値をルベーグ積分で定義するのか”

初等的な確率論では、期待値を離散型なら kxkpk\sum_k x_k p_k、連続型なら xf(x)dx\int x f(x)\,dx と、2 通りに分けて定義します。これには 3 つの不都合があります。

第 1 に、どちらでもない確率変数が実務にはいくらでもあります。たとえば免責金額つき保険の支払額は、00 に正の確率の塊があり、その上に連続的な分布が乗った混合型です。第 2 に、離散型と連続型で定理を 2 回証明しなければなりません。第 3 に、そして最も重要なことに、大数の法則や中心極限定理は「確率変数の列の極限」を扱いますが、極限と積分の交換を保証する定理(単調収束定理・優収束定理)はルベーグ積分の枠組みでしか使えません。

期待値を E[X]=ΩXdPE[X] = \int_\Omega X \, dP というひとつのルベーグ積分として定義すれば、これら 3 つが同時に解決します。以下ではその構成を、単関数近似から順に追っていきます。

以下、(Ω,F,P)(\Omega, \mathcal{F}, P) は確率空間(定義 4.1[確率空間とコルモゴロフの公理])とします。すなわち Ω\Omega は空でない集合、F\mathcal{F}Ω\Omega 上の σ\sigma-加法族、P:F[0,1]P : \mathcal{F} \to [0,1]P(Ω)=1P(\Omega) = 1 を満たす可算加法的測度です。R\mathbb{R} の開集合全体が生成する σ\sigma-加法族をボレル σ\sigma-加法族 B(R)\mathcal{B}(\mathbb{R}) と書き、その元をボレル集合と呼びます。N={1,2,}\mathbb{N} = \{1, 2, \ldots\} とします。

集合 AA の指示関数を 1A\mathbf{1}_A と書きます。すなわち ωA\omega \in A のとき 1A(ω)=1\mathbf{1}_A(\omega) = 1、そうでないとき 00 です。また、事象を表す集合は慣習に従って {Xa}:={ωΩ:X(ω)a}\{X \le a\} := \{\omega \in \Omega : X(\omega) \le a\} のように略記します。

本記事では、ルベーグ積分の定義と収束定理 で確立される次の定理を既知として用います。証明はそちらに譲ります。

定理 2.1単調収束定理

(Ω,F,μ)(\Omega, \mathcal{F}, \mu) を測度空間、Xn:Ω[0,]X_n : \Omega \to [0, \infty] を可測関数の列とする。すべての ωΩ\omega \in \Omega に対して 0X1(ω)X2(ω)0 \le X_1(\omega) \le X_2(\omega) \le \cdots かつ Xn(ω)X(ω)X_n(\omega) \to X(\omega) が成り立つならば、XX は可測で

limnΩXndμ=ΩXdμ\lim_{n \to \infty} \int_\Omega X_n \, d\mu = \int_\Omega X \, d\mu

が成り立つ(両辺が ++\infty になる場合も含めて等号)。

注意 2.2

証明は ルベーグ積分の定義と収束定理単調収束定理(ベッポ・レヴィの定理)(定理 5.2)[ルベーグ積分の定義と収束定理] にあります。以下で「nn \to \infty で積分と極限を交換する」と書いたところは、断りのない限りすべて 定理 2.1 の適用です。

第 5 節で分散の加法性を扱うために、独立性を確率変数の言葉で確認しておきます。

定義 2.3確率変数の独立性

確率変数 X1,,XnX_1, \ldots, X_n独立であるとは、任意のボレル集合 B1,,BnB(R)B_1, \ldots, B_n \in \mathcal{B}(\mathbb{R}) に対して

P(X1B1, , XnBn)=i=1nP(XiBi)P\bigl(X_1 \in B_1,\ \ldots,\ X_n \in B_n\bigr) = \prod_{i=1}^{n} P(X_i \in B_i)

が成り立つことをいう。確率変数の無限族が独立であるとは、その任意の有限部分族が独立であることをいう。

定義 3.1確率変数

(Ω,F,P)(\Omega, \mathcal{F}, P) を確率空間とする。写像 X:ΩRX : \Omega \to \mathbb{R}確率変数(あるいは F\mathcal{F}-可測関数)であるとは、

BB(R),X1(B):={ωΩ:X(ω)B}F\forall B \in \mathcal{B}(\mathbb{R}), \quad X^{-1}(B) := \{\omega \in \Omega : X(\omega) \in B\} \in \mathcal{F}

が成り立つことをいう。値域を [,+][-\infty, +\infty] に広げた場合は、B(R)\mathcal{B}(\mathbb{R}) の代わりに [,+][-\infty,+\infty] のボレル集合族を用い、拡張実数値確率変数と呼ぶ。

定義をそのまま検証しようとすると、B(R)\mathcal{B}(\mathbb{R}) のすべての元について X1(B)FX^{-1}(B) \in \mathcal{F} を確かめねばならず、これは実行不可能です。ボレル集合は具体的な記述を持たないものを大量に含むからです。次の命題は、生成系の上だけ確かめればよいことを保証し、可測性の検証を実用的な作業に変えます。

命題 3.2生成系による可測性の判定

E2R\mathcal{E} \subset 2^{\mathbb{R}}σ(E)=B(R)\sigma(\mathcal{E}) = \mathcal{B}(\mathbb{R}) を満たす集合族とする。写像 X:ΩRX : \Omega \to \mathbb{R}

EE,X1(E)F\forall E \in \mathcal{E}, \quad X^{-1}(E) \in \mathcal{F}

を満たすならば、XX は確率変数である。

証明(命題 3.2)

G:={BR:X1(B)F}\mathcal{G} := \{B \subset \mathbb{R} : X^{-1}(B) \in \mathcal{F}\} とおき、G\mathcal{G}R\mathbb{R} 上の σ\sigma-加法族であることを示します。鍵は、逆像が集合演算とすべて可換だという初等的な事実です。

(i)X1(R)=ΩFX^{-1}(\mathbb{R}) = \Omega \in \mathcal{F} なので RG\mathbb{R} \in \mathcal{G} です。

(ii)BGB \in \mathcal{G} とします。ωX1(Bc)\omega \in X^{-1}(B^c)X(ω)BX(\omega) \notin B と同値、すなわち ωX1(B)\omega \notin X^{-1}(B) と同値なので X1(Bc)=(X1(B))cX^{-1}(B^c) = (X^{-1}(B))^c です。F\mathcal{F} は補集合で閉じているので (X1(B))cF(X^{-1}(B))^c \in \mathcal{F}、よって BcGB^c \in \mathcal{G} です。

(iii)B1,B2,GB_1, B_2, \ldots \in \mathcal{G} とします。X(ω)nBnX(\omega) \in \bigcup_n B_n は「ある nn について X(ω)BnX(\omega) \in B_n」と同値なので X1(nBn)=nX1(Bn)X^{-1}\bigl(\bigcup_n B_n\bigr) = \bigcup_n X^{-1}(B_n) です。F\mathcal{F} は可算和で閉じているので、これは F\mathcal{F} の元です。よって nBnG\bigcup_n B_n \in \mathcal{G} です。

以上より G\mathcal{G}σ\sigma-加法族です。仮定から EG\mathcal{E} \subset \mathcal{G} であり、σ(E)\sigma(\mathcal{E})E\mathcal{E} を含む最小の σ\sigma-加法族なので B(R)=σ(E)G\mathcal{B}(\mathbb{R}) = \sigma(\mathcal{E}) \subset \mathcal{G} となります。これは任意のボレル集合 BB に対して X1(B)FX^{-1}(B) \in \mathcal{F} であることを意味し、定義 3.1 の条件が満たされます。

系 3.3半直線による判定

X:ΩRX : \Omega \to \mathbb{R} が確率変数であるための必要十分条件は

aR,{Xa}F\forall a \in \mathbb{R}, \quad \{X \le a\} \in \mathcal{F}

である。

証明(系 3.3)

必要性は (,a](-\infty, a] がボレル集合であることから 定義 3.1 より従います。十分性を示します。E:={(,a]:aR}\mathcal{E} := \{(-\infty, a] : a \in \mathbb{R}\} とおくと σ(E)=B(R)\sigma(\mathcal{E}) = \mathcal{B}(\mathbb{R}) です。実際、任意の開区間は

(a,b)=(nn0(,b1/n])(,a](a, b) = \Bigl(\bigcup_{n \ge n_0} (-\infty, b - 1/n]\Bigr) \setminus (-\infty, a]

n0n_0b1/n0>ab - 1/n_0 > a となる十分大きい自然数)と E\mathcal{E} の元から可算回の集合演算で作れ、R\mathbb{R} の開集合はすべて可算個の開区間の和で書けるからです。よって σ(E)\sigma(\mathcal{E}) はすべての開集合を含み、B(R)σ(E)\mathcal{B}(\mathbb{R}) \subset \sigma(\mathcal{E}) です。逆の包含は (,a](-\infty,a] が閉集合ゆえ明らかです。あとは 命題 3.2E\mathcal{E} に適用すればよいことになります。

確率変数どうしの演算が再び確率変数になることも、確認しておく必要があります。これがなければ「X+YX + Y の期待値」といった表現すら書けません。

命題 3.4確率変数の演算に関する閉性

X,YX, Y を確率空間 (Ω,F,P)(\Omega, \mathcal{F}, P) 上の確率変数、cRc \in \mathbb{R} とする。このとき cXcXX+YX + YXYXYmax(X,Y)\max(X, Y) はいずれも確率変数である。さらに確率変数の列 (Xn)nN(X_n)_{n \in \mathbb{N}} に対して supnXn\sup_n X_ninfnXn\inf_n X_nlim supnXn\limsup_n X_nlim infnXn\liminf_n X_n は拡張実数値確率変数である。

証明(命題 3.4)

すべて 系 3.3 に帰着させます。

:任意の aRa \in \mathbb{R} に対して

{X+Y<a}=qQ({X<q}{Y<aq})\{X + Y < a\} = \bigcup_{q \in \mathbb{Q}} \bigl(\{X < q\} \cap \{Y < a - q\}\bigr)

が成り立ちます。実際、X(ω)+Y(ω)<aX(\omega) + Y(\omega) < a ならば X(ω)<aY(ω)X(\omega) < a - Y(\omega) なので、有理数の稠密性より X(ω)<q<aY(ω)X(\omega) < q < a - Y(\omega) となる qQq \in \mathbb{Q} が取れ、右辺に属します。逆の包含は明らかです。{X<q}=n{Xq1/n}F\{X < q\} = \bigcup_{n} \{X \le q - 1/n\} \in \mathcal{F} であり、Q\mathbb{Q} は可算なので右辺は F\mathcal{F} の元です。したがって {X+Ya}=n{X+Y<a+1/n}F\{X+Y \le a\} = \bigcap_n \{X + Y < a + 1/n\} \in \mathcal{F} です。

定数倍c>0c > 0 なら {cXa}={Xa/c}\{cX \le a\} = \{X \le a/c\}c<0c < 0 なら {cXa}={Xa/c}={X<a/c}c\{cX \le a\} = \{X \ge a/c\} = \{X < a/c\}^cc=0c = 0 なら cX0cX \equiv 0 で、いずれも F\mathcal{F} の元です。

:まず X2X^2 について、a<0a < 0 なら {X2a}=\{X^2 \le a\} = \emptyseta0a \ge 0 なら {X2a}={aXa}F\{X^2 \le a\} = \{-\sqrt{a} \le X \le \sqrt{a}\} \in \mathcal{F} です。よって X2X^2 は確率変数であり、恒等式 XY=12((X+Y)2X2Y2)XY = \frac{1}{2}\bigl((X+Y)^2 - X^2 - Y^2\bigr) と、すでに示した和・定数倍の閉性から XYXY も確率変数です。

最大値{max(X,Y)a}={Xa}{Ya}F\{\max(X,Y) \le a\} = \{X \le a\} \cap \{Y \le a\} \in \mathcal{F} です。

上限・下限{supnXna}=n{Xna}\{\sup_n X_n \le a\} = \bigcap_n \{X_n \le a\} は可算交叉なので F\mathcal{F} の元です。infnXn=supn(Xn)\inf_n X_n = -\sup_n(-X_n) から下限も従います。最後に lim supnXn=infmsupnmXn\limsup_n X_n = \inf_{m} \sup_{n \ge m} X_nlim infnXn=supminfnmXn\liminf_n X_n = \sup_m \inf_{n \ge m} X_n と書けるので、上限・下限の結果を 2 回使えば得られます。

確率変数の「確率的な情報」は、Ω\Omega がどんな集合であるかにはよりません。R\mathbb{R} 上にどれだけの確率質量をどう配ったか、だけで決まります。それを取り出したものが分布です。

定義 3.5分布と分布関数

XX を確率空間 (Ω,F,P)(\Omega, \mathcal{F}, P) 上の確率変数とする。

PX(B):=P(X1(B))(BB(R))P_X(B) := P\bigl(X^{-1}(B)\bigr) \qquad (B \in \mathcal{B}(\mathbb{R}))

で定まる B(R)\mathcal{B}(\mathbb{R}) 上の集合関数 PXP_XXX分布(あるいは像測度、法則)という。また

FX(a):=P(Xa)=PX((,a])(aR)F_X(a) := P(X \le a) = P_X\bigl((-\infty, a]\bigr) \qquad (a \in \mathbb{R})

XX分布関数という。

命題 3.6分布は確率測度であり、分布関数がそれを決める

定義 3.5PXP_X(R,B(R))(\mathbb{R}, \mathcal{B}(\mathbb{R})) 上の確率測度である。さらにその分布関数 FXF_X は次の 3 性質を持つ。

  1. 単調非減少:ab    FX(a)FX(b)a \le b \implies F_X(a) \le F_X(b)
  2. 右連続:任意の aa に対して limh0FX(a+h)=FX(a)\lim_{h \downarrow 0} F_X(a + h) = F_X(a)
  3. 両端の極限:limaFX(a)=0\lim_{a \to -\infty} F_X(a) = 0lima+FX(a)=1\lim_{a \to +\infty} F_X(a) = 1
証明(命題 3.6)

測度であることPX(B)=P(X1(B))0P_X(B) = P(X^{-1}(B)) \ge 0PP の非負性から、PX(R)=P(Ω)=1P_X(\mathbb{R}) = P(\Omega) = 1X1(R)=ΩX^{-1}(\mathbb{R}) = \Omega からわかります。可算加法性を示します。B1,B2,B(R)B_1, B_2, \ldots \in \mathcal{B}(\mathbb{R}) を互いに素とすると、逆像も互いに素です。実際 ωX1(Bi)X1(Bj)\omega \in X^{-1}(B_i) \cap X^{-1}(B_j) なら X(ω)BiBj=X(\omega) \in B_i \cap B_j = \emptyset となり矛盾します。よって 命題 3.2 の証明中で使った X1(nBn)=nX1(Bn)X^{-1}(\bigcup_n B_n) = \bigcup_n X^{-1}(B_n)PP の可算加法性から

PX(nBn)=P(nX1(Bn))=nP(X1(Bn))=nPX(Bn)P_X\Bigl(\bigsqcup_n B_n\Bigr) = P\Bigl(\bigsqcup_n X^{-1}(B_n)\Bigr) = \sum_n P(X^{-1}(B_n)) = \sum_n P_X(B_n)

となります。

性質 1aba \le b なら (,a](,b](-\infty,a] \subset (-\infty,b] なので、測度の単調性より従います。

性質 2hn0h_n \downarrow 0 を任意の減少列とすると (,a+hn](,a](-\infty, a + h_n] \downarrow (-\infty, a] です。PXP_X は有限測度なので、測度の上からの連続性が使えて FX(a+hn)=PX((,a+hn])PX((,a])=FX(a)F_X(a + h_n) = P_X((-\infty,a+h_n]) \to P_X((-\infty,a]) = F_X(a) です。FXF_X が単調なので、任意の減少列で成り立てば h0h \downarrow 0 の極限として成り立ちます。

性質 3(,n](-\infty, -n] \downarrow \emptyset と上からの連続性より FX(n)PX()=0F_X(-n) \to P_X(\emptyset) = 0(,n]R(-\infty, n] \uparrow \mathbb{R} と下からの連続性より FX(n)PX(R)=1F_X(n) \to P_X(\mathbb{R}) = 1 です。単調性からこれで十分です。

注意 3.7

逆に、性質 1〜3 を満たす F:R[0,1]F : \mathbb{R} \to [0,1] が与えられると、PX=P_X = その FF を分布関数に持つ確率測度がただ一つ存在します(ルベーグ・スティルチェス測度の構成)。したがって「確率変数の分布」と「性質 1〜3 を満たす関数」は一対一に対応します。構成は 可測集合とルベーグ測度 の外測度による議論と同じ道具立てで行われます。

定義 3.8離散型・連続型

確率変数 XX離散型であるとは、可算集合 S={x1,x2,}RS = \{x_1, x_2, \ldots\} \subset \mathbb{R} が存在して P(XS)=1P(X \in S) = 1 となることをいう。このとき pk:=P(X=xk)p_k := P(X = x_k)確率質量関数という。

XX連続型(絶対連続型)であるとは、ボレル可測な f:R[0,)f : \mathbb{R} \to [0,\infty) が存在して

PX(B)=Bf(x)dx(BB(R))P_X(B) = \int_B f(x) \, dx \qquad (\forall B \in \mathcal{B}(\mathbb{R}))

が成り立つことをいう。この ff確率密度関数という(右辺はルベーグ積分)。

この 2 つで尽くされるわけではありません。分布関数が連続だが密度を持たない確率変数(カントール分布)や、離散部分と連続部分の混合も存在します。ルベーグ積分による期待値の定義は、これらを区別せずに扱えるという点で、初等的な 2 分法より強力です。

例 3.9代表的な離散型分布

ベルヌーイ分布 Ber(p)\mathrm{Ber}(p)0p10 \le p \le 1):P(X=1)=pP(X=1)=pP(X=0)=1pP(X=0)=1-p。1 回の試行が成功したか否かを表します。

二項分布 Bin(n,p)\mathrm{Bin}(n,p)P(X=k)=(nk)pk(1p)nkP(X=k) = \binom{n}{k} p^k (1-p)^{n-k}k=0,1,,nk = 0,1,\ldots,n)。これが確率質量関数であることは二項定理から

k=0n(nk)pk(1p)nk=(p+(1p))n=1\sum_{k=0}^{n} \binom{n}{k} p^k (1-p)^{n-k} = \bigl(p + (1-p)\bigr)^n = 1

と確かめられます。成功確率 pp の独立試行を nn 回行ったときの成功回数の分布です。

ポアソン分布 Po(λ)\mathrm{Po}(\lambda)λ>0\lambda > 0):P(X=k)=eλλkk!P(X=k) = e^{-\lambda} \dfrac{\lambda^k}{k!}k=0,1,2,k = 0,1,2,\ldots)。総和は指数関数のテイラー展開から

k=0eλλkk!=eλeλ=1\sum_{k=0}^{\infty} e^{-\lambda} \frac{\lambda^k}{k!} = e^{-\lambda} e^{\lambda} = 1

です。二項分布で nn \to \inftyp0p \to 0npλnp \to \lambda とした極限(少数の法則)として現れ、単位時間あたりの稀な事象の回数のモデルに使われます。

例 3.10代表的な連続型分布

指数分布 Exp(λ)\mathrm{Exp}(\lambda)λ>0\lambda > 0):密度 f(x)=λeλx1{x>0}f(x) = \lambda e^{-\lambda x} \mathbf{1}_{\{x > 0\}}。全積分は

0λeλxdx=[eλx]0=0(1)=1\int_0^\infty \lambda e^{-\lambda x} \, dx = \Bigl[-e^{-\lambda x}\Bigr]_0^\infty = 0 - (-1) = 1

です。分布関数は F(a)=1eλaF(a) = 1 - e^{-\lambda a}a0a \ge 0)となり、P(X>s+tX>s)=eλt=P(X>t)P(X > s + t \mid X > s) = e^{-\lambda t} = P(X > t) という無記憶性を持ちます。

正規分布 N(μ,σ2)N(\mu, \sigma^2)μR\mu \in \mathbb{R}σ>0\sigma > 0):密度

f(x)=12πσexp ⁣((xμ)22σ2).f(x) = \frac{1}{\sqrt{2\pi}\,\sigma} \exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right).

全積分が 11 であることは、z=(xμ)/σz = (x-\mu)/\sigma と置換したうえでガウス積分 ez2/2dz=2π\int_{-\infty}^{\infty} e^{-z^2/2} dz = \sqrt{2\pi} を使えば従います。中心極限定理により、独立な多数の微小な効果の和の極限として普遍的に現れます。詳しくは 大数の法則と中心極限定理中心極限定理(リンドバーグ・レヴィ)(定理 5.6)[大数の法則と中心極限定理] を参照してください。

4. 期待値をルベーグ積分として定義する

Section titled “4. 期待値をルベーグ積分として定義する”

期待値 E[X]=ΩXdPE[X] = \int_\Omega X \, dP は、次の 4 段階で定義されます。各段階で「前の段階の定義から矛盾なく延長できているか」を確かめる必要があります。

flowchart LR
A["指示関数 1_A<br/>E = P(A)"] --> B["非負単関数<br/>E = Σ a_i P(A_i)"]
B --> C["非負可測関数<br/>E = sup&#123;単関数の積分&#125;"]
C --> D["可積分関数<br/>E = E[X⁺] − E[X⁻]"]
期待値(ルベーグ積分)の 4 段階の構成

定義 4.1期待値

(Ω,F,P)(\Omega, \mathcal{F}, P) を確率空間とする。

(第 1・2 段階) A1,,AnFA_1, \ldots, A_n \in \mathcal{F}Ω\Omega の分割、a1,,an[0,)a_1, \ldots, a_n \in [0,\infty) のとき、S=i=1nai1AiS = \sum_{i=1}^n a_i \mathbf{1}_{A_i} の形の確率変数を非負単関数という。その期待値を

E[S]:=i=1naiP(Ai)E[S] := \sum_{i=1}^{n} a_i P(A_i)

で定める。

(第 3 段階) X:Ω[0,]X : \Omega \to [0, \infty] が可測のとき

E[X]:=sup{E[S] : S は非負単関数, 0SX}[0,]E[X] := \sup\bigl\{\, E[S] \ :\ S \text{ は非負単関数},\ 0 \le S \le X \,\bigr\} \in [0, \infty]

と定める。

(第 4 段階) 一般の確率変数 XX に対し X+:=max(X,0)X^{+} := \max(X, 0)X:=max(X,0)X^{-} := \max(-X, 0) とおく(X=X+XX = X^+ - X^-X=X++X|X| = X^+ + X^-)。E[X]<E[|X|] < \infty のとき XX可積分であるといい、

E[X]:=E[X+]E[X]E[X] := E[X^{+}] - E[X^{-}]

と定める。可積分な確率変数全体を L1(Ω,F,P)L^1(\Omega, \mathcal{F}, P) と書く。

第 1・2 段階の定義には、確かめるべきことがあります。同じ単関数が複数の表示を持つため、期待値が表示のとり方によらないことを示さねばなりません。

補題 4.2単関数の期待値の well-defined 性

非負単関数 SS が 2 通りに S=i=1mai1Ai=j=1nbj1BjS = \sum_{i=1}^{m} a_i \mathbf{1}_{A_i} = \sum_{j=1}^{n} b_j \mathbf{1}_{B_j}{Ai}\{A_i\}{Bj}\{B_j\} はともに F\mathcal{F} に属する Ω\Omega の分割、ai,bj0a_i, b_j \ge 0)と表されるならば

i=1maiP(Ai)=j=1nbjP(Bj)\sum_{i=1}^{m} a_i P(A_i) = \sum_{j=1}^{n} b_j P(B_j)

が成り立つ。

証明(補題 4.2)

共通細分 Cij:=AiBjC_{ij} := A_i \cap B_j を考えます。{Cij}i,j\{C_{ij}\}_{i,j}Ω\Omega の分割で、Ai=jCijA_i = \bigsqcup_j C_{ij}Bj=iCijB_j = \bigsqcup_i C_{ij} です。PP の有限加法性から

P(Ai)=j=1nP(Cij),P(Bj)=i=1mP(Cij)P(A_i) = \sum_{j=1}^{n} P(C_{ij}), \qquad P(B_j) = \sum_{i=1}^{m} P(C_{ij})

です。ここで CijC_{ij} \ne \emptyset なら、ωCij\omega \in C_{ij} に対して S(ω)S(\omega) は第 1 の表示では aia_i、第 2 の表示では bjb_j に等しいので ai=bja_i = b_j です。したがって

iaiP(Ai)=ijaiP(Cij)=ijbjP(Cij)=jbjP(Bj)\sum_{i} a_i P(A_i) = \sum_{i}\sum_{j} a_i P(C_{ij}) = \sum_{i}\sum_{j} b_j P(C_{ij}) = \sum_{j} b_j P(B_j)

となります(Cij=C_{ij} = \emptyset の項は P(Cij)=0P(C_{ij}) = 0 なので aibja_i \ne b_j でも影響しません)。

注意 4.3

第 3 段階の定義が第 2 段階と整合すること、すなわち XX 自身が非負単関数のとき両者が一致することも確認が要ります。SXS \le X なる単関数の中に XX 自身があるので supE[X]\sup \ge E[X]、逆に 0SX0 \le S \le X なる単関数については共通細分をとれば E[S]E[X]E[S] \le E[X] が有限加法性からわかるので、sup=E[X]\sup = E[X] です。

第 3 段階の sup\sup による定義は、そのままでは計算に使えません。実際に使うのは、任意の非負可測関数を単関数の増大列で下から近似する、次の構成です(一般の測度空間における同じ主張が 単関数近似定理(定理 3.7)[ルベーグ積分の定義と収束定理] です)。

命題 4.4標準近似列

X:Ω[0,]X : \Omega \to [0,\infty] を可測とし、nNn \in \mathbb{N} に対して

Xn:=k=0n2n1k2n1{k2nX<k+12n}  +  n1{Xn}X_n := \sum_{k=0}^{n2^n - 1} \frac{k}{2^n}\, \mathbf{1}_{\left\{\frac{k}{2^n} \le X < \frac{k+1}{2^n}\right\}} \;+\; n\, \mathbf{1}_{\{X \ge n\}}

とおく。このとき各 XnX_n は非負単関数であり、すべての ω\omega について Xn(ω)Xn+1(ω)X_n(\omega) \le X_{n+1}(\omega) かつ Xn(ω)X(ω)X_n(\omega) \to X(\omega) が成り立つ。さらに E[Xn]E[X]E[X_n] \to E[X] である。

証明(命題 4.4)

単関数であることXX は可測なので、各集合 {k2nX<(k+1)2n}=X1([k2n,(k+1)2n))\{k2^{-n} \le X < (k+1)2^{-n}\} = X^{-1}([k2^{-n}, (k+1)2^{-n})){Xn}\{X \ge n\}定義 3.1 より F\mathcal{F} に属します。これらは Ω\Omega の有限分割をなし、係数は非負です。

単調性:段階 nn から n+1n+1 へ移ると、区間の幅が 2n2^{-n} から 2(n+1)2^{-(n+1)} へ半分になります。X(ω)[k2n,(k+1)2n)X(\omega) \in [k2^{-n}, (k+1)2^{-n})n+1n+1 段目の値は 2k2(n+1)=k2n2k \cdot 2^{-(n+1)} = k2^{-n}(2k+1)2(n+1)>k2n(2k+1)2^{-(n+1)} > k2^{-n} のいずれかなので、Xn+1(ω)Xn(ω)X_{n+1}(\omega) \ge X_n(\omega) です。X(ω)nX(\omega) \ge n の部分についても、n+1n+1 段目の値は nn 以上です。

各点収束X(ω)<X(\omega) < \infty なら、n>X(ω)n > X(\omega) となる nn 以降は 0X(ω)Xn(ω)2n00 \le X(\omega) - X_n(\omega) \le 2^{-n} \to 0 です。X(ω)=X(\omega) = \infty なら Xn(ω)=n=X(ω)X_n(\omega) = n \to \infty = X(\omega) です。

積分の収束(Xn)(X_n) は非負可測関数の単調増大列で XX に各点収束するので、定理 2.1 より E[Xn]E[X]E[X_n] \to E[X] です。

k=1k=2k=3k=4k=50ωX(ω)階段関数 Xₙ(非負単関数)
標準近似列は値域を 2⁻ⁿ 刻みに切り、その逆像の上で関数を階段化する。リーマン積分が定義域を分割するのに対し、ルベーグ積分は値域を分割する。

期待値は Ω\Omega 上の積分として定義されましたが、Ω\Omega は抽象的な集合で、そのままでは計算できません。実際の計算をすべて可能にするのが次の定理です。統計学の教科書では「無意識な統計学者の法則」と呼ばれることもあります。

定理 4.5変数変換公式

XX を確率空間 (Ω,F,P)(\Omega,\mathcal{F},P) 上の確率変数、g:RRg : \mathbb{R} \to \mathbb{R} をボレル可測関数とする。

  1. g0g \ge 0 ならば、[0,][0,\infty] における等式として
E[g(X)]=Rg(x)PX(dx)E[g(X)] = \int_{\mathbb{R}} g(x) \, P_X(dx)

が成り立つ。 2. 一般の gg に対しては、g(X)g(X)PP-可積分であることと ggPXP_X-可積分であることは同値で、そのとき上の等式が成り立つ。

証明(定理 4.5)

いわゆる標準機械(指示関数 → 単関数 → 非負関数 → 一般)で示します。なお g(X)=gXg(X) = g \circ X が確率変数であることは、任意のボレル集合 BB に対し (gX)1(B)=X1(g1(B))(g\circ X)^{-1}(B) = X^{-1}(g^{-1}(B)) であり、gg の可測性から g1(B)B(R)g^{-1}(B) \in \mathcal{B}(\mathbb{R})XX の可測性から X1(g1(B))FX^{-1}(g^{-1}(B)) \in \mathcal{F} となることからわかります。

第 1 段階(g=1Bg = \mathbf{1}_BBB(R)B \in \mathcal{B}(\mathbb{R}) とします。1B(X(ω))=1\mathbf{1}_B(X(\omega)) = 1 となるのは X(ω)BX(\omega) \in B、すなわち ωX1(B)\omega \in X^{-1}(B) のときちょうどなので、1BX=1X1(B)\mathbf{1}_B \circ X = \mathbf{1}_{X^{-1}(B)} です。よって 定義 4.1 の第 1 段階より

E[1B(X)]=E[1X1(B)]=P(X1(B))=PX(B)=R1BdPXE[\mathbf{1}_B(X)] = E[\mathbf{1}_{X^{-1}(B)}] = P(X^{-1}(B)) = P_X(B) = \int_{\mathbb{R}} \mathbf{1}_B \, dP_X

となります。3 番目の等号は 定義 3.5、4 番目は PXP_X に関する積分の第 1 段階の定義です。

第 2 段階(非負単関数)g=i=1nai1Big = \sum_{i=1}^{n} a_i \mathbf{1}_{B_i}ai0a_i \ge 0BiB_i はボレル集合で R\mathbb{R} の分割)とします。g(X)=iai1X1(Bi)g(X) = \sum_i a_i \mathbf{1}_{X^{-1}(B_i)} であり、{X1(Bi)}\{X^{-1}(B_i)\}Ω\Omega の分割です。よって

E[g(X)]=i=1naiP(X1(Bi))=i=1naiPX(Bi)=RgdPXE[g(X)] = \sum_{i=1}^n a_i P(X^{-1}(B_i)) = \sum_{i=1}^n a_i P_X(B_i) = \int_{\mathbb{R}} g \, dP_X

です。ここで両端の等号は 補題 4.2 により表示のとり方によらず定まっています。

第 3 段階(g0g \ge 0gg命題 4.4 の標準近似列を適用し、非負単関数の増大列 gngg_n \uparrow g を取ります。合成すると各 ω\omega について gn(X(ω))g(X(ω))g_n(X(\omega)) \uparrow g(X(\omega)) なので、gnXg_n \circ X も非負単関数の増大列です。定理 2.1 を左辺(測度 PP)と右辺(測度 PXP_X)の両方に適用して

E[g(X)]=limnE[gn(X)]=limnRgndPX=RgdPXE[g(X)] = \lim_{n\to\infty} E[g_n(X)] = \lim_{n\to\infty} \int_{\mathbb{R}} g_n \, dP_X = \int_{\mathbb{R}} g \, dP_X

を得ます。中央の等号は第 2 段階の結果です。

第 4 段階(一般)g=g+gg = g^+ - g^- と分解します。(g(X))+=g+(X)(g(X))^{+} = g^{+}(X)(g(X))=g(X)(g(X))^{-} = g^{-}(X) なので、第 3 段階を g=g++g|g| = g^+ + g^- に適用すると

E[g(X)]=RgdPXE[|g(X)|] = \int_{\mathbb{R}} |g| \, dP_X

となり、片方が有限なら他方も有限です。これが可積分性の同値性です。可積分のとき、第 3 段階を g+g^{+}gg^{-} に別々に適用して差を取れば、定義 4.1 の第 4 段階より主張の等式を得ます。

系 4.6離散型・連続型の計算公式

g:RRg : \mathbb{R} \to \mathbb{R} をボレル可測とする。

  1. XX が離散型で P(X=xk)=pkP(X = x_k) = p_kkNk \in \mathbb{N}kpk=1\sum_k p_k = 1)ならば、kg(xk)pk<\sum_k |g(x_k)| p_k < \infty のとき g(X)g(X) は可積分で
E[g(X)]=kg(xk)pk.E[g(X)] = \sum_{k} g(x_k)\, p_k .
  1. XX が密度 ff を持つ連続型ならば、Rg(x)f(x)dx<\int_{\mathbb{R}} |g(x)| f(x) \, dx < \infty のとき g(X)g(X) は可積分で
E[g(X)]=Rg(x)f(x)dx.E[g(X)] = \int_{\mathbb{R}} g(x) f(x) \, dx .
証明(系 4.6)

どちらも 定理 4.5 により RgdPX\int_{\mathbb{R}} g \, dP_X を計算する問題に帰着します。

1S:={x1,x2,}S := \{x_1, x_2, \ldots\} とすると PX(S)=1P_X(S) = 1PX({xk})=pkP_X(\{x_k\}) = p_k です。まず g0g \ge 0 とし、gn:=g1{x1,,xn}g_n := g \mathbf{1}_{\{x_1,\ldots,x_n\}} とおくと gng_n は単関数で gng1Sg_n \uparrow g\mathbf{1}_S です。第 2 段階の定義より gndPX=k=1ng(xk)pk\int g_n \, dP_X = \sum_{k=1}^n g(x_k) p_k であり、定理 2.1 から nn \to \infty として g1SdPX=kg(xk)pk\int g \mathbf{1}_S dP_X = \sum_k g(x_k)p_k を得ます。PX(Sc)=0P_X(S^c) = 0 なので gdPX=g1SdPX\int g\, dP_X = \int g\mathbf{1}_S \, dP_X です。一般の ggg+gg^{+} - g^{-} に分けて同じ議論を行い、絶対収束の仮定のもとで差を取ります。

2:主張は「dPX=fdxdP_X = f\,dx ならば gdPX=gfdx\int g \, dP_X = \int g f \, dx」という形をしており、これも標準機械で示されます。g=1Bg = \mathbf{1}_B のときは 定義 3.8 の密度の定義そのもの、単関数へは線形性、非負可測関数へは 定理 2.1gngg_n \uparrow g なら gnfgfg_n f \uparrow g f)、一般へは正負分解、という順です。

例 4.7代表的な分布の平均と 2 次モーメント

ポアソン分布 XPo(λ)X \sim \mathrm{Po}(\lambda)系 4.6 の 1 より

E[X]=k=0keλλkk!=λeλk=1λk1(k1)!=λeλeλ=λ.E[X] = \sum_{k=0}^{\infty} k \, e^{-\lambda}\frac{\lambda^k}{k!} = \lambda e^{-\lambda} \sum_{k=1}^{\infty} \frac{\lambda^{k-1}}{(k-1)!} = \lambda e^{-\lambda} e^{\lambda} = \lambda .

k=0k=0 の項が消えること、k/k!=1/(k1)!k/k! = 1/(k-1)! であることを使いました。同様に g(x)=x(x1)g(x) = x(x-1) について

E[X(X1)]=k=2k(k1)eλλkk!=λ2eλk=2λk2(k2)!=λ2.E[X(X-1)] = \sum_{k=2}^{\infty} k(k-1) e^{-\lambda}\frac{\lambda^k}{k!} = \lambda^2 e^{-\lambda}\sum_{k=2}^{\infty}\frac{\lambda^{k-2}}{(k-2)!} = \lambda^2 .

よって E[X2]=E[X(X1)]+E[X]=λ2+λE[X^2] = E[X(X-1)] + E[X] = \lambda^2 + \lambda です。

指数分布 XExp(λ)X \sim \mathrm{Exp}(\lambda)系 4.6 の 2 より、部分積分を使って

E[X]=0xλeλxdx=[xeλx]0+0eλxdx=0+1λ=1λ,E[X] = \int_0^\infty x \lambda e^{-\lambda x} dx = \Bigl[-x e^{-\lambda x}\Bigr]_0^\infty + \int_0^\infty e^{-\lambda x} dx = 0 + \frac{1}{\lambda} = \frac{1}{\lambda},E[X2]=0x2λeλxdx=[x2eλx]0+02xeλxdx=2λ1λ=2λ2.E[X^2] = \int_0^\infty x^2 \lambda e^{-\lambda x} dx = \Bigl[-x^2 e^{-\lambda x}\Bigr]_0^\infty + \int_0^\infty 2x e^{-\lambda x} dx = \frac{2}{\lambda}\cdot\frac{1}{\lambda} = \frac{2}{\lambda^2}.

最後の等号では、直前に求めた 0xλeλxdx=1/λ\int_0^\infty x\lambda e^{-\lambda x}dx = 1/\lambda を使いました。

正規分布 XN(μ,σ2)X \sim N(\mu, \sigma^2)z=(xμ)/σz = (x-\mu)/\sigma と置換すると

E[X]=Rx2πσe(xμ)2/(2σ2)dx=R(μ+σz)12πez2/2dz=μE[X] = \int_{\mathbb{R}} \frac{x}{\sqrt{2\pi}\sigma} e^{-(x-\mu)^2/(2\sigma^2)} dx = \int_{\mathbb{R}} (\mu + \sigma z) \frac{1}{\sqrt{2\pi}} e^{-z^2/2} dz = \mu

です(zez2/2z e^{-z^2/2} は奇関数で、しかも絶対可積分なのでその積分は 00)。また E[(Xμ)2]=σ2Rz212πez2/2dzE[(X-\mu)^2] = \sigma^2 \int_{\mathbb{R}} z^2 \frac{1}{\sqrt{2\pi}}e^{-z^2/2}dz であり、u=zu = zdv=zez2/2dzdv = z e^{-z^2/2}dzv=ez2/2v = -e^{-z^2/2})として部分積分すると

Rz2ez2/22πdz=12π([zez2/2]+Rez2/2dz)=0+1=1\int_{\mathbb{R}} z^2 \frac{e^{-z^2/2}}{\sqrt{2\pi}} dz = \frac{1}{\sqrt{2\pi}}\Bigl(\Bigl[-z e^{-z^2/2}\Bigr]_{-\infty}^{\infty} + \int_{\mathbb{R}} e^{-z^2/2} dz\Bigr) = 0 + 1 = 1

なので E[(Xμ)2]=σ2E[(X-\mu)^2] = \sigma^2 です。

例 4.8期待値が存在しない確率変数(コーシー分布)

密度 f(x)=1π(1+x2)f(x) = \dfrac{1}{\pi(1+x^2)} を持つ確率変数 XX を考えます。これは実際に密度です。Rf=1π[arctanx]=1π(π2+π2)=1\int_{\mathbb{R}} f = \frac{1}{\pi}[\arctan x]_{-\infty}^{\infty} = \frac{1}{\pi}\bigl(\frac{\pi}{2} + \frac{\pi}{2}\bigr) = 1 だからです。

密度は原点対称なので「平均は 00 のはず」と思いたくなりますが、定義 4.1 の第 4 段階の可積分性が満たされません。実際

E[X]=2π0x1+x2dx=1π[log(1+x2)]0=E[|X|] = \frac{2}{\pi}\int_0^{\infty} \frac{x}{1+x^2} dx = \frac{1}{\pi}\Bigl[\log(1+x^2)\Bigr]_0^{\infty} = \infty

です。すなわち E[X+]=E[X]=E[X^{+}] = E[X^{-}] = \infty となり、E[X]=E[X] = \infty - \infty は定義できません。E[X]E[X] は存在しない、というのが正しい言い方です。

これは病的な例ではありません。コーシー分布は独立な標準正規変数の比 Z1/Z2Z_1/Z_2 の分布として自然に現れ、しかもコーシー分布に従う独立標本の標本平均 Xˉn\bar{X}_nnn によらず同じコーシー分布に従います。つまり標本数を増やしても精度が上がりません。大数の法則が期待値の存在を仮定していることの意味が、ここに見えます。

期待値は分布の「位置」を表す 1 つの数です。分布の「広がり」を測る標準的な量が分散です。

定義 5.1分散・共分散・相関係数

E[X2]<E[X^2] < \infty を満たす確率変数全体を L2=L2(Ω,F,P)L^2 = L^2(\Omega,\mathcal{F},P) と書く。X,YL2X, Y \in L^2 に対し、μX:=E[X]\mu_X := E[X]μY:=E[Y]\mu_Y := E[Y] とおいて

Var(X):=E[(XμX)2],Cov(X,Y):=E[(XμX)(YμY)]\mathrm{Var}(X) := E\bigl[(X - \mu_X)^2\bigr], \qquad \mathrm{Cov}(X,Y) := E\bigl[(X - \mu_X)(Y - \mu_Y)\bigr]

をそれぞれ XX分散XXYY共分散という。σX:=Var(X)\sigma_X := \sqrt{\mathrm{Var}(X)}標準偏差という。さらに σX>0\sigma_X > 0 かつ σY>0\sigma_Y > 0 のとき

ρ(X,Y):=Cov(X,Y)σXσY\rho(X,Y) := \frac{\mathrm{Cov}(X,Y)}{\sigma_X \sigma_Y}

相関係数という。Cov(X,Y)=0\mathrm{Cov}(X,Y) = 0 のとき XXYY無相関であるという。

この定義が意味を持つためには、X,YL2X, Y \in L^2 ならば XX(XμX)(YμY)(X-\mu_X)(Y-\mu_Y) も可積分でなければなりません。

命題 5.2確率空間では L² ⊂ L¹

確率空間上では L2L1L^2 \subset L^1 であり、X,YL2X, Y \in L^2 ならば XYL1XY \in L^1 である。

証明(命題 5.2)

任意の実数 a,ba, b に対し (ab)20(|a| - |b|)^2 \ge 0 を展開すると ab12(a2+b2)|ab| \le \frac{1}{2}(a^2 + b^2) です。b=1b = 1 とすると a12(1+a2)|a| \le \frac{1}{2}(1 + a^2) なので

E[X]12(1+E[X2])<E[|X|] \le \tfrac{1}{2}\bigl(1 + E[X^2]\bigr) < \infty

です(E[1]=P(Ω)=1E[1] = P(\Omega) = 1 を使いました。この 1 が有限であることこそ、確率測度だから使える点です)。同じ不等式で a=X(ω)a = X(\omega)b=Y(ω)b = Y(\omega) とすれば XY12(X2+Y2)|XY| \le \frac{1}{2}(X^2 + Y^2) となり、右辺は可積分なので XYL1XY \in L^1 です。したがって (XμX)(YμY)=XYμXYμYX+μXμY(X-\mu_X)(Y-\mu_Y) = XY - \mu_X Y - \mu_Y X + \mu_X\mu_Y も可積分です。

命題 5.3分散と共分散の基本性質

X,Y,X1,,XnL2X, Y, X_1, \ldots, X_n \in L^2a,bRa, b \in \mathbb{R} とする。

  1. Var(X)=E[X2](E[X])2\mathrm{Var}(X) = E[X^2] - (E[X])^2Cov(X,Y)=E[XY]E[X]E[Y]\mathrm{Cov}(X,Y) = E[XY] - E[X]E[Y]
  2. Var(aX+b)=a2Var(X)\mathrm{Var}(aX + b) = a^2 \mathrm{Var}(X)。特に分散は定数の平行移動で不変。
  3. Cov\mathrm{Cov} は対称な双線形形式で、Cov(X,X)=Var(X)\mathrm{Cov}(X,X) = \mathrm{Var}(X)
  4. Var(i=1nXi)=i=1nVar(Xi)+21i<jnCov(Xi,Xj)\mathrm{Var}\Bigl(\sum_{i=1}^{n} X_i\Bigr) = \sum_{i=1}^{n}\mathrm{Var}(X_i) + 2\sum_{1 \le i < j \le n} \mathrm{Cov}(X_i, X_j)
  5. Var(X)=0\mathrm{Var}(X) = 0 であることと、P(X=E[X])=1P(X = E[X]) = 1 であることは同値。
証明(命題 5.3)

1:期待値の線形性(定義 4.1 から従う基本性質)を使って

E[(XμX)(YμY)]=E[XY]μXE[Y]μYE[X]+μXμY=E[XY]μXμYE[(X-\mu_X)(Y-\mu_Y)] = E[XY] - \mu_X E[Y] - \mu_Y E[X] + \mu_X\mu_Y = E[XY] - \mu_X\mu_Y

です。Y=XY = X とすれば分散の式になります。命題 5.2 により各項が有限なので、この展開は正当です。

2E[aX+b]=aμX+bE[aX+b] = a\mu_X + b なので (aX+b)E[aX+b]=a(XμX)(aX+b) - E[aX+b] = a(X - \mu_X)、よって Var(aX+b)=E[a2(XμX)2]=a2Var(X)\mathrm{Var}(aX+b) = E[a^2(X-\mu_X)^2] = a^2\mathrm{Var}(X) です。

3:対称性は定義の式が X,YX, Y について対称だからです。双線形性は Cov(aX1+X2,Y)=E[(a(X1μ1)+(X2μ2))(YμY)]\mathrm{Cov}(aX_1 + X_2, Y) = E[(a(X_1-\mu_1) + (X_2-\mu_2))(Y-\mu_Y)] を期待値の線形性で展開すれば得られます。

4S:=iXiS := \sum_i X_i とすると SE[S]=i(Xiμi)S - E[S] = \sum_i (X_i - \mu_i) なので、3 の双線形性より

Var(S)=Cov(i(Xiμi),j(Xjμj))=ijCov(Xi,Xj)\mathrm{Var}(S) = \mathrm{Cov}\Bigl(\sum_i (X_i-\mu_i), \sum_j (X_j-\mu_j)\Bigr) = \sum_{i}\sum_{j} \mathrm{Cov}(X_i, X_j)

です。対角項 i=ji = jVar(Xi)\mathrm{Var}(X_i)、非対角項は対称性より i<ji < j の項を 2 倍したものです。

5Z:=(XμX)20Z := (X - \mu_X)^2 \ge 0 とします。E[Z]=0E[Z] = 0 ならば、任意の ε>0\varepsilon > 0 に対して単関数 ε1{Zε}Z\varepsilon \mathbf{1}_{\{Z \ge \varepsilon\}} \le Z より εP(Zε)E[Z]=0\varepsilon P(Z \ge \varepsilon) \le E[Z] = 0、すなわち P(Zε)=0P(Z \ge \varepsilon) = 0 です。{Z>0}=n{Z1/n}\{Z > 0\} = \bigcup_{n} \{Z \ge 1/n\} は可算和なので P(Z>0)=0P(Z > 0) = 0、つまり P(X=μX)=1P(X = \mu_X) = 1 です。逆に P(X=μX)=1P(X = \mu_X) = 1 なら Z=0Z = 0 が確率 11 で成り立ち、E[Z]=0E[Z] = 0 です。

例 5.4分散の計算と加法性

例 4.7 の結果と 命題 5.3 の 1 から直ちに次を得ます。

  • XPo(λ)X \sim \mathrm{Po}(\lambda)Var(X)=(λ2+λ)λ2=λ\mathrm{Var}(X) = (\lambda^2 + \lambda) - \lambda^2 = \lambda。平均と分散が一致するのがポアソン分布の特徴です。
  • XExp(λ)X \sim \mathrm{Exp}(\lambda)Var(X)=2/λ21/λ2=1/λ2\mathrm{Var}(X) = 2/\lambda^2 - 1/\lambda^2 = 1/\lambda^2。標準偏差が平均 1/λ1/\lambda と等しくなります。
  • XN(μ,σ2)X \sim N(\mu,\sigma^2)Var(X)=σ2\mathrm{Var}(X) = \sigma^2。パラメータがそのまま分散です。

二項分布は直接計算するより、独立和に分解するほうが速いです。Y1,,YnY_1, \ldots, Y_n を独立に Ber(p)\mathrm{Ber}(p) に従うとすると X:=iYiBin(n,p)X := \sum_i Y_i \sim \mathrm{Bin}(n,p) です。Yi2=YiY_i^2 = Y_i なので

Var(Yi)=E[Yi2](E[Yi])2=pp2=p(1p)\mathrm{Var}(Y_i) = E[Y_i^2] - (E[Y_i])^2 = p - p^2 = p(1-p)

です。独立性から 命題 7.5(Appendix)より Cov(Yi,Yj)=0\mathrm{Cov}(Y_i,Y_j) = 0iji \ne j)なので、命題 5.3 の 4 より

E[X]=np,Var(X)=np(1p)E[X] = np, \qquad \mathrm{Var}(X) = n p(1-p)

となります。二項係数を含む和を直接評価する必要はありません。

例 5.5無相関だが独立でない例

XX を区間 (1,1)(-1,1) 上の一様分布(密度 f(x)=121(1,1)(x)f(x) = \frac{1}{2}\mathbf{1}_{(-1,1)}(x))に従うとし、Y:=X2Y := X^2 とおきます。YYXX から完全に決まるので、直観的には最大限に「従属」です。ところが

E[X]=11x2dx=0,E[XY]=E[X3]=11x32dx=0E[X] = \int_{-1}^{1} \frac{x}{2} dx = 0, \qquad E[XY] = E[X^3] = \int_{-1}^{1}\frac{x^3}{2}dx = 0

(被積分関数が奇関数)なので、命題 5.3 の 1 より Cov(X,Y)=00E[Y]=0\mathrm{Cov}(X,Y) = 0 - 0\cdot E[Y] = 0 です。つまり無相関です。

独立でないことを定義に従って確かめます。B:=(12,12)B := (-\tfrac{1}{2}, \tfrac{1}{2})C:=[0,19]C := [0, \tfrac{1}{9}] とします。YCY \in CX1/3|X| \le 1/3 と同値なので

P(XB, YC)=P(X13)=13,P(XB)P(YC)=1213=16P(X \in B,\ Y \in C) = P(|X| \le \tfrac{1}{3}) = \tfrac{1}{3}, \qquad P(X \in B)\,P(Y \in C) = \tfrac{1}{2}\cdot\tfrac{1}{3} = \tfrac{1}{6}

となり、両者は一致しません。よって 定義 2.3 の意味で独立ではありません。

教訓は明確です。共分散が捉えるのは線形の関係だけであり、Y=X2Y = X^2 のような偶関数的な依存関係には反応しません。「相関がない」を「関係がない」と読み替えるのは誤りです。

5.3. コーシー・シュワルツの不等式と相関係数の意味

Section titled “5.3. コーシー・シュワルツの不等式と相関係数の意味”

定理 5.6共分散に対するコーシー・シュワルツの不等式

X,YL2X, Y \in L^2 とする。このとき

Cov(X,Y)σXσY\bigl|\mathrm{Cov}(X,Y)\bigr| \le \sigma_X \, \sigma_Y

が成り立つ。さらに σX>0\sigma_X > 0 かつ σY>0\sigma_Y > 0 のとき、等号が成り立つための必要十分条件は、ある実数 b0b \ne 0aa が存在して P(Y=a+bX)=1P(Y = a + bX) = 1 となることである。

証明(定理 5.6)

U:=XμXU := X - \mu_XV:=YμYV := Y - \mu_Y とおくと E[U]=E[V]=0E[U] = E[V] = 0E[U2]=σX2E[U^2] = \sigma_X^2E[V2]=σY2E[V^2] = \sigma_Y^2E[UV]=Cov(X,Y)E[UV] = \mathrm{Cov}(X,Y) です。命題 5.2 よりこれらはすべて有限です。

σX=0\sigma_X = 0 の場合:命題 5.3 の 5 より P(U=0)=1P(U = 0) = 1 なので UV=0UV = 0 が確率 11 で成り立ち、Cov(X,Y)=0\mathrm{Cov}(X,Y) = 0 となって不等式は等号で成立します。

σX>0\sigma_X > 0 とします。任意の tRt \in \mathbb{R} に対し (V+tU)20(V + tU)^2 \ge 0 なので、期待値の単調性から

φ(t):=E[(V+tU)2]=σY2+2tCov(X,Y)+t2σX20\varphi(t) := E\bigl[(V + tU)^2\bigr] = \sigma_Y^2 + 2t\,\mathrm{Cov}(X,Y) + t^2 \sigma_X^2 \ge 0

です(展開は期待値の線形性による)。これは tt の 2 次関数で、最高次係数 σX2>0\sigma_X^2 > 0 です。すべての tt で非負であることは判別式が 00 以下であることと同値なので

4Cov(X,Y)24σX2σY20,4\,\mathrm{Cov}(X,Y)^2 - 4\sigma_X^2\sigma_Y^2 \le 0,

すなわち Cov(X,Y)σXσY|\mathrm{Cov}(X,Y)| \le \sigma_X\sigma_Y を得ます。

等号条件:等号が成り立つのは判別式が 00 のとき、すなわち φ(t0)=0\varphi(t_0) = 0 となる t0t_0(重解)が存在するときです。φ(t0)=E[(V+t0U)2]=0\varphi(t_0) = E[(V + t_0 U)^2] = 0命題 5.3 の 5 の証明中の議論(非負確率変数の期待値が 00 なら確率 1100)から P(V+t0U=0)=1P(V + t_0 U = 0) = 1 です。これを書き直すと

P(Y=(μY+t0μX)t0X)=1P\bigl(Y = (\mu_Y + t_0\mu_X) - t_0 X\bigr) = 1

となり、b:=t0b := -t_0a:=μY+t0μXa := \mu_Y + t_0\mu_X とすればよいことになります。ここで b0b \ne 0、すなわち t00t_0 \ne 0 であることが要ります。もし t0=0t_0 = 0 なら φ(0)=σY2=0\varphi(0) = \sigma_Y^2 = 0 となって仮定 σY>0\sigma_Y > 0 に反するので、実際 t00t_0 \ne 0 です(σY=0\sigma_Y = 0 の退化した場合は YY が定数で、Cov(X,Y)=0=σXσY\mathrm{Cov}(X,Y) = 0 = \sigma_X\sigma_Y と等号は成り立つものの b=0b = 0 となります)。逆に P(Y=a+bX)=1P(Y = a + bX) = 1b0b \ne 0)ならば、命題 5.3 の 2、3 より Cov(X,Y)=bσX2\mathrm{Cov}(X,Y) = b\,\sigma_X^2σY=bσX\sigma_Y = |b|\sigma_X なので Cov(X,Y)=bσX2=σXσY|\mathrm{Cov}(X,Y)| = |b|\sigma_X^2 = \sigma_X\sigma_Y となり、等号が成立します。

系 5.7相関係数の範囲

σX>0\sigma_X > 0σY>0\sigma_Y > 0 ならば 1ρ(X,Y)1-1 \le \rho(X,Y) \le 1 である。ρ(X,Y)=±1\rho(X,Y) = \pm 1 となるのは、P(Y=a+bX)=1P(Y = a + bX) = 1 となる a,ba, bbb の符号は ρ\rho の符号と一致)が存在するとき、かつそのときに限る。

証明(系 5.7)

定理 5.6 の両辺を σXσY>0\sigma_X\sigma_Y > 0 で割れば ρ1|\rho| \le 1 です。等号条件も同じ定理から従います。符号については、P(Y=a+bX)=1P(Y = a+bX) = 1 のとき ρ=bσX2/(σXbσX)=b/b=sgn(b)\rho = b\sigma_X^2/(\sigma_X \cdot |b|\sigma_X) = b/|b| = \mathrm{sgn}(b) です。

相関係数が「線形関係の強さ」を測るという説明は、次の計算で正確な意味を持ちます。

例 5.8相関係数は最良線形予測の誤差を決める

XX から YYa+bXa + bX の形で予測するとき、平均二乗誤差を最小にする a,ba, b とその最小値を求めます。σX>0\sigma_X > 0σY>0\sigma_Y > 0 とします。

まず bb を固定して aa について最小化します。h(a,b):=E[(YabX)2]h(a,b) := E[(Y - a - bX)^2] とおくと、W:=YbXW := Y - bX について h=E[(Wa)2]=Var(W)+(E[W]a)2h = E[(W - a)^2] = \mathrm{Var}(W) + (E[W] - a)^2 です(命題 5.3 の 1 を WaW - a に適用)。よって a=E[W]=μYbμXa^{*} = E[W] = \mu_Y - b\mu_X が最適で、そのときの値は

Var(YbX)=σY22bCov(X,Y)+b2σX2\mathrm{Var}(Y - bX) = \sigma_Y^2 - 2b\,\mathrm{Cov}(X,Y) + b^2\sigma_X^2

です(命題 5.3 の 4 と 2、3 による)。これは bb の 2 次関数なので、平方完成して

σX2(bCov(X,Y)σX2)2+σY2Cov(X,Y)2σX2\sigma_X^2\left(b - \frac{\mathrm{Cov}(X,Y)}{\sigma_X^2}\right)^2 + \sigma_Y^2 - \frac{\mathrm{Cov}(X,Y)^2}{\sigma_X^2}

となり、最小は

b=Cov(X,Y)σX2=ρσYσX,mina,bE[(YabX)2]=σY2(1ρ2)b^{*} = \frac{\mathrm{Cov}(X,Y)}{\sigma_X^2} = \rho\,\frac{\sigma_Y}{\sigma_X}, \qquad \min_{a,b} E[(Y - a - bX)^2] = \sigma_Y^2\bigl(1 - \rho^2\bigr)

で達成されます。

つまり ρ2\rho^2 は「XX による線形予測で説明できる YY の分散の割合」です。ρ=±1\rho = \pm 1 なら誤差 00、すなわち 系 5.7 のとおり YYXX のアフィン関数です。ρ=0\rho = 0 なら線形予測は定数 μY\mu_Y に勝てません。回帰分析の決定係数 R2R^2 は、この ρ2\rho^2 の一般化です。より複雑な依存関係を扱うには、線形性の制約を外した条件付き期待値が必要になります(条件付き期待値、とくに 条件付き期待値は直交射影(定理 5.1)[条件付き期待値] を参照)。

6. マルコフの不等式とチェビシェフの不等式

Section titled “6. マルコフの不等式とチェビシェフの不等式”

分布の形をまったく知らなくても、平均と分散だけから裾の確率を評価できます。これが次の 2 つの不等式です。証明はどちらも 2 行ですが、確率論で最も使われる道具の一つです。

定理 6.1マルコフの不等式

XX を非負の確率変数(P(X0)=1P(X \ge 0) = 1)とする。任意の a>0a > 0 に対して

P(Xa)E[X]aP(X \ge a) \le \frac{E[X]}{a}

が成り立つ。

証明(定理 6.1)

A:={Xa}FA := \{X \ge a\} \in \mathcal{F}XX の可測性による)とおきます。すべての ω\omega について

a1A(ω)X(ω)a\,\mathbf{1}_A(\omega) \le X(\omega)

が成り立ちます。実際、ωA\omega \in A なら左辺は aa で、AA の定義より X(ω)aX(\omega) \ge a です。ωA\omega \notin A なら左辺は 00 で、X0X \ge 0 より右辺は 00 以上です。

期待値は単調(UVU \le V なら E[U]E[V]E[U] \le E[V]。これは 定義 4.1 の第 3 段階の sup\sup の定義から直ちに従います)なので、両辺の期待値を取って

aP(A)=E[a1A]E[X]a\,P(A) = E[a\mathbf{1}_A] \le E[X]

です。a>0a > 0 で割れば主張を得ます。

系 6.2チェビシェフの不等式

XL2X \in L^2μ:=E[X]\mu := E[X]σ2:=Var(X)\sigma^2 := \mathrm{Var}(X) とする。任意の a>0a > 0 に対して

P(Xμa)σ2a2P\bigl(|X - \mu| \ge a\bigr) \le \frac{\sigma^2}{a^2}

が成り立つ。特に σ>0\sigma > 0 のとき、a=kσa = k\sigmak>0k > 0)とすれば

P(Xμkσ)1k2.P\bigl(|X - \mu| \ge k\sigma\bigr) \le \frac{1}{k^2}.
証明(系 6.2)

Y:=(Xμ)2Y := (X-\mu)^2 とおくと Y0Y \ge 0 で、命題 5.2 より E[Y]=σ2<E[Y] = \sigma^2 < \infty です。事象の等式

{Xμa}={(Xμ)2a2}={Ya2}\{|X - \mu| \ge a\} = \{(X-\mu)^2 \ge a^2\} = \{Y \ge a^2\}

が成り立ちます(tt2t \mapsto t^2[0,)[0,\infty) 上で狭義単調増加なので、Xμa>0|X-\mu| \ge a > 0(Xμ)2a2(X-\mu)^2 \ge a^2 は同値)。定理 6.1YYa2>0a^2 > 0 に適用して

P(Xμa)=P(Ya2)E[Y]a2=σ2a2P(|X-\mu| \ge a) = P(Y \ge a^2) \le \frac{E[Y]}{a^2} = \frac{\sigma^2}{a^2}

を得ます。a=kσa = k\sigma とすれば σ2/(kσ)2=1/k2\sigma^2/(k\sigma)^2 = 1/k^2 です。

例 6.3チェビシェフの評価はどれくらい緩いか

k=2k = 2 のとき 系 6.2P(Xμ2σ)0.25P(|X-\mu| \ge 2\sigma) \le 0.25 を与えます。具体的な分布で真の値と比べます。

  • XN(μ,σ2)X \sim N(\mu,\sigma^2)P(Xμ2σ)=2(1Φ(2))0.0455P(|X-\mu| \ge 2\sigma) = 2\bigl(1 - \Phi(2)\bigr) \approx 0.0455
  • XExp(1)X \sim \mathrm{Exp}(1)μ=σ=1\mu = \sigma = 1):P(X12)=P(X3)=e30.0498P(|X - 1| \ge 2) = P(X \ge 3) = e^{-3} \approx 0.0498

いずれも上界 0.250.25 の 5 分の 1 程度です。分布を知っていれば、はるかに鋭い評価ができます。

にもかかわらずチェビシェフの不等式が重要なのは、分布について何も仮定していないからです。分布形を仮定できないところ(未知の母集団、複雑な機械学習モデルの出力)でも使えます。しかも上界 1/k21/k^2 は、すべての分布にわたって考えれば改善できません。等号を達成する分布が存在するからです(演習 7.3)。

例 6.4弱大数の法則への応用

X1,X2,X_1, X_2, \ldots を独立同分布、E[Xi]=μE[X_i] = \muVar(Xi)=σ2<\mathrm{Var}(X_i) = \sigma^2 < \infty とし、Xˉn:=1ni=1nXi\bar{X}_n := \frac{1}{n}\sum_{i=1}^n X_i とおきます。期待値の線形性から E[Xˉn]=μE[\bar{X}_n] = \mu です。また 命題 5.3 の 2 と 4、および独立性から共分散項が消えること(命題 7.5)を使うと

Var(Xˉn)=1n2i=1nVar(Xi)=σ2n\mathrm{Var}(\bar{X}_n) = \frac{1}{n^2}\sum_{i=1}^{n}\mathrm{Var}(X_i) = \frac{\sigma^2}{n}

です。系 6.2Xˉn\bar{X}_n に適用すると、任意の ε>0\varepsilon > 0 に対して

P(Xˉnμε)σ2nε2n0P\bigl(|\bar{X}_n - \mu| \ge \varepsilon\bigr) \le \frac{\sigma^2}{n\varepsilon^2} \xrightarrow[n\to\infty]{} 0

となります。これが弱大数の法則(確率収束の意味での大数の法則)です。分散の仮定を外した形や、ほとんど確実な収束を主張する強法則(大数の強法則(コルモゴロフ)(定理 4.5)[大数の法則と中心極限定理])については 大数の法則と中心極限定理 で扱います。

この評価は、標本サイズの設計にそのまま使えます。σ=1\sigma = 1ε=0.1\varepsilon = 0.1 で誤差確率を 5%5\% 以下にしたければ n1/(0.05×0.01)=2000n \ge 1/(0.05 \times 0.01) = 2000 で十分です。中心極限定理を使えば n385n \approx 385 で足りることがわかりますが、そちらは nn が大きいときの近似であるのに対し、チェビシェフの評価はすべての nn で厳密に正しい不等式です。

演習 7.1標準

X:ΩRX : \Omega \to \mathbb{R} が、すべての有理数 qq に対して {X<q}F\{X < q\} \in \mathcal{F} を満たすとする。XX が確率変数であることを示せ。

解答

命題 3.2E:={(,q):qQ}\mathcal{E} := \{(-\infty, q) : q \in \mathbb{Q}\} に適用します。示すべきは σ(E)=B(R)\sigma(\mathcal{E}) = \mathcal{B}(\mathbb{R}) です。

まず σ(E)B(R)\sigma(\mathcal{E}) \subset \mathcal{B}(\mathbb{R}) は、(,q)(-\infty,q) が開集合だからです。

逆を示します。任意の実数 aa に対し、有理数の稠密性から qnaq_n \uparrow a となる有理数列が取れ、

(,a)=n=1(,qn)(-\infty, a) = \bigcup_{n=1}^{\infty} (-\infty, q_n)

です(x<ax < a なら十分大きい nnx<qnx < q_n となるため)。よって (,a)σ(E)(-\infty,a) \in \sigma(\mathcal{E}) です。

次に (,a](-\infty, a]σ(E)\sigma(\mathcal{E}) に属します。実際

(,a]=n=1(, a+1n)(-\infty, a] = \bigcap_{n=1}^{\infty}\Bigl(-\infty,\ a + \tfrac{1}{n}\Bigr)

であり(xax \le a ならすべての nnx<a+1/nx < a + 1/n、逆にすべての nnx<a+1/nx < a+1/n なら nn\to\infty として xax \le a)、右辺の各集合は前段より σ(E)\sigma(\mathcal{E}) の元だからです。したがって任意の開区間について

(a,b)=(,b)(,a]σ(E)(a,b) = (-\infty,b) \setminus (-\infty,a] \in \sigma(\mathcal{E})

です。R\mathbb{R} の任意の開集合は可算個の開区間の和で表せる(各点のまわりに有理数端点の区間を取ればよい)ので、開集合はすべて σ(E)\sigma(\mathcal{E}) に属します。したがって B(R)σ(E)\mathcal{B}(\mathbb{R}) \subset \sigma(\mathcal{E}) です。

以上で σ(E)=B(R)\sigma(\mathcal{E}) = \mathcal{B}(\mathbb{R}) が示され、命題 3.2 より XX は確率変数です。可算個の条件だけで可測性が言えるのがポイントです。

演習 7.2標準

0<p<10 < p < 1q:=1pq := 1-p とし、確率変数 XX が幾何分布に従うとする。すなわち

P(X=k)=qk1p(k=1,2,3,).P(X = k) = q^{k-1} p \qquad (k = 1, 2, 3, \ldots).

E[X]E[X]Var(X)\mathrm{Var}(X) を求めよ。

解答

まず確率質量関数であることを確認します。k1qk1p=p11q=pp=1\sum_{k\ge1} q^{k-1}p = p \cdot \frac{1}{1-q} = \frac{p}{p} = 1 です(0<q<10 < q < 1 より等比級数が収束)。

x<1|x| < 1k0xk=11x\sum_{k \ge 0} x^k = \frac{1}{1-x} の両辺を項別微分すると k1kxk1=1(1x)2\sum_{k\ge1} k x^{k-1} = \frac{1}{(1-x)^2}、もう一度微分すると k2k(k1)xk2=2(1x)3\sum_{k \ge 2} k(k-1)x^{k-2} = \frac{2}{(1-x)^3} です(べき級数は収束半径の内部で項別微分可能)。

系 4.6 の 1 より

E[X]=k=1kqk1p=p1(1q)2=pp2=1p.E[X] = \sum_{k=1}^{\infty} k\, q^{k-1} p = p \cdot \frac{1}{(1-q)^2} = \frac{p}{p^2} = \frac{1}{p}.

次に g(x)=x(x1)g(x) = x(x-1) に対して

E[X(X1)]=k=2k(k1)qk1p=pqk=2k(k1)qk2=pq2p3=2qp2.E[X(X-1)] = \sum_{k=2}^{\infty} k(k-1) q^{k-1} p = pq\sum_{k=2}^{\infty}k(k-1)q^{k-2} = pq \cdot \frac{2}{p^3} = \frac{2q}{p^2}.

したがって E[X2]=2qp2+1pE[X^2] = \frac{2q}{p^2} + \frac{1}{p} であり、命題 5.3 の 1 より

Var(X)=2qp2+1p1p2=2q+p1p2=2qqp2=qp2=1pp2.\mathrm{Var}(X) = \frac{2q}{p^2} + \frac{1}{p} - \frac{1}{p^2} = \frac{2q + p - 1}{p^2} = \frac{2q - q}{p^2} = \frac{q}{p^2} = \frac{1-p}{p^2}.

p1=qp - 1 = -q を使いました。たとえば p=1/6p = 1/6(サイコロで初めて 1 が出るまでの回数)なら E[X]=6E[X] = 6Var(X)=30\mathrm{Var}(X) = 30 です。

演習 7.3標準

k>1k > 1σ>0\sigma > 0 を固定する。確率変数 XXE[X]=0E[X] = 0Var(X)=σ2\mathrm{Var}(X) = \sigma^2、かつ

P(Xkσ)=1k2P\bigl(|X| \ge k\sigma\bigr) = \frac{1}{k^2}

を満たすものを構成せよ。これにより 系 6.2 の上界 1/k21/k^2 が改善できないことを示せ。

解答

次の 3 点分布を取ります。

P(X=kσ)=P(X=kσ)=12k2,P(X=0)=11k2.P(X = k\sigma) = P(X = -k\sigma) = \frac{1}{2k^2}, \qquad P(X = 0) = 1 - \frac{1}{k^2}.

k>1k > 1 なので 11/k2>01 - 1/k^2 > 0 であり、確率の総和は 12k2+12k2+11k2=1\frac{1}{2k^2} + \frac{1}{2k^2} + 1 - \frac{1}{k^2} = 1 です。

系 4.6 の 1 より

E[X]=kσ12k2+(kσ)12k2+0=0,E[X] = k\sigma \cdot \frac{1}{2k^2} + (-k\sigma)\cdot\frac{1}{2k^2} + 0 = 0,E[X2]=(kσ)212k2+(kσ)212k2+0=k2σ21k2=σ2.E[X^2] = (k\sigma)^2 \cdot \frac{1}{2k^2} + (k\sigma)^2\cdot\frac{1}{2k^2} + 0 = k^2\sigma^2 \cdot \frac{1}{k^2} = \sigma^2 .

よって 命題 5.3 の 1 から Var(X)=σ202=σ2\mathrm{Var}(X) = \sigma^2 - 0^2 = \sigma^2 です。

一方 Xkσ|X| \ge k\sigma となるのは X=±kσX = \pm k\sigma のときちょうどなので

P(Xkσ)=12k2+12k2=1k2P(|X| \ge k\sigma) = \frac{1}{2k^2} + \frac{1}{2k^2} = \frac{1}{k^2}

であり、チェビシェフの不等式の等号が成り立ちます。したがって「すべての L2L^2 確率変数に対して成り立つ P(Xμkσ)c/k2P(|X-\mu| \ge k\sigma) \le c/k^2」という形の評価では c=1c = 1 より小さくできません。分布に追加の仮定(対称性、単峰性、有界性など)を置けば改善できます。

演習 7.4

XXP(X0)=1P(X \ge 0) = 1 を満たす確率変数とする。

E[X]=0P(X>t)dtE[X] = \int_0^{\infty} P(X > t)\, dt

[0,][0,\infty] における等式として成り立つことを示せ(右辺はルベーグ積分)。

解答

積空間 (Ω×(0,), FB((0,)), PLeb)\bigl(\Omega \times (0,\infty),\ \mathcal{F}\otimes\mathcal{B}((0,\infty)),\ P \otimes \mathrm{Leb}\bigr) の上で、関数

H(ω,t):=1{X(ω)>t}H(\omega, t) := \mathbf{1}_{\{X(\omega) > t\}}

を考えます。

可測性:写像 (ω,t)X(ω)(\omega,t) \mapsto X(\omega) は第 1 成分への射影と XX の合成なので積 σ\sigma-加法族について可測、(ω,t)t(\omega,t)\mapsto t も同様です。命題 3.4 の和(差)に関する結果より (ω,t)X(ω)t(\omega,t)\mapsto X(\omega) - t は可測で、

{(ω,t):H=1}={(ω,t):X(ω)t>0}\{(\omega,t) : H = 1\} = \{(\omega,t) : X(\omega) - t > 0\}

はその可測関数による (0,)(0,\infty) の逆像なので可測集合です。よって HH は非負可測です。

トネリの定理の適用PP は確率測度、(0,)(0,\infty) 上のルベーグ測度は σ\sigma-有限なので、非負可測関数に対するトネリの定理(ルベーグ積分の定義と収束定理)により、2 通りの累次積分が一致します。

tt を先に積分する順序では、各 ω\omega を固定して

01{X(ω)>t}dt=0X(ω)1dt=X(ω)\int_0^{\infty} \mathbf{1}_{\{X(\omega) > t\}}\, dt = \int_0^{X(\omega)} 1 \, dt = X(\omega)

です(X(ω)0X(\omega) \ge 0 より、tt に関する被積分関数は区間 (0,X(ω))(0, X(\omega)) の指示関数)。よってこの順序の累次積分は E[X]E[X] です。

ω\omega を先に積分する順序では、各 t>0t > 0 を固定して

Ω1{X>t}dP=P(X>t)\int_{\Omega} \mathbf{1}_{\{X > t\}} \, dP = P(X > t)

なので、累次積分は 0P(X>t)dt\int_0^\infty P(X>t)\,dt です。

トネリの定理より両者は [0,][0,\infty] において等しく、主張が示されました。

確認XExp(λ)X \sim \mathrm{Exp}(\lambda) では P(X>t)=eλtP(X > t) = e^{-\lambda t} なので 0eλtdt=1/λ\int_0^\infty e^{-\lambda t}dt = 1/\lambda となり、例 4.7 の結果と一致します。この公式は、密度がわからず生存確率 P(X>t)P(X>t) だけが手に入る状況(信頼性工学、生存時間解析)で特に有用です。

  • A. N. Kolmogorov, Grundbegriffe der Wahrscheinlichkeitsrechnung, Springer, 1933(英訳: Foundations of the Theory of Probability, Chelsea, 1956)— 確率変数を可測関数として定義した原典。第 III 章。
  • 伊藤清『確率論』岩波書店(岩波基礎数学選書)、1991 — 第 1 章・第 2 章。測度論的確率論の標準的な日本語文献。
  • 舟木直久『確率論』朝倉書店(講座 数学の考え方 20)、2004 — 第 2 章に確率変数・期待値・各種不等式が整理されている。
  • P. Billingsley, Probability and Measure, 3rd ed., Wiley, 1995 — Sections 13, 15, 21。期待値の構成と変数変換公式の扱いが丁寧。
  • R. Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019 — Chapter 1。簡潔で、演習が豊富。
  • D. Williams, Probability with Martingales, Cambridge University Press, 1991 — Chapters 3–6。標準機械(指示関数から一般へ)という論法を明示的に強調している。

本文の 例 5.4例 6.4 で使った、独立ならば無相関である、という事実を証明します。

命題 7.5独立な可積分確率変数の積の期待値

X,YX, Y を独立な確率変数とし、ともに可積分とする。このとき XYXY も可積分で

E[XY]=E[X]E[Y]E[XY] = E[X]\,E[Y]

が成り立つ。特に X,YL2X, Y \in L^2 が独立ならば Cov(X,Y)=0\mathrm{Cov}(X,Y) = 0 である。

証明(命題 7.5)

(X,Y)(X,Y)R2\mathbb{R}^2 上の同時分布を P(X,Y)P_{(X,Y)} と書きます。定義 2.3 は、任意のボレル集合 B,CB, C に対して

P(X,Y)(B×C)=PX(B)PY(C)P_{(X,Y)}(B \times C) = P_X(B)\,P_Y(C)

が成り立つことを意味します。長方形集合 {B×C}\{B\times C\}B(R2)\mathcal{B}(\mathbb{R}^2) を生成する乗法族(有限交叉で閉じた族)であり、両辺はともに R2\mathbb{R}^2 上の確率測度なので、ディンキンの π\pi-λ\lambda 定理により P(X,Y)=PXPYP_{(X,Y)} = P_X \otimes P_Y(積測度)が全体で成り立ちます。

まず X,Y0X, Y \ge 0 とします。定理 4.5 を 2 次元版(g(x,y)=xyg(x,y) = xy(X,Y)(X,Y)R2\mathbb{R}^2 値可測写像とみなす。証明は本文と同じ標準機械)に適用し、続いてトネリの定理を積測度 PXPYP_X\otimes P_Y に適用すると

E[XY]=R2xyP(X,Y)(dxdy)=R ⁣ ⁣RxyPX(dx)PY(dy)=(xPX(dx))(yPY(dy))E[XY] = \int_{\mathbb{R}^2} xy \, P_{(X,Y)}(dx\,dy) = \int_{\mathbb{R}}\!\!\int_{\mathbb{R}} xy \, P_X(dx) P_Y(dy) = \Bigl(\int x\,P_X(dx)\Bigr)\Bigl(\int y \, P_Y(dy)\Bigr)

となり、再び 定理 4.5 より右辺は E[X]E[Y]E[X]E[Y] です。

一般の場合は X=X+XX = X^{+} - X^{-}Y=Y+YY = Y^{+} - Y^{-} と分解します。X±X^{\pm}XX のボレル可測関数、Y±Y^{\pm}YY のボレル可測関数なので、独立な確率変数のボレル可測関数どうしはやはり独立です({X+B}={X()1(B)}\{X^{+} \in B\} = \{X \in (\cdot)^{-1}(B)\} の形になるため)。よって非負の場合の結果が X±Y±X^{\pm}Y^{\pm} の 4 通りすべてに使えて、E[XY]=E[X]E[Y]<E[|XY|] = E[|X|]E[|Y|] < \infty から可積分性が、

E[XY]=E[X+Y+]E[X+Y]E[XY+]+E[XY]=(E[X+]E[X])(E[Y+]E[Y])E[XY] = E[X^{+}Y^{+}] - E[X^{+}Y^{-}] - E[X^{-}Y^{+}] + E[X^{-}Y^{-}] = \bigl(E[X^+]-E[X^-]\bigr)\bigl(E[Y^+]-E[Y^-]\bigr)

から等式が従います。最後に 命題 5.3 の 1 より Cov(X,Y)=E[XY]E[X]E[Y]=0\mathrm{Cov}(X,Y) = E[XY] - E[X]E[Y] = 0 です。

なお逆は成り立ちません。例 5.5 が反例です。

注意 7.6

L2L^2X,Y:=E[XY]\langle X, Y\rangle := E[XY] を内積とするヒルベルト空間であり、分散は中心化した確率変数のノルムの 2 乗 XμX2\|X - \mu_X\|^2、共分散はその内積、相関係数はなす角の余弦です。定理 5.6 がヒルベルト空間のコーシー・シュワルツの不等式そのものであるのは、このためです。この視点は条件付き期待値を「部分空間への直交射影」として理解する際に本質的になります。ヒルベルト空間としての L2L^2 については L^p 空間と関数解析への導入L^2 はヒルベルト空間(定理 6.2)[L^p 空間と関数解析への導入] を参照してください。

この記事の誤りを報告する ・運営: 夢現技研合同会社料金プラン利用条件特定商取引法に基づく表記

© 2026 夢現技研合同会社 ・本文の LLM への入力は自由です。コード例は MIT ライセンスです。