# 確率測度の弱収束：Portmanteau・Prokhorov・Skorokhod の表現定理 > 距離空間上の確率測度の弱収束を Portmanteau の定理で特徴づけ、緊密性とコンパクト性が同値であるという Prokhorov の定理、Skorokhod の表現定理、多次元の Lévy の連続性定理と Krylov–Bogoliubov の定理を証明する。 > https://rikai.mugen-giken.com/mathematics/probability/weak-convergence ## 0. この記事の要点 サイコロを何回も振った合計を標準化したものの分布が正規分布に近づく、というように、「確率の分布が別の分布に近づく」とはどういうことかを、数直線に限らない広い空間で正確に言い表すのがこの記事の主題です。あわせて、分布の列からうまく近づく部分列を取り出せる条件と、分布の収束を確率変数の各点収束に置き換える技法を扱います。読み終えると、これらの道具を使って分布の収束を示す議論が追えるようになります。 - [距離空間](/mathematics/real-analysis/metric-spaces#def-metric-space) $S$ 上の確率測度 $\mu_n$ が $\mu$ に**弱収束**するとは、すべての有界連続関数 $f$ で $\int f\,d\mu_n\to\int f\,d\mu$ となることです。**Portmanteau の定理**（）は、これを閉集合・開集合・境界の測度が $0$ の集合の言葉に言い換えます。 - 確率測度の列が弱収束する部分列をもつための条件が**緊密性**（質量が無限遠へ逃げない）です。**Prokhorov の定理**は、緊密ならば部分列が弱収束すること（）、[Polish 空間](/mathematics/probability/kolmogorov-extension#def-polish)（完備で可算個の点で稠密になる距離空間）では逆も成り立つこと（）を主張します。$\mathbb{R}^d$ では **Helly の選出定理**になります（、）。 - **Skorokhod の表現定理**（）：Polish 空間で $\mu_n\Rightarrow\mu$ ならば、一つの確率空間の上に分布 $\mu_n$、$\mu$ をもつ[確率変数](/mathematics/probability/random-variables#def-random-variable) $X_n$、$X$ を作って $X_n\to X$ を**各点で**（ほとんど確実に）成り立たせられます。分布の収束の議論を、確率変数の概収束の議論に置き換える道具です。 - 応用として、[特性関数と Gauss ベクトル](/mathematics/probability/characteristic-functions-gaussian) で 1 次元だけ示した Lévy の連続性定理を $\mathbb{R}^d$ で証明し（）、Markov 核の不変測度の存在を保証する **Krylov–Bogoliubov の定理**（）を示します。 ## 1. 動機 中心極限定理は「$S_n/\sqrt n$ の分布が $N(0,1)$ に近づく」という主張でした。確率変数そのものは収束しないので、収束しているのは分布、すなわち確率測度の列です。実数直線上では分布関数の収束で定式化できましたが（[大数の法則と中心極限定理](/mathematics/probability/limit-theorems)）、Brown 運動の道の分布（[Wiener 測度](/mathematics/probability/kolmogorov-extension)）のように、関数空間上の確率測度の収束を扱うには分布関数が使えません。有界連続関数の積分による定義は、どの距離空間でも意味をもちます。 確率測度の列が収束しない典型は二つあります。一つは $\delta_n$（点 $n$ の単位質量）のように**質量が無限遠に逃げる**場合、もう一つは $N(0,n)$ のように**質量が薄く広がって消える**場合です。どちらも「大部分の質量が一つのコンパクト集合に収まる」という条件（緊密性）が破れています。Prokhorov の定理は、この条件が欠けていなければ必ず収束部分列があることを保証します。これは確率測度の空間でのコンパクト性の定理で、連続関数の空間での Arzelà–Ascoli の定理（）と同じ役割を果たします。統計力学の無限体積極限や、確率偏微分方程式の不変測度の構成では、「緊密性を示す → 部分列の極限を取る → 極限が望みの性質をもつことを確かめる」という三段の議論が繰り返し使われます。 はその最も簡単な例です。 ## 2. 弱収束と Portmanteau の定理 以下 $(S,d)$ は距離空間、$\mathcal{P}(S)$ は $S$ のボレル集合族上の確率測度の全体、$C_b(S)$ は有界連続関数 $f:S\to\mathbb{R}$ の全体で、$\|f\|=\sup|f|$ とします。集合 $A$ の閉包を $\bar A$、内部を $A^\circ$、境界を $\partial A=\bar A\setminus A^\circ$ と書きます。 $\mu_n,\mu\in\mathcal{P}(S)$ について、すべての $f\in C_b(S)$ で $\int f\,d\mu_n\to\int f\,d\mu$ となるとき、$\mu_n$ は $\mu$ に**弱収束**するといい、$\mu_n\Rightarrow\mu$ と書く。$S$ 値確率変数 $X_n$ の分布が $\mu$ に弱収束するとき、$X_n$ は $\mu$ に**分布収束**するという。 $S=\mathbb{R}^d$ のときは と同じ定義です。弱収束の極限は一意です。それは次の補題から従います。 $\mu,\nu\in\mathcal{P}(S)$ が、すべての有界 Lipschitz 関数 $f$ について $\int f\,d\mu=\int f\,d\nu$ を満たすならば $\mu=\nu$。 閉集合 $F$ に対し $f_k(x)=\max\bigl(0,1-k\operatorname{dist}(x,F)\bigr)$ は値が $[0,1]$ の $k$-Lipschitz 関数で、$F$ が閉なので $f_k\downarrow\mathbf 1_F$（各点）です。優収束定理（）から $\mu(F)=\lim\int f_kd\mu=\lim\int f_kd\nu=\nu(F)$。閉集合の全体は交叉で閉じ、$S$ を含み、ボレル集合族を生成するので、 により $\mu=\nu$ です。 $\mu(\partial A)=0$ を満たすボレル集合 $A$ を **$\mu$-連続集合**と呼びます。 $\mu_n,\mu\in\mathcal{P}(S)$ について次は同値である。 1. $\mu_n\Rightarrow\mu$。 2. すべての有界 Lipschitz 関数 $f$ で $\int f\,d\mu_n\to\int f\,d\mu$。 3. すべての閉集合 $F$ で $\limsup_n\mu_n(F)\le\mu(F)$。 4. すべての開集合 $G$ で $\liminf_n\mu_n(G)\ge\mu(G)$。 5. すべての $\mu$-連続集合 $A$ で $\mu_n(A)\to\mu(A)$。 **(1) ⇒ (2)** Lipschitz 関数は連続です。 **(2) ⇒ (3)** の $f_k$ を使うと、$\mathbf 1_F\le f_k$ より $\limsup_n\mu_n(F)\le\lim_n\int f_kd\mu_n=\int f_kd\mu$。$k\to\infty$ で右辺は $\mu(F)$ に収束します。 **(3) ⇔ (4)** $G=F^c$ とすると $\mu_n(G)=1-\mu_n(F)$ なので、$\liminf\mu_n(G)=1-\limsup\mu_n(F)$ です。 **(3), (4) ⇒ (5)** $A^\circ\subset A\subset\bar A$ で、$\mu(\partial A)=0$ なら $\mu(A^\circ)=\mu(A)=\mu(\bar A)$。したがって $$ \limsup_n\mu_n(A)\le\limsup_n\mu_n(\bar A)\le\mu(\bar A)=\mu(A)=\mu(A^\circ)\le\liminf_n\mu_n(A^\circ)\le\liminf_n\mu_n(A). $$ **(5) ⇒ (1)** $f\in C_b(S)$ とします。$a f+b$（$a>0$）の形に直しても主張は変わらないので、$0）を $\mathbf 1_{\{ss\})\,ds . $$ $f$ の連続性から $\overline{\{f>s\}}\subset\{f\ge s\}$、$\{f>s\}$ は開なので、$\partial\{f>s\}\subset\{f=s\}$ です。集合 $\{f=s\}$（$s\in(0,1)$）は互いに素なので、$\mu(\{f=s\})>1/m$ となる $s$ は $m$ 個未満で、$\mu(\{f=s\})>0$ となる $s$ は高々可算個です。それ以外の $s$ では $\{f>s\}$ は $\mu$-連続集合なので、(5) から $\mu_n(\{f>s\})\to\mu(\{f>s\})$。被積分関数は $1$ 以下なので、有界収束定理（優収束定理）により $\int f\,d\mu_n\to\int f\,d\mu$ です。 (3) と (4) の不等号は等号にできません。次の例がその理由です。 $S=\mathbb{R}$、$\mu_n=\delta_{1/n}$、$\mu=\delta_0$ とします。$f\in C_b$ なら $\int fd\mu_n=f(1/n)\to f(0)$ なので $\mu_n\Rightarrow\mu$。ところが開集合 $G=(0,\infty)$ では $\mu_n(G)=1$、$\mu(G)=0$ で、(4) は狭義の不等号です。閉集合 $F=(-\infty,0]$ では $\mu_n(F)=0<1=\mu(F)$。どちらの集合も境界 $\{0\}$ が $\mu$-測度 $1$ をもち、(5) の仮定を満たしません。 $(S',d')$ を距離空間、$h:S\to S'$ をボレル可測写像とし、ボレル集合 $N$ で $\mu(N)=0$ かつ $h$ が $N$ の外の各点で連続であるものがあるとする。$\mu_n\Rightarrow\mu$ ならば $\mu_n\circ h^{-1}\Rightarrow\mu\circ h^{-1}$。 の (3) を確かめます。$F'\subset S'$ を閉集合とします。$x\in\overline{h^{-1}(F')}$ で $h$ が $x$ で連続なら、$h^{-1}(F')$ の点列 $x_k\to x$ について $h(x_k)\to h(x)$、$F'$ は閉なので $h(x)\in F'$。よって $\overline{h^{-1}(F')}\subset h^{-1}(F')\cup N$ です。(3) を閉集合 $\overline{h^{-1}(F')}$ に使って $$ \limsup_n\mu_n(h^{-1}(F'))\le\limsup_n\mu_n\bigl(\overline{h^{-1}(F')}\bigr)\le\mu\bigl(\overline{h^{-1}(F')}\bigr)\le\mu(h^{-1}(F'))+\mu(N)=\mu(h^{-1}(F')). $$ ## 3. 緊密性と Prokhorov の定理 族 $\Pi\subset\mathcal{P}(S)$ が**緊密**であるとは、任意の $\varepsilon>0$ に対しコンパクト集合 $K\subset S$ で、すべての $\mu\in\Pi$ について $\mu(S\setminus K)<\varepsilon$ となるものがあることをいう。$\Pi$ の任意の列が、$\mathcal{P}(S)$ のある元に弱収束する部分列をもつとき、$\Pi$ は**相対コンパクト**であるという。 Polish 空間では、1 個の確率測度はつねに緊密です（）。有限個の族も緊密です（コンパクト集合の有限和を取る）。$\mathbb{R}^d$ では、緊密性は「$\sup_{\mu\in\Pi}\mu(\{|x|>M\})\to0$（$M\to\infty$）」と同じです。 $K$ がコンパクト距離空間ならば、$C(K)$ は一様ノルムに関して可分である。 $K$ は全有界なので（）可算稠密集合 $\{q_i\}$ をもちます（各 $1/k$ について有限個の中心を集める）。$g_i(x)=d(x,q_i)$ とし、$1,g_1,g_2,\ldots$ の有理数係数の多項式全体を $A_{\mathbb{Q}}$、実数係数の多項式全体を $A$ とします。$A$ は $1$ を含む部分環で、点を分離します（$x\ne y$ なら $d(x,q_i)）により $A$ は $C(K)$ で稠密です。$A$ の各元は、係数を有理数で近似すれば（各 $g_i$ は有界なので）$A_{\mathbb{Q}}$ の元で一様に近似できます。$A_{\mathbb{Q}}$ は可算です。 $S$ を距離空間とする。緊密な族 $\Pi\subset\mathcal{P}(S)$ は相対コンパクトである。 次の証明は三段で進みます。まず対角線論法で、各コンパクト集合 $K_m$ の上では積分が収束するような部分列を取ります。次に Riesz–Markov–角谷の表現定理で、その極限を $K_m$ 上の測度 $\nu_m$ として表します。最後に $\nu_m$ を $m$ について貼り合わせて $S$ 全体の確率測度 $\mu$ をつくり、$K_m$ の外の質量が $1/m$ 以下であることから弱収束を確かめます。なお $B\prec g$ は、ここでは $g$ が $0\le g\le1$ で $B$ 上で $1$ をとることを表す記号です（[Radon 測度と Riesz–Markov–角谷の表現定理](/mathematics/real-analysis/riesz-markov)）。 $(\mu_n)$ を $\Pi$ の列とします。緊密性から、コンパクト集合 $K_m$ をすべての $n$ で $\mu_n(S\setminus K_m)<1/m$ となるように取り、$K_m$ を $K_1\cup\cdots\cup K_m$ に取り替えて $K_1\subset K_2\subset\cdots$ とします。 **(1) 部分列の選出。** により各 $C(K_m)$ の可算稠密集合 $\{f_{m,i}\}_i$ があります。数列 $\bigl(\int_{K_m}f_{m,i}\,d\mu_n\bigr)_n$ は $\|f_{m,i}\|$ で有界なので、可算個の添字 $(m,i)$ について対角線論法を使い、部分列 $(n_j)$ ですべての $(m,i)$ について収束するものを取れます。任意の $f\in C(K_m)$ と $\varepsilon>0$ について $\|f-f_{m,i}\|<\varepsilon$ となる $i$ を取れば、$\bigl|\int_{K_m}(f-f_{m,i})\,d\mu_n\bigr|\le\varepsilon$ なので $\bigl(\int_{K_m}f\,d\mu_{n_j}\bigr)_j$ は Cauchy 列で、極限 $$ \Lambda_m(f)=\lim_{j\to\infty}\int_{K_m}f\,d\mu_{n_j}\qquad(f\in C(K_m)) $$ が存在します。$\Lambda_m$ は $C(K_m)$ 上の正の線形汎関数です。 **(2) 各 $K_m$ 上の極限測度。** Riesz–Markov–角谷の表現定理（）により、$K_m$ 上の有限ボレル測度 $\nu_m$ で $\Lambda_m(f)=\int f\,d\nu_m$ となるものがあります。$\nu_m(K_m)=\Lambda_m(1)=\lim_j\mu_{n_j}(K_m)\in[1-1/m,1]$ です。 ボレル集合 $B\subset K_m$ について $\nu_m(B)\le\nu_{m+1}(B)$ を示します。まず $B$ がコンパクトのとき、$g\in C(K_{m+1})$ が $B\prec g$ を満たせば、制限 $g|_{K_m}$ も $B\prec g|_{K_m}$ を満たし、$g\ge0$ から $$ \nu_m(B)\le\Lambda_m(g|_{K_m})=\lim_j\int_{K_m}g\,d\mu_{n_j}\le\lim_j\int_{K_{m+1}}g\,d\mu_{n_j}=\Lambda_{m+1}(g) $$ （最初の不等号は の 2）。$g$ について下限を取ると $\nu_m(B)\le\nu_{m+1}(B)$ です。一般のボレル集合 $B$ では、$K_m$ はコンパクト距離空間なので Polish で、 (2) から $\nu_m(B)=\sup\{\nu_m(C)\mid C\subset B\text{ コンパクト}\}\le\nu_{m+1}(B)$ です。 **(3) 極限測度の構成。** ボレル集合 $B\subset S$ について $\nu_m(B\cap K_m)\le\nu_{m+1}(B\cap K_m)\le\nu_{m+1}(B\cap K_{m+1})$ なので、極限 $\mu(B)=\lim_m\nu_m(B\cap K_m)$ が存在します。互いに素な $B_i$ について $\nu_m\bigl(\bigsqcup_iB_i\cap K_m\bigr)=\sum_i\nu_m(B_i\cap K_m)$ で、各項が $m$ について非減少なので、単調収束定理（数え上げ測度に関する ）により極限と和が交換でき、$\mu$ は測度です。$\mu(S)=\lim_m\nu_m(K_m)=1$ です。 **(4) 弱収束。** $\tilde\nu_m(B)=\nu_m(B\cap K_m)$ とおくと、$\tilde\nu_m\le\mu$（集合ごと）なので $\mu-\tilde\nu_m$ は全質量 $1-\nu_m(K_m)\le1/m$ の測度です。$f\in C_b(S)$ について $$ \Bigl|\int_Sf\,d\mu_{n_j}-\int_Sf\,d\mu\Bigr|\le\Bigl|\int_{S\setminus K_m}f\,d\mu_{n_j}\Bigr|+\Bigl|\int_{K_m}f\,d\mu_{n_j}-\int f\,d\tilde\nu_m\Bigr|+\Bigl|\int f\,d(\mu-\tilde\nu_m)\Bigr| . $$ 第 1 項と第 3 項は $\|f\|/m$ 以下、第 2 項は (1)(2) により $j\to\infty$ で $0$ に収束します。よって $\limsup_j|\int fd\mu_{n_j}-\int fd\mu|\le2\|f\|/m$ で、$m$ は任意なので $\mu_{n_j}\Rightarrow\mu$ です。 $S$ を Polish 空間とする。相対コンパクトな族 $\Pi\subset\mathcal{P}(S)$ は緊密である。 $\{q_i\}$ を可算稠密集合とし、$G_k^\delta=\bigcup_{i\le k}B(q_i,\delta)$ とおきます。 **主張：** 任意の $\varepsilon,\delta>0$ に対し $k$ があって、すべての $\mu\in\Pi$ で $\mu(G_k^\delta)>1-\varepsilon$。 そうでないとすると、各 $k$ について $\mu_k(G_k^\delta)\le1-\varepsilon$ となる $\mu_k\in\Pi$ があります。相対コンパクト性から部分列 $\mu_{k_j}\Rightarrow\mu\in\mathcal{P}(S)$ が取れます。$G^\delta_m$ は開集合で、$k_j\ge m$ なら $G^\delta_m\subset G^\delta_{k_j}$ なので、 の (4) から $$ \mu(G_m^\delta)\le\liminf_j\mu_{k_j}(G_m^\delta)\le\liminf_j\mu_{k_j}(G_{k_j}^\delta)\le1-\varepsilon . $$ $G_m^\delta\uparrow S$（稠密性）なので $\mu(S)\le1-\varepsilon$ となり矛盾です。 主張を $\delta=1/m$、$\varepsilon2^{-m}$ に使って $k_m$ を取り、$K=\bigcap_m\overline{G^{1/m}_{k_m}}$ とします。 の証明と同じく、$K$ は完備かつ全有界な閉集合なのでコンパクトで、すべての $\mu\in\Pi$ で $\mu(S\setminus K)\le\sum_m\varepsilon2^{-m}=\varepsilon$ です。 $\mathbb{R}^d$ 上の確率測度の列 $(\mu_n)$ が $\lim_{M\to\infty}\sup_n\mu_n(\{|x|>M\})=0$ を満たすならば、弱収束する部分列をもつ。 閉球 $\{|x|\le M\}$ はコンパクトなので、仮定は緊密性です。 を使います。 $d=1$ では を分布関数で直接示しました。緊密性を仮定しないと、極限は確率測度とは限りませんが、全質量 $1$ 以下の測度として残ります。 $\mathbb{R}^d$ 上の確率測度の任意の列 $(\mu_n)$ に対し、部分列 $(\mu_{n_j})$ と、$\mu(\mathbb{R}^d)\le1$ を満たすボレル測度 $\mu$ で、すべての $f\in C_0(\mathbb{R}^d)$（無限遠で $0$ に近づく連続関数）について $\int f\,d\mu_{n_j}\to\int f\,d\mu$ となるものがある。 $\phi(x)=x/(1+|x|)$ は $\mathbb{R}^d$ から開単位球 $U=\{|y|<1\}$ への同相写像です（逆写像は $y\mapsto y/(1-|y|)$）。閉球 $\bar U$ はコンパクトなので、$\bar U$ 上の確率測度の族は自明に緊密で、 により $\mu_n\circ\phi^{-1}$ の部分列が $\bar U$ 上の確率測度 $\nu$ に弱収束します。$\mu(A)=\nu(\phi(A))$ と定めると、$\mu$ は全質量 $\nu(U)\le1$ の測度です。$f\in C_0(\mathbb{R}^d)$ に対し、$g=f\circ\phi^{-1}$ を $U$ 上で、$g=0$ を $\partial U$ 上で定めると、$|y|\to1$ は $|\phi^{-1}(y)|\to\infty$ と同値なので $g\in C(\bar U)$。よって $\int fd\mu_{n_j}=\int gd(\mu_{n_j}\circ\phi^{-1})\to\int gd\nu=\int_Ugd\nu=\int fd\mu$。 $\mu_n=\delta_n$ なら極限は $\mu=0$ で、質量はすべて「無限遠の点」に逃げています。緊密性は、この逃げが起こらないための条件です。 関数空間では、コンパクト集合の形が Arzelà–Ascoli の定理で分かるので、緊密性を「出発点の有界性」と「振動の小ささ」に分解できます。$x\in C([0,1])$ の**連続度**を $w(x,\delta)=\sup\{|x(s)-x(t)|:s,t\in[0,1],\ |s-t|\le\delta\}$ とします。道の連続性から上限は有理数の $s,t$ に制限してよく、$C([0,1])$ 値確率変数 $X$ について $w(X,\delta)$ は確率変数です。 $X_n$ を $C([0,1])$（一様ノルム）に値をとる確率変数の列とし、次を仮定する。 1. $\lim_{M\to\infty}\sup_nP(|X_n(0)|>M)=0$。 2. 任意の $\varepsilon>0$ について $\lim_{\delta\downarrow0}\sup_nP\bigl(w(X_n,\delta)>\varepsilon\bigr)=0$。 このとき $X_n$ の分布の族は緊密である。 $\eta>0$ を固定し、1 から $\sup_nP(|X_n(0)|>M)<\eta/2$ となる $M$ を、2 から各 $k$ について $\sup_nP(w(X_n,\delta_k)>1/k)<\eta2^{-k-1}$ となる $\delta_k>0$ を取ります。 $$ K=\bigl\{x\in C([0,1])\ \big|\ |x(0)|\le M,\ w(x,\delta_k)\le1/k\ (k=1,2,\ldots)\bigr\} $$ とすると、$P(X_n\notin K)<\eta/2+\sum_k\eta2^{-k-1}=\eta$ です。$|w(x,\delta)-w(y,\delta)|\le2\|x-y\|$ なので $K$ は閉集合です。$K$ は定義から同程度連続で、$[0,t]$ を幅 $\delta_1$ 以下の $\lceil1/\delta_1\rceil$ 個の区間に分ければ $|x(t)|\le M+\lceil1/\delta_1\rceil$ なので一様有界です。Arzelà–Ascoli の定理（）から $K$ は相対コンパクトで、閉集合なのでコンパクトです。 条件 2 は、 の仮定が $n$ について一様に（同じ $\alpha,\beta,C$ で）成り立てば満たされます。同定理の証明の Hölder 定数 $K_\gamma$ の分布が $n$ によらない評価をもつからです。ランダムウォークを拡大縮小した折れ線が Brown 運動に分布収束するという Donsker の不変原理は、この緊密性と有限次元分布の収束（中心極限定理）を組み合わせて証明されます（Billingsley の第 2 章）。 $S$ が可分なら、弱収束は距離で表せます。$A^\varepsilon=\{x\mid\operatorname{dist}(x,A)<\varepsilon\}$ として $$ \pi(\mu,\nu)=\inf\{\varepsilon>0\mid\mu(A)\le\nu(A^\varepsilon)+\varepsilon\ \text{（すべてのボレル集合 }A\text{）}\} $$ と定めると（Lévy–Prokhorov 距離）、$\mu_n\Rightarrow\mu\iff\pi(\mu_n,\mu)\to0$ が成り立ち、$S$ が Polish なら $(\mathcal{P}(S),\pi)$ も Polish です（Billingsley の第 1 章 §6。この記事では証明しません）。この言葉では、 と は「$\mathcal{P}(S)$ の部分集合の閉包がコンパクトであることと、緊密であることは同値」と読めます。この記事の議論はすべて列で行い、距離づけを使いません。 ## 4. Skorokhod の表現定理 弱収束は分布だけの性質なので、$X_n$ と $X$ が別々の確率空間にあってもかまいません。逆に、分布だけを保って確率変数を一つの空間に並べ直し、各点収束させられるというのが次の定理です。$S=\mathbb{R}$ なら考え方は単純です。 $\mathbb{R}$ 上の確率測度 $\nu$ の分布関数を $F$ とし、$\omega\in(0,1)$ に対し $F^{-1}(\omega)=\inf\{x\mid F(x)\ge\omega\}$（分位点関数）とします。$F$ の右連続性から $F^{-1}(\omega)\le x\iff\omega\le F(x)$ なので、$(0,1)$ 上の一様分布の下で $P(F^{-1}(\omega)\le x)=F(x)$、つまり $F^{-1}$ の分布は $\nu$ です。$\mu_n\Rightarrow\mu$ なら分布関数は $F$ の連続点で収束し（）、そこから $F$ の平坦部分に対応する高々可算個の $\omega$ を除いて $F_n^{-1}(\omega)\to F^{-1}(\omega)$ が導かれます。一つの $\omega$ を「同じ分位点」として共有させることで、別々の分布が一つの空間で結び付きます。
ω 1 X(ω) X_n(ω)
一般の Polish 空間には分布関数がないので、空間を小さな $\mu$-連続集合に分割し、$[0,1)$ の区間をその測度に比例して割り当てます。 $S$ を可分距離空間、$\mu\in\mathcal{P}(S)$、$\delta>0$ とする。$S$ の互いに素なボレル集合の可算族 $\{D_j\}_{j\in\mathbb{N}}$（空集合を含んでよい）で、$\bigcup_jD_j=S$、各 $D_j$ の直径が $\delta$ 未満、かつ各 $D_j$ が $\mu$-連続集合であるものがある。 $\{q_j\}$ を可算稠密集合とします。$q$ を固定すると、球面 $\{x\mid d(x,q)=r\}$（$r>0$）は互いに素なので、$\mu$-測度が正の $r$ は高々可算個です（ の証明の (5) ⇒ (1) と同じ議論）。そこで各 $j$ について $r_j\in(\delta/4,\delta/2)$ を、球面 $\{d(x,q_j)=r_j\}$ の測度が $0$ となるように選び、$B_j=B(q_j,r_j)$ とします。稠密性から $\bigcup_jB_j=S$ です。$D_j=B_j\setminus\bigcup_{i $S$ を Polish 空間、$\mu_n,\mu\in\mathcal{P}(S)$、$\mu_n\Rightarrow\mu$ とする。確率空間 $([0,1),\mathcal{B},\lambda)$（$\lambda$ はルベーグ測度）上の $S$ 値確率変数 $X_n$、$X$ で、$X_n$ の分布が $\mu_n$、$X$ の分布が $\mu$ であり、ほとんどすべての $\omega$ で $X_n(\omega)\to X(\omega)$ となるものが存在する。 この証明の考え方は分位点の例と同じです。$[0,1)$ を $\mu$ の測度に比例した長さの区間に分け、各区間をさらに細かく分けることを繰り返します。$\mu_n$ にも同じ手順で区間を割り当てると、$\mu_n\Rightarrow\mu$ により区間の端点が $\mu$ のものに近づくので、ほとんどすべての $\omega$ について、各段階 $k$ で $n$ が十分大きければ $X_n(\omega)$ と $X(\omega)$ は同じ細胞に入り、近づきます。記号は多いですが、語 $a$ は細胞 $A_a$ を指し、$I_a$ はその細胞に割り当てた $[0,1)$ の区間である、と読めば追えます。 **(1) 入れ子の分割。** 各 $k\ge1$ について、 で直径 $2^{-k}$ 未満の $\mu$-連続集合による分割 $\{D^k_j\}_j$ を取ります。長さ $k$ の語 $a=(a_1,\ldots,a_k)\in\mathbb{N}^k$ に対し、**細胞** $A_a=D^1_{a_1}\cap\cdots\cap D^k_{a_k}$ を定めます（$k=0$ では $A_\varnothing=S$）。長さ $k$ の細胞は $S$ を分割し、$A_a$ は子 $A_{(a,j)}$（$j\in\mathbb{N}$）に分割され、直径は $2^{-k}$ 未満で、有限個の $\mu$-連続集合の共通部分なので $\mu$-連続集合です。空でない細胞から点 $x_a\in A_a$ を一つずつ選びます。 **(2) 区間の割り当て。** $\nu\in\{\mu,\mu_1,\mu_2,\ldots\}$ に対し、区間 $I^\nu_a=[l^\nu_a,\,l^\nu_a+\nu(A_a))$ を $l^\nu_\varnothing=0$、$l^\nu_{(a,j)}=l^\nu_a+\sum_{i の (5) により、すべての語 $a$ で $l^{\mu_n}_a\to l^\mu_a$、$\mu_n(A_a)\to\mu(A_a)$ です。 **(3) 確率変数の定義。** $\omega\in[0,1)$ と $k$ に対し、$\omega\in I^\nu_a$ となる長さ $k$ の語 $a=a^\nu_k(\omega)$ がただ一つあり、$a^\nu_{k+1}(\omega)$ は $a^\nu_k(\omega)$ の延長です。区間の長さが正なので $\nu(A_a)>0$、特に $A_a\ne\emptyset$ です。$Y^\nu_k(\omega)=x_{a^\nu_k(\omega)}$ とおくと、$k により $Y^\nu$ の分布は $\nu$ です。$X_n=Y^{\mu_n}$、$X=Y^\mu$ とおきます。 **(5) 収束。** すべての語 $a$ にわたる端点 $l^\mu_a$ の集合は可算なので、それを除いた $\Omega'$ は $\lambda(\Omega')=1$ です。$\omega\in\Omega'$ と $k$ を固定し、$a=a^\mu_k(\omega)$ とすると $l^\mu_a<\omega Skorokhod の表現を使うと、分布収束についての多くの主張が、概収束と優収束定理の言葉で一行になります（、）。 ## 5. Lévy の連続性定理（多次元） $\mu_n,\mu\in\mathcal{P}(S)$ とする。$(\mu_n)$ の任意の部分列が、$\mu$ に弱収束するさらなる部分列をもつならば、$\mu_n\Rightarrow\mu$。 $f\in C_b(S)$ を固定すると、実数列 $a_n=\int fd\mu_n$ の任意の部分列が $a=\int fd\mu$ に収束する部分列をもちます。$a_n\not\to a$ なら $|a_{n_j}-a|\ge\eta>0$ となる部分列があり、その部分列のどの部分列も $a$ に収束しないので矛盾です。 $\mu_n$ を $\mathbb{R}^d$ 上の確率測度、$\varphi_n$ をその特性関数とする。すべての $t\in\mathbb{R}^d$ で $\varphi_n(t)\to\psi(t)$ となり、$\psi$ が $t=0$ で連続ならば、$\psi$ はある確率測度 $\mu$ の特性関数で、$\mu_n\Rightarrow\mu$ である。 **緊密性。** $X_n\sim\mu_n$ とし、成分 $X_n^{(j)}=\langle e_j,X_n\rangle$ を考えます。その特性関数は $s\mapsto\varphi_n(se_j)$ で、$\psi(se_j)$ に各点収束し、極限は $s=0$ で連続です。$\eta>0$ に対し $\delta>0$ を $|s|\le\delta$ で $|1-\psi(se_j)|<\eta$（すべての $j$）となるように取ります。 と優収束定理（$|1-\varphi_n|\le2$）から $$ \limsup_nP\bigl(|X_n^{(j)}|\ge2/\delta\bigr)\le\lim_n\frac1\delta\int_{-\delta}^\delta\bigl(1-\varphi_n(se_j)\bigr)ds=\frac1\delta\int_{-\delta}^\delta\bigl(1-\psi(se_j)\bigr)ds\le2\eta . $$ $|x|\ge2\sqrt d/\delta$ ならある成分で $|x^{(j)}|\ge2/\delta$ なので、十分大きい $n$ で $\mu_n(\{|x|\ge2\sqrt d/\delta\})\le3d\eta$。有限個の残りの $n$ は個別に緊密なので、$(\mu_n)$ は緊密です。 **極限の同定。** により、任意の部分列はさらに弱収束する部分列 $\mu_{n_j}\Rightarrow\nu$ をもちます。$x\mapsto\cos\langle t,x\rangle$、$\sin\langle t,x\rangle$ は有界連続なので $\varphi_\nu(t)=\lim_j\varphi_{n_j}(t)=\psi(t)$。特に $\psi$ は特性関数で、一意性定理（）から $\nu$ は部分列によらない一つの測度 $\mu$ です。 により $\mu_n\Rightarrow\mu$ です。 [大数の法則と中心極限定理](/mathematics/probability/limit-theorems) で主張だけを使った は、この定理の $d=1$ の場合です。$\psi$ の原点での連続性を外すと、$N(0,n)$ の特性関数 $e^{-nt^2/2}$ が $\mathbf 1_{\{t=0\}}$ に収束する例のように、緊密性が壊れます。 ## 6. 応用：Krylov–Bogoliubov の定理 $S$ を Polish 空間、$P(x,dy)$ を $S$ 上の確率核（各点 $x$ から次の点の分布 $P(x,\cdot)$ を決める規則で、マルコフ連鎖の遷移を表すもの）とします。有界可測関数 $f$ に対し $Pf(x)=\int f(y)P(x,dy)$、確率測度 $\nu$ に対し $\nu P(A)=\int\nu(dx)P(x,A)$ と書くと、$\int f\,d(\nu P)=\int Pf\,d\nu$ です（指示関数では定義そのもの、単関数では線形性、有界可測関数では一様近似で従う）。$\mu P=\mu$ を満たす $\mu$ を**不変測度**といいます。$P$ が $C_b(S)$ を $C_b(S)$ に写すとき、$P$ は **Feller 性**をもつといいます。 $P$ を Feller 性をもつ確率核とする。ある $x\in S$ について、Cesàro 平均 $$ \bar\mu_n=\frac1n\sum_{k=0}^{n-1}\delta_xP^k $$ の族 $\{\bar\mu_n\}_{n\ge1}$ が緊密ならば、$P$ は不変確率測度をもつ。 により部分列 $\bar\mu_{n_j}\Rightarrow\mu\in\mathcal{P}(S)$ があります。$f\in C_b(S)$ とすると Feller 性から $Pf\in C_b(S)$ なので $$ \int f\,d(\mu P)=\int Pf\,d\mu=\lim_j\int Pf\,d\bar\mu_{n_j}=\lim_j\frac1{n_j}\sum_{k=0}^{n_j-1}\int f\,d(\delta_xP^{k+1}) . $$ 右辺の和は $\int f\,d\bar\mu_{n_j}$ と比べて、$k=0$ の項 $f(x)/n_j$ が抜け、$k=n_j$ の項 $\int fd(\delta_xP^{n_j})/n_j$ が加わっただけなので、差は $2\|f\|/n_j\to0$ です。よって $\int f\,d(\mu P)=\lim_j\int f\,d\bar\mu_{n_j}=\int f\,d\mu$。 により $\mu P=\mu$ です。 Feller 性は、極限操作 $\int Pf\,d\bar\mu_{n_j}\to\int Pf\,d\mu$ に使いました。$Pf$ が連続でないと、この一歩が弱収束から出ません。 $|a|<1$ とし、$P(x,\cdot)=N(ax,1)$ とします。$\xi\sim N(0,1)$ として $Pf(x)=E f(ax+\xi)$ は、$f\in C_b$ なら優収束定理により連続なので、$P$ は Feller です。$\delta_0P^k=N\bigl(0,\sum_{iM\})\le M^{-2}/(1-a^2)$ で、族は緊密です。 から不変測度が存在し、実際 $N(0,\sigma^2)$ は $a^2\sigma^2+1=\sigma^2$、すなわち $\sigma^2=1/(1-a^2)$ のとき不変です。一方 $\mathbb{Z}$ 上の単純ランダムウォークでは $\bar\mu_n$ が広がって緊密でなく、不変確率測度は存在しません（不変性は $\mu(\{x\})=\frac12\mu(\{x-1\})+\frac12\mu(\{x+1\})$、つまり $x\mapsto\mu(\{x\})$ の 2 階差分が $0$ であることなので、$\mu(\{x\})$ は $x$ の 1 次関数です。非負で総和が有限な 1 次関数は $0$ しかなく、総和が $1$ になり得ません）。 連続時間の Markov 半群 $(P_t)$ では、$\frac1T\int_0^T\delta_xP_t\,dt$ について同じ議論が成り立ちます。Feller 半群については [Feller 過程と Feynman–Kac](/mathematics/probability/markov-processes-feller) で扱います。 ## 7. 演習 $\mathbb{R}^d$ 値確率変数の列 $X_n$ がある $p>0$ について $\sup_nE|X_n|^p<\infty$ を満たせば、分布の族は緊密であることを示せ。 Markov の不等式（）を $|X_n|^p$ に使うと $P(|X_n|>M)\le M^{-p}\sup_kE|X_k|^p$ で、右辺は $n$ によらず $M\to\infty$ で $0$ に収束します。閉球 $\{|x|\le M\}$ はコンパクトです。 $S,S'$ を Polish 空間、$h:S\to S'$ を連続写像とする。$\mu_n\Rightarrow\mu$ ならば $\mu_n\circ h^{-1}\Rightarrow\mu\circ h^{-1}$ であることを、 を使って示せ（ の別証明）。 Skorokhod の表現で $X_n\to X$（a.s.）、$X_n\sim\mu_n$、$X\sim\mu$ とします。$g\in C_b(S')$ について $g\circ h$ は有界連続なので $g(h(X_n))\to g(h(X))$（a.s.）。優収束定理から $\int g\,d(\mu_n\circ h^{-1})=E g(h(X_n))\to Eg(h(X))=\int g\,d(\mu\circ h^{-1})$。 実確率変数 $X_n$ が $X$ に分布収束し、$\sup_nE[X_n^2]<\infty$ ならば $E[X_n]\to E[X]$ であることを示せ。仮定を $\sup_nE|X_n|<\infty$ に弱めると成り立たない例を挙げよ。 により、$Y_n\to Y$（a.s.）、$Y_n\overset{d}{=}X_n$、$Y\overset{d}{=}X$ としてよく、$C=\sup_nE[Y_n^2]$ です。Fatou の補題（）から $E[Y^2]\le C$。$M>0$ について $|Y_n|>M$ の上では $|Y_n|\le Y_n^2/M$ なので $E[|Y_n|;|Y_n|>M]\le C/M$。$\phi_M(y)=\max(-M,\min(y,M))$ は有界連続なので $E\phi_M(Y_n)\to E\phi_M(Y)$、また $|E Y_n-E\phi_M(Y_n)|\le E[|Y_n|;|Y_n|>M]\le C/M$、$Y$ についても同様です。よって $\limsup|EY_n-EY|\le2C/M$ で、$M\to\infty$ とすれば主張が出ます。反例：$X_n$ が確率 $1-1/n$ で $0$、確率 $1/n$ で $n$ をとるとすると、$X_n\Rightarrow\delta_0$、$E|X_n|=1$ ですが $E X_n=1\not\to0$。 $\mathbb{R}^d$ 上の確率測度の族 $\Pi$ について、$\Pi$ が相対コンパクトであることと緊密であることが同値であることを、 と を使わずに、 から直接示せ。 緊密 ⇒ 相対コンパクト：列 $(\mu_n)$ に を使い、$\mu_{n_j}$ が $C_0$ 上で $\mu$ に収束するとします。$\varepsilon>0$ に対し $\sup_n\mu_n(\{|x|>M\})<\varepsilon$ となる $M$ を取り、$\chi\in C_c$、$0\le\chi\le1$、$|x|\le M$ で $\chi=1$ とすると $\mu(\mathbb{R}^d)\ge\int\chi d\mu=\lim\int\chi d\mu_{n_j}\ge1-\varepsilon$。よって $\mu$ は確率測度です。$f\in C_b$ なら $f\chi\in C_c$ で、$|\int f(1-\chi)d\mu_{n_j}|\le\|f\|\varepsilon$、$|\int f(1-\chi)d\mu|\le\|f\|\varepsilon$ なので $\limsup|\int fd\mu_{n_j}-\int fd\mu|\le2\|f\|\varepsilon$。 相対コンパクト ⇒ 緊密：緊密でなければ、ある $\varepsilon$ と各 $k$ について $\mu_k(\{|x|>k\})\ge\varepsilon$ となる $\mu_k\in\Pi$ があります。部分列 $\mu_{k_j}\Rightarrow\mu$ とし、$\chi$ を上と同様に $M$ について取れば、$k_j\ge M+1$ で $\int\chi d\mu_{k_j}\le1-\varepsilon$、したがって $\mu(\{|x|\le M\})\le\int\chi d\mu\le1-\varepsilon$。$M\to\infty$ として $\mu(\mathbb{R}^d)\le1-\varepsilon$ となり矛盾です。 ## 参考文献 - Patrick Billingsley『Convergence of Probability Measures』（第 2 版）Wiley、1999 — 第 1 章（Portmanteau の定理、Prokhorov の定理、Skorokhod の表現定理）。 - Yu. V. Prokhorov, "Convergence of random processes and limit theorems in probability theory", *Theory of Probability and Its Applications* 1 (1956), 157–214. - A. V. Skorokhod, "Limit theorems for stochastic processes", *Theory of Probability and Its Applications* 1 (1956), 261–290. - Rick Durrett『Probability: Theory and Examples』（第 5 版）Cambridge University Press、2019 — 第 3 章（弱収束、Helly の選出定理、連続性定理）。 - Giuseppe Da Prato, Jerzy Zabczyk『Ergodicity for Infinite Dimensional Systems』Cambridge University Press、1996 — Krylov–Bogoliubov の定理と不変測度の存在。