確率測度の弱収束：Portmanteau・Prokhorov・Skorokhod の表現定理

0. この記事の要点

サイコロを何回も振った合計を標準化したものの分布が正規分布に近づく、というように、「確率の分布が別の分布に近づく」とはどういうことかを、数直線に限らない広い空間で正確に言い表すのがこの記事の主題です。あわせて、分布の列からうまく近づく部分列を取り出せる条件と、分布の収束を確率変数の各点収束に置き換える技法を扱います。読み終えると、これらの道具を使って分布の収束を示す議論が追えるようになります。

• 距離空間 $S$ 上の確率測度 $\mu_n$ が $\mu$ に弱収束するとは、すべての有界連続関数 $f$ で $\int f\,d\mu_n\to\int f\,d\mu$ となることです。Portmanteau の定理（定理 2.3）は、これを閉集合・開集合・境界の測度が $0$ の集合の言葉に言い換えます。
• 確率測度の列が弱収束する部分列をもつための条件が緊密性（質量が無限遠へ逃げない）です。Prokhorov の定理は、緊密ならば部分列が弱収束すること（定理 3.3）、Polish 空間（完備で可算個の点で稠密になる距離空間）では逆も成り立つこと（定理 3.4）を主張します。$\mathbb{R}^d$ では Helly の選出定理になります（系 3.5、定理 3.6）。
• Skorokhod の表現定理（定理 4.3）：Polish 空間で $\mu_n\Rightarrow\mu$ ならば、一つの確率空間の上に分布 $\mu_n$、$\mu$ をもつ確率変数 $X_n$、$X$ を作って $X_n\to X$ を各点で（ほとんど確実に）成り立たせられます。分布の収束の議論を、確率変数の概収束の議論に置き換える道具です。
• 応用として、特性関数と Gauss ベクトル で 1 次元だけ示した Lévy の連続性定理を $\mathbb{R}^d$ で証明し（定理 5.2）、Markov 核の不変測度の存在を保証する Krylov–Bogoliubov の定理（定理 6.1）を示します。

この記事で使う事前知識

• 距離空間: 2 点の間の距離が決まっていて、距離の性質（三角不等式など）を満たす集合。→ 距離空間
• コンパクト: どんな開被覆からも有限個を選んで覆える、という性質。距離空間では点列が収束する部分列をもつことと同じです。→ コンパクト
• Polish 空間: 完備で、可算個の点で稠密になる距離空間。→ Polish 空間
• 特性関数: 確率変数 $X$ に対する $E[e^{i\langle t,X\rangle}]$ という関数で、分布を決めるもの。→ 特性関数
• 正の線形汎関数: 連続関数に実数を対応させる線形な規則で、非負の関数には非負の値を返すもの。Riesz–Markov–角谷の定理で測度による積分として表されます。→ 正の線形汎関数

1. 動機

中心極限定理は「$S_n/\sqrt n$ の分布が $N(0,1)$ に近づく」という主張でした。確率変数そのものは収束しないので、収束しているのは分布、すなわち確率測度の列です。実数直線上では分布関数の収束で定式化できましたが（大数の法則と中心極限定理）、Brown 運動の道の分布（Wiener 測度）のように、関数空間上の確率測度の収束を扱うには分布関数が使えません。有界連続関数の積分による定義は、どの距離空間でも意味をもちます。

確率測度の列が収束しない典型は二つあります。一つは $\delta_n$（点 $n$ の単位質量）のように質量が無限遠に逃げる場合、もう一つは $N(0,n)$ のように質量が薄く広がって消える場合です。どちらも「大部分の質量が一つのコンパクト集合に収まる」という条件（緊密性）が破れています。Prokhorov の定理は、この条件が欠けていなければ必ず収束部分列があることを保証します。これは確率測度の空間でのコンパクト性の定理で、連続関数の空間での Arzelà–Ascoli の定理（定理 3.3［Arzelà–Ascoli と Stone–Weierstrass］）と同じ役割を果たします。統計力学の無限体積極限や、確率偏微分方程式の不変測度の構成では、「緊密性を示す → 部分列の極限を取る → 極限が望みの性質をもつことを確かめる」という三段の議論が繰り返し使われます。定理 6.1 はその最も簡単な例です。

2. 弱収束と Portmanteau の定理

以下 $(S,d)$ は距離空間、$\mathcal{P}(S)$ は $S$ のボレル集合族上の確率測度の全体、$C_b(S)$ は有界連続関数 $f:S\to\mathbb{R}$ の全体で、$\|f\|=\sup|f|$ とします。集合 $A$ の閉包を $\bar A$、内部を $A^\circ$、境界を $\partial A=\bar A\setminus A^\circ$ と書きます。

定義 2.1（弱収束）↗

$\mu_n,\mu\in\mathcal{P}(S)$ について、すべての $f\in C_b(S)$ で $\int f\,d\mu_n\to\int f\,d\mu$ となるとき、$\mu_n$ は $\mu$ に弱収束するといい、$\mu_n\Rightarrow\mu$ と書く。$S$ 値確率変数 $X_n$ の分布が $\mu$ に弱収束するとき、$X_n$ は $\mu$ に分布収束するという。

$S=\mathbb{R}^d$ のときは 定義 4.1［特性関数と Gauss ベクトル］ と同じ定義です。弱収束の極限は一意です。それは次の補題から従います。

補題 2.2（有界 Lipschitz 関数は測度を決める）✓

$\mu,\nu\in\mathcal{P}(S)$ が、すべての有界 Lipschitz 関数 $f$ について $\int f\,d\mu=\int f\,d\nu$ を満たすならば $\mu=\nu$。

証明（補題 2.2）

閉集合 $F$ に対し $f_k(x)=\max\bigl(0,1-k\operatorname{dist}(x,F)\bigr)$ は値が $[0,1]$ の $k$-Lipschitz 関数で、$F$ が閉なので $f_k\downarrow\mathbf 1_F$（各点）です。優収束定理（定理 7.3［ルベーグ積分の定義と収束定理］）から $\mu(F)=\lim\int f_kd\mu=\lim\int f_kd\nu=\nu(F)$。閉集合の全体は交叉で閉じ、$S$ を含み、ボレル集合族を生成するので、定理 4.5［測度空間と Carathéodory の拡張定理］ により $\mu=\nu$ です。

∎

$\mu(\partial A)=0$ を満たすボレル集合 $A$ を $\mu$-連続集合と呼びます。

定理 2.3（Portmanteau の定理）✓

$\mu_n,\mu\in\mathcal{P}(S)$ について次は同値である。

1. $\mu_n\Rightarrow\mu$。
2. すべての有界 Lipschitz 関数 $f$ で $\int f\,d\mu_n\to\int f\,d\mu$。
3. すべての閉集合 $F$ で $\limsup_n\mu_n(F)\le\mu(F)$。
4. すべての開集合 $G$ で $\liminf_n\mu_n(G)\ge\mu(G)$。
5. すべての $\mu$-連続集合 $A$ で $\mu_n(A)\to\mu(A)$。

証明（定理 2.3）

(1) ⇒ (2) Lipschitz 関数は連続です。

(2) ⇒ (3) 補題 2.2 の $f_k$ を使うと、$\mathbf 1_F\le f_k$ より $\limsup_n\mu_n(F)\le\lim_n\int f_kd\mu_n=\int f_kd\mu$。$k\to\infty$ で右辺は $\mu(F)$ に収束します。

(3) ⇔ (4) $G=F^c$ とすると $\mu_n(G)=1-\mu_n(F)$ なので、$\liminf\mu_n(G)=1-\limsup\mu_n(F)$ です。

(3), (4) ⇒ (5) $A^\circ\subset A\subset\bar A$ で、$\mu(\partial A)=0$ なら $\mu(A^\circ)=\mu(A)=\mu(\bar A)$。したがって

$$\limsup_n\mu_n(A)\le\limsup_n\mu_n(\bar A)\le\mu(\bar A)=\mu(A)=\mu(A^\circ)\le\liminf_n\mu_n(A^\circ)\le\liminf_n\mu_n(A).$$

(5) ⇒ (1) $f\in C_b(S)$ とします。$a f+b$（$a>0$）の形に直しても主張は変わらないので、$0<f<1$ と仮定します。Tonelli の定理（定理 3.3［直積測度と Fubini–Tonelli の定理］）を $\mathbf 1_{\{s<f(x)\}}$ に使うと、任意の $\nu\in\mathcal{P}(S)$ で

$$\int f\,d\nu=\int\!\!\int_0^1\mathbf 1_{\{s<f(x)\}}\,ds\,\nu(dx)=\int_0^1\nu(\{f>s\})\,ds .$$

$f$ の連続性から $\overline{\{f>s\}}\subset\{f\ge s\}$、$\{f>s\}$ は開なので、$\partial\{f>s\}\subset\{f=s\}$ です。集合 $\{f=s\}$（$s\in(0,1)$）は互いに素なので、$\mu(\{f=s\})>1/m$ となる $s$ は $m$ 個未満で、$\mu(\{f=s\})>0$ となる $s$ は高々可算個です。それ以外の $s$ では $\{f>s\}$ は $\mu$-連続集合なので、(5) から $\mu_n(\{f>s\})\to\mu(\{f>s\})$。被積分関数は $1$ 以下なので、有界収束定理（優収束定理）により $\int f\,d\mu_n\to\int f\,d\mu$ です。

∎

(3) と (4) の不等号は等号にできません。次の例がその理由です。

例 2.4（境界に質量が乗る）

$S=\mathbb{R}$、$\mu_n=\delta_{1/n}$、$\mu=\delta_0$ とします。$f\in C_b$ なら $\int fd\mu_n=f(1/n)\to f(0)$ なので $\mu_n\Rightarrow\mu$。ところが開集合 $G=(0,\infty)$ では $\mu_n(G)=1$、$\mu(G)=0$ で、(4) は狭義の不等号です。閉集合 $F=(-\infty,0]$ では $\mu_n(F)=0<1=\mu(F)$。どちらの集合も境界 $\{0\}$ が $\mu$-測度 $1$ をもち、(5) の仮定を満たしません。

系 2.5（連続写像定理）✓

$(S',d')$ を距離空間、$h:S\to S'$ をボレル可測写像とし、ボレル集合 $N$ で $\mu(N)=0$ かつ $h$ が $N$ の外の各点で連続であるものがあるとする。$\mu_n\Rightarrow\mu$ ならば $\mu_n\circ h^{-1}\Rightarrow\mu\circ h^{-1}$。

証明（系 2.5）

定理 2.3 の (3) を確かめます。$F'\subset S'$ を閉集合とします。$x\in\overline{h^{-1}(F')}$ で $h$ が $x$ で連続なら、$h^{-1}(F')$ の点列 $x_k\to x$ について $h(x_k)\to h(x)$、$F'$ は閉なので $h(x)\in F'$。よって $\overline{h^{-1}(F')}\subset h^{-1}(F')\cup N$ です。(3) を閉集合 $\overline{h^{-1}(F')}$ に使って

$$\limsup_n\mu_n(h^{-1}(F'))\le\limsup_n\mu_n\bigl(\overline{h^{-1}(F')}\bigr)\le\mu\bigl(\overline{h^{-1}(F')}\bigr)\le\mu(h^{-1}(F'))+\mu(N)=\mu(h^{-1}(F')).$$∎

3. 緊密性と Prokhorov の定理

定義 3.1（緊密性と相対コンパクト性）↗

族 $\Pi\subset\mathcal{P}(S)$ が緊密であるとは、任意の $\varepsilon>0$ に対しコンパクト集合 $K\subset S$ で、すべての $\mu\in\Pi$ について $\mu(S\setminus K)<\varepsilon$ となるものがあることをいう。$\Pi$ の任意の列が、$\mathcal{P}(S)$ のある元に弱収束する部分列をもつとき、$\Pi$ は相対コンパクトであるという。

Polish 空間では、1 個の確率測度はつねに緊密です（定理 3.3［Kolmogorov の拡張定理と連続性定理］）。有限個の族も緊密です（コンパクト集合の有限和を取る）。$\mathbb{R}^d$ では、緊密性は「$\sup_{\mu\in\Pi}\mu(\{|x|>M\})\to0$（$M\to\infty$）」と同じです。

補題 3.2（C(K) の可分性）✓

$K$ がコンパクト距離空間ならば、$C(K)$ は一様ノルムに関して可分である。

証明（補題 3.2）

$K$ は全有界なので（定理 4.3［距離空間］）可算稠密集合 $\{q_i\}$ をもちます（各 $1/k$ について有限個の中心を集める）。$g_i(x)=d(x,q_i)$ とし、$1,g_1,g_2,\ldots$ の有理数係数の多項式全体を $A_{\mathbb{Q}}$、実数係数の多項式全体を $A$ とします。$A$ は $1$ を含む部分環で、点を分離します（$x\ne y$ なら $d(x,q_i)<d(x,y)/2$ となる $q_i$ を取ると $g_i(x)<d(x,y)/2<g_i(y)$）。Stone–Weierstrass の定理（定理 4.3［Arzelà–Ascoli と Stone–Weierstrass］）により $A$ は $C(K)$ で稠密です。$A$ の各元は、係数を有理数で近似すれば（各 $g_i$ は有界なので）$A_{\mathbb{Q}}$ の元で一様に近似できます。$A_{\mathbb{Q}}$ は可算です。

∎

定理 3.3（Prokhorov の定理（緊密ならば相対コンパクト））✓

$S$ を距離空間とする。緊密な族 $\Pi\subset\mathcal{P}(S)$ は相対コンパクトである。

次の証明は三段で進みます。まず対角線論法で、各コンパクト集合 $K_m$ の上では積分が収束するような部分列を取ります。次に Riesz–Markov–角谷の表現定理で、その極限を $K_m$ 上の測度 $\nu_m$ として表します。最後に $\nu_m$ を $m$ について貼り合わせて $S$ 全体の確率測度 $\mu$ をつくり、$K_m$ の外の質量が $1/m$ 以下であることから弱収束を確かめます。なお $B\prec g$ は、ここでは $g$ が $0\le g\le1$ で $B$ 上で $1$ をとることを表す記号です（Radon 測度と Riesz–Markov–角谷の表現定理）。

証明（定理 3.3）

$(\mu_n)$ を $\Pi$ の列とします。緊密性から、コンパクト集合 $K_m$ をすべての $n$ で $\mu_n(S\setminus K_m)<1/m$ となるように取り、$K_m$ を $K_1\cup\cdots\cup K_m$ に取り替えて $K_1\subset K_2\subset\cdots$ とします。

(1) 部分列の選出。 補題 3.2 により各 $C(K_m)$ の可算稠密集合 $\{f_{m,i}\}_i$ があります。数列 $\bigl(\int_{K_m}f_{m,i}\,d\mu_n\bigr)_n$ は $\|f_{m,i}\|$ で有界なので、可算個の添字 $(m,i)$ について対角線論法を使い、部分列 $(n_j)$ ですべての $(m,i)$ について収束するものを取れます。任意の $f\in C(K_m)$ と $\varepsilon>0$ について $\|f-f_{m,i}\|<\varepsilon$ となる $i$ を取れば、$\bigl|\int_{K_m}(f-f_{m,i})\,d\mu_n\bigr|\le\varepsilon$ なので $\bigl(\int_{K_m}f\,d\mu_{n_j}\bigr)_j$ は Cauchy 列で、極限

$$\Lambda_m(f)=\lim_{j\to\infty}\int_{K_m}f\,d\mu_{n_j}\qquad(f\in C(K_m))$$

が存在します。$\Lambda_m$ は $C(K_m)$ 上の正の線形汎関数です。

(2) 各 $K_m$ 上の極限測度。 Riesz–Markov–角谷の表現定理（定理 4.1［Radon 測度と Riesz–Markov–角谷の表現定理］）により、$K_m$ 上の有限ボレル測度 $\nu_m$ で $\Lambda_m(f)=\int f\,d\nu_m$ となるものがあります。$\nu_m(K_m)=\Lambda_m(1)=\lim_j\mu_{n_j}(K_m)\in[1-1/m,1]$ です。

ボレル集合 $B\subset K_m$ について $\nu_m(B)\le\nu_{m+1}(B)$ を示します。まず $B$ がコンパクトのとき、$g\in C(K_{m+1})$ が $B\prec g$ を満たせば、制限 $g|_{K_m}$ も $B\prec g|_{K_m}$ を満たし、$g\ge0$ から

$$\nu_m(B)\le\Lambda_m(g|_{K_m})=\lim_j\int_{K_m}g\,d\mu_{n_j}\le\lim_j\int_{K_{m+1}}g\,d\mu_{n_j}=\Lambda_{m+1}(g)$$

（最初の不等号は 定理 4.1［Radon 測度と Riesz–Markov–角谷の表現定理］ の 2）。$g$ について下限を取ると $\nu_m(B)\le\nu_{m+1}(B)$ です。一般のボレル集合 $B$ では、$K_m$ はコンパクト距離空間なので Polish で、定理 3.3［Kolmogorov の拡張定理と連続性定理］ (2) から $\nu_m(B)=\sup\{\nu_m(C)\mid C\subset B\text{ コンパクト}\}\le\nu_{m+1}(B)$ です。

(3) 極限測度の構成。 ボレル集合 $B\subset S$ について $\nu_m(B\cap K_m)\le\nu_{m+1}(B\cap K_m)\le\nu_{m+1}(B\cap K_{m+1})$ なので、極限 $\mu(B)=\lim_m\nu_m(B\cap K_m)$ が存在します。互いに素な $B_i$ について $\nu_m\bigl(\bigsqcup_iB_i\cap K_m\bigr)=\sum_i\nu_m(B_i\cap K_m)$ で、各項が $m$ について非減少なので、単調収束定理（数え上げ測度に関する 定理 5.2［ルベーグ積分の定義と収束定理］）により極限と和が交換でき、$\mu$ は測度です。$\mu(S)=\lim_m\nu_m(K_m)=1$ です。

(4) 弱収束。 $\tilde\nu_m(B)=\nu_m(B\cap K_m)$ とおくと、$\tilde\nu_m\le\mu$（集合ごと）なので $\mu-\tilde\nu_m$ は全質量 $1-\nu_m(K_m)\le1/m$ の測度です。$f\in C_b(S)$ について

$$\Bigl|\int_Sf\,d\mu_{n_j}-\int_Sf\,d\mu\Bigr|\le\Bigl|\int_{S\setminus K_m}f\,d\mu_{n_j}\Bigr|+\Bigl|\int_{K_m}f\,d\mu_{n_j}-\int f\,d\tilde\nu_m\Bigr|+\Bigl|\int f\,d(\mu-\tilde\nu_m)\Bigr| .$$

第 1 項と第 3 項は $\|f\|/m$ 以下、第 2 項は (1)(2) により $j\to\infty$ で $0$ に収束します。よって $\limsup_j|\int fd\mu_{n_j}-\int fd\mu|\le2\|f\|/m$ で、$m$ は任意なので $\mu_{n_j}\Rightarrow\mu$ です。

∎

定理 3.4（Prokhorov の定理（逆））✓

$S$ を Polish 空間とする。相対コンパクトな族 $\Pi\subset\mathcal{P}(S)$ は緊密である。

証明（定理 3.4）

$\{q_i\}$ を可算稠密集合とし、$G_k^\delta=\bigcup_{i\le k}B(q_i,\delta)$ とおきます。

主張： 任意の $\varepsilon,\delta>0$ に対し $k$ があって、すべての $\mu\in\Pi$ で $\mu(G_k^\delta)>1-\varepsilon$。

そうでないとすると、各 $k$ について $\mu_k(G_k^\delta)\le1-\varepsilon$ となる $\mu_k\in\Pi$ があります。相対コンパクト性から部分列 $\mu_{k_j}\Rightarrow\mu\in\mathcal{P}(S)$ が取れます。$G^\delta_m$ は開集合で、$k_j\ge m$ なら $G^\delta_m\subset G^\delta_{k_j}$ なので、定理 2.3 の (4) から

$$\mu(G_m^\delta)\le\liminf_j\mu_{k_j}(G_m^\delta)\le\liminf_j\mu_{k_j}(G_{k_j}^\delta)\le1-\varepsilon .$$

$G_m^\delta\uparrow S$（稠密性）なので $\mu(S)\le1-\varepsilon$ となり矛盾です。

主張を $\delta=1/m$、$\varepsilon2^{-m}$ に使って $k_m$ を取り、$K=\bigcap_m\overline{G^{1/m}_{k_m}}$ とします。定理 3.3［Kolmogorov の拡張定理と連続性定理］ の証明と同じく、$K$ は完備かつ全有界な閉集合なのでコンパクトで、すべての $\mu\in\Pi$ で $\mu(S\setminus K)\le\sum_m\varepsilon2^{-m}=\varepsilon$ です。

∎

系 3.5（Helly の選出定理（緊密な場合））✓

$\mathbb{R}^d$ 上の確率測度の列 $(\mu_n)$ が $\lim_{M\to\infty}\sup_n\mu_n(\{|x|>M\})=0$ を満たすならば、弱収束する部分列をもつ。

証明（系 3.5）

閉球 $\{|x|\le M\}$ はコンパクトなので、仮定は緊密性です。定理 3.3 を使います。

∎

$d=1$ では 補題 4.6［特性関数と Gauss ベクトル］ を分布関数で直接示しました。緊密性を仮定しないと、極限は確率測度とは限りませんが、全質量 $1$ 以下の測度として残ります。

定理 3.6（Helly の選出定理（漠収束））✓

$\mathbb{R}^d$ 上の確率測度の任意の列 $(\mu_n)$ に対し、部分列 $(\mu_{n_j})$ と、$\mu(\mathbb{R}^d)\le1$ を満たすボレル測度 $\mu$ で、すべての $f\in C_0(\mathbb{R}^d)$（無限遠で $0$ に近づく連続関数）について $\int f\,d\mu_{n_j}\to\int f\,d\mu$ となるものがある。

証明（定理 3.6）

$\phi(x)=x/(1+|x|)$ は $\mathbb{R}^d$ から開単位球 $U=\{|y|<1\}$ への同相写像です（逆写像は $y\mapsto y/(1-|y|)$）。閉球 $\bar U$ はコンパクトなので、$\bar U$ 上の確率測度の族は自明に緊密で、定理 3.3 により $\mu_n\circ\phi^{-1}$ の部分列が $\bar U$ 上の確率測度 $\nu$ に弱収束します。$\mu(A)=\nu(\phi(A))$ と定めると、$\mu$ は全質量 $\nu(U)\le1$ の測度です。$f\in C_0(\mathbb{R}^d)$ に対し、$g=f\circ\phi^{-1}$ を $U$ 上で、$g=0$ を $\partial U$ 上で定めると、$|y|\to1$ は $|\phi^{-1}(y)|\to\infty$ と同値なので $g\in C(\bar U)$。よって $\int fd\mu_{n_j}=\int gd(\mu_{n_j}\circ\phi^{-1})\to\int gd\nu=\int_Ugd\nu=\int fd\mu$。

∎

$\mu_n=\delta_n$ なら極限は $\mu=0$ で、質量はすべて「無限遠の点」に逃げています。緊密性は、この逃げが起こらないための条件です。

関数空間では、コンパクト集合の形が Arzelà–Ascoli の定理で分かるので、緊密性を「出発点の有界性」と「振動の小ささ」に分解できます。$x\in C([0,1])$ の連続度を $w(x,\delta)=\sup\{|x(s)-x(t)|:s,t\in[0,1],\ |s-t|\le\delta\}$ とします。道の連続性から上限は有理数の $s,t$ に制限してよく、$C([0,1])$ 値確率変数 $X$ について $w(X,\delta)$ は確率変数です。

命題 3.7（C([0,1]) における緊密性の判定）✓

$X_n$ を $C([0,1])$（一様ノルム）に値をとる確率変数の列とし、次を仮定する。

1. $\lim_{M\to\infty}\sup_nP(|X_n(0)|>M)=0$。
2. 任意の $\varepsilon>0$ について $\lim_{\delta\downarrow0}\sup_nP\bigl(w(X_n,\delta)>\varepsilon\bigr)=0$。

このとき $X_n$ の分布の族は緊密である。

証明（命題 3.7）

$\eta>0$ を固定し、1 から $\sup_nP(|X_n(0)|>M)<\eta/2$ となる $M$ を、2 から各 $k$ について $\sup_nP(w(X_n,\delta_k)>1/k)<\eta2^{-k-1}$ となる $\delta_k>0$ を取ります。

$$K=\bigl\{x\in C([0,1])\ \big|\ |x(0)|\le M,\ w(x,\delta_k)\le1/k\ (k=1,2,\ldots)\bigr\}$$

とすると、$P(X_n\notin K)<\eta/2+\sum_k\eta2^{-k-1}=\eta$ です。$|w(x,\delta)-w(y,\delta)|\le2\|x-y\|$ なので $K$ は閉集合です。$K$ は定義から同程度連続で、$[0,t]$ を幅 $\delta_1$ 以下の $\lceil1/\delta_1\rceil$ 個の区間に分ければ $|x(t)|\le M+\lceil1/\delta_1\rceil$ なので一様有界です。Arzelà–Ascoli の定理（定理 3.3［Arzelà–Ascoli と Stone–Weierstrass］）から $K$ は相対コンパクトで、閉集合なのでコンパクトです。

∎

条件 2 は、定理 6.2［Kolmogorov の拡張定理と連続性定理］ の仮定が $n$ について一様に（同じ $\alpha,\beta,C$ で）成り立てば満たされます。同定理の証明の Hölder 定数 $K_\gamma$ の分布が $n$ によらない評価をもつからです。ランダムウォークを拡大縮小した折れ線が Brown 運動に分布収束するという Donsker の不変原理は、この緊密性と有限次元分布の収束（中心極限定理）を組み合わせて証明されます（Billingsley の第 2 章）。

注意 3.8（弱収束の距離づけ）

$S$ が可分なら、弱収束は距離で表せます。$A^\varepsilon=\{x\mid\operatorname{dist}(x,A)<\varepsilon\}$ として

$$\pi(\mu,\nu)=\inf\{\varepsilon>0\mid\mu(A)\le\nu(A^\varepsilon)+\varepsilon\ \text{（すべてのボレル集合 }A\text{）}\}$$

と定めると（Lévy–Prokhorov 距離）、$\mu_n\Rightarrow\mu\iff\pi(\mu_n,\mu)\to0$ が成り立ち、$S$ が Polish なら $(\mathcal{P}(S),\pi)$ も Polish です（Billingsley の第 1 章 §6。この記事では証明しません）。この言葉では、定理 3.3 と 定理 3.4 は「$\mathcal{P}(S)$ の部分集合の閉包がコンパクトであることと、緊密であることは同値」と読めます。この記事の議論はすべて列で行い、距離づけを使いません。

4. Skorokhod の表現定理

弱収束は分布だけの性質なので、$X_n$ と $X$ が別々の確率空間にあってもかまいません。逆に、分布だけを保って確率変数を一つの空間に並べ直し、各点収束させられるというのが次の定理です。$S=\mathbb{R}$ なら考え方は単純です。

例 4.1（分位点関数による表現）

$\mathbb{R}$ 上の確率測度 $\nu$ の分布関数を $F$ とし、$\omega\in(0,1)$ に対し $F^{-1}(\omega)=\inf\{x\mid F(x)\ge\omega\}$（分位点関数）とします。$F$ の右連続性から $F^{-1}(\omega)\le x\iff\omega\le F(x)$ なので、$(0,1)$ 上の一様分布の下で $P(F^{-1}(\omega)\le x)=F(x)$、つまり $F^{-1}$ の分布は $\nu$ です。$\mu_n\Rightarrow\mu$ なら分布関数は $F$ の連続点で収束し（補題 4.2［特性関数と Gauss ベクトル］）、そこから $F$ の平坦部分に対応する高々可算個の $\omega$ を除いて $F_n^{-1}(\omega)\to F^{-1}(\omega)$ が導かれます。一つの $\omega$ を「同じ分位点」として共有させることで、別々の分布が一つの空間で結び付きます。

分位点による結合：同じ高さ ω で分布関数 F_n（破線）と F（実線）を水平に切り、交点の横座標を X_n(ω)、X(ω) とする

一般の Polish 空間には分布関数がないので、空間を小さな $\mu$-連続集合に分割し、$[0,1)$ の区間をその測度に比例して割り当てます。

補題 4.2（連続集合による分割）✓

$S$ を可分距離空間、$\mu\in\mathcal{P}(S)$、$\delta>0$ とする。$S$ の互いに素なボレル集合の可算族 $\{D_j\}_{j\in\mathbb{N}}$（空集合を含んでよい）で、$\bigcup_jD_j=S$、各 $D_j$ の直径が $\delta$ 未満、かつ各 $D_j$ が $\mu$-連続集合であるものがある。

証明（補題 4.2）

$\{q_j\}$ を可算稠密集合とします。$q$ を固定すると、球面 $\{x\mid d(x,q)=r\}$（$r>0$）は互いに素なので、$\mu$-測度が正の $r$ は高々可算個です（定理 2.3 の証明の (5) ⇒ (1) と同じ議論）。そこで各 $j$ について $r_j\in(\delta/4,\delta/2)$ を、球面 $\{d(x,q_j)=r_j\}$ の測度が $0$ となるように選び、$B_j=B(q_j,r_j)$ とします。稠密性から $\bigcup_jB_j=S$ です。$D_j=B_j\setminus\bigcup_{i<j}B_i$ とすると、$\partial(A\cap B)$、$\partial(A\setminus B)$ は $\partial A\cup\partial B$ に含まれ、$\partial B_i\subset\{d(x,q_i)=r_i\}$ なので、$\mu(\partial D_j)=0$。直径は $2r_j<\delta$ です。

∎

定理 4.3（Skorokhod の表現定理）✓

$S$ を Polish 空間、$\mu_n,\mu\in\mathcal{P}(S)$、$\mu_n\Rightarrow\mu$ とする。確率空間 $([0,1),\mathcal{B},\lambda)$（$\lambda$ はルベーグ測度）上の $S$ 値確率変数 $X_n$、$X$ で、$X_n$ の分布が $\mu_n$、$X$ の分布が $\mu$ であり、ほとんどすべての $\omega$ で $X_n(\omega)\to X(\omega)$ となるものが存在する。

この証明の考え方は分位点の例と同じです。$[0,1)$ を $\mu$ の測度に比例した長さの区間に分け、各区間をさらに細かく分けることを繰り返します。$\mu_n$ にも同じ手順で区間を割り当てると、$\mu_n\Rightarrow\mu$ により区間の端点が $\mu$ のものに近づくので、ほとんどすべての $\omega$ について、各段階 $k$ で $n$ が十分大きければ $X_n(\omega)$ と $X(\omega)$ は同じ細胞に入り、近づきます。記号は多いですが、語 $a$ は細胞 $A_a$ を指し、$I_a$ はその細胞に割り当てた $[0,1)$ の区間である、と読めば追えます。

証明（定理 4.3）

(1) 入れ子の分割。 各 $k\ge1$ について、補題 4.2 で直径 $2^{-k}$ 未満の $\mu$-連続集合による分割 $\{D^k_j\}_j$ を取ります。長さ $k$ の語 $a=(a_1,\ldots,a_k)\in\mathbb{N}^k$ に対し、細胞 $A_a=D^1_{a_1}\cap\cdots\cap D^k_{a_k}$ を定めます（$k=0$ では $A_\varnothing=S$）。長さ $k$ の細胞は $S$ を分割し、$A_a$ は子 $A_{(a,j)}$（$j\in\mathbb{N}$）に分割され、直径は $2^{-k}$ 未満で、有限個の $\mu$-連続集合の共通部分なので $\mu$-連続集合です。空でない細胞から点 $x_a\in A_a$ を一つずつ選びます。

(2) 区間の割り当て。 $\nu\in\{\mu,\mu_1,\mu_2,\ldots\}$ に対し、区間 $I^\nu_a=[l^\nu_a,\,l^\nu_a+\nu(A_a))$ を $l^\nu_\varnothing=0$、$l^\nu_{(a,j)}=l^\nu_a+\sum_{i<j}\nu(A_{(a,i)})$ で帰納的に定めます。$\sum_j\nu(A_{(a,j)})=\nu(A_a)$ なので、子の区間は親の区間を左から順に隙間なく分割し、長さ $k$ の区間全体は $[0,1)$ を分割します。展開すると

$$l^\nu_a=\sum_{m=1}^k\nu\Bigl(A_{(a_1,\ldots,a_{m-1})}\cap\bigcup_{i<a_m}D^m_i\Bigr)$$

で、各項は有限個の $\mu$-連続集合から作った $\mu$-連続集合の測度です。定理 2.3 の (5) により、すべての語 $a$ で $l^{\mu_n}_a\to l^\mu_a$、$\mu_n(A_a)\to\mu(A_a)$ です。

(3) 確率変数の定義。 $\omega\in[0,1)$ と $k$ に対し、$\omega\in I^\nu_a$ となる長さ $k$ の語 $a=a^\nu_k(\omega)$ がただ一つあり、$a^\nu_{k+1}(\omega)$ は $a^\nu_k(\omega)$ の延長です。区間の長さが正なので $\nu(A_a)>0$、特に $A_a\ne\emptyset$ です。$Y^\nu_k(\omega)=x_{a^\nu_k(\omega)}$ とおくと、$k<k'$ では $x_{a^\nu_{k'}}\in A_{a^\nu_{k'}}\subset A_{a^\nu_k}$ なので $d(Y^\nu_k,Y^\nu_{k'})<2^{-k}$。$S$ の完備性から極限 $Y^\nu(\omega)$ があり、$d(Y^\nu,Y^\nu_k)\le2^{-k}$、$Y^\nu(\omega)\in\overline{A_{a^\nu_k(\omega)}}$ です。$Y^\nu_k$ は可算個の区間の上で定数なので可測で、その各点極限 $Y^\nu$ も可測です（閉集合 $F$ について $\{Y^\nu\in F\}=\bigcap_m\bigcup_N\bigcap_{k\ge N}\{\operatorname{dist}(Y^\nu_k,F)<1/m\}$）。

(4) 分布。 $f$ を $L$-Lipschitz な有界関数とします。$E f(Y^\nu_k)=\sum_a\nu(A_a)f(x_a)$（和は長さ $k$ の語にわたる）で、$|f(x_a)-f(x)|\le L2^{-k}$（$x\in A_a$）なので $|Ef(Y^\nu_k)-\int fd\nu|\le L2^{-k}$。また $|Ef(Y^\nu)-Ef(Y^\nu_k)|\le L2^{-k}$。$k\to\infty$ として $Ef(Y^\nu)=\int fd\nu$ です。補題 2.2 により $Y^\nu$ の分布は $\nu$ です。$X_n=Y^{\mu_n}$、$X=Y^\mu$ とおきます。

(5) 収束。 すべての語 $a$ にわたる端点 $l^\mu_a$ の集合は可算なので、それを除いた $\Omega'$ は $\lambda(\Omega')=1$ です。$\omega\in\Omega'$ と $k$ を固定し、$a=a^\mu_k(\omega)$ とすると $l^\mu_a<\omega<l^\mu_a+\mu(A_a)$。(2) の収束から、十分大きい $n$ で $\omega\in I^{\mu_n}_a$、すなわち $a^{\mu_n}_k(\omega)=a$ です。このとき $X_n(\omega)$ と $X(\omega)$ はどちらも直径 $2^{-k}$ 以下の $\overline{A_a}$ に属するので $d(X_n(\omega),X(\omega))\le2^{-k}$。$k$ は任意なので $X_n(\omega)\to X(\omega)$ です。

∎

Skorokhod の表現を使うと、分布収束についての多くの主張が、概収束と優収束定理の言葉で一行になります（演習 7.2、演習 7.3）。

5. Lévy の連続性定理（多次元）

補題 5.1（部分列の原理）✓

$\mu_n,\mu\in\mathcal{P}(S)$ とする。$(\mu_n)$ の任意の部分列が、$\mu$ に弱収束するさらなる部分列をもつならば、$\mu_n\Rightarrow\mu$。

証明（補題 5.1）

$f\in C_b(S)$ を固定すると、実数列 $a_n=\int fd\mu_n$ の任意の部分列が $a=\int fd\mu$ に収束する部分列をもちます。$a_n\not\to a$ なら $|a_{n_j}-a|\ge\eta>0$ となる部分列があり、その部分列のどの部分列も $a$ に収束しないので矛盾です。

∎

定理 5.2（Lévy の連続性定理（多次元））✓

$\mu_n$ を $\mathbb{R}^d$ 上の確率測度、$\varphi_n$ をその特性関数とする。すべての $t\in\mathbb{R}^d$ で $\varphi_n(t)\to\psi(t)$ となり、$\psi$ が $t=0$ で連続ならば、$\psi$ はある確率測度 $\mu$ の特性関数で、$\mu_n\Rightarrow\mu$ である。

証明（定理 5.2）

緊密性。 $X_n\sim\mu_n$ とし、成分 $X_n^{(j)}=\langle e_j,X_n\rangle$ を考えます。その特性関数は $s\mapsto\varphi_n(se_j)$ で、$\psi(se_j)$ に各点収束し、極限は $s=0$ で連続です。$\eta>0$ に対し $\delta>0$ を $|s|\le\delta$ で $|1-\psi(se_j)|<\eta$（すべての $j$）となるように取ります。補題 4.5［特性関数と Gauss ベクトル］ と優収束定理（$|1-\varphi_n|\le2$）から

$$\limsup_nP\bigl(|X_n^{(j)}|\ge2/\delta\bigr)\le\lim_n\frac1\delta\int_{-\delta}^\delta\bigl(1-\varphi_n(se_j)\bigr)ds=\frac1\delta\int_{-\delta}^\delta\bigl(1-\psi(se_j)\bigr)ds\le2\eta .$$

$|x|\ge2\sqrt d/\delta$ ならある成分で $|x^{(j)}|\ge2/\delta$ なので、十分大きい $n$ で $\mu_n(\{|x|\ge2\sqrt d/\delta\})\le3d\eta$。有限個の残りの $n$ は個別に緊密なので、$(\mu_n)$ は緊密です。

極限の同定。 系 3.5 により、任意の部分列はさらに弱収束する部分列 $\mu_{n_j}\Rightarrow\nu$ をもちます。$x\mapsto\cos\langle t,x\rangle$、$\sin\langle t,x\rangle$ は有界連続なので $\varphi_\nu(t)=\lim_j\varphi_{n_j}(t)=\psi(t)$。特に $\psi$ は特性関数で、一意性定理（定理 3.3［特性関数と Gauss ベクトル］）から $\nu$ は部分列によらない一つの測度 $\mu$ です。補題 5.1 により $\mu_n\Rightarrow\mu$ です。

∎

大数の法則と中心極限定理 で主張だけを使った 定理 5.2［大数の法則と中心極限定理］ は、この定理の $d=1$ の場合です。$\psi$ の原点での連続性を外すと、$N(0,n)$ の特性関数 $e^{-nt^2/2}$ が $\mathbf 1_{\{t=0\}}$ に収束する例のように、緊密性が壊れます。

6. 応用：Krylov–Bogoliubov の定理

$S$ を Polish 空間、$P(x,dy)$ を $S$ 上の確率核（各点 $x$ から次の点の分布 $P(x,\cdot)$ を決める規則で、マルコフ連鎖の遷移を表すもの）とします。有界可測関数 $f$ に対し $Pf(x)=\int f(y)P(x,dy)$、確率測度 $\nu$ に対し $\nu P(A)=\int\nu(dx)P(x,A)$ と書くと、$\int f\,d(\nu P)=\int Pf\,d\nu$ です（指示関数では定義そのもの、単関数では線形性、有界可測関数では一様近似で従う）。$\mu P=\mu$ を満たす $\mu$ を不変測度といいます。$P$ が $C_b(S)$ を $C_b(S)$ に写すとき、$P$ は Feller 性をもつといいます。

定理 6.1（Krylov–Bogoliubov の定理）✓

$P$ を Feller 性をもつ確率核とする。ある $x\in S$ について、Cesàro 平均

$$\bar\mu_n=\frac1n\sum_{k=0}^{n-1}\delta_xP^k$$

の族 $\{\bar\mu_n\}_{n\ge1}$ が緊密ならば、$P$ は不変確率測度をもつ。

証明（定理 6.1）

定理 3.3 により部分列 $\bar\mu_{n_j}\Rightarrow\mu\in\mathcal{P}(S)$ があります。$f\in C_b(S)$ とすると Feller 性から $Pf\in C_b(S)$ なので

$$\int f\,d(\mu P)=\int Pf\,d\mu=\lim_j\int Pf\,d\bar\mu_{n_j}=\lim_j\frac1{n_j}\sum_{k=0}^{n_j-1}\int f\,d(\delta_xP^{k+1}) .$$

右辺の和は $\int f\,d\bar\mu_{n_j}$ と比べて、$k=0$ の項 $f(x)/n_j$ が抜け、$k=n_j$ の項 $\int fd(\delta_xP^{n_j})/n_j$ が加わっただけなので、差は $2\|f\|/n_j\to0$ です。よって $\int f\,d(\mu P)=\lim_j\int f\,d\bar\mu_{n_j}=\int f\,d\mu$。補題 2.2 により $\mu P=\mu$ です。

∎

Feller 性は、極限操作 $\int Pf\,d\bar\mu_{n_j}\to\int Pf\,d\mu$ に使いました。$Pf$ が連続でないと、この一歩が弱収束から出ません。

例 6.2（自己回帰過程の不変分布）

$|a|<1$ とし、$P(x,\cdot)=N(ax,1)$ とします。$\xi\sim N(0,1)$ として $Pf(x)=E f(ax+\xi)$ は、$f\in C_b$ なら優収束定理により連続なので、$P$ は Feller です。$\delta_0P^k=N\bigl(0,\sum_{i<k}a^{2i}\bigr)$ の分散は $1/(1-a^2)$ 以下なので、Chebyshev の不等式から $\bar\mu_n(\{|x|>M\})\le M^{-2}/(1-a^2)$ で、族は緊密です。定理 6.1 から不変測度が存在し、実際 $N(0,\sigma^2)$ は $a^2\sigma^2+1=\sigma^2$、すなわち $\sigma^2=1/(1-a^2)$ のとき不変です。一方 $\mathbb{Z}$ 上の単純ランダムウォークでは $\bar\mu_n$ が広がって緊密でなく、不変確率測度は存在しません（不変性は $\mu(\{x\})=\frac12\mu(\{x-1\})+\frac12\mu(\{x+1\})$、つまり $x\mapsto\mu(\{x\})$ の 2 階差分が $0$ であることなので、$\mu(\{x\})$ は $x$ の 1 次関数です。非負で総和が有限な 1 次関数は $0$ しかなく、総和が $1$ になり得ません）。

連続時間の Markov 半群 $(P_t)$ では、$\frac1T\int_0^T\delta_xP_t\,dt$ について同じ議論が成り立ちます。Feller 半群については Feller 過程と Feynman–Kac で扱います。

7. 演習

演習 7.1易

$\mathbb{R}^d$ 値確率変数の列 $X_n$ がある $p>0$ について $\sup_nE|X_n|^p<\infty$ を満たせば、分布の族は緊密であることを示せ。

解答

Markov の不等式（定理 6.1［確率変数と期待値］）を $|X_n|^p$ に使うと $P(|X_n|>M)\le M^{-p}\sup_kE|X_k|^p$ で、右辺は $n$ によらず $M\to\infty$ で $0$ に収束します。閉球 $\{|x|\le M\}$ はコンパクトです。

演習 7.2標準

$S,S'$ を Polish 空間、$h:S\to S'$ を連続写像とする。$\mu_n\Rightarrow\mu$ ならば $\mu_n\circ h^{-1}\Rightarrow\mu\circ h^{-1}$ であることを、定理 4.3 を使って示せ（系 2.5 の別証明）。

解答

Skorokhod の表現で $X_n\to X$（a.s.）、$X_n\sim\mu_n$、$X\sim\mu$ とします。$g\in C_b(S')$ について $g\circ h$ は有界連続なので $g(h(X_n))\to g(h(X))$（a.s.）。優収束定理から $\int g\,d(\mu_n\circ h^{-1})=E g(h(X_n))\to Eg(h(X))=\int g\,d(\mu\circ h^{-1})$。

演習 7.3標準

実確率変数 $X_n$ が $X$ に分布収束し、$\sup_nE[X_n^2]<\infty$ ならば $E[X_n]\to E[X]$ であることを示せ。仮定を $\sup_nE|X_n|<\infty$ に弱めると成り立たない例を挙げよ。

解答

定理 4.3 により、$Y_n\to Y$（a.s.）、$Y_n\overset{d}{=}X_n$、$Y\overset{d}{=}X$ としてよく、$C=\sup_nE[Y_n^2]$ です。Fatou の補題（補題 6.1［ルベーグ積分の定義と収束定理］）から $E[Y^2]\le C$。$M>0$ について $|Y_n|>M$ の上では $|Y_n|\le Y_n^2/M$ なので $E[|Y_n|;|Y_n|>M]\le C/M$。$\phi_M(y)=\max(-M,\min(y,M))$ は有界連続なので $E\phi_M(Y_n)\to E\phi_M(Y)$、また $|E Y_n-E\phi_M(Y_n)|\le E[|Y_n|;|Y_n|>M]\le C/M$、$Y$ についても同様です。よって $\limsup|EY_n-EY|\le2C/M$ で、$M\to\infty$ とすれば主張が出ます。反例：$X_n$ が確率 $1-1/n$ で $0$、確率 $1/n$ で $n$ をとるとすると、$X_n\Rightarrow\delta_0$、$E|X_n|=1$ ですが $E X_n=1\not\to0$。

演習 7.4難

$\mathbb{R}^d$ 上の確率測度の族 $\Pi$ について、$\Pi$ が相対コンパクトであることと緊密であることが同値であることを、定理 3.3 と 定理 3.4 を使わずに、定理 3.6 から直接示せ。

解答

緊密 ⇒ 相対コンパクト：列 $(\mu_n)$ に 定理 3.6 を使い、$\mu_{n_j}$ が $C_0$ 上で $\mu$ に収束するとします。$\varepsilon>0$ に対し $\sup_n\mu_n(\{|x|>M\})<\varepsilon$ となる $M$ を取り、$\chi\in C_c$、$0\le\chi\le1$、$|x|\le M$ で $\chi=1$ とすると $\mu(\mathbb{R}^d)\ge\int\chi d\mu=\lim\int\chi d\mu_{n_j}\ge1-\varepsilon$。よって $\mu$ は確率測度です。$f\in C_b$ なら $f\chi\in C_c$ で、$|\int f(1-\chi)d\mu_{n_j}|\le\|f\|\varepsilon$、$|\int f(1-\chi)d\mu|\le\|f\|\varepsilon$ なので $\limsup|\int fd\mu_{n_j}-\int fd\mu|\le2\|f\|\varepsilon$。 相対コンパクト ⇒ 緊密：緊密でなければ、ある $\varepsilon$ と各 $k$ について $\mu_k(\{|x|>k\})\ge\varepsilon$ となる $\mu_k\in\Pi$ があります。部分列 $\mu_{k_j}\Rightarrow\mu$ とし、$\chi$ を上と同様に $M$ について取れば、$k_j\ge M+1$ で $\int\chi d\mu_{k_j}\le1-\varepsilon$、したがって $\mu(\{|x|\le M\})\le\int\chi d\mu\le1-\varepsilon$。$M\to\infty$ として $\mu(\mathbb{R}^d)\le1-\varepsilon$ となり矛盾です。

参考文献

• Patrick Billingsley『Convergence of Probability Measures』（第 2 版）Wiley、1999 — 第 1 章（Portmanteau の定理、Prokhorov の定理、Skorokhod の表現定理）。
• Yu. V. Prokhorov, “Convergence of random processes and limit theorems in probability theory”, Theory of Probability and Its Applications 1 (1956), 157–214.
• A. V. Skorokhod, “Limit theorems for stochastic processes”, Theory of Probability and Its Applications 1 (1956), 261–290.
• Rick Durrett『Probability: Theory and Examples』（第 5 版）Cambridge University Press、2019 — 第 3 章（弱収束、Helly の選出定理、連続性定理）。
• Giuseppe Da Prato, Jerzy Zabczyk『Ergodicity for Infinite Dimensional Systems』Cambridge University Press、1996 — Krylov–Bogoliubov の定理と不変測度の存在。