特性関数と Gauss ベクトル：反転公式・Lévy の連続性定理・Wick の公式・Mills 比

0. この記事の要点

確率変数の分布を、そのまま扱う代わりに、分布の「指紋」にあたる別の関数に置き換えて調べる方法を学びます。足し算や極限の計算が、この置き換えでぐっと楽になります。この記事では、指紋が分布を過不足なく決めること、指紋の収束から分布の収束が分かること、そして正規分布を多次元に広げたものの性質を、順に証明します。

• 確率測度 $\mu$ の特性関数 $\varphi_\mu(t)=\int e^{i\langle t,x\rangle}\mu(dx)$ は、$\mu$ の情報を過不足なく保ちます。一意性：$\varphi_\mu=\varphi_\nu$ ならば $\mu=\nu$（定理 3.3）。$\varphi_\mu$ が可積分なら $\mu$ は連続な密度を持ち、反転公式で書けます。
• 鍵は Gauss 平滑化（なめらかな正規雑音を足して分布をならすこと）です。$X$ に小さな正規雑音 $\varepsilon Z$ を足すと、分布は必ず密度を持ち、その密度が $\varphi_\mu$ の Fourier 積分で厳密に書けます。$\varepsilon\to0$ で元の分布が戻ります。
• Lévy の連続性定理：特性関数の各点収束は分布収束と同値です（定理 4.4）。大数の法則と中心極限定理 で証明を省いたこの定理（定理 5.2［大数の法則と中心極限定理］）を、ここで証明します。極限の存在部分は、緊密性（確率の質量が無限遠に逃げないこと。補題 4.5）と Helly の選出原理（収束する部分列を取り出す原理）で示します（定理 4.7）。
• Gauss ベクトルは、すべての 1 次結合が正規分布になるベクトルです。分布は平均ベクトルと共分散行列だけで決まり（定理 5.2）、「無相関ならば独立」が成り立ち、分布収束の極限もまた Gauss です（命題 5.5）。
• Wick（Isserlis）の公式：中心化 Gauss ベクトルの $2n$ 次の積率は、共分散の「ペアリング」の和です（定理 6.1）。
• Mills 比 $R(x)=(1-\Phi(x))/\phi(x)$ は $1/x$ で上から、$x/(1+x^2)$ や Birnbaum の下界で下から押さえられます（定理 7.1）。正規分布の裾の評価の基本です。

この記事で使う事前知識

• 分布収束（弱収束）: 分布関数が、極限の連続点でそれぞれ収束すること。→ 分布収束
• 分布関数: 実数 $x$ に対し「値が $x$ 以下である確率」を返す関数。
• 共分散と共分散行列: 2 つの確率変数のばらつきが連動する度合い。成分ごとに並べたものが共分散行列。→ 共分散
• 半正定値行列: どんなベクトル $a$ でも $\langle a,Ca\rangle\ge0$ となる対称行列。→ 半正定値
• Fubini の定理: 積分の順序を入れ替えてよい条件を与える定理。この記事で繰り返し使います。→ 直積測度と Fubini–Tonelli の定理
• リプシッツ関数: 2 点の値の差が、2 点の距離の定数倍以下に収まる関数。その定数がリプシッツ定数です。

1. 動機

独立な確率変数の和の分布は畳み込みで、直接扱うのは大変です。ところが 特性関数 を使うと畳み込みが積になり、中心極限定理は $1-t^2/2+o(t^2)$ という展開 $n$ 乗の極限計算に変わります。そのとき、次の三つの事実を暗黙に使いました。

1. 特性関数が分布を決める（一意性）。
2. 特性関数の収束から分布の収束が出る（Lévy の連続性定理）。
3. 正規分布の特性関数は $e^{-t^2/2}$。

この記事は、1・2 に証明を与え、3 を多次元に広げます。多次元に広げた正規分布（Gauss ベクトル）は、共分散行列という有限個の数で完全に決まるという著しい性質を持ち、確率論のあらゆる場面で出てきます。ブラウン運動もガウス過程でした（定義 5.4［マルチンゲールとブラウン運動］）。Gauss ベクトルの積率を共分散のペアリングで書く Wick の公式は、無限次元の Gauss 測度の積分を組み合わせ論に変えます。

用語を確認します。$d$ 次元確率ベクトル $X$ とは、確率空間 $(\Omega,\mathcal{F},P)$ から $\mathbb{R}^d$ への可測写像（ボレル集合族に関して）で、その分布 $P_X$ は $(\mathbb{R}^d,\mathcal{B}(\mathbb{R}^d))$ 上の確率測度です。確率ベクトル $Y,W$ が独立であるとは、$(Y,W)$ の分布が $P_Y\otimes P_W$ に等しいことです（$d=1$ の 定義 2.3［確率変数と期待値］ と同じ）。

2. 特性関数

定義 2.1（特性関数（多次元））↗

$\mu$ を $\mathbb{R}^d$ 上の確率測度とする。

$$\varphi_\mu(t)=\int_{\mathbb{R}^d}e^{i\langle t,x\rangle}\,\mu(dx)\qquad(t\in\mathbb{R}^d)$$

を $\mu$ の特性関数という。確率ベクトル $X$ の特性関数 $\varphi_X$ は $P_X$ の特性関数 $\varphi_X(t)=E[e^{i\langle t,X\rangle}]$ である。$d=1$ のとき 定義 5.1［大数の法則と中心極限定理］ に一致する。

命題 2.2（特性関数の基本性質）✓

1. $\varphi(0)=1$、$|\varphi(t)|\le1$、$\varphi(-t)=\overline{\varphi(t)}$。
2. $\varphi$ は一様連続である。
3. $A$ を $d'\times d$ 行列、$b\in\mathbb{R}^{d'}$ とすると、$\varphi_{AX+b}(t)=e^{i\langle t,b\rangle}\varphi_X(A^{\mathsf T}t)$。
4. $X_1,\dots,X_m$ が独立な確率ベクトルなら、$(X_1,\dots,X_m)$ の特性関数は $\prod_j\varphi_{X_j}(t_j)$。とくに独立な和では $\varphi_{X+Y}=\varphi_X\varphi_Y$。
5. ($d=1$) $E|X|^m<\infty$ ならば $\varphi\in C^m$ で、$\varphi^{(j)}(0)=i^jE[X^j]$（$j\le m$）。

証明（命題 2.2）

(1)(3)　定義から直ちに従います。(3) は $\langle t,AX+b\rangle=\langle A^{\mathsf T}t,X\rangle+\langle t,b\rangle$ によります。

(2)　$|\varphi(t+h)-\varphi(t)|\le E|e^{i\langle h,X\rangle}-1|=:\omega(h)$ は $t$ に依らず、$h\to0$ で優収束定理（被積分関数は $2$ 以下）により $\omega(h)\to0$ です。

(4)　$e^{i\sum_j\langle t_j,x_j\rangle}=\prod_je^{i\langle t_j,x_j\rangle}$ で、独立なら積の期待値は期待値の積です（命題 7.5［確率変数と期待値］ を実部・虚部に適用）。

(5)　$\frac{d}{dt}e^{itX}=iXe^{itX}$ で $|iXe^{itX}|=|X|$ は可積分なので、積分記号下の微分（系 7.4［ルベーグ積分の定義と収束定理］）により $\varphi'(t)=E[iXe^{itX}]$。同じ議論を $j=2,\dots,m$ に繰り返すと、$\varphi^{(j)}(t)=E[(iX)^je^{itX}]$ で、$t=0$ とおけばよいです。

∎

補題 2.3（正規分布の特性関数）✓

$Z\sim N(0,1)$ なら $\varphi_Z(t)=e^{-t^2/2}$。$Z=(Z_1,\dots,Z_d)$ が独立な標準正規変数の列なら $\varphi_Z(t)=e^{-|t|^2/2}$。一般に $X\sim N(m,\sigma^2)$ なら $\varphi_X(t)=e^{imt-\sigma^2t^2/2}$。

証明（補題 2.3）

標準正規密度を $\phi(x)=(2\pi)^{-1/2}e^{-x^2/2}$ とします。$\phi$ は積分が $1$ です（定理 3.3［広義積分・パラメータ積分とガンマ関数］）。命題 2.2 (5) により

$$\varphi'(t)=\int ix\,\phi(x)e^{itx}\,dx=-i\int\phi'(x)e^{itx}\,dx .$$

$x\phi(x)=-\phi'(x)$ を使いました。部分積分すると境界項は $\phi(x)\to0$（$|x|\to\infty$）で消え、$\varphi'(t)=i\int\phi(x)(it)e^{itx}dx=-t\varphi(t)$ です。$(\varphi(t)e^{t^2/2})'=0$、$\varphi(0)=1$ より $\varphi(t)=e^{-t^2/2}$。多次元は 命題 2.2 (4)、一般の場合は $X=m+\sigma Z$ と 命題 2.2 (3) です。

∎

例 2.4（二項分布からポアソン分布へ）

$X_n\sim\mathrm{Bin}(n,\lambda/n)$ の特性関数は $\varphi_n(t)=\bigl(1+\tfrac\lambda n(e^{it}-1)\bigr)^n$ で、補題 5.5［大数の法則と中心極限定理］（$c_n\equiv\lambda(e^{it}-1)$）により $\exp(\lambda(e^{it}-1))$ に収束します。これはポアソン分布 $\mathrm{Poi}(\lambda)$ の特性関数 $\sum_{k\ge0}e^{-\lambda}\frac{\lambda^k}{k!}e^{itk}=e^{-\lambda}e^{\lambda e^{it}}$ です。次の節の Lévy の連続性定理（定理 4.4）により $X_n\Rightarrow\mathrm{Poi}(\lambda)$、すなわち「少数の法則」が従います。

3. Gauss 平滑化・一意性・反転公式

特性関数から分布を復元する議論の中心になる道具を作ります。以下 $Z$ は $\mathbb{R}^d$ の標準正規ベクトル $N(0,I_d)$ で、$X$ と独立とします。また $g_\varepsilon(y)=(2\pi\varepsilon^2)^{-d/2}e^{-|y|^2/(2\varepsilon^2)}$ は $N(0,\varepsilon^2I_d)$ の密度です。

次の補題の考え方です。尖った分布に小さな正規雑音を足すと、分布はなめらかな密度を持ちます。その密度は、特性関数に $e^{-\varepsilon^2|t|^2/2}$ を掛けて積分した式で書けます。証明の後半では、正規分布の密度そのものを、同じ形の正規密度の積分として書き直し、Fubini の定理で順序を入れ替えます。

補題 3.1（Gauss 平滑化）✓

$\mu$ を $\mathbb{R}^d$ の確率測度、$X\sim\mu$、$\varepsilon>0$ とする。このとき $X+\varepsilon Z$ は密度

$$p_\varepsilon(x)=\int g_\varepsilon(x-y)\,\mu(dy)=\frac{1}{(2\pi)^d}\int_{\mathbb{R}^d}\varphi_\mu(t)\,e^{-i\langle t,x\rangle}\,e^{-\varepsilon^2|t|^2/2}\,dt$$

を持つ。$p_\varepsilon$ は有界連続で、$\varphi_\mu$ だけで決まる。

証明（補題 3.1）

第 1 の等号。　$(X,Z)$ の分布は積測度 $\mu\otimes N(0,I_d)$ なので、定理 3.3［直積測度と Fubini–Tonelli の定理］ により、ボレル集合 $B$ について

$$P(X+\varepsilon Z\in B)=\int\mu(dy)\int_Bg_\varepsilon(x-y)\,dx=\int_B\Bigl(\int g_\varepsilon(x-y)\mu(dy)\Bigr)dx .$$

ここで $\varepsilon Z$ の密度が $g_\varepsilon$ であることを使いました。

第 2 の等号。　$N(0,\varepsilon^{-2}I_d)$ の密度 $q(t)=(2\pi)^{-d/2}\varepsilon^{d}e^{-\varepsilon^2|t|^2/2}$ の特性関数は、補題 2.3 から $e^{-|y|^2/(2\varepsilon^2)}$ です。つまり $\int e^{i\langle t,y\rangle}q(t)dt=e^{-|y|^2/(2\varepsilon^2)}$ で、$g_\varepsilon(y)$ の定義に戻すと

$$g_\varepsilon(y)=\frac{1}{(2\pi)^d}\int e^{-i\langle t,y\rangle}e^{-\varepsilon^2|t|^2/2}\,dt .$$

これを第 1 の式に代入し、$\mu(dy)\,dt$ について 定理 3.4［直積測度と Fubini–Tonelli の定理］ で積分の順序を交換します（被積分関数の絶対値は $e^{-\varepsilon^2|t|^2/2}$ 以下で、$\mu\otimes dt$ について可積分）。$\int e^{i\langle t,y\rangle}\mu(dy)=\varphi_\mu(t)$ なので第 2 の式が出ます。有界性は $g_\varepsilon\le(2\pi\varepsilon^2)^{-d/2}$、連続性は優収束定理によります。

∎

次の補題は、有界連続関数の期待値が分布を決めることを述べます。

補題 3.2（有界連続関数は分布を決める）✓

$\mu,\nu$ を $\mathbb{R}^d$ の確率測度とする。すべての $f\in C_b(\mathbb{R}^d)$ で $\int fd\mu=\int fd\nu$ ならば $\mu=\nu$。

証明（補題 3.2）

$F$ を閉集合とし、$f_k(x)=\max(0,1-k\,\mathrm{dist}(x,F))$ とすると $f_k\in C_b$ で $f_k\downarrow\mathbf 1_F$ なので、優収束定理から $\mu(F)=\nu(F)$ です。閉集合の全体は交叉で閉じた族（$\pi$-系）で、ボレル集合族を生成し、$\mathbb{R}^d$ 自身を含みます。定理 4.5［測度空間と Carathéodory の拡張定理］ により $\mu=\nu$ です。

∎

定理 3.3（一意性定理と反転公式）✓

$\mu,\nu$ を $\mathbb{R}^d$ の確率測度とする。

1. $\varphi_\mu=\varphi_\nu$ ならば $\mu=\nu$。
2. $\varphi_\mu\in L^1(\mathbb{R}^d)$ ならば、$\mu$ は有界連続な密度 $$p(x)=\frac{1}{(2\pi)^d}\int_{\mathbb{R}^d}\varphi_\mu(t)\,e^{-i\langle t,x\rangle}\,dt$$ を持つ。

証明（定理 3.3）

(1)　補題 3.1 により、$X\sim\mu$、$Y\sim\nu$ に対し $X+\varepsilon Z$ と $Y+\varepsilon Z$ は同じ密度を持ち、したがって同じ分布を持ちます。$f\in C_b$ に対し $\varepsilon\to0$ で $f(X+\varepsilon Z)\to f(X)$（各点）かつ $|f|\le\sup|f|$ なので、優収束定理から $E f(X)=\lim E f(X+\varepsilon Z)=\lim E f(Y+\varepsilon Z)=E f(Y)$。補題 3.2 より $\mu=\nu$ です。

(2)　$p$ は $\varphi_\mu\in L^1$ により定義され、有界連続（優収束定理）です。補題 3.1 の $p_\varepsilon$ は $|p_\varepsilon|\le(2\pi)^{-d}\|\varphi_\mu\|_1$ を満たし、$\varepsilon\to0$ で各点 $p_\varepsilon\to p$ です（被積分関数が $|\varphi_\mu|$ で抑えられる）。$p_\varepsilon\ge0$ だから $p\ge0$。台がコンパクトな連続関数 $f$ について

$$\int fp\,dx=\lim_{\varepsilon\to0}\int fp_\varepsilon\,dx=\lim_{\varepsilon\to0}E f(X+\varepsilon Z)=\int fd\mu .$$

$0\le h_j\le1$、$h_j\in C_c$、$h_j\uparrow1$ を取り $f=h_j$ とすると、単調収束定理で $\int p\,dx=\lim\int h_jd\mu=1$ です。したがって $\nu(dx)=p(x)dx$ は確率測度です。$f\in C_b$ なら $fh_j\in C_c$ で、$fh_j\to f$ は有界収束なので、$\int fd\mu=\int fd\nu$ が成り立ちます。補題 3.2 から $\mu=\nu$ です。

∎

例 3.4（Cauchy 分布の特性関数）

Laplace 分布（密度 $\tfrac12e^{-|x|}$）の特性関数は、部分積分で $\varphi(t)=\frac1{1+t^2}$ と計算できます。$\varphi\in L^1$ なので 定理 3.3 (2) により $\tfrac12e^{-|x|}=\frac1{2\pi}\int\frac{e^{-itx}}{1+t^2}dt$、すなわち $\int\frac{e^{-itx}}{1+t^2}dt=\pi e^{-|x|}$。ここで $x$ と $t$ の役割を入れ替えると、Cauchy 分布（密度 $\frac1{\pi(1+x^2)}$）の特性関数

$$\int\frac{e^{itx}}{\pi(1+x^2)}dx=e^{-|t|}$$

が従います。$e^{-|t|}$ は $t=0$ で微分可能でないので、命題 2.2 (5) の対偶として平均が存在しません。独立な Cauchy 変数 $X_1,\dots,X_n$ の標本平均の特性関数は $\varphi(t/n)^n=e^{-|t|}$ で、標本平均もまた同じ Cauchy 分布に従います（例 4.8［確率変数と期待値］ や 例 4.3［大数の法則と中心極限定理］ のとおり、大数の法則は成り立ちません）。

古典的な形の反転公式（平滑化なし）も示しておきます。$d=1$ では次が成り立ちます。

定理 3.5（Lévy の反転公式）✓

$\mu$ を $\mathbb{R}$ の確率測度、$a<b$ とする。

$$\lim_{T\to\infty}\frac1{2\pi}\int_{-T}^T\frac{e^{-ita}-e^{-itb}}{it}\,\varphi_\mu(t)\,dt=\mu\bigl((a,b)\bigr)+\tfrac12\mu(\{a\})+\tfrac12\mu(\{b\}).$$

証明（定理 3.5）

被積分関数 $\frac{e^{-ita}-e^{-itb}}{it}$ は $t=0$ で $b-a$ に連続に延び、絶対値は $b-a$ 以下です。したがって $[-T,T]\times\mathbb{R}$ で 定理 3.4［直積測度と Fubini–Tonelli の定理］ が使えて、左辺の積分は $\int J_T(x)\mu(dx)$、

$$J_T(x)=\frac1{2\pi}\int_{-T}^T\frac{e^{it(x-a)}-e^{it(x-b)}}{it}\,dt$$

です。$u=x-a$、$v=x-b$ とおくと、$\frac{\cos tu-\cos tv}{t}$ は奇関数で $t=0$ の近くで有界なので $[-T,T]$ で積分すると $0$、残る $\frac{\sin tu-\sin tv}{t}$ は偶関数で

$$J_T(x)=\frac1\pi\int_0^T\frac{\sin tu-\sin tv}{t}\,dt=\frac1\pi\bigl(S(Tu)-S(Tv)\bigr),\qquad S(w)=\int_0^w\frac{\sin r}{r}\,dr .$$

$S$ は連続な奇関数で、定理 3.2［ボールウェイン積分］（ディリクレ積分）により $S(w)\to\pi/2$（$w\to\infty$）なので有界です。したがって $|J_T|\le2\sup|S|/\pi$ で、$T\to\infty$ のとき

$$J_T(x)\to\tfrac12\bigl(\operatorname{sgn}(x-a)-\operatorname{sgn}(x-b)\bigr)=\begin{cases}1&a<x<b,\\ \tfrac12&x=a,b,\\0&\text{それ以外}.\end{cases}$$

優収束定理で $\int J_Td\mu\to\mu((a,b))+\frac12\mu(\{a\})+\frac12\mu(\{b\})$ です。

∎

注意 3.6

定理 3.5 は $d=1$ の一意性の別証明を与えます（分布関数が $\mu(a,b)$ の差で決まるため）。他方、$d\ge2$ の一意性は 定理 3.3 の平滑化による議論で直接得られます。

4. 弱収束と Lévy の連続性定理

定義 4.1（弱収束（分布収束））↗

$\mu_n,\mu$ を $\mathbb{R}^d$ の確率測度とする。すべての $f\in C_b(\mathbb{R}^d)$ について $\int fd\mu_n\to\int fd\mu$ となるとき、$\mu_n$ は $\mu$ に弱収束するといい、$\mu_n\Rightarrow\mu$ と書く。確率ベクトル $X_n,X$ については、それらの分布の弱収束を $X_n\xrightarrow{d}X$ と書く。

$d=1$ のとき、これは 分布収束 の定義（分布関数が極限の連続点で収束）と同値です。

補題 4.2（分布関数による特徴づけ（d = 1））✓

$\mu_n,\mu$ を $\mathbb{R}$ の確率測度とし、分布関数を $F_n,F$ とする。$\mu_n\Rightarrow\mu$ であることと、$F$ のすべての連続点 $x$ で $F_n(x)\to F(x)$ となることは同値である。

証明（補題 4.2）

(⇒)　$x$ を $F$ の連続点、$\eta>0$ とします。$h_+$ を $(-\infty,x]$ で $1$、$[x+\eta,\infty)$ で $0$ となる折れ線、$h_-$ を $(-\infty,x-\eta]$ で $1$、$[x,\infty)$ で $0$ となる折れ線とします（どちらも $C_b$）。$\int h_-d\mu_n\le F_n(x)\le\int h_+d\mu_n$ から、$\limsup F_n(x)\le\int h_+d\mu\le F(x+\eta)$、$\liminf F_n(x)\ge\int h_-d\mu\ge F(x-\eta)$。$F$ は $x$ で連続なので $\eta\to0$ とすれば $F_n(x)\to F(x)$。

(⇐)　$f\in C_b$、$M=\sup|f|$、$\eta>0$ とします。$F$ の不連続点は高々可算なので、連続点 $a<b$ を $F(a)<\eta$、$1-F(b)<\eta$ となるように取れます。$f$ は $[a,b]$ で一様連続なので、$F$ の連続点 $a=x_0<x_1<\cdots<x_m=b$ を、各 $[x_{i-1},x_i]$ 上の $f$ の振れ幅が $\eta$ 未満となるように取れます。$g=\sum_if(x_i)\mathbf 1_{(x_{i-1},x_i]}$ とすると、$\int gd\mu_n=\sum_if(x_i)(F_n(x_i)-F_n(x_{i-1}))\to\int gd\mu$ で、$|\int fd\mu_n-\int gd\mu_n|\le\eta+2M\bigl(F_n(a)+1-F_n(b)\bigr)\to\eta+2M(F(a)+1-F(b))\le\eta+4M\eta$ ($\mu$ についても同様)。ゆえに $\limsup|\int fd\mu_n-\int fd\mu|\le2\eta+8M\eta$、$\eta$ は任意です。

∎

補題 4.3（Scheffé の補題）✓

$p_n,p$ を $\mathbb{R}^d$ 上の確率密度（非負で積分 $1$）とし、$p_n\to p$ が各点で成り立つとする。このとき $\int|p_n-p|\,dx\to0$。

証明（補題 4.3）

$(p-p_n)^+\le p$ で $(p-p_n)^+\to0$ なので、優収束定理から $\int(p-p_n)^+\to0$。$\int(p-p_n)=0$ より $\int(p-p_n)^-=\int(p-p_n)^+$ なので、$\int|p-p_n|=2\int(p-p_n)^+\to0$。

∎

次の定理の証明は 4 段階です。まず (i) で、雑音を足した変数 $X_n+\varepsilon Z$ については、密度が収束するので期待値も収束することを示します。(ii) で、リプシッツ関数なら雑音を足しても期待値がほとんど変わらないので、元の $X_n$ でも収束が言えます。(iii) で質量が無限遠に逃げないことを確かめ、(iv) で、リプシッツとは限らない一般の有界連続関数へ広げます。

定理 4.4（Lévy の連続性定理（収束先が既知の場合））✓

$\mu_n,\mu$ を $\mathbb{R}^d$ の確率測度とする。次は同値である。

1. $\mu_n\Rightarrow\mu$。
2. すべての $t\in\mathbb{R}^d$ で $\varphi_{\mu_n}(t)\to\varphi_\mu(t)$。

証明（定理 4.4）

(1) ⇒ (2)　$x\mapsto\cos\langle t,x\rangle$、$\sin\langle t,x\rangle$ は有界連続です。

(2) ⇒ (1)　$X_n\sim\mu_n$、$X\sim\mu$、$Z\sim N(0,I_d)$（独立）とします。$\varphi_n=\varphi_{\mu_n}$、$\varphi=\varphi_\mu$ とし、$\varepsilon>0$ を固定します。

(i)　平滑化した密度の収束。　補題 3.1 の密度 $p_{n,\varepsilon}$ は、$|\varphi_n(t)e^{-\varepsilon^2|t|^2/2}|\le e^{-\varepsilon^2|t|^2/2}$ なので、優収束定理により $p_\varepsilon$ へ各点収束します。いずれも確率密度なので、補題 4.3 により $\|p_{n,\varepsilon}-p_\varepsilon\|_1\to0$。したがって有界可測な $f$ に対し $E f(X_n+\varepsilon Z)\to E f(X+\varepsilon Z)$。

(ii)　有界リプシッツ関数。　$f$ が有界でリプシッツ定数 $L$ とします。$|E f(X_n)-E f(X_n+\varepsilon Z)|\le L\varepsilon E|Z|\le L\varepsilon\sqrt d$（$X$ についても同様）なので、

$$\limsup_{n}\bigl|E f(X_n)-E f(X)\bigr|\le2L\varepsilon\sqrt d .$$

$\varepsilon>0$ は任意なので $E f(X_n)\to E f(X)$。

(iii)　緊密性。　$\eta>0$ に対し $P(|X|>R)<\eta$ となる $R$ を取り、$h(x)=\min(1,\max(0,R+1-|x|))$（リプシッツ定数 $1$）とします。(ii) より $E h(X_n)\to E h(X)\ge1-\eta$ なので、$n\ge n_0$ で $P(|X_n|>R+1)\le1-E h(X_n)<2\eta$ です。有限個の $n<n_0$ にも各々 $R_n$ が取れるので、結局、ある $R'$ がすべての $n$ で $P(|X_n|>R')<2\eta$ を満たします。

(iv)　一般の有界連続関数。　$f\in C_b$、$M=\sup|f|$ とし、$f$ はコンパクト集合 $\{|x|\le R'+1\}$ 上で一様連続なので、$0<\delta<1$ を、$|x|\le R'$、$|x-x'|<\delta$ のとき $|f(x)-f(x')|<\eta$ となるように取ります。$X_n$ について、

$$\bigl|E f(X_n+\varepsilon Z)-E f(X_n)\bigr|\le\eta+2M\bigl(P(|X_n|>R')+P(\varepsilon|Z|\ge\delta)\bigr)\le\eta+2M\bigl(2\eta+P(|Z|\ge\delta/\varepsilon)\bigr),$$

$X$ についても同様（$R'$ を大きく取り直す）。(i) と合わせると

$$\limsup_n\bigl|E f(X_n)-E f(X)\bigr|\le2\eta+4M\bigl(2\eta+P(|Z|\ge\delta/\varepsilon)\bigr).$$

$\varepsilon\to0$ で $P(|Z|\ge\delta/\varepsilon)\to0$、そのあと $\eta\to0$ とすれば右辺は $0$ に行きます。

∎

(2) ⇒ (1) では極限の確率測度 $\mu$ が与えられているとしました。次に、$\varphi_n$ の極限が特性関数かどうかも分からないときに、それが特性関数であることまで保証する形を $d=1$ で示します。そのために緊密性を特性関数で評価します。

補題 4.5（特性関数による緊密性の評価）✓

$X$ を実確率変数、$\varphi$ をその特性関数とすると、任意の $\delta>0$ で

$$P\bigl(|X|\ge2/\delta\bigr)\le\frac1\delta\int_{-\delta}^\delta\bigl(1-\varphi(t)\bigr)\,dt .$$

証明（補題 4.5）

定理 3.4［直積測度と Fubini–Tonelli の定理］ により、右辺は $E\bigl[\frac1\delta\int_{-\delta}^\delta(1-e^{itX})dt\bigr]=E\bigl[2-2\frac{\sin\delta X}{\delta X}\bigr]$（$X=0$ のときは $0$）です。$2-2\frac{\sin u}u\ge0$ で、$|u|\ge2$ のとき $|\sin u/u|\le1/|u|\le1/2$ なので $\ge1$。したがって被積分関数は $\mathbf 1_{\{|\delta X|\ge2\}}$ 以上です。

∎

次の補題は、列から収束する部分列を取り出すための道具です。有理数の点ごとに分布関数の値の列を見て、対角線論法で、すべての有理数で同時に収束する部分列を作ります。その極限から右連続な関数を作り、緊密性によって全質量が $1$ になることを確かめます。

補題 4.6（Helly の選出原理）✓

実確率変数の列 $X_n$（分布を $\mu_n$ とする）が緊密（任意の $\eta>0$ に対し、すべての $n$ で $P(|X_n|>M)<\eta$ となる $M$ がある）ならば、部分列 $(n_k)$ と実確率測度 $\mu$ で、$\mu_{n_k}\Rightarrow\mu$ となるものがある。

証明（補題 4.6）

$F_n$ を $X_n$ の分布関数とします。有理数を数え上げ、対角線論法で部分列 $(n_k)$ を取り、すべての有理数 $q$ で $F_{n_k}(q)\to G(q)$ となるようにします（$[0,1]$ の有界列からの収束部分列の抽出）。$G$ は $\mathbb{Q}$ 上で単調非減少です。$F(x)=\inf\{G(q):q\in\mathbb{Q},q>x\}$ とすると、$F$ は単調非減少かつ右連続です。

$F$ の連続点 $x$ で $F_{n_k}(x)\to F(x)$ を示します。有理数 $q<x<q'$ に対し $F_{n_k}(q)\le F_{n_k}(x)\le F_{n_k}(q')$ なので、$\limsup F_{n_k}(x)\le\inf_{q'>x}G(q')=F(x)$、$\liminf F_{n_k}(x)\ge\sup_{q<x}G(q)\ge\sup_{y<x}F(y)=F(x-)=F(x)$（$y<q$ のとき $F(y)\le G(q)$ による）。

緊密性から、任意の $\eta$ に対し $F_n(-M)+1-F_n(M)<\eta$ となる $M$ があり、$F$ の連続点 $\pm M'$（$M'\ge M$）で $F(-M')\le\eta$、$F(M')\ge1-\eta$。ゆえに $F(-\infty)=0$、$F(\infty)=1$ です。定理 5.2［測度空間と Carathéodory の拡張定理］ により、$\mu((a,b])=F(b)-F(a)$ を満たす測度 $\mu$ があり、全質量が $1$ です。分布関数が $F$ で、$F_{n_k}\to F$（連続点で）ですから、補題 4.2 により $\mu_{n_k}\Rightarrow\mu$ です。

∎

定理 4.7（Lévy の連続性定理（極限関数の連続性による存在））✓

$X_n$ を実確率変数の列とし、すべての $t\in\mathbb{R}$ で $\varphi_{X_n}(t)\to\psi(t)$ が成り立ち、$\psi$ が $t=0$ で連続であるとする。このとき $\psi$ はある確率測度 $\mu$ の特性関数であり、$X_n\xrightarrow{d}\mu$ である。

証明（定理 4.7）

緊密性。　$\varphi_n(0)=1$ なので $\psi(0)=1$ です。$\eta>0$ に対し、$\psi$ の $0$ での連続性から $\delta>0$ を、$|t|\le\delta$ で $|1-\psi(t)|<\eta$ となるように取ります。$|1-\varphi_n|\le2$ なので優収束定理により $\frac1\delta\int_{-\delta}^\delta(1-\varphi_n)dt\to\frac1\delta\int_{-\delta}^\delta(1-\psi)dt$ で、右辺の絶対値は $2\eta$ 以下です。補題 4.5 により、$n\ge n_0$ で $P(|X_n|\ge2/\delta)\le3\eta$。有限個の $n<n_0$ は各々緊密ですから、列 $(X_n)$ は緊密です。

極限の同定。　補題 4.6 により、$\mu_{n_k}\Rightarrow\mu$ となる部分列と確率測度 $\mu$ があります。$e^{itx}$ は有界連続なので $\varphi_{n_k}(t)\to\varphi_\mu(t)$、よって $\varphi_\mu=\psi$ です。すなわち $\psi$ は特性関数です。

列全体の収束。　列 $(\mu_n)$ が $\mu$ に弱収束しないとすると、ある $f\in C_b$、$\eta>0$ と部分列で $|\int fd\mu_{n_j}-\int fd\mu|\ge\eta$ となります。この部分列も同じ仮定を満たすので緊密で、さらに部分列が弱収束し、その極限 $\mu'$ の特性関数は $\psi=\varphi_\mu$ です。一意性（定理 3.3）で $\mu'=\mu$ となり、矛盾です。

∎

注意 4.8

$t=0$ での連続性は外せません。$X_n\sim N(0,n)$ では $\varphi_n(t)=e^{-nt^2/2}\to\mathbf 1_{\{0\}}(t)$ で、$t=0$ で不連続です。実際 $X_n$ は緊密でなく（質量が無限遠に逃げる）、どの確率測度にも弱収束しません。補題 4.5 が、特性関数の $0$ の近くの情報が緊密性そのものであることを教えています。$\mathbb{R}^d$ での存在部分には $d$ 次元の緊密性と選出原理（Prokhorov の定理）が必要で、この記事では $d=1$ だけを示しました。

系 4.9（Cramér–Wold の方法）✓

$X_n,X$ を $\mathbb{R}^d$ の確率ベクトルとする。$X_n\xrightarrow{d}X$ であることと、すべての $a\in\mathbb{R}^d$ で $\langle a,X_n\rangle\xrightarrow{d}\langle a,X\rangle$ であることは同値である。

証明（系 4.9）

(⇒) $x\mapsto\langle a,x\rangle$ は連続なので、$f\in C_b(\mathbb{R})$ に対し $f(\langle a,\cdot\rangle)\in C_b(\mathbb{R}^d)$ です。(⇐) $\varphi_{X_n}(a)=\varphi_{\langle a,X_n\rangle}(1)\to\varphi_{\langle a,X\rangle}(1)=\varphi_X(a)$ で、定理 4.4 (2) ⇒ (1) を使います。

∎

5. Gauss ベクトル

定義 5.1（Gauss ベクトル）↗

$\mathbb{R}^d$ 値の確率ベクトル $X$ が Gauss ベクトル（多次元正規分布に従う）であるとは、すべての $a\in\mathbb{R}^d$ について実確率変数 $\langle a,X\rangle$ が正規分布 $N(m_a,\sigma_a^2)$（$\sigma_a\ge0$。$\sigma_a=0$ のときは 1 点 $m_a$ に退化した分布）に従うことをいう。

各成分 $X_i=\langle e_i,X\rangle$ は正規分布なので有限の積率をすべて持ちます。$m=E[X]$、$C=(\mathrm{Cov}(X_i,X_j))_{i,j}$ を平均ベクトルと共分散行列とします。

定理 5.2（Gauss ベクトルの構造）✓

1. $X$ が Gauss ベクトルで平均 $m$、共分散 $C$ ならば、$C$ は対称半正定値行列で $$\varphi_X(t)=\exp\Bigl(i\langle t,m\rangle-\tfrac12\langle t,Ct\rangle\Bigr).$$
2. 逆に、任意の $m\in\mathbb{R}^d$ と対称半正定値行列 $C$ に対し、平均 $m$、共分散 $C$ の Gauss ベクトルが存在する。その分布は $(m,C)$ だけで決まる。これを $N(m,C)$ と書く。
3. $C$ が正定値のとき $N(m,C)$ は密度 $\dfrac{1}{(2\pi)^{d/2}\sqrt{\det C}}\exp\Bigl(-\tfrac12\langle x-m,C^{-1}(x-m)\rangle\Bigr)$ を持つ。$C$ が特異なとき、$N(m,C)$ はルベーグ測度に関する密度を持たない。
4. $X\sim N(m,C)$ のとき、$A$ を $d'\times d$ 行列、$b\in\mathbb{R}^{d'}$ として $AX+b\sim N(Am+b,ACA^{\mathsf T})$。

証明（定理 5.2）

(1)　$\langle a,X\rangle$ の平均は $\langle a,m\rangle$、分散は $\mathrm{Var}\langle a,X\rangle=\sum a_ia_j\mathrm{Cov}(X_i,X_j)=\langle a,Ca\rangle$ です。分散は非負なので $C$ は半正定値で、対称性は定義から従います。$\varphi_X(t)=E e^{i\langle t,X\rangle}=\varphi_{\langle t,X\rangle}(1)$ に 補題 2.3 を適用すれば、$\langle t,X\rangle\sim N(\langle t,m\rangle,\langle t,Ct\rangle)$ から公式が従います。

(2)　$C$ を実対称行列としてスペクトル分解し（実対称行列のスペクトル定理）、固有値が非負であることから平方根 $C^{1/2}$（対称半正定値、$(C^{1/2})^2=C$）を取ります。$Z\sim N(0,I_d)$ として $X=m+C^{1/2}Z$ とすると、$\varphi_{\langle a,X\rangle}(s)=e^{is\langle a,m\rangle}\varphi_Z(sC^{1/2}a)=e^{is\langle a,m\rangle-s^2|C^{1/2}a|^2/2}$（命題 2.2 (3)、補題 2.3）です。これは $N(\langle a,m\rangle,|C^{1/2}a|^2)$ の特性関数なので、一意性（定理 3.3）から $\langle a,X\rangle$ は正規分布に従い、$X$ は Gauss ベクトルです。平均は $m$、共分散は $E[C^{1/2}ZZ^{\mathsf T}C^{1/2}]=C$ です。分布の一意性は (1) と 定理 3.3 です。

(3)　$C$ が正定値なら $C^{1/2}$ は可逆で、$X=m+C^{1/2}Z$ は $Z$ の可逆なアフィン変換です。$Z$ の密度 $(2\pi)^{-d/2}e^{-|z|^2/2}$ を、$z=C^{-1/2}(x-m)$ と変数変換し（$\mathbb{R}^d$ の変数変換公式 定理 4.5［ℝ^d の変数変換公式と極座標］ をアフィン写像に使ったもので、ヤコビ行列式は $\det C^{-1/2}$）、$|z|^2=\langle x-m,C^{-1}(x-m)\rangle$ を使えば密度が得られます。$C$ が特異なら $Ca=0$ となる $a\ne0$ があり、$\mathrm{Var}\langle a,X\rangle=0$ なので $\langle a,X\rangle=\langle a,m\rangle$ がほとんど確実に成り立ち、$X$ は超平面 $\{x:\langle a,x\rangle=\langle a,m\rangle\}$（ルベーグ測度 $0$）の上にあります。密度を持てません。

(4)　$\langle b',AX+b\rangle=\langle A^{\mathsf T}b',X\rangle+\langle b',b\rangle$ は正規分布に従うので、$AX+b$ は Gauss ベクトルで、平均と共分散は線形性から $Am+b$、$ACA^{\mathsf T}$ です。

∎

とくに、1 次元の Gauss ベクトルは通常の正規分布（$\sigma=0$ なら退化分布）で、$N(m,C)$ は $C$ の対角成分が分散、非対角成分が共分散です。

命題 5.3（無相関ならば独立）✓

$X=(Y,W)$ を $\mathbb{R}^{d_1+d_2}$ の Gauss ベクトルとし、$\mathrm{Cov}(Y_i,W_j)=0$（すべての $i,j$）とする。このとき $Y$ と $W$ は独立である。

証明（命題 5.3）

共分散行列は $C=\begin{pmatrix}C_Y&0\\0&C_W\end{pmatrix}$ の形なので、定理 5.2 (1) から

$$\varphi_X(s,t)=\exp\Bigl(i\langle s,m_Y\rangle-\tfrac12\langle s,C_Ys\rangle\Bigr)\exp\Bigl(i\langle t,m_W\rangle-\tfrac12\langle t,C_Wt\rangle\Bigr)=\varphi_Y(s)\varphi_W(t) .$$

右辺は、$P_Y\otimes P_W$ の特性関数でもあります（命題 2.2 (4)）。定理 3.3 により $P_{(Y,W)}=P_Y\otimes P_W$ です。

∎

例 5.4（周辺分布が正規でも Gauss ベクトルとは限らない）

$X_1\sim N(0,1)$、$\epsilon$ を $P(\epsilon=\pm1)=1/2$ で $X_1$ と独立な符号とし、$X_2=\epsilon X_1$ とします。$X_2$ の分布は $X_1$ と同じ $N(0,1)$（$X_1$ の対称性）で、$E[X_1X_2]=E[\epsilon]E[X_1^2]=0$ なので無相関です。ところが $|X_2|=|X_1|$ なので独立ではありません。命題 5.3 により、$(X_1,X_2)$ は Gauss ベクトルではありません。実際 $X_1+X_2$ は確率 $1/2$ で $0$ に等しく、正規分布（退化でない）にはなれません。

次の命題の (2) は、特性関数の絶対値から共分散行列の収束を、位相（偏角）の部分から平均の収束を、それぞれ取り出す、という二本立てで進みます。

命題 5.5（Gauss ベクトルの極限も Gauss）✓

$X_n\sim N(m_n,C_n)$ とする。

1. $m_n\to m$、$C_n\to C$ ならば $X_n\xrightarrow{d}N(m,C)$。
2. $X_n\xrightarrow{d}X$ ならば、$m_n\to m$、$C_n\to C$ となる $(m,C)$ が存在し、$X\sim N(m,C)$。すなわち Gauss ベクトルの分布収束の極限は Gauss ベクトルである。

証明（命題 5.5）

(1)　特性関数の公式の各点収束と 定理 4.4 です。

(2)　$\varphi_n\to\varphi$（各点）で $\varphi$ は連続、$\varphi(0)=1$ です。$r>0$ を、$|t|\le r$ で $\varphi(t)\ne0$ となるように取ります。$|\varphi_n(t)|=e^{-\langle t,C_nt\rangle/2}\to|\varphi(t)|$ から $\langle t,C_nt\rangle\to-2\log|\varphi(t)|=:q(t)$（$|t|\le r$）です。二次形式 $\langle t,C_nt\rangle$ は 2 次の同次式なので、$q$ は $\mathbb{R}^d$ 全体の 2 次形式に延長でき、分極恒等式（$\langle s,C_nt\rangle=\frac14(\langle s+t,C_n(s+t)\rangle-\langle s-t,C_n(s-t)\rangle)$）から $C_n$ の各成分が収束します。極限を $C$ とします（対称半正定値）。

平均について。$|t|\le r$ で $\varphi_n(t)/|\varphi_n(t)|=e^{i\langle t,m_n\rangle}\to g(t)=\varphi(t)/|\varphi(t)|$ で、$g$ は連続、$g(0)=1$ です。$e_k$ 方向に $x_n=\langle e_k,m_n\rangle$ とおき、$0<\delta\le r$ を $\mathrm{Re}\,g(se_k)>1/2$（$0\le s\le\delta$）となるように取ります。有界収束により $\int_0^\delta e^{isx_n}ds\to\int_0^\delta g(se_k)ds$ で、右辺の実部は $\delta/2$ 以上です。ところが左辺は $(e^{i\delta x_n}-1)/(ix_n)$ なので、$|x_n|\to\infty$ なら $0$ に行ってしまいます。したがって $(x_n)$ は有界です。$m_n$ の二つの収束部分列の極限 $m,m'$ に対し、$|t|\le r$ で $e^{i\langle t,m\rangle}=g(t)=e^{i\langle t,m'\rangle}$ なので、$t=se_k$ ($|s|\le r$) で $s\langle e_k,m-m'\rangle\in2\pi\mathbb{Z}$、$s$ を連続的に動かせば $\langle e_k,m-m'\rangle=0$ です。よって $m_n$ は収束し、極限を $m$ とします。(1) により $X_n\xrightarrow{d}N(m,C)$ で、分布収束の極限の一意性（定理 3.3：極限の特性関数は $\varphi$ に等しい）から $X\sim N(m,C)$ です。

∎

6. 積率と Wick の公式

ペアリングとは、$2n$ 個の添字を 2 個ずつの組に分ける分け方のことです。たとえば $4$ 個なら $\{1,2\}\{3,4\}$、$\{1,3\}\{2,4\}$、$\{1,4\}\{2,3\}$ の $3$ 通りです。証明は、$\langle t,Y\rangle$ の積率を 2 通りに計算して比べ、その両辺の $t_1t_2\cdots t_{2n}$ の係数を取り出す、という方針です。係数に出る $n!$ と $2^n$ は、$n$ 個の因子へ組を割り当てる順番と、各組の 2 つの添字の並べ方に対応します。

定理 6.1（Wick（Isserlis）の公式）✓

$(X_1,\dots,X_{2n})$ を中心化（平均 $0$）Gauss ベクトルとし、$C_{ij}=E[X_iX_j]$ とする。成分に重複があってもよい。このとき

$$E[X_1X_2\cdots X_{2n}]=\sum_{\pi}\ \prod_{\{k,l\}\in\pi}C_{kl},$$

ただし和は $\{1,\dots,2n\}$ の完全なペアリング $\pi$（$n$ 個の 2 元部分集合への分割）全体にわたる（$(2n-1)!!$ 個）。また奇数個の積の期待値は $0$：$E[X_1\cdots X_{2n+1}]=0$。

証明（定理 6.1）

第 1 段：1 次結合の積率。　$Y=(X_1,\dots,X_{2n})$ とします。$\langle t,Y\rangle$ は正規分布なので $E e^{|\langle t,Y\rangle|}<\infty$ です。$\lambda\in\mathbb{R}$ に対し、$\bigl|\sum_{k\le K}(i\lambda s)^k/k!\bigr|\le e^{|\lambda s|}$ を使った優収束定理により

$$\varphi_Y(\lambda t)=\sum_{k\ge0}\frac{(i\lambda)^k}{k!}E\langle t,Y\rangle^k .$$

一方 定理 5.2 (1) から $\varphi_Y(\lambda t)=\exp(-\lambda^2\langle t,Ct\rangle/2)=\sum_{n\ge0}\frac{(-1)^n\lambda^{2n}}{2^nn!}\langle t,Ct\rangle^n$。どちらも $\lambda$ のべき級数なので係数を比べて、

$$E\langle t,Y\rangle^{2n}=\frac{(2n)!}{2^nn!}\langle t,Ct\rangle^n,\qquad E\langle t,Y\rangle^{2n+1}=0 .$$

これが任意の $t\in\mathbb{R}^{2n}$ で成り立ちます。

第 2 段：係数の比較。　両辺は $t=(t_1,\dots,t_{2n})$ の $2n$ 次斉次多項式です。左辺 $E(\sum_kt_kY_k)^{2n}$ における単項式 $t_1t_2\cdots t_{2n}$ の係数は、多項定理により $(2n)!\,E[Y_1\cdots Y_{2n}]$ です。右辺 $\frac{(2n)!}{2^nn!}\bigl(\sum_{k,l}C_{kl}t_kt_l\bigr)^n$ における同じ単項式の係数を数えます。$n$ 個の因子から順に添字対 $(k_a,l_a)$ を選び、$\{1,\dots,2n\}$ のすべての元がちょうど 1 回現れる選び方を考えます。各選び方は、ペアリング $\pi=\{\{k_a,l_a\}\}$ と、どの対をどの因子に割り当てるか（$n!$ 通り）、各対の向き（$2^n$ 通り）で決まり、寄与は $\prod C_{k_al_a}$ です。よって係数は $n!\,2^n\sum_\pi\prod_{\{k,l\}\in\pi}C_{kl}$ です。両辺を比べると

$$(2n)!\,E[Y_1\cdots Y_{2n}]=\frac{(2n)!}{2^nn!}\,n!\,2^n\sum_\pi\prod C_{kl},$$

すなわち主張です。奇数の場合は、$t_1\cdots t_{2n+1}$ の係数が右辺で $0$ なので期待値も $0$ です。

∎

例 6.2（4 次の積率）

$X\sim N(0,\sigma^2)$ なら $E[X^4]=3\sigma^4$（$(2\cdot2-1)!!=3$ 通りのペアリング）。一般に $E[X^{2n}]=(2n-1)!!\,\sigma^{2n}$。2 次元の中心化 Gauss ベクトル $(X_1,X_2)$ では

$$E[X_1^2X_2^2]=C_{11}C_{22}+2C_{12}^2$$

（ペアリング $\{1,2\},\{3,4\}$ が $C_{11}C_{22}$、残り二つが $C_{12}^2$）。分散を $1$ に正規化し相関係数を $\rho$ とすると、$\mathrm{Cov}(X_1^2,X_2^2)=1+2\rho^2-1=2\rho^2$、$\mathrm{Var}(X_1^2)=3-1=2$ なので、$X_1^2$ と $X_2^2$ の相関係数は $\rho^2$ です。

7. Mills 比と正規分布の裾

標準正規分布の密度を $\phi(x)=(2\pi)^{-1/2}e^{-x^2/2}$、分布関数を $\Phi$ とし、

$$R(x)=\frac{1-\Phi(x)}{\phi(x)}=\int_x^\infty e^{-(s^2-x^2)/2}\,ds$$

を Mills 比とします。裾の確率 $1-\Phi(x)$ が密度 $\phi(x)$ の何倍になっているかを表す量です。

定理 7.1（Mills 比の評価）✓

1. $R$ は微分方程式 $R'(x)=xR(x)-1$ を満たし、$R(0)=\sqrt{\pi/2}$。
2. $x>0$ で $$\frac{x}{1+x^2}<R(x)<\frac1x,\qquad \frac1x-\frac1{x^3}<R(x)<\frac1x-\frac1{x^3}+\frac3{x^5} .$$
3. $x\ge0$ で $\dfrac{2}{x+\sqrt{x^2+4}}<R(x)$（Birnbaum の下界）。
4. $R$ は $[0,\infty)$ で狭義単調減少で、$x\ge0$ で $1-\Phi(x)\le\tfrac12e^{-x^2/2}$。

証明の見通しです。(2) と (4) は、密度の微分が $\phi'(x)=-x\phi(x)$ になることを使った積分の評価です。(3) の Birnbaum の下界は、比べたい関数 $u$ と $R$ の差が、ある関数を掛けると単調に減ることを示し、無限遠で $0$ に近づくことから正だと結論する、という手順です。

証明（定理 7.1）

(1)　$\phi'(x)=-x\phi(x)$ より

$$R'(x)=\frac{-\phi(x)\cdot\phi(x)-(1-\Phi(x))\phi'(x)}{\phi(x)^2}=-1+x\frac{1-\Phi(x)}{\phi(x)}=xR(x)-1 .$$

また $R(0)=\frac{1/2}{(2\pi)^{-1/2}}=\sqrt{\pi/2}$。

(2)　$t>x>0$ で $1<t/x$ なので $1-\Phi(x)=\int_x^\infty\phi(t)dt<\int_x^\infty\frac tx\phi(t)dt=\frac{\phi(x)}x$（$t\phi(t)=-\phi'(t)$）。これが上界 $R<1/x$ です。下界：$\frac{d}{dt}\bigl(-\phi(t)/t\bigr)=\phi(t)(1+t^{-2})$ なので $\int_x^\infty(1+t^{-2})\phi(t)dt=\phi(x)/x$、$1+t^{-2}\le1+x^{-2}$ から $(1+x^{-2})(1-\Phi(x))\ge\phi(x)/x$、すなわち $R(x)\ge x/(1+x^2)$（狭義は被積分関数の不等式が狭義）。細かい評価は部分積分を繰り返して、

$$1-\Phi(x)=\frac{\phi(x)}x-\int_x^\infty\frac{\phi(t)}{t^2}dt=\frac{\phi(x)}x-\frac{\phi(x)}{x^3}+3\int_x^\infty\frac{\phi(t)}{t^4}dt .$$

最後の項は正で、$t>x$ で $t^{-4}<t\,x^{-5}$ により $3\int_x^\infty\phi t^{-4}dt<\frac{3\phi(x)}{x^5}$。これが 2 番目の不等式です。

(4)（先に）　(2) より $x>0$ で $R(x)<1/x$ なので $R'(x)=xR(x)-1<0$、$R$ は $[0,\infty)$ で狭義単調減少（$x=0$ では $R'(0)=-1<0$）です。よって $R(x)\le R(0)=\sqrt{\pi/2}$ で、$1-\Phi(x)=R(x)\phi(x)\le\sqrt{\pi/2}\cdot(2\pi)^{-1/2}e^{-x^2/2}=\frac12e^{-x^2/2}$。

(3)　$s=\sqrt{x^2+4}$、$u(x)=\frac2{x+s}=\frac{s-x}2$ とします。$u$ は $u^2+xu-1=0$ を満たす（$u=(-x+s)/2$ は $u^2+xu-1=0$ の正根）ので $xu-1=-u^2$、また $u'=\frac12(\frac xs-1)=-\frac us$ です。$s>x$ から $su>1$（$su=s(s-x)/2$ で、$s(s-x)>2$ は $s^2-sx>2\iff x^2+2>sx\iff(x^2+2)^2>x^2(x^2+4)$、すなわち $4>0$）。よって $u'=-u/s>-u^2=xu-1$。$w=R-u$ とすると、$w'=xR-1-u'<xR-1-(xu-1)=xw$、すなわち $\bigl(w\,e^{-x^2/2}\bigr)'=(w'-xw)e^{-x^2/2}<0$ で、$we^{-x^2/2}$ は狭義単調減少です。$x\to\infty$ で $R,u\to0$ なので $we^{-x^2/2}\to0$。狭義単調減少で極限が $0$ の関数は正なので $w>0$、すなわち $R>u$ です。

∎

数値で確かめます（$R(x)$ は 4000 分割の Simpson 則で積分して求めました）。

$x$	$R(x)$	$x/(1+x^2)$	Birnbaum $\frac{2}{x+\sqrt{x^2+4}}$	$1/x$
0.5	0.87636	0.40000	0.78078	2.00000
1	0.65568	0.50000	0.61803	1.00000
2	0.42137	0.40000	0.41421	0.50000
3	0.30459	0.30000	0.30278	0.33333
4	0.23665	0.23529	0.23607	0.25000

Mills 比 R(x)（太い実線）と、上界 1/x（細い実線、x ≥ 1）、下界 Birnbaum（破線）と x/(1+x²)（点線）。x が大きくなると 3 本はすべて R に重なる。

例 7.2（n 個の正規乱数の最大値）

$Z_1,\dots,Z_n$ を独立な標準正規変数とし、$M_n=\max_{i\le n}Z_i$ とします。$\varepsilon\in(0,1)$ とします。

上から。　$t=\sqrt{2(1+\varepsilon)\log n}$ とすると、定理 7.1 (4) により

$$P(M_n>t)\le n(1-\Phi(t))\le\tfrac n2e^{-t^2/2}=\tfrac12n^{-\varepsilon}\to0 .$$

下から。　$t=\sqrt{2(1-\varepsilon)\log n}$ とすると、$t\ge1$ になる程度に大きい $n$ で 定理 7.1 (2) の下界 $R(t)\ge t/(1+t^2)\ge1/(2t)$ が使えて、

$$n(1-\Phi(t))\ge\frac{n\,\phi(t)}{2t}=\frac{n^{\varepsilon}}{2\sqrt{2\pi}\,t}=\frac{n^{\varepsilon}}{2\sqrt{2\pi}\sqrt{2(1-\varepsilon)\log n}}\to\infty .$$

独立性から $P(M_n\le t)=\Phi(t)^n\le\exp(-n(1-\Phi(t)))\to0$（$\Phi=1-(1-\Phi)\le e^{-(1-\Phi)}$）。

したがって $M_n/\sqrt{2\log n}\to1$（確率収束）です。最大値の大きさは Mills 比の指数部分、$n\,e^{-t^2/2}\approx1$ の位置で決まります。機械学習で多数の仮説やパラメータを同時に検定するときの「偶然の大きな値」の見積もりも、この評価に帰着します。

8. 演習

演習 8.1易

$X\sim U(-1,1)$ の特性関数を求め、命題 2.2 (5) を使って $E[X^2]$ を求めよ。

解答

$\varphi(t)=\frac12\int_{-1}^1e^{itx}dx=\frac{\sin t}{t}$（$t=0$ では $1$）です。$\sin t/t=1-\frac{t^2}6+O(t^4)$ なので $\varphi''(0)=-\frac13$。命題 2.2 (5) から $\varphi''(0)=i^2E[X^2]=-E[X^2]$、よって $E[X^2]=1/3$ です。直接の計算 $\frac12\int_{-1}^1x^2dx=\frac13$ と一致します。

演習 8.2標準

$X_1,X_2$ を独立な $N(0,1)$ とする。$U=(X_1+X_2)/\sqrt2$ と $V=(X_1-X_2)/\sqrt2$ が独立な $N(0,1)$ であることを示せ。

解答

$(X_1,X_2)\sim N(0,I_2)$ で、$(U,V)=A(X_1,X_2)$、$A=\frac1{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}$ は直交行列です。定理 5.2 (4) により $(U,V)\sim N(0,AA^{\mathsf T})=N(0,I_2)$。共分散行列が単位行列なので、各成分は $N(0,1)$ で、命題 5.3 により $U,V$ は独立です。

演習 8.3標準

$(X_1,X_2,X_3)$ を中心化 Gauss ベクトルとする。$E[X_1X_2X_3^2]$ を共分散で表せ。$C_{ij}=\delta_{ij}$ の場合の値は何か。

解答

定理 6.1 に $(Y_1,Y_2,Y_3,Y_4)=(X_1,X_2,X_3,X_3)$ を代入します。ペアリング三通り $\{12\}\{34\}$、$\{13\}\{24\}$、$\{14\}\{23\}$ から

$$E[X_1X_2X_3^2]=C_{12}C_{33}+C_{13}C_{23}+C_{13}C_{23}=C_{12}C_{33}+2C_{13}C_{23}.$$

$C=I$ なら $C_{12}=C_{13}=C_{23}=0$ なので $0$ です（$X_1X_2$ が奇関数の積になるので、直接にも明らかです）。

演習 8.4難

$Z\sim N(0,1)$ とする。固定した $a>0$ に対し $\lim_{x\to\infty}P(Z>x+a/x)/P(Z>x)=e^{-a}$ を示せ。

解答

$x'=x+a/x$ とおくと、$P(Z>x')/P(Z>x)=\frac{R(x')}{R(x)}\cdot\frac{\phi(x')}{\phi(x)}$ です。$\phi(x')/\phi(x)=\exp\bigl(-\tfrac12(x'^2-x^2)\bigr)=\exp\bigl(-a-\tfrac{a^2}{2x^2}\bigr)\to e^{-a}$。一方 定理 7.1 (2) から $\frac1x-\frac1{x^3}<R(x)<\frac1x$ なので $xR(x)\to1$、同様に $x'R(x')\to1$ ($x'\to\infty$)。$x'/x\to1$ なので $R(x')/R(x)=\frac{x'R(x')}{xR(x)}\cdot\frac{x}{x'}\to1$。以上で極限は $e^{-a}$ です。これは正規分布の最大値がガンベル分布に近づくことの一因です。

参考文献

• Rick Durrett『Probability: Theory and Examples』（第 5 版）Cambridge University Press、2019 — 第 3 章（特性関数、反転公式、Lévy の連続性定理）。
• Patrick Billingsley『Probability and Measure』（第 3 版）Wiley、1995 — 第 26 節（特性関数と連続性定理）。
• Svante Janson『Gaussian Hilbert Spaces』Cambridge University Press、1997 — 第 1 章（Gauss ベクトル）、第 1 章末の Wick 積と Isserlis の公式。
• L. Isserlis, “On a formula for the product-moment coefficient of any order of a normal frequency distribution in any number of variables”, Biometrika 12 (1918), 134–139.
• Z. W. Birnbaum, “An inequality for Mill’s ratio”, Annals of Mathematical Statistics 13 (1942), 245–246.