# データの分析：平均・分散・相関・回帰直線の「なぜ」 > 平均・中央値・分散・相関係数・回帰直線を、「誤差の二乗和（絶対値の和）の最小化」と内積の言葉で証明し、|r| ≤ 1、分散の分解、Simpson のパラドックスまで丁寧に扱う。 > https://rikai.mugen-giken.com/mathematics/hs-probability/data-analysis ## 0. この記事の要点 テストの結果を 1 つの数で言うなら平均点でしょうか、それとも真ん中の人の点数でしょうか。また、数学の点数と英語の点数に「関係がある」とは、どういうことでしょうか。この記事は、こうした素朴な疑問に、公式の暗記ではなく「ずれをなるべく小さくする」という考え方で答えます。読み終えると、平均・分散・相関係数・回帰直線の式がなぜその形になるのかを、自分の言葉で説明できるようになります。 - データの代表値は 3 つ（平均・中央値・最頻値）あります。この記事の最初の主張は、**平均は誤差の二乗の和を最小にする値、中央値は誤差の[絶対値](/mathematics/hs-algebra/numbers-and-expressions#def-abs)の和を最小にする値**だということです。「どの代表値が正しいか」は「どんな誤差を小さくしたいか」で決まります。 - 分散の公式「（2 乗の平均）−（平均の 2 乗）」は、$\sum(x_i-a)^2=\sum(x_i-\bar x)^2+n(\bar x-a)^2$ という 1 本の等式から出ます。変量の 1 次変換 $y=ax+b$ では平均は $a\bar x+b$、分散は $a^2$ 倍になります。 - 相関係数 $r$ は、偏差をならべたベクトルの[なす角](/mathematics/hs-geometry/plane-vectors#def-vector-angle)の余弦です（ベクトルは「数を並べた矢印」と思えば十分です）。Cauchy–Schwarz の不等式（内積の大きさは長さの積を超えない、という不等式）により $-1\le r\le1$、$|r|=1$ はデータが 1 直線に乗るときに限ります。 - 回帰直線（最小二乗法）は微分を使わず、平方完成だけで求まります。傾きは $r\,s_y/s_x$、直線は平均の点 $(\bar x,\bar y)$ を通り、残りの二乗和は全体の $1-r^2$ 倍です。 - 全体の分散は「群内分散の平均 + 群間分散」に分解できます。Simpson のパラドックス（部分では A が良いのに、全体では B が良い）は、重み付き平均の重みがちがうために起こります。 ## 1. 動機 「このクラスのテストの結果を 1 つの数で言うと」と聞かれたとき、平均点を答える人も中央値を答える人もいます。どちらも「正しい」のですが、何を答えているかが違います。この記事では、代表値・ばらつき・関係の強さといった概念を、公式の暗記ではなく**何かを最小にするという性質**として理解します。 高校では分散を $n$ で割って定義します（標本としての不偏分散は $n-1$ で割る別の量で、統計的な推測の記事で扱います）。ここでも $n$ で割ります。 ## 2. 代表値と四分位数 $n$ 個のデータ $x_1,\dots,x_n$ を小さい順に並べ替えたものを $x_{(1)}\le x_{(2)}\le\cdots\le x_{(n)}$ と書きます。 - **平均** $\bar x=\dfrac1n\sum_{i=1}^nx_i$。 - **中央値** $m$（メジアン）: $n$ が奇数のとき $x_{((n+1)/2)}$、偶数のとき $\dfrac{x_{(n/2)}+x_{(n/2+1)}}{2}$。 - **最頻値**: 最も多く現れる値（複数あってもよい）。 $n\ge2$ とする。中央値を $Q_2$ とする。データを中央値で上下に分ける（$n$ が奇数のときは中央値そのものを除く）。下半分の中央値を**第 1 四分位数** $Q_1$、上半分の中央値を**第 3 四分位数** $Q_3$ という。$Q_3-Q_1$ を**四分位範囲**という。最小値・$Q_1$・$Q_2$・$Q_3$・最大値を図にしたものが**箱ひげ図**である。 四分位数の定義には何通りかの流儀があります（補間で決めるものなど）。ここでは高校の教科書で多く採られる、上の流儀を使います。 データ $2,4,5,7,8,10,11,14,25$（$n=9$）。中央値は $8$。下半分 $2,4,5,7$ の中央値が $Q_1=\dfrac{4+5}2=4.5$、上半分 $10,11,14,25$ の中央値が $Q_3=\dfrac{11+14}2=12.5$。四分位範囲は $8$、平均は $\dfrac{86}9\approx9.56$。最大値 $25$ が他から離れているので、平均は中央値より大きくなっています。
07.515 22.530
## 3. 分散と標準偏差 各 $x_i$ について $x_i-\bar x$ を**偏差**という。**分散**を $s_x^2=\dfrac1n\sum_{i=1}^n(x_i-\bar x)^2$、**標準偏差**を $s_x=\sqrt{s_x^2}$ と定める。偏差の和は $\sum(x_i-\bar x)=n\bar x-n\bar x=0$ である。 分散を「平均からの距離の二乗の平均」と読むと、平均を別の値 $a$ に置き換えたとき何が起きるかが気になります。それが次の補題です。 任意の実数 $a$ について $$ \sum_{i=1}^n(x_i-a)^2=\sum_{i=1}^n(x_i-\bar x)^2+n(\bar x-a)^2. $$ $x_i-a=(x_i-\bar x)+(\bar x-a)$ と分けて展開すると $$ \sum(x_i-a)^2=\sum(x_i-\bar x)^2+2(\bar x-a)\sum(x_i-\bar x)+n(\bar x-a)^2. $$ 偏差の和は $0$ なので、中央の項が消える。 $s_x^2=\overline{x^2}-\bar x^2$、すなわち「2 乗の平均」から「平均の 2 乗」を引いたものに等しい。ここで $\overline{x^2}=\dfrac1n\sum x_i^2$。 で $a=0$ とすると $\sum x_i^2=\sum(x_i-\bar x)^2+n\bar x^2$。両辺を $n$ で割って移項する。 $a,b$ を実数とし、$y_i=ax_i+b$ とする。このとき $\bar y=a\bar x+b$、$s_y^2=a^2s_x^2$、$s_y=|a|s_x$ である。 $\bar y=\frac1n\sum(ax_i+b)=a\bar x+b$。$y_i-\bar y=a(x_i-\bar x)$ なので $s_y^2=\frac1n\sum a^2(x_i-\bar x)^2=a^2s_x^2$。 データ $x_i$ から作る $z_i=\dfrac{x_i-\bar x}{s_x}$（$s_x>0$）は、 により平均 $0$、分散 $1$ です。さらに $T_i=50+10z_i$ は平均 $50$、分散 $100$（標準偏差 $10$）で、これが**偏差値**です。平均 $60$、標準偏差 $15$ のテストで 75 点なら $z=1$、偏差値は $60$ です。 ## 4. 平均は二乗誤差を、中央値は絶対誤差を最小にする 関数 $f(a)=\sum_{i=1}^n(x_i-a)^2$ は $a=\bar x$ でただ 1 つの最小値 $n s_x^2$ をとる。 により $f(a)=ns_x^2+n(\bar x-a)^2\ge ns_x^2$ で、等号は $a=\bar x$ のときに限る。 絶対値は二乗のように展開できないので、平均のときの方法は使えません。そこで、小さい方から $i$ 番目と大きい方から $i$ 番目を組にして、2 点までの距離の和を調べます。$a$ が 2 点の間にあれば、この和は $a$ によらず 2 点の間隔に等しくなります。次の証明はこの見方で最小値を求めています。 $g(a)=\sum_{i=1}^n|x_i-a|$ とする。$g$ の最小値は $\sum_{i\le n/2}\bigl(x_{(n+1-i)}-x_{(i)}\bigr)$ で、これを与える $a$ は、$n$ が奇数のときは中央値 $x_{((n+1)/2)}$ だけ、$n$ が偶数のときは区間 $x_{(n/2)}\le a\le x_{(n/2+1)}$ のすべての $a$ である（中央値はこの区間の中点）。 和の順序を変えて $g(a)=\sum_i|x_{(i)}-a|$ と書く。$1\le i\le n/2$ について、外側から $i$ 番目の対をとる。三角不等式より $$ |x_{(i)}-a|+|x_{(n+1-i)}-a|\ge\bigl|(a-x_{(i)})+(x_{(n+1-i)}-a)\bigr|=x_{(n+1-i)}-x_{(i)}. $$ 等号は $a-x_{(i)}\ge0$ かつ $x_{(n+1-i)}-a\ge0$、すなわち $x_{(i)}\le a\le x_{(n+1-i)}$ のとき（かつそのときに限る。2 数 $p,q$ で $|p|+|q|=|p+q|$ となるのは $pq\ge0$ のときで、ここでは $p+q=x_{(n+1-i)}-x_{(i)}\ge0$ なので、$p,q$ がともに $\le0$ なら $p=q=0$、つまりどちらにしても $p,q\ge0$）。$n$ が奇数なら真ん中の項 $|x_{((n+1)/2)}-a|\ge0$ が残り、等号は $a=x_{((n+1)/2)}$ のとき。各項の下限を足すと最小値の下界が得られ、すべての対とすべての真ん中の項で等号が成り立つ $a$ が最小点である。区間 $[x_{(i)},x_{(n+1-i)}]$ は $i$ が大きいほど狭く入れ子になるので、共通部分は最も内側の区間で、$n$ 偶数なら $[x_{(n/2)},x_{(n/2+1)}]$、$n$ 奇数なら（真ん中の項の条件と合わせて）$\{x_{((n+1)/2)}\}$ である。この共通部分は空でないので、下界は実際に達成される。 $2,3,4,5,6$ の平均・中央値はともに $4$。最後の $6$ を $60$ に取り替えると、平均は $\dfrac{2+3+4+5+60}5=14.8$ に跳ね上がりますが、中央値は $4$ のままです。1 個のデータをいくら動かしても、中央値は（その順位が入れ替わらない限り）動きません。 は、絶対値は二乗に比べて大きな誤差を重く罰しない、という言い方もできます。 ## 5. 共分散と相関係数 2 つの変量 $x,y$ の対 $(x_1,y_1),\dots,(x_n,y_n)$ を考えます。 **共分散**を $s_{xy}=\dfrac1n\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)$ と定める。$s_x>0$、$s_y>0$ のとき、**相関係数**を $r=\dfrac{s_{xy}}{s_xs_y}$ と定める。 同様の計算で $s_{xy}=\overline{xy}-\bar x\bar y$（積の平均 − 平均の積）が分かります（ と同じ展開）。 偏差を並べたベクトル $\boldsymbol u=(x_i-\bar x)_i$、$\boldsymbol v=(y_i-\bar y)_i\in\mathbb{R}^n$ を作ると、$s_x^2=\frac1n\lVert\boldsymbol u\rVert^2$、$s_y^2=\frac1n\lVert\boldsymbol v\rVert^2$、$s_{xy}=\frac1n\boldsymbol u\cdot\boldsymbol v$ です。したがって $$ r=\frac{\boldsymbol u\cdot\boldsymbol v}{\lVert\boldsymbol u\rVert\,\lVert\boldsymbol v\rVert} $$ で、これは 2 つのベクトルのなす角の余弦そのものです。 $n$ 個の数の組を $n$ 次元の矢印とみなしても、2 次元・3 次元の矢印と同じ式（内積を長さの積で割る）が使えます。$x$ が平均より大きいとき $y$ も大きい傾向があれば、2 本の矢印は同じ向きに近づき、角は小さく、$r$ は $1$ に近くなります。次の定理の等号条件に出てくる「1 次従属」とは、ここでは一方の矢印がもう一方の（$0$ でない）定数倍になっていること、と読んでください。 $s_x>0$、$s_y>0$ のとき $-1\le r\le1$ である。$r=1$（$r=-1$）となるのは、すべての点 $(x_i,y_i)$ が傾きが正（負）の 1 本の直線 $y=ax+b$ 上にあるとき、かつそのときに限る。 $\mathbb{R}^n$ の標準内積は内積（）なので、 から $|\boldsymbol u\cdot\boldsymbol v|\le\lVert\boldsymbol u\rVert\lVert\boldsymbol v\rVert$。両辺を $n\,s_xs_y=\lVert\boldsymbol u\rVert\lVert\boldsymbol v\rVert$ で割って $|r|\le1$。 等号は $\boldsymbol u,\boldsymbol v$ が 1 次従属のときに限る。$s_x,s_y>0$ より $\boldsymbol u,\boldsymbol v\ne\boldsymbol 0$ なので、1 次従属は $\boldsymbol v=c\boldsymbol u$（$c\ne0$）と同じで、これは $y_i-\bar y=c(x_i-\bar x)$（すべての $i$）、すなわち点が直線 $y=c(x-\bar x)+\bar y$ 上にあることである。このとき $\boldsymbol u\cdot\boldsymbol v=c\lVert\boldsymbol u\rVert^2$ なので $r$ の符号は $c$ の符号に等しい。逆に点が $y=ax+b$（$a\ne0$）上にあれば $y_i-\bar y=a(x_i-\bar x)$ で、同じ計算から $r=\operatorname{sgn}(a)$。 $a,c\ne0$ とし、$x_i'=ax_i+b$、$y_i'=cy_i+d$ とおく。このとき $s_{x'y'}=ac\,s_{xy}$ で、相関係数は $r'=\operatorname{sgn}(ac)\,r$ である。 と同様に $x_i'-\bar x'=a(x_i-\bar x)$、$y_i'-\bar y'=c(y_i-\bar y)$ なので $s_{x'y'}=ac\,s_{xy}$。標準偏差は $s_{x'}=|a|s_x$、$s_{y'}=|c|s_y$ なので $r'=\dfrac{ac\,s_{xy}}{|a||c|s_xs_y}=\operatorname{sgn}(ac)\,r$。 単位を変えても（$\text{cm}\to\text{m}$）相関係数は変わらない、ということです。 データを大きさの順位に置き換え、順位の相関係数をとったものが **Spearman の順位相関係数**です。同順位があるときは順位の平均をとります。外れ値の影響を受けにくく、単調な（直線とは限らない）関係を測れます。たとえば $(x,y)=(1,1),(2,8),(3,27),(4,64)$（$y=x^3$）は直線ではないので Pearson の $r<1$ ですが、順位は完全に一致し Spearman の係数は $1$ です。 順位に重なりがないとき、順位の差を $d_i=R_i-S_i$ とすると、次の式が成り立ちます（ の計算）。 $$ \rho_S=1-\frac{6\sum d_i^2}{n(n^2-1)}. $$ 気温が上がるとアイスの売上も水難事故も増えるので、2 つの間に強い正の相関が現れます。アイスが水難事故の原因なのではなく、共通の原因（気温）があります。$r$ は「直線への近さ」しか測りません。因果を言うには、実験計画（無作為化）や、共通の原因を層に分けて見る工夫が要ります（次の §7）。 ## 6. 回帰直線 点 $(x_i,y_i)$ に最もよく合う直線 $y=ax+b$ とは、**縦方向のずれの二乗和** $Q(a,b)=\sum_i\bigl(y_i-ax_i-b\bigr)^2$ を最小にするものだ、と定めます（最小二乗法）。 $s_x>0$ とする。$Q(a,b)$ を最小にする $(a,b)$ はただ 1 つで $$ a=\frac{s_{xy}}{s_x^2},\qquad b=\bar y-a\bar x $$ である。すなわち回帰直線は $y-\bar y=\dfrac{s_{xy}}{s_x^2}(x-\bar x)$ で、点 $(\bar x,\bar y)$ を通る。$s_y>0$ なら傾きは $r\,\dfrac{s_y}{s_x}$ で、最小値は $Q_{\min}=n\,s_y^2(1-r^2)$ である。 証明の筋道は、二乗和を「$b$ を動かして最小にする部分」と「$a$ を動かして最小にする部分」に分け、それぞれを平方完成することです。なお、次の証明の $u_i,v_i$ は、前の節のベクトル $\boldsymbol u,\boldsymbol v$ とは別のもの（それぞれ $y,x$ の偏差）です。 $u_i=y_i-\bar y$、$v_i=x_i-\bar x$ とおく。$y_i-ax_i-b=(u_i-av_i)+(\bar y-a\bar x-b)$ であり、$\sum(u_i-av_i)=0$ なので、 と同じ展開で $$ Q(a,b)=\sum_i(u_i-av_i)^2+n(\bar y-a\bar x-b)^2. $$ 第 2 項は $b=\bar y-a\bar x$ のときに最小値 $0$ をとり、第 1 項は $b$ によらない。第 1 項は $$ \sum_i(u_i-av_i)^2=n\bigl(s_y^2-2as_{xy}+a^2s_x^2\bigr)=ns_x^2\Bigl(a-\frac{s_{xy}}{s_x^2}\Bigr)^2+n\Bigl(s_y^2-\frac{s_{xy}^2}{s_x^2}\Bigr) $$ と平方完成できる（$s_x^2>0$）ので、$a=s_{xy}/s_x^2$ のときだけ最小になる。最小値は $n(s_y^2-s_{xy}^2/s_x^2)=ns_y^2(1-r^2)$。 上の最小化は、ベクトル $\boldsymbol y\in\mathbb{R}^n$ を、$\boldsymbol 1=(1,\dots,1)$ と $\boldsymbol x$ が張る平面に正射影することと同じです。最小値が $Q_{\min}$ になる理由は と、一般の説明変数の場合の が与えます。ここでは微分も行列も使わずに平方完成だけで済ませました。 $1-r^2$ は「回帰で説明されなかった割合」で、$r^2$ は**決定係数**とよばれます。$r=\pm1$ のとき残差は $0$、$r=0$ のときは $b=\bar y$、$a=0$（水平な直線）です。 $(1,2),(2,3),(3,5),(4,6)$ では $\bar x=2.5$、$\bar y=4$、$s_x^2=1.25$、$s_y^2=2.5$、$s_{xy}=1.75$。傾きは $1.75/1.25=1.4$、切片は $4-1.4\times2.5=0.5$ で、回帰直線は $y=1.4x+0.5$。$r^2=\dfrac{1.75^2}{1.25\times2.5}=0.98$、$r\approx0.99$ で、点はほぼ直線上にあります。 ## 7. 分散の分解と Simpson のパラドックス データを $G$ 個の群に分けます。群 $g$ のデータの個数を $n_g$、平均を $\bar x_g$、分散を $s_g^2$ とします。$n=\sum n_g$。 全体の平均 $\bar x$ と分散 $s_x^2$ について $$ \bar x=\sum_{g}\frac{n_g}n\bar x_g,\qquad s_x^2=\underbrace{\sum_g\frac{n_g}ns_g^2}_{\text{群内分散の平均}}+\underbrace{\sum_g\frac{n_g}n(\bar x_g-\bar x)^2}_{\text{群間分散}}. $$ 全体の和を群ごとの和に分けると $n\bar x=\sum_g n_g\bar x_g$ で第 1 式が出る。群 $g$ の中で を $a=\bar x$ として使うと、$\sum_{i\in g}(x_i-\bar x)^2=n_gs_g^2+n_g(\bar x_g-\bar x)^2$。これを全群で足して $n$ で割れば第 2 式。 $\{1,3\}$（平均 $2$、分散 $1$）と $\{5,9\}$（平均 $7$、分散 $4$）。全体の平均は $4.5$、群内分散の平均は $\frac12(1+4)=2.5$、群間分散は $\frac12\bigl((2-4.5)^2+(7-4.5)^2\bigr)=6.25$。和は $8.75$ で、全体の分散を直接計算した $\frac14(12.25+2.25+0.25+20.25)=8.75$ と一致します。 2 つの治療法 A・B を、軽症と重症の患者に使った結果を次のとおりとします（数値は例示のために作ったものです）。 | | 軽症 | 重症 | 全体 | |---|---|---|---| | A の成功数 / 人数 | $18/20=90\%$ | $40/100=40\%$ | $58/120\approx48\%$ | | B の成功数 / 人数 | $80/100=80\%$ | $5/20=25\%$ | $85/120\approx71\%$ | どの層でも A の成功率が B を上回るのに、全体では B が上回ります。全体の成功率は層の成功率の重み付き平均（ の第 1 式と同じ形）で、重みは各層の人数の割合です。A は難しい重症患者に多く（100/120）、B は軽症患者に多く（100/120）使われているため、重みがちがい、順位が入れ替わります。「全体の率」と「層ごとの率」のどちらを使うべきかは、層（重症度）が結果にも治療の選択にも影響しているかを考えて決めます。この問題は Simpson (1951) が指摘した例として有名です。 ## 8. 大学ではどこへ続くか - 平均・分散・共分散は、確率変数の期待値・分散・共分散（[確率変数](/mathematics/probability/random-variables)）の「データが同様に確からしい」場合です。$s_x^2=\overline{x^2}-\bar x^2$ は $\mathrm{Var}(X)=E[X^2]-E[X]^2$、相関係数の範囲は同じ Cauchy–Schwarz の不等式から出ます。 - 回帰直線は線形モデルの最小二乗法の最も簡単な場合です。説明変数が複数のとき、行列と射影で一般化されます（[線形モデル](/mathematics/mathematical-statistics/linear-models)）。 - 内積空間の言葉は [内積空間](/mathematics/linear-algebra/inner-product-spaces) で学びます。 ## 9. 演習 データ $2,4,4,4,5,5,7,9$ の平均と分散、標準偏差を求めよ。 平均は $\dfrac{40}8=5$。偏差の二乗は $9,1,1,1,0,0,4,16$ で和は $32$、分散は $4$、標準偏差は $2$。 でも、2 乗の平均 $\dfrac{4+16+16+16+25+25+49+81}8=\dfrac{232}8=29$、$29-25=4$ と一致する。 データ $x_1,\dots,x_n$ の平均が $60$、標準偏差が $15$ である。$y_i=\dfrac{4}{3}x_i-10$ の平均と標準偏差を求めよ。また、$x=30$ の偏差値を求めよ。 より $\bar y=\frac43\cdot60-10=70$、$s_y=\frac43\cdot15=20$。$x=30$ の偏差値は $50+10\cdot\dfrac{30-60}{15}=30$。 順位 $R_i$ と $S_i$ がどちらも $1,\dots,n$ の並べ替えのとき、$d_i=R_i-S_i$ として、$R$ と $S$ の相関係数が $1-\dfrac{6\sum d_i^2}{n(n^2-1)}$ に等しいことを示せ。（$\sum_{k=1}^nk=\frac{n(n+1)}2$、$\sum_{k=1}^nk^2=\frac{n(n+1)(2n+1)}6$ を使ってよい。） $R,S$ の平均はともに $\frac{n+1}2$。分散は $\frac1n\sum k^2-\bigl(\frac{n+1}2\bigr)^2=\frac{(n+1)(2n+1)}6-\frac{(n+1)^2}4=\frac{n^2-1}{12}$。偏差を $\tilde R_i=R_i-\frac{n+1}2$、$\tilde S_i=S_i-\frac{n+1}2$ とすると $d_i=\tilde R_i-\tilde S_i$ で、$\sum d_i^2=\sum\tilde R_i^2+\sum\tilde S_i^2-2\sum\tilde R_i\tilde S_i$。したがって $\sum\tilde R_i\tilde S_i=\frac12\bigl(2\cdot\frac{n(n^2-1)}{12}-\sum d_i^2\bigr)$。相関係数は $\dfrac{\sum\tilde R_i\tilde S_i}{n(n^2-1)/12}=1-\dfrac{6\sum d_i^2}{n(n^2-1)}$。 10 人のクラスで、男子 4 人の得点の平均が 70、分散が 25、女子 6 人の得点の平均が 60、分散が 16 であった。全体の平均と分散を求めよ。 全体の平均は $\frac{4\cdot70+6\cdot60}{10}=64$。 から、群内分散の平均は $\frac4{10}\cdot25+\frac6{10}\cdot16=10+9.6=19.6$、群間分散は $\frac4{10}(70-64)^2+\frac6{10}(60-64)^2=14.4+9.6=24$。全体の分散は $43.6$。 ## 参考文献 1. 東京大学教養学部統計学教室（編）『統計学入門』東京大学出版会、1991 — 1 次元のデータ・2 次元のデータの章。 2. David Freedman, Robert Pisani, Roger Purves, *Statistics*, 4th ed., W. W. Norton, 2007 — 相関と回帰、Simpson のパラドックスに関する章。 3. E. H. Simpson, "The interpretation of interaction in contingency tables", *J. Roy. Statist. Soc. Ser. B* 13 (1951), 238–241. 4. C. Spearman, "The proof and measurement of association between two things", *Amer. J. Psychol.* 15 (1904), 72–101.