テストの結果を 1 つの数で言うなら平均点でしょうか、それとも真ん中の人の点数でしょうか。また、数学の点数と英語の点数に「関係がある」とは、どういうことでしょうか。この記事は、こうした素朴な疑問に、公式の暗記ではなく「ずれをなるべく小さくする」という考え方で答えます。読み終えると、平均・分散・相関係数・回帰直線の式がなぜその形になるのかを、自分の言葉で説明できるようになります。
データの代表値は 3 つ(平均・中央値・最頻値)あります。この記事の最初の主張は、平均は誤差の二乗の和を最小にする値、中央値は誤差の絶対値 の和を最小にする値 だということです。「どの代表値が正しいか」は「どんな誤差を小さくしたいか」で決まります。
分散の公式「(2 乗の平均)−(平均の 2 乗)」は、∑ ( x i − a ) 2 = ∑ ( x i − x ˉ ) 2 + n ( x ˉ − a ) 2 \sum(x_i-a)^2=\sum(x_i-\bar x)^2+n(\bar x-a)^2 ∑ ( x i − a ) 2 = ∑ ( x i − x ˉ ) 2 + n ( x ˉ − a ) 2 という 1 本の等式から出ます。変量の 1 次変換 y = a x + b y=ax+b y = a x + b では平均は a x ˉ + b a\bar x+b a x ˉ + b 、分散は a 2 a^2 a 2 倍になります。
相関係数 r r r は、偏差をならべたベクトルのなす角 の余弦です(ベクトルは「数を並べた矢印」と思えば十分です)。Cauchy–Schwarz の不等式(内積の大きさは長さの積を超えない、という不等式)により − 1 ≤ r ≤ 1 -1\le r\le1 − 1 ≤ r ≤ 1 、∣ r ∣ = 1 |r|=1 ∣ r ∣ = 1 はデータが 1 直線に乗るときに限ります。
回帰直線(最小二乗法)は微分を使わず、平方完成だけで求まります。傾きは r s y / s x r\,s_y/s_x r s y / s x 、直線は平均の点 ( x ˉ , y ˉ ) (\bar x,\bar y) ( x ˉ , y ˉ ) を通り、残りの二乗和は全体の 1 − r 2 1-r^2 1 − r 2 倍です。
全体の分散は「群内分散の平均 + 群間分散」に分解できます。Simpson のパラドックス(部分では A が良いのに、全体では B が良い)は、重み付き平均の重みがちがうために起こります。
この記事で使う事前知識
総和の記号 ∑ \sum ∑ : 添え字を動かして項を足し合わせる記号。∑ i = 1 n x i = x 1 + ⋯ + x n \sum_{i=1}^n x_i=x_1+\cdots+x_n ∑ i = 1 n x i = x 1 + ⋯ + x n 。
絶対値 : 数直線上での 0 0 0 からの距離。∣ x − a ∣ |x-a| ∣ x − a ∣ は x x x と a a a の距離を表す。→ 絶対値
平方完成 : x 2 x^2 x 2 の 2 次式を ( x − p ) 2 + q (x-p)^2+q ( x − p ) 2 + q の形に直すこと。最小値が読み取れる。
ベクトルのなす角 : 2 本の矢印の間の角。内積を長さの積で割ると、その余弦になる。→ 2 つのベクトルのなす角
内積 : 2 つのベクトルから 1 つの数を作る演算で、長さや角の話に使う。第 5 節の証明で参照する。→ 内積空間
「このクラスのテストの結果を 1 つの数で言うと」と聞かれたとき、平均点を答える人も中央値を答える人もいます。どちらも「正しい」のですが、何を答えているかが違います。この記事では、代表値・ばらつき・関係の強さといった概念を、公式の暗記ではなく何かを最小にするという性質 として理解します。
高校では分散を n n n で割って定義します(標本としての不偏分散は n − 1 n-1 n − 1 で割る別の量で、統計的な推測の記事で扱います)。ここでも n n n で割ります。
n n n 個のデータ x 1 , … , x n x_1,\dots,x_n x 1 , … , x n を小さい順に並べ替えたものを x ( 1 ) ≤ x ( 2 ) ≤ ⋯ ≤ x ( n ) x_{(1)}\le x_{(2)}\le\cdots\le x_{(n)} x ( 1 ) ≤ x ( 2 ) ≤ ⋯ ≤ x ( n ) と書きます。
定義 2.1 (平均・中央値・最頻値 ) ↗
平均 x ˉ = 1 n ∑ i = 1 n x i \bar x=\dfrac1n\sum_{i=1}^nx_i x ˉ = n 1 ∑ i = 1 n x i 。
中央値 m m m (メジアン): n n n が奇数のとき x ( ( n + 1 ) / 2 ) x_{((n+1)/2)} x (( n + 1 ) /2 ) 、偶数のとき x ( n / 2 ) + x ( n / 2 + 1 ) 2 \dfrac{x_{(n/2)}+x_{(n/2+1)}}{2} 2 x ( n /2 ) + x ( n /2 + 1 ) 。
最頻値 : 最も多く現れる値(複数あってもよい)。
定義 2.2 (四分位数と箱ひげ図 ) ↗
n ≥ 2 n\ge2 n ≥ 2 とする。中央値を Q 2 Q_2 Q 2 とする。データを中央値で上下に分ける(n n n が奇数のときは中央値そのものを除く)。下半分の中央値を第 1 四分位数 Q 1 Q_1 Q 1 、上半分の中央値を第 3 四分位数 Q 3 Q_3 Q 3 という。Q 3 − Q 1 Q_3-Q_1 Q 3 − Q 1 を四分位範囲 という。最小値・Q 1 Q_1 Q 1 ・Q 2 Q_2 Q 2 ・Q 3 Q_3 Q 3 ・最大値を図にしたものが箱ひげ図 である。
四分位数の定義には何通りかの流儀があります(補間で決めるものなど)。ここでは高校の教科書で多く採られる、上の流儀を使います。
例 2.3 (9 個のデータの四分位数 )
データ 2 , 4 , 5 , 7 , 8 , 10 , 11 , 14 , 25 2,4,5,7,8,10,11,14,25 2 , 4 , 5 , 7 , 8 , 10 , 11 , 14 , 25 (n = 9 n=9 n = 9 )。中央値は 8 8 8 。下半分 2 , 4 , 5 , 7 2,4,5,7 2 , 4 , 5 , 7 の中央値が Q 1 = 4 + 5 2 = 4.5 Q_1=\dfrac{4+5}2=4.5 Q 1 = 2 4 + 5 = 4.5 、上半分 10 , 11 , 14 , 25 10,11,14,25 10 , 11 , 14 , 25 の中央値が Q 3 = 11 + 14 2 = 12.5 Q_3=\dfrac{11+14}2=12.5 Q 3 = 2 11 + 14 = 12.5 。四分位範囲は 8 8 8 、平均は 86 9 ≈ 9.56 \dfrac{86}9\approx9.56 9 86 ≈ 9.56 。最大値 25 25 25 が他から離れているので、平均は中央値より大きくなっています。
0 7.5 15 22.5 30
例のデータの箱ひげ図(最小 2、Q1 = 4.5、中央値 8、Q3 = 12.5、最大 25)
定義 3.1 (偏差・分散・標準偏差 ) ↗
各 x i x_i x i について x i − x ˉ x_i-\bar x x i − x ˉ を偏差 という。分散 を s x 2 = 1 n ∑ i = 1 n ( x i − x ˉ ) 2 s_x^2=\dfrac1n\sum_{i=1}^n(x_i-\bar x)^2 s x 2 = n 1 ∑ i = 1 n ( x i − x ˉ ) 2 、標準偏差 を s x = s x 2 s_x=\sqrt{s_x^2} s x = s x 2 と定める。偏差の和は ∑ ( x i − x ˉ ) = n x ˉ − n x ˉ = 0 \sum(x_i-\bar x)=n\bar x-n\bar x=0 ∑ ( x i − x ˉ ) = n x ˉ − n x ˉ = 0 である。
分散を「平均からの距離の二乗の平均」と読むと、平均を別の値 a a a に置き換えたとき何が起きるかが気になります。それが次の補題です。
補題 3.2 (任意の点からの二乗和 ) ✓
任意の実数 a a a について
∑ i = 1 n ( x i − a ) 2 = ∑ i = 1 n ( x i − x ˉ ) 2 + n ( x ˉ − a ) 2 . \sum_{i=1}^n(x_i-a)^2=\sum_{i=1}^n(x_i-\bar x)^2+n(\bar x-a)^2. i = 1 ∑ n ( x i − a ) 2 = i = 1 ∑ n ( x i − x ˉ ) 2 + n ( x ˉ − a ) 2 .
証明(補題 3.2) x i − a = ( x i − x ˉ ) + ( x ˉ − a ) x_i-a=(x_i-\bar x)+(\bar x-a) x i − a = ( x i − x ˉ ) + ( x ˉ − a ) と分けて展開すると
∑ ( x i − a ) 2 = ∑ ( x i − x ˉ ) 2 + 2 ( x ˉ − a ) ∑ ( x i − x ˉ ) + n ( x ˉ − a ) 2 . \sum(x_i-a)^2=\sum(x_i-\bar x)^2+2(\bar x-a)\sum(x_i-\bar x)+n(\bar x-a)^2. ∑ ( x i − a ) 2 = ∑ ( x i − x ˉ ) 2 + 2 ( x ˉ − a ) ∑ ( x i − x ˉ ) + n ( x ˉ − a ) 2 . 偏差の和は 0 0 0 なので、中央の項が消える。
∎
証明(命題 3.3) 補題 3.2 で a = 0 a=0 a = 0 とすると ∑ x i 2 = ∑ ( x i − x ˉ ) 2 + n x ˉ 2 \sum x_i^2=\sum(x_i-\bar x)^2+n\bar x^2 ∑ x i 2 = ∑ ( x i − x ˉ ) 2 + n x ˉ 2 。両辺を n n n で割って移項する。
∎
証明(命題 3.4) y ˉ = 1 n ∑ ( a x i + b ) = a x ˉ + b \bar y=\frac1n\sum(ax_i+b)=a\bar x+b y ˉ = n 1 ∑ ( a x i + b ) = a x ˉ + b 。y i − y ˉ = a ( x i − x ˉ ) y_i-\bar y=a(x_i-\bar x) y i − y ˉ = a ( x i − x ˉ ) なので s y 2 = 1 n ∑ a 2 ( x i − x ˉ ) 2 = a 2 s x 2 s_y^2=\frac1n\sum a^2(x_i-\bar x)^2=a^2s_x^2 s y 2 = n 1 ∑ a 2 ( x i − x ˉ ) 2 = a 2 s x 2 。
∎
例 3.5 (偏差値 )
データ x i x_i x i から作る z i = x i − x ˉ s x z_i=\dfrac{x_i-\bar x}{s_x} z i = s x x i − x ˉ (s x > 0 s_x>0 s x > 0 )は、命題 3.4 により平均 0 0 0 、分散 1 1 1 です。さらに T i = 50 + 10 z i T_i=50+10z_i T i = 50 + 10 z i は平均 50 50 50 、分散 100 100 100 (標準偏差 10 10 10 )で、これが偏差値 です。平均 60 60 60 、標準偏差 15 15 15 のテストで 75 点なら z = 1 z=1 z = 1 、偏差値は 60 60 60 です。
定理 4.1 (平均は二乗誤差の和を最小にする ) ✓
関数 f ( a ) = ∑ i = 1 n ( x i − a ) 2 f(a)=\sum_{i=1}^n(x_i-a)^2 f ( a ) = ∑ i = 1 n ( x i − a ) 2 は a = x ˉ a=\bar x a = x ˉ でただ 1 つの最小値 n s x 2 n s_x^2 n s x 2 をとる。
証明(定理 4.1) 補題 3.2 により f ( a ) = n s x 2 + n ( x ˉ − a ) 2 ≥ n s x 2 f(a)=ns_x^2+n(\bar x-a)^2\ge ns_x^2 f ( a ) = n s x 2 + n ( x ˉ − a ) 2 ≥ n s x 2 で、等号は a = x ˉ a=\bar x a = x ˉ のときに限る。
∎
絶対値は二乗のように展開できないので、平均のときの方法は使えません。そこで、小さい方から i i i 番目と大きい方から i i i 番目を組にして、2 点までの距離の和を調べます。a a a が 2 点の間にあれば、この和は a a a によらず 2 点の間隔に等しくなります。次の証明はこの見方で最小値を求めています。
証明(定理 4.2) 和の順序を変えて g ( a ) = ∑ i ∣ x ( i ) − a ∣ g(a)=\sum_i|x_{(i)}-a| g ( a ) = ∑ i ∣ x ( i ) − a ∣ と書く。1 ≤ i ≤ n / 2 1\le i\le n/2 1 ≤ i ≤ n /2 について、外側から i i i 番目の対をとる。三角不等式より
∣ x ( i ) − a ∣ + ∣ x ( n + 1 − i ) − a ∣ ≥ ∣ ( a − x ( i ) ) + ( x ( n + 1 − i ) − a ) ∣ = x ( n + 1 − i ) − x ( i ) . |x_{(i)}-a|+|x_{(n+1-i)}-a|\ge\bigl|(a-x_{(i)})+(x_{(n+1-i)}-a)\bigr|=x_{(n+1-i)}-x_{(i)}. ∣ x ( i ) − a ∣ + ∣ x ( n + 1 − i ) − a ∣ ≥ ( a − x ( i ) ) + ( x ( n + 1 − i ) − a ) = x ( n + 1 − i ) − x ( i ) . 等号は a − x ( i ) ≥ 0 a-x_{(i)}\ge0 a − x ( i ) ≥ 0 かつ x ( n + 1 − i ) − a ≥ 0 x_{(n+1-i)}-a\ge0 x ( n + 1 − i ) − a ≥ 0 、すなわち x ( i ) ≤ a ≤ x ( n + 1 − i ) x_{(i)}\le a\le x_{(n+1-i)} x ( i ) ≤ a ≤ x ( n + 1 − i ) のとき(かつそのときに限る。2 数 p , q p,q p , q で ∣ p ∣ + ∣ q ∣ = ∣ p + q ∣ |p|+|q|=|p+q| ∣ p ∣ + ∣ q ∣ = ∣ p + q ∣ となるのは p q ≥ 0 pq\ge0 pq ≥ 0 のときで、ここでは p + q = x ( n + 1 − i ) − x ( i ) ≥ 0 p+q=x_{(n+1-i)}-x_{(i)}\ge0 p + q = x ( n + 1 − i ) − x ( i ) ≥ 0 なので、p , q p,q p , q がともに ≤ 0 \le0 ≤ 0 なら p = q = 0 p=q=0 p = q = 0 、つまりどちらにしても p , q ≥ 0 p,q\ge0 p , q ≥ 0 )。n n n が奇数なら真ん中の項 ∣ x ( ( n + 1 ) / 2 ) − a ∣ ≥ 0 |x_{((n+1)/2)}-a|\ge0 ∣ x (( n + 1 ) /2 ) − a ∣ ≥ 0 が残り、等号は a = x ( ( n + 1 ) / 2 ) a=x_{((n+1)/2)} a = x (( n + 1 ) /2 ) のとき。各項の下限を足すと最小値の下界が得られ、すべての対とすべての真ん中の項で等号が成り立つ a a a が最小点である。区間 [ x ( i ) , x ( n + 1 − i ) ] [x_{(i)},x_{(n+1-i)}] [ x ( i ) , x ( n + 1 − i ) ] は i i i が大きいほど狭く入れ子になるので、共通部分は最も内側の区間で、n n n 偶数なら [ x ( n / 2 ) , x ( n / 2 + 1 ) ] [x_{(n/2)},x_{(n/2+1)}] [ x ( n /2 ) , x ( n /2 + 1 ) ] 、n n n 奇数なら(真ん中の項の条件と合わせて){ x ( ( n + 1 ) / 2 ) } \{x_{((n+1)/2)}\} { x (( n + 1 ) /2 ) } である。この共通部分は空でないので、下界は実際に達成される。
∎
2 つの変量 x , y x,y x , y の対 ( x 1 , y 1 ) , … , ( x n , y n ) (x_1,y_1),\dots,(x_n,y_n) ( x 1 , y 1 ) , … , ( x n , y n ) を考えます。
定義 5.1 (共分散・相関係数 ) ↗
共分散 を s x y = 1 n ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) s_{xy}=\dfrac1n\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y) s x y = n 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) と定める。s x > 0 s_x>0 s x > 0 、s y > 0 s_y>0 s y > 0 のとき、相関係数 を r = s x y s x s y r=\dfrac{s_{xy}}{s_xs_y} r = s x s y s x y と定める。
同様の計算で s x y = x y ‾ − x ˉ y ˉ s_{xy}=\overline{xy}-\bar x\bar y s x y = x y − x ˉ y ˉ (積の平均 − 平均の積)が分かります(命題 3.3 と同じ展開)。
偏差を並べたベクトル u = ( x i − x ˉ ) i \boldsymbol u=(x_i-\bar x)_i u = ( x i − x ˉ ) i 、v = ( y i − y ˉ ) i ∈ R n \boldsymbol v=(y_i-\bar y)_i\in\mathbb{R}^n v = ( y i − y ˉ ) i ∈ R n を作ると、s x 2 = 1 n ∥ u ∥ 2 s_x^2=\frac1n\lVert\boldsymbol u\rVert^2 s x 2 = n 1 ∥ u ∥ 2 、s y 2 = 1 n ∥ v ∥ 2 s_y^2=\frac1n\lVert\boldsymbol v\rVert^2 s y 2 = n 1 ∥ v ∥ 2 、s x y = 1 n u ⋅ v s_{xy}=\frac1n\boldsymbol u\cdot\boldsymbol v s x y = n 1 u ⋅ v です。したがって
r = u ⋅ v ∥ u ∥ ∥ v ∥ r=\frac{\boldsymbol u\cdot\boldsymbol v}{\lVert\boldsymbol u\rVert\,\lVert\boldsymbol v\rVert} r = ∥ u ∥ ∥ v ∥ u ⋅ v
で、これは 2 つのベクトルのなす角の余弦そのものです。
n n n 個の数の組を n n n 次元の矢印とみなしても、2 次元・3 次元の矢印と同じ式(内積を長さの積で割る)が使えます。x x x が平均より大きいとき y y y も大きい傾向があれば、2 本の矢印は同じ向きに近づき、角は小さく、r r r は 1 1 1 に近くなります。次の定理の等号条件に出てくる「1 次従属」とは、ここでは一方の矢印がもう一方の(0 0 0 でない)定数倍になっていること、と読んでください。
定理 5.2 (相関係数の範囲 ) ✓
s x > 0 s_x>0 s x > 0 、s y > 0 s_y>0 s y > 0 のとき − 1 ≤ r ≤ 1 -1\le r\le1 − 1 ≤ r ≤ 1 である。r = 1 r=1 r = 1 (r = − 1 r=-1 r = − 1 )となるのは、すべての点 ( x i , y i ) (x_i,y_i) ( x i , y i ) が傾きが正(負)の 1 本の直線 y = a x + b y=ax+b y = a x + b 上にあるとき、かつそのときに限る。
証明(定理 5.2) R n \mathbb{R}^n R n の標準内積は内積(定義 3.1[内積空間とグラム・シュミット直交化] )なので、Cauchy–Schwarz の不等式(定理 4.2)[内積空間とグラム・シュミット直交化] から ∣ u ⋅ v ∣ ≤ ∥ u ∥ ∥ v ∥ |\boldsymbol u\cdot\boldsymbol v|\le\lVert\boldsymbol u\rVert\lVert\boldsymbol v\rVert ∣ u ⋅ v ∣ ≤ ∥ u ∥ ∥ v ∥ 。両辺を n s x s y = ∥ u ∥ ∥ v ∥ n\,s_xs_y=\lVert\boldsymbol u\rVert\lVert\boldsymbol v\rVert n s x s y = ∥ u ∥ ∥ v ∥ で割って ∣ r ∣ ≤ 1 |r|\le1 ∣ r ∣ ≤ 1 。
等号は u , v \boldsymbol u,\boldsymbol v u , v が 1 次従属のときに限る。s x , s y > 0 s_x,s_y>0 s x , s y > 0 より u , v ≠ 0 \boldsymbol u,\boldsymbol v\ne\boldsymbol 0 u , v = 0 なので、1 次従属は v = c u \boldsymbol v=c\boldsymbol u v = c u (c ≠ 0 c\ne0 c = 0 )と同じで、これは y i − y ˉ = c ( x i − x ˉ ) y_i-\bar y=c(x_i-\bar x) y i − y ˉ = c ( x i − x ˉ ) (すべての i i i )、すなわち点が直線 y = c ( x − x ˉ ) + y ˉ y=c(x-\bar x)+\bar y y = c ( x − x ˉ ) + y ˉ 上にあることである。このとき u ⋅ v = c ∥ u ∥ 2 \boldsymbol u\cdot\boldsymbol v=c\lVert\boldsymbol u\rVert^2 u ⋅ v = c ∥ u ∥ 2 なので r r r の符号は c c c の符号に等しい。逆に点が y = a x + b y=ax+b y = a x + b (a ≠ 0 a\ne0 a = 0 )上にあれば y i − y ˉ = a ( x i − x ˉ ) y_i-\bar y=a(x_i-\bar x) y i − y ˉ = a ( x i − x ˉ ) で、同じ計算から r = sgn ( a ) r=\operatorname{sgn}(a) r = sgn ( a ) 。
∎
命題 5.3 (1 次変換と相関係数 ) ✓
a , c ≠ 0 a,c\ne0 a , c = 0 とし、x i ′ = a x i + b x_i'=ax_i+b x i ′ = a x i + b 、y i ′ = c y i + d y_i'=cy_i+d y i ′ = c y i + d とおく。このとき s x ′ y ′ = a c s x y s_{x'y'}=ac\,s_{xy} s x ′ y ′ = a c s x y で、相関係数は r ′ = sgn ( a c ) r r'=\operatorname{sgn}(ac)\,r r ′ = sgn ( a c ) r である。
証明(命題 5.3) 命題 3.4 と同様に x i ′ − x ˉ ′ = a ( x i − x ˉ ) x_i'-\bar x'=a(x_i-\bar x) x i ′ − x ˉ ′ = a ( x i − x ˉ ) 、y i ′ − y ˉ ′ = c ( y i − y ˉ ) y_i'-\bar y'=c(y_i-\bar y) y i ′ − y ˉ ′ = c ( y i − y ˉ ) なので s x ′ y ′ = a c s x y s_{x'y'}=ac\,s_{xy} s x ′ y ′ = a c s x y 。標準偏差は s x ′ = ∣ a ∣ s x s_{x'}=|a|s_x s x ′ = ∣ a ∣ s x 、s y ′ = ∣ c ∣ s y s_{y'}=|c|s_y s y ′ = ∣ c ∣ s y なので r ′ = a c s x y ∣ a ∣ ∣ c ∣ s x s y = sgn ( a c ) r r'=\dfrac{ac\,s_{xy}}{|a||c|s_xs_y}=\operatorname{sgn}(ac)\,r r ′ = ∣ a ∣∣ c ∣ s x s y a c s x y = sgn ( a c ) r 。
∎
単位を変えても(cm → m \text{cm}\to\text{m} cm → m )相関係数は変わらない、ということです。
例 5.4 (順位相関係数 )
データを大きさの順位に置き換え、順位の相関係数をとったものが Spearman の順位相関係数 です。同順位があるときは順位の平均をとります。外れ値の影響を受けにくく、単調な(直線とは限らない)関係を測れます。たとえば ( x , y ) = ( 1 , 1 ) , ( 2 , 8 ) , ( 3 , 27 ) , ( 4 , 64 ) (x,y)=(1,1),(2,8),(3,27),(4,64) ( x , y ) = ( 1 , 1 ) , ( 2 , 8 ) , ( 3 , 27 ) , ( 4 , 64 ) (y = x 3 y=x^3 y = x 3 )は直線ではないので Pearson の r < 1 r<1 r < 1 ですが、順位は完全に一致し Spearman の係数は 1 1 1 です。
順位に重なりがないとき、順位の差を d i = R i − S i d_i=R_i-S_i d i = R i − S i とすると、次の式が成り立ちます(演習 9.3 の計算)。
ρ S = 1 − 6 ∑ d i 2 n ( n 2 − 1 ) . \rho_S=1-\frac{6\sum d_i^2}{n(n^2-1)}. ρ S = 1 − n ( n 2 − 1 ) 6 ∑ d i 2 .
例 5.5 (相関は因果ではない )
気温が上がるとアイスの売上も水難事故も増えるので、2 つの間に強い正の相関が現れます。アイスが水難事故の原因なのではなく、共通の原因(気温)があります。r r r は「直線への近さ」しか測りません。因果を言うには、実験計画(無作為化)や、共通の原因を層に分けて見る工夫が要ります(次の §7)。
点 ( x i , y i ) (x_i,y_i) ( x i , y i ) に最もよく合う直線 y = a x + b y=ax+b y = a x + b とは、縦方向のずれの二乗和 Q ( a , b ) = ∑ i ( y i − a x i − b ) 2 Q(a,b)=\sum_i\bigl(y_i-ax_i-b\bigr)^2 Q ( a , b ) = ∑ i ( y i − a x i − b ) 2 を最小にするものだ、と定めます(最小二乗法)。
定理 6.1 (回帰直線 ) ✓
s x > 0 s_x>0 s x > 0 とする。Q ( a , b ) Q(a,b) Q ( a , b ) を最小にする ( a , b ) (a,b) ( a , b ) はただ 1 つで
a = s x y s x 2 , b = y ˉ − a x ˉ a=\frac{s_{xy}}{s_x^2},\qquad b=\bar y-a\bar x a = s x 2 s x y , b = y ˉ − a x ˉ である。すなわち回帰直線は y − y ˉ = s x y s x 2 ( x − x ˉ ) y-\bar y=\dfrac{s_{xy}}{s_x^2}(x-\bar x) y − y ˉ = s x 2 s x y ( x − x ˉ ) で、点 ( x ˉ , y ˉ ) (\bar x,\bar y) ( x ˉ , y ˉ ) を通る。s y > 0 s_y>0 s y > 0 なら傾きは r s y s x r\,\dfrac{s_y}{s_x} r s x s y で、最小値は Q min = n s y 2 ( 1 − r 2 ) Q_{\min}=n\,s_y^2(1-r^2) Q m i n = n s y 2 ( 1 − r 2 ) である。
証明の筋道は、二乗和を「b b b を動かして最小にする部分」と「a a a を動かして最小にする部分」に分け、それぞれを平方完成することです。なお、次の証明の u i , v i u_i,v_i u i , v i は、前の節のベクトル u , v \boldsymbol u,\boldsymbol v u , v とは別のもの(それぞれ y , x y,x y , x の偏差)です。
証明(定理 6.1) u i = y i − y ˉ u_i=y_i-\bar y u i = y i − y ˉ 、v i = x i − x ˉ v_i=x_i-\bar x v i = x i − x ˉ とおく。y i − a x i − b = ( u i − a v i ) + ( y ˉ − a x ˉ − b ) y_i-ax_i-b=(u_i-av_i)+(\bar y-a\bar x-b) y i − a x i − b = ( u i − a v i ) + ( y ˉ − a x ˉ − b ) であり、∑ ( u i − a v i ) = 0 \sum(u_i-av_i)=0 ∑ ( u i − a v i ) = 0 なので、補題 3.2 と同じ展開で
Q ( a , b ) = ∑ i ( u i − a v i ) 2 + n ( y ˉ − a x ˉ − b ) 2 . Q(a,b)=\sum_i(u_i-av_i)^2+n(\bar y-a\bar x-b)^2. Q ( a , b ) = i ∑ ( u i − a v i ) 2 + n ( y ˉ − a x ˉ − b ) 2 . 第 2 項は b = y ˉ − a x ˉ b=\bar y-a\bar x b = y ˉ − a x ˉ のときに最小値 0 0 0 をとり、第 1 項は b b b によらない。第 1 項は
∑ i ( u i − a v i ) 2 = n ( s y 2 − 2 a s x y + a 2 s x 2 ) = n s x 2 ( a − s x y s x 2 ) 2 + n ( s y 2 − s x y 2 s x 2 ) \sum_i(u_i-av_i)^2=n\bigl(s_y^2-2as_{xy}+a^2s_x^2\bigr)=ns_x^2\Bigl(a-\frac{s_{xy}}{s_x^2}\Bigr)^2+n\Bigl(s_y^2-\frac{s_{xy}^2}{s_x^2}\Bigr) i ∑ ( u i − a v i ) 2 = n ( s y 2 − 2 a s x y + a 2 s x 2 ) = n s x 2 ( a − s x 2 s x y ) 2 + n ( s y 2 − s x 2 s x y 2 ) と平方完成できる(s x 2 > 0 s_x^2>0 s x 2 > 0 )ので、a = s x y / s x 2 a=s_{xy}/s_x^2 a = s x y / s x 2 のときだけ最小になる。最小値は n ( s y 2 − s x y 2 / s x 2 ) = n s y 2 ( 1 − r 2 ) n(s_y^2-s_{xy}^2/s_x^2)=ns_y^2(1-r^2) n ( s y 2 − s x y 2 / s x 2 ) = n s y 2 ( 1 − r 2 ) 。
∎
1 − r 2 1-r^2 1 − r 2 は「回帰で説明されなかった割合」で、r 2 r^2 r 2 は決定係数 とよばれます。r = ± 1 r=\pm1 r = ± 1 のとき残差は 0 0 0 、r = 0 r=0 r = 0 のときは b = y ˉ b=\bar y b = y ˉ 、a = 0 a=0 a = 0 (水平な直線)です。
例 6.3 (4 点の回帰直線 )
( 1 , 2 ) , ( 2 , 3 ) , ( 3 , 5 ) , ( 4 , 6 ) (1,2),(2,3),(3,5),(4,6) ( 1 , 2 ) , ( 2 , 3 ) , ( 3 , 5 ) , ( 4 , 6 ) では x ˉ = 2.5 \bar x=2.5 x ˉ = 2.5 、y ˉ = 4 \bar y=4 y ˉ = 4 、s x 2 = 1.25 s_x^2=1.25 s x 2 = 1.25 、s y 2 = 2.5 s_y^2=2.5 s y 2 = 2.5 、s x y = 1.75 s_{xy}=1.75 s x y = 1.75 。傾きは 1.75 / 1.25 = 1.4 1.75/1.25=1.4 1.75/1.25 = 1.4 、切片は 4 − 1.4 × 2.5 = 0.5 4-1.4\times2.5=0.5 4 − 1.4 × 2.5 = 0.5 で、回帰直線は y = 1.4 x + 0.5 y=1.4x+0.5 y = 1.4 x + 0.5 。r 2 = 1.75 2 1.25 × 2.5 = 0.98 r^2=\dfrac{1.75^2}{1.25\times2.5}=0.98 r 2 = 1.25 × 2.5 1.7 5 2 = 0.98 、r ≈ 0.99 r\approx0.99 r ≈ 0.99 で、点はほぼ直線上にあります。
データを G G G 個の群に分けます。群 g g g のデータの個数を n g n_g n g 、平均を x ˉ g \bar x_g x ˉ g 、分散を s g 2 s_g^2 s g 2 とします。n = ∑ n g n=\sum n_g n = ∑ n g 。
定理 7.1 (分散の分解 ) ✓
全体の平均 x ˉ \bar x x ˉ と分散 s x 2 s_x^2 s x 2 について
x ˉ = ∑ g n g n x ˉ g , s x 2 = ∑ g n g n s g 2 ⏟ 群内分散の平均 + ∑ g n g n ( x ˉ g − x ˉ ) 2 ⏟ 群間分散 . \bar x=\sum_{g}\frac{n_g}n\bar x_g,\qquad s_x^2=\underbrace{\sum_g\frac{n_g}ns_g^2}_{\text{群内分散の平均}}+\underbrace{\sum_g\frac{n_g}n(\bar x_g-\bar x)^2}_{\text{群間分散}}. x ˉ = g ∑ n n g x ˉ g , s x 2 = 群内分散の平均 g ∑ n n g s g 2 + 群間分散 g ∑ n n g ( x ˉ g − x ˉ ) 2 .
証明(定理 7.1) 全体の和を群ごとの和に分けると n x ˉ = ∑ g n g x ˉ g n\bar x=\sum_g n_g\bar x_g n x ˉ = ∑ g n g x ˉ g で第 1 式が出る。群 g g g の中で 補題 3.2 を a = x ˉ a=\bar x a = x ˉ として使うと、∑ i ∈ g ( x i − x ˉ ) 2 = n g s g 2 + n g ( x ˉ g − x ˉ ) 2 \sum_{i\in g}(x_i-\bar x)^2=n_gs_g^2+n_g(\bar x_g-\bar x)^2 ∑ i ∈ g ( x i − x ˉ ) 2 = n g s g 2 + n g ( x ˉ g − x ˉ ) 2 。これを全群で足して n n n で割れば第 2 式。
∎
例 7.2 (4 個のデータを 2 群に分ける )
{ 1 , 3 } \{1,3\} { 1 , 3 } (平均 2 2 2 、分散 1 1 1 )と { 5 , 9 } \{5,9\} { 5 , 9 } (平均 7 7 7 、分散 4 4 4 )。全体の平均は 4.5 4.5 4.5 、群内分散の平均は 1 2 ( 1 + 4 ) = 2.5 \frac12(1+4)=2.5 2 1 ( 1 + 4 ) = 2.5 、群間分散は 1 2 ( ( 2 − 4.5 ) 2 + ( 7 − 4.5 ) 2 ) = 6.25 \frac12\bigl((2-4.5)^2+(7-4.5)^2\bigr)=6.25 2 1 ( ( 2 − 4.5 ) 2 + ( 7 − 4.5 ) 2 ) = 6.25 。和は 8.75 8.75 8.75 で、全体の分散を直接計算した 1 4 ( 12.25 + 2.25 + 0.25 + 20.25 ) = 8.75 \frac14(12.25+2.25+0.25+20.25)=8.75 4 1 ( 12.25 + 2.25 + 0.25 + 20.25 ) = 8.75 と一致します。
例 7.3 (Simpson のパラドックス )
2 つの治療法 A・B を、軽症と重症の患者に使った結果を次のとおりとします(数値は例示のために作ったものです)。
軽症 重症 全体 A の成功数 / 人数 18 / 20 = 90 % 18/20=90\% 18/20 = 90% 40 / 100 = 40 % 40/100=40\% 40/100 = 40% 58 / 120 ≈ 48 % 58/120\approx48\% 58/120 ≈ 48% B の成功数 / 人数 80 / 100 = 80 % 80/100=80\% 80/100 = 80% 5 / 20 = 25 % 5/20=25\% 5/20 = 25% 85 / 120 ≈ 71 % 85/120\approx71\% 85/120 ≈ 71%
どの層でも A の成功率が B を上回るのに、全体では B が上回ります。全体の成功率は層の成功率の重み付き平均(定理 7.1 の第 1 式と同じ形)で、重みは各層の人数の割合です。A は難しい重症患者に多く(100/120)、B は軽症患者に多く(100/120)使われているため、重みがちがい、順位が入れ替わります。「全体の率」と「層ごとの率」のどちらを使うべきかは、層(重症度)が結果にも治療の選択にも影響しているかを考えて決めます。この問題は Simpson (1951) が指摘した例として有名です。
平均・分散・共分散は、確率変数の期待値・分散・共分散(確率変数 )の「データが同様に確からしい」場合です。s x 2 = x 2 ‾ − x ˉ 2 s_x^2=\overline{x^2}-\bar x^2 s x 2 = x 2 − x ˉ 2 は V a r ( X ) = E [ X 2 ] − E [ X ] 2 \mathrm{Var}(X)=E[X^2]-E[X]^2 Var ( X ) = E [ X 2 ] − E [ X ] 2 、相関係数の範囲は同じ Cauchy–Schwarz の不等式から出ます。
回帰直線は線形モデルの最小二乗法の最も簡単な場合です。説明変数が複数のとき、行列と射影で一般化されます(線形モデル )。
内積空間の言葉は 内積空間 で学びます。
演習 9.1 易
データ 2 , 4 , 4 , 4 , 5 , 5 , 7 , 9 2,4,4,4,5,5,7,9 2 , 4 , 4 , 4 , 5 , 5 , 7 , 9 の平均と分散、標準偏差を求めよ。
解答 平均は 40 8 = 5 \dfrac{40}8=5 8 40 = 5 。偏差の二乗は 9 , 1 , 1 , 1 , 0 , 0 , 4 , 16 9,1,1,1,0,0,4,16 9 , 1 , 1 , 1 , 0 , 0 , 4 , 16 で和は 32 32 32 、分散は 4 4 4 、標準偏差は 2 2 2 。命題 3.3 でも、2 乗の平均 4 + 16 + 16 + 16 + 25 + 25 + 49 + 81 8 = 232 8 = 29 \dfrac{4+16+16+16+25+25+49+81}8=\dfrac{232}8=29 8 4 + 16 + 16 + 16 + 25 + 25 + 49 + 81 = 8 232 = 29 、29 − 25 = 4 29-25=4 29 − 25 = 4 と一致する。
演習 9.2 標準
データ x 1 , … , x n x_1,\dots,x_n x 1 , … , x n の平均が 60 60 60 、標準偏差が 15 15 15 である。y i = 4 3 x i − 10 y_i=\dfrac{4}{3}x_i-10 y i = 3 4 x i − 10 の平均と標準偏差を求めよ。また、x = 30 x=30 x = 30 の偏差値を求めよ。
解答 命題 3.4 より y ˉ = 4 3 ⋅ 60 − 10 = 70 \bar y=\frac43\cdot60-10=70 y ˉ = 3 4 ⋅ 60 − 10 = 70 、s y = 4 3 ⋅ 15 = 20 s_y=\frac43\cdot15=20 s y = 3 4 ⋅ 15 = 20 。x = 30 x=30 x = 30 の偏差値は 50 + 10 ⋅ 30 − 60 15 = 30 50+10\cdot\dfrac{30-60}{15}=30 50 + 10 ⋅ 15 30 − 60 = 30 。
演習 9.4 標準
10 人のクラスで、男子 4 人の得点の平均が 70、分散が 25、女子 6 人の得点の平均が 60、分散が 16 であった。全体の平均と分散を求めよ。
解答 全体の平均は 4 ⋅ 70 + 6 ⋅ 60 10 = 64 \frac{4\cdot70+6\cdot60}{10}=64 10 4 ⋅ 70 + 6 ⋅ 60 = 64 。定理 7.1 から、群内分散の平均は 4 10 ⋅ 25 + 6 10 ⋅ 16 = 10 + 9.6 = 19.6 \frac4{10}\cdot25+\frac6{10}\cdot16=10+9.6=19.6 10 4 ⋅ 25 + 10 6 ⋅ 16 = 10 + 9.6 = 19.6 、群間分散は 4 10 ( 70 − 64 ) 2 + 6 10 ( 60 − 64 ) 2 = 14.4 + 9.6 = 24 \frac4{10}(70-64)^2+\frac6{10}(60-64)^2=14.4+9.6=24 10 4 ( 70 − 64 ) 2 + 10 6 ( 60 − 64 ) 2 = 14.4 + 9.6 = 24 。全体の分散は 43.6 43.6 43.6 。
東京大学教養学部統計学教室(編)『統計学入門』東京大学出版会、1991 — 1 次元のデータ・2 次元のデータの章。
David Freedman, Robert Pisani, Roger Purves, Statistics , 4th ed., W. W. Norton, 2007 — 相関と回帰、Simpson のパラドックスに関する章。
E. H. Simpson, “The interpretation of interaction in contingency tables”, J. Roy. Statist. Soc. Ser. B 13 (1951), 238–241.
C. Spearman, “The proof and measurement of association between two things”, Amer. J. Psychol. 15 (1904), 72–101.