同じ相関係数 0.816 で散布図は 4 通り｜統計学の解説

4 組のデータがあり、 $x$ の平均も $y$ の平均も分散も、相関係数 0.816 も、回帰直線 $y = 3.00 + 0.500 x$ も全部同じでした。

散布図を描くと、まるで違う形をしています。片方は直線、片方は放物線、片方は 1 点だけが遠くにある。

数字を出しただけでは分からないことがある。共分散と相関係数を計算しながら、この境目を見ます。

共分散

2 つの変数が一緒に動く度合いを測ります。それぞれの偏差を掛けて足し、個数で割る。

$Cov (x, y) = \frac{1}{n} i = 1 \sum n (x_{i} - \overset{x}{ˉ}) (y_{i} - \overset{y}{ˉ})$

両方が平均より上、または両方が下なら、積は正になります。片方だけ上なら負。

正の値が多ければ共分散は正になり、 $x$ が大きいとき $y$ も大きい傾向があると読めます。

分散を $n - 1$ で割る流儀では、共分散も $n - 1$ で割ります。相関係数を出すときは約分で消えるので、そろえてさえいれば結果は変わりません。

例：5 組で計算する

$x$ が 2、4、6、8、10、 $y$ が 5、9、8、14、14 とします。平均は $x$ が 6、 $y$ が 10 です。

$x$ の偏差	$y$ の偏差	積
$- 4$	$- 5$	20
$- 2$	$- 1$	2
$0$	$- 2$	0
$2$	$4$	8
$4$	$4$	16

積の合計は 46 です。 $n$ で割ると共分散は 9.2、 $n - 1$ で割れば 11.5 になります。

同じ表から偏差平方和も出ます。 $S_{xx} = 40$ 、 $S_{y y} = 62$ 。

単位が残る

共分散には単位がついています。 $x$ が cm、 $y$ が kg なら、単位は cm・kg です。

そのため値の大小を単独では判断できません。 $x$ を mm に直しただけで、共分散は 10 倍になります。

例のデータで $x$ を 10 倍すると、共分散は 9.2 から 92.0 へ。関係の強さは何も変わっていないのに、数字だけが動きました。

共分散は一緒に動く向きは教えるが、強さは教えない。単位のとり方でいくらでも大きくできるためです。

向きだけ知りたいなら符号を見れば足ります。強さを比べるには、単位を消す必要がある。

相関係数

共分散をそれぞれの標準偏差で割ります。

$r = \frac{Cov ( x , y )}{s _{x} s _{y}} = \frac{S _{x y}}{S _{xx} S _{y y}}$

例のデータでは $46/ 40 \times 62 = 46/49.80 = 0.9237$ 。

分子と分母の両方に $x$ と $y$ の単位が入るので、割ると消えます。値はつねに $- 1$ から $1$ のあいだ。

$x$ を 10 倍しても $y$ に 100 を足しても、 $r$ は 0.9237 のまま動きません。1 次変換に対して不変です。

符号を絵で見る

平均を原点に置き直すと、平面が 4 つの区画に分かれます。右上と左下では積が正、左上と右下では負。

長方形の面積に符号をつけて足す、という計算です。緑が勝てば正、橙が勝てば負になります。

例のデータでは負の積が 1 つもなく、合計 46 がすべて正の側から出ています。

同じ数字で違う形

アンスコムが 1973 年に作った 4 組のデータがあります^[1]。11 点ずつで、要約統計量がほぼ完全に一致します。

組	相関係数	回帰直線
I	0.8164	$y = 3.000 + 0.500 x$
II	0.8162	$y = 3.001 + 0.500 x$
III	0.8163	$y = 3.003 + 0.500 x$
IV	0.8165	$y = 3.002 + 0.500 x$

$x$ の平均はどれも 9.000、分散は 11.000。 $y$ の平均は 7.500、分散は 4.12 前後です。

それでも散布図はまったく違います。I は素直に散らばった直線関係、II は放物線、III は 1 点だけが直線から外れた形、IV は $x$ が 1 つを除いて全部 8 という形です。

アンスコム自身は、統計の教科書と統計ソフトが図をおろそかにしていると書いています^[1]。

彼が壊そうとしたのは 3 つの思いこみでした。数値計算は正確だが図は粗いという思いこみ、あるデータには正しい計算がただ 1 通りあるという思いこみ、そして込み入った計算をするのは立派だがデータを実際に眺めるのはずるいという思いこみです^[1]。

$r$ が測っているのは直線だけ

$r$ が $0$ に近くても、関係がないとは限りません。 $y = x^{2}$ の形で $x$ が $- 3$ から $3$ に散らばっていれば、 $r$ はほぼ $0$ になります。

完全な関係があるのに $0$ 。相関係数は直線の当てはまり具合だけを測っているためです。

外れ値にも弱い。1 点動かすだけで $r$ が大きく変わる場合があります。アンスコムの III と IV が、その実例です。

例： $r$ がちょうど $0$ になる完全な関係

$x$ を $- 3$ から $3$ までの整数、 $y = x^{2}$ とします。 $y$ は 9、4、1、0、1、4、9。

$x$ の平均は $0$ 、 $y$ の平均は $4$ です。積の和を出します。

$S_{x y} = \sum x_{i} y_{i} - n \overset{x}{ˉ} \overset{y}{ˉ} = (- 27 - 8 - 1 + 0 + 1 + 8 + 27) - 0 = 0$

$r = 0$ です。 $y$ は $x$ から完全に決まるのに、相関係数は関係がないと答えました。

対称な形では、左半分の負の積と右半分の正の積がちょうど打ち消し合います。直線として見ればどちらへも傾いていない、というのが $r$ の言い分です。

$x$ の範囲を $0$ から $3$ に限れば、同じ $y = x^{2}$ でも $r$ は 0.98 を超えます。範囲のとり方で値が変わるので、どこを見たかも一緒に書く必要があります。

相関と因果

$r$ が大きくても、 $x$ が $y$ の原因だとは言えません。逆かもしれず、両方に効く 3 つ目の変数があるかもしれない。

計算からは向きが出ません。共分散も相関係数も $x$ と $y$ を入れかえて同じ値になるので、式の中に向きの情報が入っていない。

$x$ を 3 倍し、 $y$ に 50 を足しました。共分散と相関係数はどう変わりますか。

共分散は 3 倍、相関係数も 3 倍
共分散は 3 倍、相関係数は変わらない
どちらも変わらない

__RESULT__

共分散は $x$ の単位に比例するので 3 倍になります。 $y$ に定数を足しても偏差は変わらないので、そちらの影響はありません。相関係数は分母の $s_{x}$ も 3 倍になるため、割ると打ち消されます。

数字を出す前に散布図を描き、数字を出したあとにもう一度図に戻る。アンスコムの 4 組が言っているのはそれだけです。

参考文献

F. J. Anscombe, *Graphs in Statistical Analysis*. The American Statistician 27(1), 17-21, 1973.

Measures of Scale. NIST/SEMATECH e-Handbook of Statistical Methods.

Linear regression. Encyclopedia of Mathematics.

アンスコムが 1973 年に作った 4 組のデータは、平均も分散も相関係数 0.816 も回帰直線 $y = 3.00 + 0.500x$ も一致するのに、散布図がまるで違います。$x$ が 2、4、6、8、10、$y$ が 5、9、8、14、14 という 5 組で共分散 9.2 と相関係数 0.9237 を出し、$x$ を 10 倍すると共分散だけが 92.0 へ動いて相関は変わらないところまで確かめます。偏差の積を長方形の面積として符号つきで足す見方、$y = x^2$ を $-3$ から $3$ でとると $r$ がちょうど $0$ になる理由、範囲を $0$ から $3$ に変えると 0.98 を超えること。アンスコムが壊そうとした 3 つの思いこみも。