y から x へ引き直すと傾きが変わる〜単回帰分析と回帰の名前

同じ 10 個の点に最小二乗法で直線を当てると、傾きは 5.000 になります。$x$ と $y$ の役割を入れかえて引き直し、もとの軸へ戻すと 5.204。

データも方法も同じなのに、2 本の直線は重なりません。何を最小にしているかが違うためです。

この差が、回帰という名前の由来にもつながります。

何を最小にしているのか

説明変数 $x$ と目的変数 $y$ の関係を、次の形で表します^[1]。

$$y={\beta }_0+{\beta }_{1}x+\epsilon$$

$\epsilon$ は誤差で、平均 $0$、分散 ${\sigma }^2$ を持つとします。$x$ のほうは誤差なしで測れているという扱いです。

最小二乗法が小さくするのは、点から直線までの縦方向のずれの 2 乗和です^[1]。

$$Q=\sum _{i=1}^n{\left(y_i-{\beta }_0-{\beta }_1{x}_i\right)}^2$$

縦だけ、というところが要点です。点と直線の最短距離ではありません。$y$ の予測誤差だけを問題にしています。

解のかたち

$Q$ を ${\beta }_0$ と ${\beta }_1$ で偏微分して $0$ と置くと、次が出ます^[2]。

$${\hat{\beta }}_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2},{\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}$$

分子は $x$ と $y$ が一緒に動く量、分母は $x$ だけが動く量です。共分散を $x$ の分散で割った形になっている。

切片の式は、直線が必ず $(\bar{x},\bar{y})$ を通ることを言っています。重心を通る直線を、傾きだけ選んでいる。

例：10 個の点から求める

$x$ を 1 から 10、$y$ を 38、38、42、54、53、58、69、67、73、83 とします。

平均は $\bar{x}=5.5$、$\bar{y}=57.5$ です。3 つの平方和を出します。

傾きは $412.5/82.5=5.000$、切片は $57.5-5.000\times 5.5=30.0$。

$$\hat{y}=30.0+5.00x$$

$x$ が 1 増えると $y$ が 5.00 増える、と読みます。単位のある量なら、傾きにも単位がつく。

残差

各点での実際の値と予測値の差を残差といいます。この例では次のようになります。

合計が $0$ になるのは偶然ではありません。${\beta }_0$ で微分して $0$ と置いた式が、そのまま残差の和が $0$ という条件です。

残差の標準偏差は $\sqrt{84/8}=3.24$。割る数が $n-2$ なのは、傾きと切片の 2 つを推定に使ったためです^[2]。

決定係数

$y$ の全変動を、直線で説明できた部分と残った部分に分けます。

$$\underset{\text{全体}}{\underbrace{2146.5}}=\underset{\text{直線で説明}}{\underbrace{2062.5}}+\underset{\text{残差}}{\underbrace{84.0}}$$

説明できた割合が決定係数です。$2062.5/2146.5=0.9609$。

相関係数 $r$ は 0.9802 で、2 乗すると決定係数に一致します。単回帰では $r^2$ と決定係数が同じ数になる。

高い値が出ても、直線が正しいという意味ではありません。曲がった関係でも、範囲が狭ければ $r^2$ は高く出ます。

傾きが $0$ でないといえるか

${\hat{\beta }}_1$ の標準誤差は、残差の標準偏差を $\sqrt{S_{xx}}$ で割った値です。

$$\mathrm{SE}({\hat{\beta }}_1)=\frac{3.2404}{\sqrt{82.5}}=0.3568$$

$t=5.000/0.3568=14.02$ で、自由度は $n-2=8$。両側の p 値は $6.5\times 10^{-7}$ です。

95% 信頼区間は $5.000\pm 2.306\times 0.3568$ で $[4.18,5.82]$。傾きが 5 ちょうどだと決まったわけではありません。

$S_{xx}$ が分母にあることに意味があります。$x$ の散らばりが大きいほど傾きの推定が安定する。狭い範囲のデータで傾きを論じると、誤差が大きくなります。

2 本の直線が一致しない

$x$ と $y$ を入れかえて、$x$ を $y$ で説明する直線も引けます。傾きは $S_{xy}/S_{yy}=0.19217$。

これを $y$ について解き直すと、$y$-$x$ の平面では傾き $1/0.19217=5.204$ になります。もとの 5.000 と一致しません。

2 つの傾きを掛けると $5.000\times 0.19217=0.9609$ で、決定係数に等しくなります。

$${\hat{\beta }}_{y|x}\times {\hat{\beta }}_{x|y}=r^2$$

$r^2$ は 1 以下なので、2 本の直線は必ずずれます。一致するのは点が完全に一直線に並ぶときだけ。

縦のずれを小さくする直線と、横のずれを小さくする直線は別物、というだけの話です。

「回帰」という名前

名前はゴルトンの実験から来ています。1875 年ごろにスイートピーの種でおこなった観察です^[4]。

大きい種から採れた次の世代は親より小さく、小さい種からは親より大きいものが採れた。平均のほうへ戻る、という現象です。

はじめ彼はこれを reversion と呼び、のちに regression と呼びかえました^[4]。1889 年の『Natural Inheritance』でまとめられ、ピアソンに強い影響を与えています^[4]。

平均へ戻るように見えるのは、傾きが $1$ より小さくなるためです。標準化した変数どうしなら傾きは $r$ に等しく、$|r|<1$ ならつねに $1$ を割ります。

親が平均より $2$ 単位高くても、子の予測は $2r$ 単位ぶんしか高くない。逆向きに回帰すると同じことが反対側でも起きるので、どちらから見ても「戻る」ように見えます。

直線の外へは伸ばさない

得られた式は、データがあった $x$ の範囲でだけ意味を持ちます。$x=1$ から $10$ で当てた直線を $x=30$ に使う根拠はどこにもない。

切片も同じです。この例の 30.0 は $x=0$ での予測値ですが、$x=0$ のデータは 1 つもありません。

切片に意味があるのは、$x=0$ がデータの範囲に入っているときだけです。範囲の外なら、直線を伸ばした先の数字にすぎません。

傾きは単位のある量、決定係数は単位のない割合、残差は 1 点ごとのずれ。3 つを並べて見ると、直線が何を言っていて何を言っていないかが分かります。

参考文献