回帰直線（最小二乗法）の求め方

最小二乗法で、点の並びにいちばんよく当てはまる直線 y = ax + b を求めます。傾きは共分散 ÷ x の分散、切片は ȳ − a·x̄ です。決定係数 R² は当てはまりのよさを表します。

解説

回帰直線は、散らばった点にいちばんよく当てはまる直線 $y = ax + b$ です。「よく当てはまる」とは、各点と直線の 縦のずれの 2 乗和が最小 になる、という意味です。これを最小二乗法といいます。

a = \dfrac{s_{xy}}{\sigma_x^2} \qquad b = \bar{y} - a\bar{x}

傾き $a$ は共分散を $x$ の分散で割ったもの、切片 $b$ は直線が必ず点 $(\bar{x}, \bar{y})$ を通ることから決まります。

例

$x$ が 1, 2, 3, 4, 5、 $y$ が 2, 4, 5, 4, 5 のとき、 $\bar{x} = 3$ 、 $\bar{y} = 4$ 、共分散は 1.2、 $x$ の分散は 2 です。

a = \dfrac{1.2}{2} = 0.6 \qquad b = 4 - 0.6 \times 3 = 2.2

回帰直線は $y = 0.6x + 2.2$ です。 $x = 6$ を入れれば $y = 5.8$ と予測できます。

決定係数 $R^2$ は相関係数の 2 乗で、 $y$ のばらつきのうち何割をこの直線で説明できたかを表します。

この例では $r = 0.7746$ なので $R^2 = 0.6$ 。 $y$ のばらつきの 60% が $x$ で説明できた、ということです。