単回帰分析

単回帰分析は、一つの説明変数から目的変数を予測する統計手法です。二つの変数の間の線形関係をモデル化し、その関係の強さや予測精度を評価します。

単回帰モデル

$n$ 組のデータ $(x_1,y_1),\dots ,(x_n,y_n)$ に対して、単回帰モデルは

$$y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i$$

と表されます。${\beta }_0$ は切片、${\beta }_1$ は傾き（回帰係数）、${\epsilon }_i$ は誤差項です。

誤差項については $E[{\epsilon }_i]=0$、$V[{\epsilon }_i]={\sigma }^2$（等分散性）、誤差間の無相関を仮定します。推測を行う場合はさらに正規性 ${\epsilon }_i\sim N(0,{\sigma }^2)$ を仮定します。

最小二乗法

パラメータ ${\beta }_0$, ${\beta }_1$ は残差平方和

$$\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$

を最小化することで推定します。これを最小二乗法といいます。

推定値は

$${\hat{\beta }}_1=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}=\frac{S_{xy}}{S_{xx}}$$

$${\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}$$

で与えられます。回帰直線 $\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$ は必ず点 $(\bar{x},\bar{y})$ を通ります。

決定係数

回帰の当てはまりの良さは決定係数 $R^2$ で評価します。

$$R^2=1-\frac{{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}=\frac{S_{xy}^2}{S_{xx}{S}_{yy}}$$

$R^2$ は 0 から 1 の値をとり、1 に近いほど回帰直線がデータをよく説明していることを意味します。単回帰の場合、$R^2$ は相関係数の二乗 $r^2$ に等しくなります。

回帰係数の検定

${\beta }_1=0$ かどうかを検定することで、$x$ と $y$ の間に有意な線形関係があるかを判断します。

検定統計量は

$$T=\frac{{\hat{\beta }}_1}{\mathrm{SE}({\hat{\beta }}_1)}$$

で、帰無仮説のもとで自由度 $n-2$ の t 分布に従います。ここで $\mathrm{SE}({\hat{\beta }}_1)=\hat{\sigma }/\sqrt{S_{xx}}$、${\hat{\sigma }}^2=\sum (y_i-{\hat{y}}_i{)}^2/(n-2)$ です。

同様に ${\beta }_1$ の信頼区間も構成でき、予測値の信頼区間や予測区間も求められます。