重回帰分析

重回帰分析は、複数の説明変数から目的変数を予測する統計手法です。単回帰の自然な拡張であり、現実のデータ分析で広く用いられています。

重回帰モデル

$p$ 個の説明変数 $x_1,\dots ,x_p$ に対して、重回帰モデルは

$$y_i={\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip}+{\epsilon }_i$$

と表されます。行列表記では

$$\mathbf{y}=\mathbf{X}\mathbf{\beta }+\mathbf{\epsilon }$$

です。ここで $\mathbf{X}$ は $n\times (p+1)$ の計画行列（第 1 列はすべて 1）、$\mathbf{\beta }=({\beta }_0,{\beta }_1,\dots ,{\beta }_p{)}^T$ です。

最小二乗推定

残差平方和 $\Vert \mathbf{y}-\mathbf{X}\mathbf{\beta }{\Vert }^2$ を最小化すると、正規方程式

$${\mathbf{X}}^T\mathbf{X}\hat{\mathbf{\beta }}={\mathbf{X}}^T\mathbf{y}$$

が得られます。${\mathbf{X}}^T\mathbf{X}$ が正則ならば

$$\hat{\mathbf{\beta }}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$

となります。これが最小二乗推定量です。

決定係数と自由度調整済み決定係数

決定係数は単回帰と同様に

$$R^2=1-\frac{\sum (y_i-{\hat{y}}_i{)}^2}{\sum (y_i-\bar{y}{)}^2}$$

で定義されます。ただし説明変数を増やすと $R^2$ は必ず増加するため、変数の数が異なるモデルの比較には自由度調整済み決定係数

$${\bar{R}}^2=1-\frac{n-1}{n-p-1}(1-R^2)$$

を用います。

回帰係数の検定と信頼区間

各回帰係数 ${\beta }_j$ について $H_0$: ${\beta }_j=0$ を検定できます。検定統計量

$$T_j=\frac{{\hat{\beta }}_j}{\mathrm{SE}({\hat{\beta }}_j)}$$

は自由度 $n-p-1$ の t 分布に従います。この検定は「他の変数を固定したとき、$x_j$ が $y$ に有意な影響を与えるか」を判断するものです。

回帰の有意性の検定

モデル全体の有意性は F 検定で評価します。$H_0$: ${\beta }_1=\cdots ={\beta }_p=0$（すべての説明変数が無関係）に対して

$$F=\frac{R^2/p}{(1-R^2)/(n-p-1)}$$

は帰無仮説のもとで自由度 $(p,n-p-1)$ の F 分布に従います。

多重共線性

説明変数間に強い相関があると、推定が不安定になる多重共線性の問題が生じます。分散拡大係数（VIF）などで診断し、必要に応じて変数選択や正則化を行います。