単回帰分析は、一つの説明変数から目的変数を予測する統計手法です。二つの変数の間の線形関係をモデル化し、その関係の強さや予測精度を評価します。
単回帰モデル
組のデータ に対して、単回帰モデルは
と表されます。 は切片、 は傾き（回帰係数）、 は誤差項です。
誤差項については 、（等分散性）、誤差間の無相関を仮定します。推測を行う場合はさらに正規性 を仮定します。
最小二乗法
パラメータ , は残差平方和
を最小化することで推定します。これを最小二乗法といいます。
推定値は
で与えられます。回帰直線 は必ず点 を通ります。
決定係数
回帰の当てはまりの良さは決定係数 で評価します。
は 0 から 1 の値をとり、1 に近いほど回帰直線がデータをよく説明していることを意味します。単回帰の場合、 は相関係数の二乗 に等しくなります。
回帰係数の検定
かどうかを検定することで、 と の間に有意な線形関係があるかを判断します。
検定統計量は
で、帰無仮説のもとで自由度 の t 分布に従います。ここで 、 です。
同様に の信頼区間も構成でき、予測値の信頼区間や予測区間も求められます。
