カイ二乗分布の定義と自由度｜自由度が減る理由を証明する

独立な標準正規分布の二乗和が従う分布を、カイ二乗分布といいます。$Z_1,\dots ,Z_n$ が互いに独立に $N(0,1)$ に従うとき、次の和の分布です。

$${\chi }^2=Z_1^2+Z_2^2+\cdots +Z_n^2$$

これを自由度 $n$ のカイ二乗分布といい、${\chi }^2(n)$ と書きます。自由度は足し合わせた個数のことですが、統計の場面では推定に使った分だけ減ります。

自由度 1 の密度を導く

まず $n=1$ の場合を計算します。$Y=Z^2$ の分布関数を書き、微分して密度を得ます。

$Y\le y$ となるのは $-\sqrt{y}\le Z\le \sqrt{y}$ のときです。標準正規分布の分布関数を $\Phi$ と書きます。

$$F_Y(y)=\Phi (\sqrt{y})-\Phi (-\sqrt{y})=2\Phi (\sqrt{y})-1$$

$y$ で微分します。合成関数の微分から $\sqrt{y}$ の導関数 $1/(2\sqrt{y})$ が掛かります。

$$\begin{array}{rl}{f}_Y(y)& =2\cdot \frac{1}{\sqrt{2\pi }}{e}^{-y/2}\cdot \frac{1}{2\sqrt{y}}\\ & =\frac{1}{\sqrt{2\pi y}}{e}^{-y/2}\end{array}$$

これが自由度 $1$ のカイ二乗分布の密度です。原点で発散しますが、積分は $1$ に収まります。

モーメント母関数で一般の自由度を導く

自由度が $2$ 以上の密度は、二乗和を直接畳み込むより、モーメント母関数を経由するほうが速く出ます。

まず $Z^2$ のモーメント母関数を計算します。$t<1/2$ のとき指数の肩がまとまります。

$$\begin{array}{rl}E\left[e^{t{Z}^2}\right]& ={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{t{z}^2}{e}^{-z^2/2}dz\\ & ={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{-(1-2t)z^2/2}dz\\ & =(1-2t{)}^{-1/2}\end{array}$$

最後の等号はガウス積分です。分散が $1/(1-2t)$ の正規分布の密度を積分した形になっています。

$Z_1,\dots ,Z_n$ は独立なので、和のモーメント母関数は積になります。

$$M(t)={\left(1-2t\right)}^{-n/2}\left(t<\frac{1}{2}\right)$$

一方、率 $1/2$、形状 $n/2$ のガンマ分布のモーメント母関数は $(1-2t{)}^{-n/2}$ です。$0$ の近くで一致するので、二乗和の分布はこのガンマ分布に等しくなります。

$$f(x)=\frac{1}{2^{n/2}\Gamma (n/2)}{x}^{n/2-1}{e}^{-x/2}(x>0)$$

$n=1$ を入れると $\Gamma (1/2)=\sqrt{\pi }$ から $f(x)=1/\sqrt{2\pi x}\cdot e^{-x/2}$ となり、前の節の結果と一致します。

ガンマ分布としての姿

いま出たとおり、${\chi }^2(n)$ は $\mathrm{Gamma}(n/2,1/2)$ そのものです。形状が自由度の半分、率が $1/2$ にあたります。

尺度で書く流儀なら $\mathrm{Gamma}(n/2,\theta =2)$ です。尺度が $2$ に固定されているので、カイ二乗分布は自由度だけで決まる一径数の族になります。

ガンマ分布の性質はそのまま使えます。期待値や再生性を別々に証明し直す必要はありませんが、自由度の意味を見るために以下では直接計算します。

分布の形

自由度によって形が大きく変わります。$n=1$ と $n=2$ では右下がり、$n\ge 3$ では山ができて、自由度が大きいほど山は右へ動きます。

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">自由度が大きいほど、山は右へ動いて低くなります</text>
	<line x1="60" y1="190" x2="424" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="60" y1="40" x2="60" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="60,40 67,40 74,95 80,126 87,144 94,156 100,164 107,170 114,175 121,178 128,181 134,183 141,184 148,185 154,186 161,187 168,188 175,188 182,188 188,189 195,189 202,189 208,189 215,189 222,190 229,190 236,190 242,190 249,190 256,190 262,190 269,190 276,190 283,190 290,190 296,190 303,190 310,190 316,190 323,190 330,190 337,190 344,190 350,190 357,190 364,190 370,190 377,190 384,190 391,190 398,190 404,190 411,190 418,190" fill="none" stroke="#7a4fc0" stroke-width="1.5"></polyline>
	<polyline points="60,40 67,66 74,87 80,105 87,119 94,131 100,141 107,150 114,157 121,162 128,167 134,171 141,174 148,177 154,179 161,181 168,183 175,184 182,185 188,186 195,186 202,187 208,188 215,188 222,188 229,189 236,189 242,189 249,189 256,189 262,189 269,190 276,190 283,190 290,190 296,190 303,190 310,190 316,190 323,190 330,190 337,190 344,190 350,190 357,190 364,190 370,190 377,190 384,190 391,190 398,190 404,190 411,190 418,190" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<polyline points="60,190 67,167 74,151 80,142 87,137 94,135 100,135 107,137 114,140 121,143 128,147 134,151 141,154 148,158 154,161 161,165 168,168 175,170 182,173 188,175 195,177 202,178 208,180 215,181 222,183 229,184 236,184 242,185 249,186 256,186 262,187 269,187 276,188 283,188 290,188 296,189 303,189 310,189 316,189 323,189 330,189 337,189 344,190 350,190 357,190 364,190 370,190 377,190 384,190 391,190 398,190 404,190 411,190 418,190" fill="none" stroke="#d0562a" stroke-width="1.5"></polyline>
	<polyline points="60,190 67,190 74,190 80,190 87,189 94,188 100,187 107,185 114,183 121,181 128,178 134,176 141,173 148,171 154,169 161,167 168,165 175,163 182,162 188,161 195,161 202,161 208,161 215,161 222,162 229,162 236,163 242,164 249,165 256,166 262,167 269,169 276,170 283,171 290,172 296,174 303,175 310,176 316,177 323,178 330,179 337,180 344,181 350,182 357,182 364,183 370,184 377,184 384,185 391,185 398,186 404,186 411,187 418,187" fill="none" stroke="#9a9a9a" stroke-width="1.5"></polyline>
	<text x="74" y="58" font-size="11" fill="#7a4fc0">自由度 1</text>
	<text x="90" y="112" font-size="11" fill="#1b81e0">自由度 2</text>
	<text x="128" y="130" font-size="11" fill="#d0562a">自由度 4</text>
	<text x="230" y="154" font-size="11" fill="#9a9a9a">自由度 10</text>
	<text x="48" y="212" font-size="11" fill="#9a9a9a">自由度 1 は原点で発散するので、上端で切ってあります</text>
</svg>

自由度が増えるほど、分布の歪みは小さくなります。歪みの大きさは $\sqrt{8/n}$ で測られ、自由度が大きければ形は左右対称に近づいていきます。

分布は常に正の値の上にあります。二乗和なので当然ですが、そのぶん左右対称にはなりきりません。

例：カイ二乗分布の最頻値

山の位置を求めます。密度の対数を微分するのが手早い方法です。

$$\log f(x)=\text{const}+\left(\frac{n}{2}-1\right)\log x-\frac{x}{2}$$

$x$ で微分して $0$ と置きます。

$$\frac{n/2-1}{x}-\frac{1}{2}=0$$

したがって $n\ge 2$ のとき最頻値は $n-2$ です。期待値の $n$ より $2$ だけ小さく、右に裾が伸びる形が式に出ています。

$n=1$ では導関数が常に負で、密度は原点に近いほど大きくなります。

例：自由度 2 は指数分布になる

$n=2$ を密度に入れます。$\Gamma (1)=1$ なので簡単な形になります。

$$f(x)=\frac{1}{2}{e}^{-x/2}$$

これは率 $1/2$ の指数分布です。平均は $2$ で、自由度と一致します。

上側確率も手で書けます。

$$P(X>x)=e^{-x/2}$$

$95\%$ 点は $-2\log 0.05=5.991$ です。数表を引かずに求められる、数少ない自由度です。

例：平面上の点までの距離

自由度 $2$ が指数分布になることには、幾何的な見方があります。平面に標準正規の点 $(Z_1,Z_2)$ を打ち、原点からの距離を考えます。

同時密度は、指数の肩が距離だけで決まる形をしています。

$$\frac{1}{2\pi }{e}^{-(z_1^2+z_2^2)/2}$$

極座標に移します。$z_1=r\cos \theta$、$z_2=r\sin \theta$ と置くとヤコビアンは $r$ です。

$$\frac{1}{2\pi }{e}^{-r^2/2}rdrd\theta$$

角度について $0$ から $2\pi$ まで積分すると、$r$ の密度が $r{e}^{-r^2/2}$ になります。これはレイリー分布と呼ばれる分布です。

距離の二乗 $U=R^2$ に移します。$du=2rdr$ なので密度は次のようになります。

$$\frac{1}{2}{e}^{-u/2}$$

自由度 $2$ のカイ二乗分布に戻りました。的の中心を狙って撃ったときの、外れの二乗が指数分布に従うという話でもあります。

例：自由度 3 の密度

奇数の自由度では $\Gamma$ の半整数での値が要ります。漸化式から $\Gamma (3/2)$ を求めます。

$$\Gamma \left(\frac{3}{2}\right)=\frac{1}{2}\Gamma \left(\frac{1}{2}\right)=\frac{\sqrt{\pi }}{2}$$

正規化定数の分母を計算します。$2^{3/2}\cdot \sqrt{\pi }/2=\sqrt{2}\sqrt{\pi }=\sqrt{2\pi }$ です。

$$f(x)=\frac{1}{\sqrt{2\pi }}\sqrt{x}{e}^{-x/2}$$

原点で $0$ から立ち上がり、$x=1$ で最大になります。最頻値の式 $n-2$ とも合っています。

期待値と分散

定義から直接計算します。$X=Z_1^2+\cdots +Z_n^2$ で、各項は同じ分布に従います。

期待値は $E[Z^2]=1$ から出ます。平均が $0$ なので二乗の期待値は分散に等しく、その値は $1$ です。

$$E[X]=nE[Z^2]=n$$

分散には $Z^2$ の分散が要ります。独立なので分散は足し算になります。

$$V[X]=nV[Z^2]=n\left(E[Z^4]-{\left(E[Z^2]\right)}^2\right)$$

次の節で $E[Z^4]=3$ を示します。これを入れると $V[Z^2]=3-1=2$ となり、分散が求まります。

$$V[X]=2n$$

自由度が期待値そのもの、その $2$ 倍が分散です。標準偏差は $\sqrt{2n}$ で、期待値との比は $\sqrt{2/n}$ になります。

例：$E[Z^4]=3$ の計算

標準正規分布の偶数次モーメントは、部分積分で $2$ つずつ下げられます。密度を $\phi (z)$ と書くと ${\phi }^{\prime }(z)=-z\phi (z)$ が成り立ちます。

$z^{2m}$ を $z^{2m-1}$ と $z$ に分け、$z\phi (z)$ を積分する側に取ります。

$$\begin{array}{rl}E[Z^{2m}]& ={\int }_{-\infty }^{\infty }{z}^{2m-1}\cdot z\phi (z)dz\\ & =[-z^{2m-1}\phi (z){]}_{-\infty }^{\infty }+(2m-1){\int }_{-\infty }^{\infty }{z}^{2m-2}\phi (z)dz\\ & =(2m-1)E[Z^{2m-2}]\end{array}$$

境界の項は消えます。$\phi$ が多項式より速く $0$ に近づくからです。

$E[Z^0]=1$ から順に上げていきます。

$$E[Z^2]=1,E[Z^4]=3\cdot 1=3,E[Z^6]=5\cdot 3=15$$

正規分布の尖度が $3$ になるのはこの値によります。

再生性

自由度は足し算になります。独立な $X_1\sim {\chi }^2(n_1)$ と $X_2\sim {\chi }^2(n_2)$ について、和は ${\chi }^2(n_1+n_2)$ に従います。

証明はモーメント母関数の積です。

$$(1-2t{)}^{-n_1/2}(1-2t{)}^{-n_2/2}=(1-2t{)}^{-(n_1+n_2)/2}$$

定義に戻れば当たり前でもあります。独立な標準正規変数の二乗和どうしを足せば、やはり二乗和だからです。

逆向きの分解も成り立ちます。${\chi }^2(n)$ を、独立な ${\chi }^2(k)$ と ${\chi }^2(n-k)$ の和に分けられます。

例：偶数の自由度なら上側確率が手で出せる

自由度が偶数 $n=2m$ のとき、上側確率は有限和で書けます。ガンマ分布とポアソン分布の関係から出る式です。

$$P(X>x)=e^{-x/2}\sum _{j=0}^{m-1}\frac{(x/2{)}^j}{j!}$$

$m=1$ なら $e^{-x/2}$ で、前に見た自由度 $2$ の式に戻ります。

自由度 $4$ で確かめます。$x=9.488$ を入れると $x/2=4.744$ です。

$$P(X>9.488)=e^{-4.744}(1+4.744)\approx 0.0087\times 5.744\approx 0.050$$

数表にある自由度 $4$ の $5\%$ 点と一致しました。奇数の自由度では $\Gamma (1/2)$ が残るので、こうはいきません。

自由度とは何か

ここまで自由度は「足した個数」でした。統計の場面では、これが「動ける方向の数」に置き換わります。

$n$ 個のデータを $n$ 次元空間の $1$ 本のベクトルと見ます。このベクトルを、すべての成分が等しい向きと、それに直交する向きに分けます。

<svg viewBox="0 0 460 220" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="26" font-size="11" fill="#1f1f1f">データを平均の向きと残差に分けると、残差は次元が 1 つ少なくなります</text>
	<line x1="96" y1="192" x2="352" y2="119" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="120" y1="180" x2="280" y2="60" stroke="#1b81e0" stroke-width="1.5"></line>
	<polygon points="276,54 284,58 278,66" fill="#1b81e0"></polygon>
	<line x1="120" y1="180" x2="300" y2="129" stroke="#d0562a" stroke-width="1.5"></line>
	<polygon points="296,123 304,127 298,135" fill="#d0562a"></polygon>
	<line x1="280" y1="60" x2="300" y2="129" stroke="#9a9a9a" stroke-width="1" stroke-dasharray="4 3"></line>
	<circle cx="120" cy="180" r="2.5" fill="#1f1f1f"></circle>
	<text x="236" y="52" font-size="11" fill="#1b81e0">データ</text>
	<text x="306" y="152" font-size="11" fill="#d0562a">平均の向き</text>
	<text x="292" y="96" font-size="11" fill="#9a9a9a">残差</text>
	<text x="48" y="212" font-size="11" fill="#9a9a9a">残差は平均の向きに直交する n − 1 次元の空間に入ります</text>
</svg>

平均の向きはただ $1$ 本なので $1$ 次元です。残差はそれに直交する空間に入るので、動ける方向は $n-1$ 個です。

自由度とは、この「動ける方向の数」のことです。推定でパラメータを $1$ つ使うと向きが $1$ つ固定され、そのぶん自由度が減ります。

標本分散の自由度が 1 つ減ること

これを正確に示します。$X_1,\dots ,X_n$ が独立に $N(\mu ,{\sigma }^2)$ に従うとし、標本平均と標本分散を次のように置きます。

$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i,S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

主張は $2$ つあります。$\bar{X}$ と $S^2$ は独立で、$(n-1)S^2/{\sigma }^2$ は ${\chi }^2(n-1)$ に従うことです。

標準化して $Z_i=(X_i-\mu )/\sigma$ と置きます。$Z=(Z_1,\dots ,Z_n)$ は独立な標準正規ベクトルです。

ここで直交行列 $Q$ を、第 $1$ 行がすべて $1/\sqrt{n}$ になるように取ります。長さ $1$ のベクトルは必ず正規直交基底に延ばせるので、こうした $Q$ は存在します。

$Y=QZ$ と置くと、$Y$ もまた独立な標準正規ベクトルになります。理由は密度の形にあります。

$$\frac{1}{(2\pi {)}^{n/2}}{e}^{-\Vert z{\Vert }^2/2}$$

直交変換は長さを変えないので指数部分はそのまま、ヤコビアンの絶対値も $|\det Q|=1$ です。密度の形が変わらないので、分布も変わりません。

第 $1$ 成分を書き下します。

$$Y_1=\frac{1}{\sqrt{n}}\sum _{i=1}^n{Z}_i=\sqrt{n}\bar{Z}$$

長さも保たれるので $\sum Y_i^2=\sum Z_i^2$ です。ここから残りの成分の二乗和が求まります。

$$\begin{array}{rl}\sum _{i=2}^n{Y}_i^2& =\sum _{i=1}^n{Z}_i^2-Y_1^2\\ & =\sum _{i=1}^n{Z}_i^2-n{\bar{Z}}^2\\ & =\sum _{i=1}^n(Z_i-\bar{Z}{)}^2\end{array}$$

最後の式は $(n-1)S^2/{\sigma }^2$ にほかなりません。$Y_2,\dots ,Y_n$ は独立な標準正規なので、その二乗和は ${\chi }^2(n-1)$ に従います。

独立性も同時に出ます。$\bar{X}$ は $Y_1$ だけの関数、$S^2$ は $Y_2,\dots ,Y_n$ だけの関数で、これらは互いに独立だからです。

平均を推定に使ったから自由度が減る、という言い方の中身がこれです。残差が $n-1$ 次元の空間に押し込められているので、二乗和の自由度も $n-1$ になります。

例：データ 5 個で残差を数える

具体的な数で確かめます。$12,15,11,14,13$ という $5$ 個のデータを取ります。

平均は $13$ です。各データから平均を引くと、残差は $-1,2,-2,1,0$ になります。

残差の和は必ず $0$ です。これが $1$ つの制約で、$4$ 個決めれば残りの $1$ 個は自動的に決まります。

$$-(-1+2-2+1)=0$$

動かせるのは $4$ 個ぶんなので、自由度は $4$ です。標本分散はこの二乗和を $4$ で割ります。

$$S^2=\frac{1+4+4+1+0}{4}=2.5$$

$n$ ではなく $n-1$ で割る理由も、この数え方から見えます。二乗和が持っている情報は $4$ 個ぶんしかありません。

平均と分散が独立になるのは正規分布のとき

前の証明では、直交変換で分布が変わらないことを使いました。この性質は正規分布に固有のものです。

ほかの分布では $\bar{X}$ と $S^2$ は一般に独立になりません。逆に、同じ分布から独立に取った標本でこの $2$ つが独立になるのは、その分布が正規分布のときに限られます。

カイ二乗分布を使う手続きが正規性を前提にするのは、この一点にかかっています。分布が正規から外れると、自由度の議論もそのままでは通りません。

自由度が大きいときの正規近似

自由度が大きくなると、${\chi }^2(n)$ は正規分布に近づきます。独立な同分布の和なので、中心極限定理がそのまま働きます。

$$\frac{X-n}{\sqrt{2n}}⟶N(0,1)$$

ただし収束は速くありません。歪みが $\sqrt{8/n}$ の速さでしか消えないためです。

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">自由度 30 でも、右の裾はまだ正規分布より厚くなっています</text>
	<line x1="60" y1="190" x2="424" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="60,190 68,190 75,190 83,190 91,190 99,190 106,190 114,189 122,187 129,183 137,176 145,165 153,150 160,131 168,112 176,93 183,77 191,65 199,59 207,58 214,62 222,70 230,82 237,95 245,108 253,122 261,134 268,145 276,155 284,163 291,169 299,175 307,179 315,182 322,184 330,186 338,187 345,188 353,189 361,189 369,189 376,190 384,190 392,190 399,190 407,190 415,190" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<polyline points="60,190 68,190 75,190 83,189 91,189 99,188 106,187 114,185 122,181 129,177 137,170 145,162 153,151 160,139 168,124 176,109 183,95 191,81 199,71 207,64 214,61 222,64 230,71 237,81 245,95 253,109 261,124 268,139 276,151 284,162 291,170 299,177 307,181 315,185 322,187 330,188 338,189 345,189 353,190 361,190 369,190 376,190 384,190 392,190 399,190 407,190 415,190" fill="none" stroke="#d0562a" stroke-width="1.5" stroke-dasharray="4 3"></polyline>
	<text x="146" y="112" font-size="11" fill="#1b81e0">カイ二乗分布</text>
	<text x="286" y="128" font-size="11" fill="#d0562a">正規分布による近似</text>
	<text x="205" y="208" font-size="11" fill="#9a9a9a" text-anchor="middle">30</text>
	<text x="48" y="224" font-size="11" fill="#9a9a9a">平均と分散をそろえた正規分布を重ねています</text>
</svg>

そこで変換をはさむ近似が使われます。$\sqrt{2X}$ を取ると平均 $\sqrt{2n-1}$、分散 $1$ の正規分布で近似できます。

さらに精度が高いのが立方根を取る方法です。$(X/n{)}^{1/3}$ が平均 $1-2/(9n)$、分散 $2/(9n)$ の正規分布で近似できます。

例：近似の精度を比べる

自由度 $30$ の上側 $5\%$ 点を、$3$ つの方法で求めて突き合わせます。正規分布の上側 $5\%$ 点 $1.645$ を使います。

素朴な近似は $n+1.645\sqrt{2n}$ です。平方根変換では $\sqrt{2X}=\sqrt{2n-1}+1.645$ を $X$ について解きます。

立方根変換では次の式を解きます。

$${\left(\frac{X}{n}\right)}^{1/3}=1-\frac{2}{9n}+1.645\sqrt{\frac{2}{9n}}$$

結果を並べます。

立方根変換は小数第 $2$ 位まで合っています。素朴な近似は $1$ 以上ずれていて、裾の確率を小さく見積もる方向に外れます。

近似の質が変換の選び方で変わるのは、歪みをどれだけ取り除けるかの違いによります。立方根はガンマ分布の歪みをうまく打ち消します。

例：平均と中央値と最頻値のずれ

右に裾が伸びる分布では、この $3$ つがずれます。カイ二乗分布では最頻値が最も小さく、平均が最も大きくなります。

中央値には閉じた式がありませんが、立方根変換から近似式が得られます。中央値はおよそ次の値です。

$$n{\left(1-\frac{2}{9n}\right)}^3$$

自由度 $10$ で確かめます。最頻値は $8$、平均は $10$ です。

近似式に入れると $10\times (1-2/90{)}^3=9.348$ となり、正確な中央値 $9.342$ とよく合います。

小さい自由度でも大きくは外れません。自由度 $4$ なら近似 $3.370$ に対して正確な値は $3.357$ です。

自由度は整数でなくてよい

密度の式には $n$ が $\Gamma (n/2)$ と指数の中にしか現れません。正の実数なら何でも定義できます。

二乗和としての意味は整数でないと持ちませんが、分布としては連続につながっています。分散が異なる群を比べるときの近似などで、整数でない自由度が現れます。

その場合のカイ二乗分布は、単に $\mathrm{Gamma}(n/2,1/2)$ を指しています。

よくある誤り

参考文献