中心極限定理とは？証明と具体例、正規近似が使えない場合まで解説

$X_{1}, X_{2}, \dots$ を独立で同じ分布に従う確率変数列とし、期待値を $μ$ 、分散を $σ^{2}$ と書きます。分散は有限で $0$ ではないものとします。

このとき標本平均を標準化した量は、 $n \to \infty$ で標準正規分布に分布収束します。

$Z_{n} = \frac{X ˉ _{n} - μ}{σ / n} = \frac{n ( X ˉ _{n} - μ )}{σ} d N (0, 1)$

これが中心極限定理です。仮定は独立性と同分布性、そして分散が有限であることの $3$ つだけで、もとの分布の形はいっさい問いません。

和の形で書く

$S_{n} = X_{1} + \dots + X_{n}$ と置いても同じことです。

$\frac{S _{n} - n μ}{σ n} d N (0, 1)$

$\overset{ˉ}{X}_{n} = S_{n} / n$ なので、分母と分子を $n$ で割れば一方から他方が出ます。和で考えるか平均で考えるかは場面によります。

分布収束とは何か

分布収束は、確率変数そのものが近づくという意味ではありません。分布関数が各点で近づく、という意味です。

$n \to \infty lim P (Z_{n} \leq z) = Φ (z)$

ここで $Φ$ は標準正規分布の分布関数です。一般には極限の分布関数の連続点だけで要求しますが、 $Φ$ はいたるところ連続なのですべての $z$ で成り立ちます。

密度が近づくとは主張していません。 $Z_{n}$ が離散でも分布収束は起こりえて、実際に二項分布がその例です。

なぜ $n$ で割るのか

割る量は $n$ でなければなりません。理由は分散の計算だけで分かります。

独立なので分散は足し算になり、 $V [S_{n}] = n σ^{2}$ です。標準偏差は $σ n$ で、 $S_{n}$ は中心 $n μ$ のまわりを $n$ の大きさで揺れます。

$S_{n} - n μ \sim n, \overset{ˉ}{X}_{n} - μ = \frac{S _{n} - n μ}{n} \sim \frac{1}{n}$

$n$ で割れば揺れは $0$ に潰れ、何も割らなければ発散します。 $n$ はその中間で、ちょうど形が残る尺度です。

大数の法則との違い

大数の法則は $\overset{ˉ}{X}_{n}$ が $μ$ に近づくことを言います。中心極限定理は、その近づき方の速さと、ずれの形を言います。

大数の法則だけでは、ずれが $1/ n$ なのか $1/ n$ なのかが分かりません。中心極限定理は $1/ n$ という尺度を与え、しかも残る形が正規分布だと述べます。

一次の主張が大数の法則、二次の主張が中心極限定理という関係になっています。

証明の方針

証明には特性関数を使います。 $φ_{X} (t) = E [e^{i tX}]$ で定まる関数で、次の $2$ つの性質が要点です。

独立な確率変数の和の特性関数は、それぞれの特性関数の積になる

特性関数が分布を一意に定め、特性関数が各点収束すれば分布も収束する（レヴィの連続性定理）

$1$ つ目のおかげで、和という扱いにくい操作が掛け算に変わります。 $2$ つ目のおかげで、特性関数の極限を計算するだけで結論が出ます。

以下では、まず仮定を強めてモーメント母関数で証明し、そのあと一般の場合を特性関数で示します。

モーメント母関数による証明

$M_{X} (t) = E [e^{tX}]$ が $0$ のある近傍で有限だと仮定します。この仮定はいつでも成り立つわけではありませんが、成り立つときは計算が見通しよく進みます。

標準化して $Y_{i} = (X_{i} - μ) / σ$ と置きます。 $E [Y_{i}] = 0$ 、 $E [Y_{i}^{2}] = 1$ です。

$Z_{n} = \frac{1}{n} i = 1 \sum n Y_{i}$

独立性から、 $Z_{n}$ のモーメント母関数は $n$ 乗の形になります。

$M_{Z_{n}} (t) = [M_{Y} (\frac{t}{n})]^{n}$

$M_{Y}$ を $0$ のまわりで展開します。 $M_{Y} (0) = 1$ 、 $M_{Y}^{'} (0) = E [Y] = 0$ 、 $M_{Y}^{''} (0) = E [Y^{2}] = 1$ なので次の形になります。

$M_{Y} (s) = 1 + \frac{s ^{2}}{2} + o (s^{2})$

対数を取って $n$ を掛けます。 $lo g (1 + u) = u + o (u)$ を使います。

$lo g M_{Z_{n}} (t) = n lo g (1 + \frac{t ^{2}}{2 n} + o (\frac{1}{n})) = n (\frac{t ^{2}}{2 n} + o (\frac{1}{n})) ⟶ \frac{t ^{2}}{2}$

したがって $M_{Z_{n}} (t) \to e^{t^{2} /2}$ です。これは標準正規分布のモーメント母関数にほかなりません。

モーメント母関数についての連続性定理から、 $Z_{n}$ は $N (0, 1)$ に分布収束します。

特性関数による証明

モーメント母関数が存在しない分布もあります。裾が重い分布では $E [e^{tX}]$ が $t > 0$ のどこでも無限大になります。

特性関数なら $∣ e^{i t Y} ∣ = 1$ なので、どんな分布でも必ず定義されます。分散が有限であれば、展開も $2$ 次まで確保できます。

$φ_{Y} (s) = 1 - \frac{s ^{2}}{2} + o (s^{2})$

先ほどと同じ計算を進めます。

$φ_{Z_{n}} (t) = [φ_{Y} (\frac{t}{n})]^{n} = (1 - \frac{t ^{2}}{2 n} + o (\frac{1}{n}))^{n}$

$(1 + a / n + o (1/ n))^{n} \to e^{a}$ を使うと、極限が求まります。

$φ_{Z_{n}} (t) ⟶ e^{- t^{2} /2}$

右辺は標準正規分布の特性関数です。レヴィの連続性定理から分布収束が従い、証明が終わります。

使ったのは $2$ 次までの展開だけです。 $3$ 次以上のモーメントは存在しなくてもかまいません。

例：一様分布の和

$0$ から $1$ の一様分布で確かめます。 $1$ 個では平らな分布ですが、 $2$ 個の和で三角形になり、そこから急速に山型へ変わります。

HTML

CSS

JavaScript

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">一様分布なら、いくつか足すだけで正規分布とほぼ重なります</text>
	<line x1="60" y1="190" x2="424" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="60,190 70,190 81,190 91,190 101,190 111,190 122,190 132,190 142,190 153,96 163,96 173,96 183,96 194,96 204,96 214,96 225,96 235,96 245,96 255,96 266,96 276,96 286,96 297,96 307,96 317,96 327,190 338,190 348,190 358,190 369,190 379,190 389,190 399,190 410,190 420,190" fill="none" stroke="#9a9a9a" stroke-width="1.5"></polyline>
	<polyline points="60,190 70,190 81,190 91,190 101,190 111,190 122,182 132,171 142,160 153,149 163,138 173,128 183,117 194,106 204,95 214,84 225,73 235,62 245,62 255,73 266,84 276,95 286,106 297,117 307,128 317,138 327,149 338,160 348,171 358,182 369,190 379,190 389,190 399,190 410,190 420,190" fill="none" stroke="#7a4fc0" stroke-width="1.5"></polyline>
	<polyline points="60,190 70,190 81,190 91,189 101,188 111,185 122,180 132,173 142,165 153,156 163,144 173,131 183,116 194,101 204,88 214,78 225,71 235,68 245,68 255,71 266,78 276,88 286,101 297,116 307,131 317,144 327,156 338,165 348,173 358,180 369,185 379,188 389,190 399,190 410,190 420,190" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<polyline points="60,190 70,190 81,189 91,189 101,187 111,185 122,181 132,175 142,167 153,157 163,145 173,132 183,117 194,102 204,89 214,77 225,69 235,64 245,64 255,69 266,77 276,89 286,102 297,117 307,132 317,145 327,157 338,167 348,175 358,181 369,185 379,187 389,189 399,189 410,190 420,190" fill="none" stroke="#d0562a" stroke-width="1.5" stroke-dasharray="4 3"></polyline>
	<text x="256" y="90" font-size="11" fill="#9a9a9a">1 個</text>
	<text x="146" y="118" font-size="11" fill="#7a4fc0">2 個</text>
	<text x="304" y="126" font-size="11" fill="#1b81e0">3 個</text>
	<text x="330" y="76" font-size="11" fill="#d0562a">5 個</text>
	<text x="48" y="212" font-size="11" fill="#9a9a9a">どれも平均を引いて標準偏差で割ってあります</text>
</svg>

$5$ 個の時点で、正規分布の曲線と目で見て区別がつかなくなります。もとの分布が対称であることが効いています。

対称な分布では $3$ 次のモーメントが $0$ になり、ずれの主要項が消えます。歪んだ分布との差はここから生まれます。

例：ド・モアブル–ラプラスの定理

$X_{i}$ が確率 $p$ で $1$ 、確率 $1 - p$ で $0$ を取るとします。和 $S_{n}$ は二項分布に従います。

期待値は $n p$ 、分散は $n p (1 - p)$ なので、中心極限定理は次の形になります。

$\frac{S _{n} - n p}{n p ( 1 - p )} d N (0, 1)$

これは二項分布の正規近似で、中心極限定理のうち最も早く知られた形です。一般の場合が示されるよりずっと前から使われていました。

離散分布が連続分布に分布収束する例にもなっています。分布関数が近づくだけで、密度が近づくわけではありません。

例：さいころ 100 個の合計

さいころを $100$ 回投げて、出目の合計が $330$ 以上になる確率を求めます。 $1$ 個あたりの期待値は $3.5$ 、分散は $35/12$ です。

$μ = 350, σ = 100 \cdot \frac{35}{12} \approx 17.078$

素朴に標準化すると次のようになります。

$P (S \geq 330) \approx 1 - Φ (\frac{330 - 350}{17.078}) = 1 - Φ (- 1.171) \approx 0.8792$

厳密な値は畳み込みで計算でき、 $0.88484$ です。誤差はおよそ $0.006$ でした。

連続性補正

いまの近似はもう少し良くできます。 $S$ は整数しか取らないので、境界を半分ずらすのが自然です。

$S \geq 330$ は $S > 329.5$ と同じ事象です。棒グラフの棒を幅 $1$ の長方形と見ると、 $330$ の棒は $329.5$ から $330.5$ までを占めます。

$P (S \geq 330) \approx 1 - Φ (\frac{329.5 - 350}{17.078}) \approx 0.88500$

厳密値 $0.88484$ との差は $0.0002$ です。補正なしの誤差の $30$ 分の $1$ 以下になりました。

離散分布を正規分布で近似するときは、この半分のずらしをほぼ常に入れるべきです。

収束の速さ：ベリー–エッセンの定理

どれくらい速く近づくのかは定量的に分かっています。 $3$ 次の絶対モーメント $ρ = E ∣ X - μ ∣^{3}$ が有限なら、次の評価が成り立ちます。

$x sup ∣ F_{n} (x) - Φ (x) ∣ \leq \frac{C ρ}{σ ^{3} n}$

ここで $F_{n}$ は標準化した和の分布関数です。定数 $C$ は分布によらず、 $C < 0.4748$ であることが知られています。

速さは $1/ n$ です。誤差を $10$ 分の $1$ にするには、 $n$ を $100$ 倍にする必要があります。

さいころの例で計算してみます。 $ρ = 6.375$ 、 $σ^{3} \approx 4.981$ 、 $n = 100$ です。

$\frac{0.4748 \times 6.375}{4.981 \times 10} \approx 0.061$

実際の誤差 $0.006$ より $10$ 倍ほど緩い上界です。ただし $n$ への依存の仕方は正しく、保証としては働きます。

例：歪んだ分布では収束が遅い

もとの分布が歪んでいると、必要な $n$ は大きくなります。指数分布で見てみます。

標準化した和の歪度は $2/ n$ です。 $n = 30$ でも $0.365$ が残り、 $0$ にはほど遠い値です。

HTML

CSS

JavaScript

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">指数分布では、30 個足してもまだ左右が非対称です</text>
	<line x1="60" y1="190" x2="424" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="60,190 70,190 81,190 91,190 101,190 111,190 122,190 132,190 142,190 153,190 163,190 173,138 183,82 194,57 204,51 214,56 225,67 235,80 245,95 255,109 266,122 276,133 286,143 297,152 307,159 317,165 327,170 338,174 348,177 358,180 369,182 379,183 389,185 399,186 410,187 420,187" fill="none" stroke="#7a4fc0" stroke-width="1.5"></polyline>
	<polyline points="60,190 70,190 81,190 91,190 101,190 111,190 122,190 132,190 142,186 153,174 163,155 173,131 183,108 194,90 204,78 214,73 225,74 235,81 245,90 255,101 266,113 276,125 286,136 297,145 307,154 317,161 327,167 338,172 348,176 358,180 369,182 379,184 389,186 399,187 410,188 420,188" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<polyline points="60,190 70,190 81,190 91,190 101,189 111,188 122,186 132,181 142,175 153,165 163,153 173,139 183,124 194,109 204,97 214,87 225,82 235,82 245,86 255,93 266,103 276,115 286,126 297,138 307,149 317,158 327,166 338,172 348,177 358,181 369,183 379,186 389,187 399,188 410,189 420,189" fill="none" stroke="#1f1f1f" stroke-width="1.5"></polyline>
	<polyline points="60,190 70,190 81,189 91,188 101,187 111,185 122,182 132,178 142,172 153,165 163,155 173,144 183,132 194,119 204,106 214,96 225,88 235,84 245,84 255,88 266,96 276,106 286,119 297,132 307,144 317,155 327,165 338,172 348,178 358,182 369,185 379,187 389,188 399,189 410,190 420,190" fill="none" stroke="#d0562a" stroke-width="1.5" stroke-dasharray="4 3"></polyline>
	<text x="196" y="46" font-size="11" fill="#7a4fc0">2 個</text>
	<text x="132" y="86" font-size="11" fill="#1b81e0">5 個</text>
	<text x="96" y="150" font-size="11" fill="#1f1f1f">30 個</text>
	<text x="316" y="120" font-size="11" fill="#d0562a">正規分布</text>
	<text x="48" y="212" font-size="11" fill="#9a9a9a">右の裾が厚く、左の裾が薄い形が残っています</text>
</svg>

一様分布なら $5$ 個で十分だったのに、指数分布では $30$ 個でも足りません。この差はもとの分布の歪みから来ています。

ベリー–エッセンの上界にも同じことが現れます。上界は $ρ / σ^{3}$ に比例し、これは歪みの大きさを測る量だからです。

「 $n$ が $30$ 以上なら大丈夫」という目安について

よく言われる目安ですが、理論的な裏づけはありません。もとの分布が対称で山型ならもっと小さくても足り、歪んでいれば $30$ ではまったく足りません。

極端な例を計算します。確率 $0.05$ で $1$ を取る試行を $30$ 回繰り返し、成功回数の分布を考えます。

期待値は $1.5$ 、標準偏差は約 $1.194$ です。 $3$ 回以下になる確率を、厳密な値と正規近似で比べます。

求め方	成功回数が 3 以下になる確率
厳密な値	0.9392
正規近似	0.8955
連続性補正つき	0.9531

補正なしで $0.044$ ものずれが出ました。 $n = 30$ という条件は満たしているのに、使いものになりません。

HTML

CSS

JavaScript

<svg viewBox="0 0 460 220" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">左端で切れている分布に、左右対称な曲線を重ねても合いません</text>
	<line x1="60" y1="185" x2="424" y2="185" stroke="#c8c8c8" stroke-width="1"></line>
	<rect x="94" y="111" width="28" height="74" fill="#1b81e0"></rect>
	<rect x="132" y="68" width="28" height="117" fill="#1b81e0"></rect>
	<rect x="169" y="96" width="28" height="89" fill="#1b81e0"></rect>
	<rect x="207" y="141" width="28" height="44" fill="#1b81e0"></rect>
	<rect x="245" y="169" width="28" height="16" fill="#1b81e0"></rect>
	<rect x="283" y="181" width="28" height="4" fill="#1b81e0"></rect>
	<polyline points="70,172 78,167 85,160 93,152 100,143 108,133 115,121 123,110 130,98 138,88 146,79 153,73 161,70 168,70 176,73 183,79 191,88 198,98 206,110 214,121 221,133 229,143 236,152 244,160 251,167 259,172 266,176 274,179 282,181 289,182 297,183 304,184 312,184 319,185 327,185 334,185 342,185 350,185 357,185 365,185 372,185 380,185 387,185 395,185 402,185 410,185" fill="none" stroke="#d0562a" stroke-width="1.5"></polyline>
	<text x="108" y="200" font-size="11" fill="#1f1f1f" text-anchor="middle">0</text>
	<text x="146" y="200" font-size="11" fill="#1f1f1f" text-anchor="middle">1</text>
	<text x="183" y="200" font-size="11" fill="#1f1f1f" text-anchor="middle">2</text>
	<text x="221" y="200" font-size="11" fill="#1f1f1f" text-anchor="middle">3</text>
	<text x="259" y="200" font-size="11" fill="#1f1f1f" text-anchor="middle">4</text>
	<text x="297" y="200" font-size="11" fill="#1f1f1f" text-anchor="middle">5</text>
	<text x="330" y="120" font-size="11" fill="#d0562a">正規近似</text>
	<text x="48" y="214" font-size="11" fill="#9a9a9a">成功確率 0.05、試行 30 回のときの成功回数</text>
</svg>

図を見れば理由は明らかです。分布は $0$ で切れているのに、正規分布は負の側にも裾を伸ばしています。

ベリー–エッセンの上界を計算すると $0.36$ になります。確率の絶対誤差が $0.36$ 以下という保証は、何も言っていないに等しい値です。

二項分布なら、 $n p \geq 10$ かつ $n (1 - p) \geq 10$ のほうがまだ役に立つ目安になります。ただしこれも保証ではありません。

例：コーシー分布では成り立たない

分散が有限でないと、結論は崩れます。コーシー分布がその典型です。

密度と特性関数は次のとおりです。

$f (x) = \frac{1}{π ( 1 + x ^{2} )}, φ (t) = e^{- ∣ t ∣}$

標本平均の特性関数を計算します。独立性から積になり、 $\overset{ˉ}{X}_{n}$ は $\frac{1}{n} \sum X_{i}$ なので引数が $t / n$ になります。

$φ_{\overset{ˉ}{X}_{n}} (t) = [φ (\frac{t}{n})]^{n} = [e^{- ∣ t ∣/ n}]^{n} = e^{- ∣ t ∣}$

右辺はもとの特性関数と同じです。つまり $\overset{ˉ}{X}_{n}$ は、 $n$ がいくつであってももとと同じコーシー分布に従います。

HTML

CSS

JavaScript

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">コーシー分布では、平均を取っても分布がまったく変わりません</text>
	<line x1="60" y1="190" x2="424" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="60,188 69,188 78,187 87,187 96,187 105,186 114,186 123,185 132,185 141,184 150,183 159,182 168,180 177,178 186,176 195,172 204,168 213,164 222,160 231,156 240,155 249,156 258,160 267,164 276,168 285,172 294,176 303,178 312,180 321,182 330,183 339,184 348,185 357,185 366,186 375,186 384,187 393,187 402,187 411,188 420,188" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<polyline points="60,190 69,190 78,190 87,190 96,190 105,190 114,190 123,190 132,190 141,190 150,190 159,190 168,190 177,190 186,190 195,189 204,184 213,167 222,127 231,75 240,50 249,75 258,127 267,167 276,184 285,189 294,190 303,190 312,190 321,190 330,190 339,190 348,190 357,190 366,190 375,190 384,190 393,190 402,190 411,190 420,190" fill="none" stroke="#d0562a" stroke-width="1.5" stroke-dasharray="4 3"></polyline>
	<text x="122" y="170" font-size="11" fill="#1b81e0">平均の分布（何個でも同じ）</text>
	<text x="262" y="66" font-size="11" fill="#d0562a">正規分布なら細くなるはず</text>
	<text x="48" y="212" font-size="11" fill="#9a9a9a">点線は、10 個の平均が正規分布に従う場合の形です</text>
</svg>