大数の法則（弱法則と強法則）

大数の法則は、標本平均が標本数を増やすにつれて母平均に近づくことを保証する定理です。確率論の基礎をなす最も重要な結果の一つであり、統計的推測の理論的根拠を与えます。

設定

$X_1,X_2,\dots$ を同一の分布に従う独立な確率変数列とし、その期待値を $\mu =E[X_i]$ とします。標本平均を

$${\bar{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$$

で定めます。大数の法則は、$n\to \infty$ のとき ${\bar{X}}_n$ が $\mu$ に収束することを主張します。

弱法則（確率収束）

大数の弱法則は、任意の $\epsilon >0$ に対して

$$\underset{n\to \infty }{\lim }P(|{\bar{X}}_n-\mu |>\epsilon )=0$$

が成り立つことを述べます。これは ${\bar{X}}_n$ が $\mu$ に確率収束することを意味し、${\bar{X}}_n\stackrel{P}{\to }\mu$ と書きます。

分散 ${\sigma }^2=V[X_i]$ が有限ならば、チェビシェフの不等式を用いて弱法則を証明できます。$V[{\bar{X}}_n]={\sigma }^2/n$ より

$$P(|{\bar{X}}_n-\mu |>\epsilon )\le \frac{{\sigma }^2}{n{\epsilon }^2}\to 0(n\to \infty )$$

となります。

強法則（概収束）

大数の強法則は、確率 1 で

$$\underset{n\to \infty }{\lim }{\bar{X}}_n=\mu$$

が成り立つことを述べます。これは ${\bar{X}}_n$ が $\mu$ に概収束（ほとんど確実に収束）することを意味し、${\bar{X}}_n\stackrel{a.s.}{\to }\mu$ と書きます。

強法則は弱法則より強い主張です。弱法則は「大きな逸脱の確率が小さくなる」ことを言いますが、強法則は「標本経路のほとんどすべてが実際に収束する」ことを保証します。

二つの法則の違い

直感的には、弱法則は各 $n$ での逸脱確率を評価し、強法則は無限列全体の振る舞いを評価します。

弱法則が成り立っても強法則が成り立たない例が存在しますが、期待値が有限であれば強法則が成り立つことが知られています（コルモゴロフの強法則）。応用上は強法則が成り立つ状況がほとんどです。

意義

大数の法則は、なぜ標本調査から母集団の性質を推測できるのかを理論的に説明します。十分に大きな標本を取れば、標本平均は母平均の良い推定値になることが保証されるのです。