断面を見るか経路を見るか〜大数の法則の弱法則と強法則

コインを 100 回投げて、表の割合が 0.4 を割るか 0.6 を超える確率は 0.0352 です。1000 回なら $1.8\times 10^{-10}$。

ずれる確率が消えていくことは、これで見えます。ただし「消える」と言ったときの意味が 2 通りある。

その 2 つが弱法則と強法則です。

設定

$X_1,X_2,\dots$ を独立で同じ分布に従う確率変数の列とし、期待値を $\mu$ とします。標本平均を次で書く。

$${\bar{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$$

$n$ を増やしたとき ${\bar{X}}_n$ が $\mu$ へ近づく。この「近づく」の中身が 2 通りに分かれます。

弱法則

任意の $\epsilon >0$ に対して次が成り立つ、という主張です^[1]。

$$\underset{n\to \infty }{\lim }P\left(\left|{\bar{X}}_n-\mu \right|>\epsilon \right)=0$$

確率収束と呼びます。$n$ を 1 つ決めるたびに確率が 1 つ決まり、その数列が $0$ へ行く。

見ているのは各 $n$ での断面です。$n=100$ の絵、$n=1000$ の絵、と別々に眺めて、外れている面積が縮んでいくことを言っています。

チェビシェフの不等式から出る

分散 ${\sigma }^2$ が有限なら証明は 3 行で済みます。$V[{\bar{X}}_n]={\sigma }^2/n$ を使う。

$$P\left(\left|{\bar{X}}_n-\mu \right|>\epsilon \right)\le \frac{{\sigma }^2}{n{\epsilon }^2}$$

右辺は $n\to \infty$ で $0$ です。チェビシェフは 1867 年にこの筋道を整理しました^[1]。

例：上界はどのくらい粗いか

コイン投げで $\epsilon =0.1$ としたときの、実際の確率と上界を並べます。

$n=1000$ では 8 桁ちがう。上界としてはひどく粗いのに、極限を示すには足ります。

$0$ に行くことだけが要るなら、粗い評価で十分。精密さと目的が別だという例です。

例：何回投げれば足りるか

割合を $\pm 0.02$ の幅に 95% の確からしさで収めたい、としましょう。回数のほうを逆に求める問題です。

数え上げると、$n=2401$ で外れる確率が 0.0501、$n=2500$ で 0.0477 になります。2500 回あれば届く。

同じ要求をチェビシェフの上界で立てると $\frac{0.25}{n\times 0.0004}\le 0.05$ となり、$n\ge 12500$ が必要です。

5 倍の回数を要求されました。粗い上界は極限を示すには足りても、必要な回数の見積もりには使えません。

ベルヌーイが向き合ったのは、この逆向きの問題のほうでした^[3]。極限の主張より、必要な標本の大きさを決めることに関心があった。

強法則

こちらは確率 $1$ で数列そのものが収束する、という主張です^[2]。

$$P\left(\underset{n\to \infty }{\lim }{\bar{X}}_n=\mu \right)=1$$

概収束と呼びます。$P$ の中に $\lim$ が入っているところが弱法則との違いで、確率をとる対象が数列の全体になっている。

コルモゴロフが 1933 年に、独立同分布なら期待値が存在することと同値だと示しました^[2]。分散はいりません。

断面と経路

2 つの違いは、何を数えているかにあります。

弱法則が言うのは「どの断面でも、外にいる割合は小さい」です。同じ試行がずっと外にいるとは言っていません。

強法則は「外へ出るのは有限回まで」と言います。$n$ を大きくとれば、そこから先は二度と出ない。

弱法則だけが成り立つ分布

強法則は弱法則より強い主張です。逆は成り立ちません^[2]。

独立同分布の場合、弱法則が成り立つ条件は $nP(|X|>n)\to 0$ で、強法則の条件は $E|X|<\infty$ です^[1][2]。

この 2 つはずれます。裾が $P(|X|>x)=\frac{1}{x\log x}$ に近い形の分布を考える。

$$xP(|X|>x)=\frac{1}{\log x}⟶0$$

一方で $E|X|=\int P(|X|>x)dx$ の被積分関数は $\frac{1}{x\log x}$ で、積分は $\log \log x$ のように発散します。

弱法則は成り立ち、強法則は成り立たない。標本平均は各時点では中心の近くにいるのに、経路としては落ち着かない。

分散がなくても成り立つ

弱法則の証明にチェビシェフを使うと分散が要ります。ただし分散は本質ではありません。

ヒンチンが 1929 年に、独立同分布なら期待値の存在だけで弱法則が成り立つと示しました^[1]。裾を切り落として評価する手法によります。

期待値すら存在しない分布では、どちらも成り立ちません。コーシー分布の標本平均は、何個集めても同じコーシー分布のままです。

ボレルの正規数

強法則の最初の形は、確率論ではなく数論の顔で現れました。ボレルが 1909 年に示した結果です^[2]。

$(0,1)$ から数を 1 つとり、2 進展開の中で $1$ が現れる割合を数える。この割合が $1/2$ に収束する数の集合は、測度が $1$ になります。

コイン投げの言いかえです。区間から適当にとった数は、ほとんどすべてこの性質を持つ。

名前がつくまで

ベルヌーイの向きは、いまの教科書と逆です。極限を述べるだけでなく、決めた精度に届くのに何回必要かを求めていた^[3]。

必要な回数を先に決める。この形は現在の標本サイズ設計と同じ問いです。

平均が真の値へ近づく、という一文の中に、断面の話と経路の話が同居している。弱法則と強法則は、その 2 つを分けた名前です。

参考