4 分の 1 という上界は縮められない - チェビシェフの不等式

分布の形をまったく知らなくても、平均から $2\sigma$ 以上離れる確率は $1/4$ 以下だと言えます。

正規分布なら実際は 0.0455 なので、$1/4$ は 5 倍以上ゆるい。それでもこの数字は縮められません。

$1/4$ ちょうどになる分布が実在するためです。

不等式のかたち

平均 $\mu$、分散 ${\sigma }^2$ を持つ確率変数 $X$ と、任意の $k>0$ について次が成り立ちます^[1]。

$$P\left(|X-\mu |\ge k\sigma \right)\le \frac{1}{k^2}$$

$\epsilon =k\sigma$ と置きかえた形もよく使われます^[2]。

$$P\left(|X-\mu |\ge \epsilon \right)\le \frac{{\sigma }^2}{{\epsilon }^2}$$

必要なのは平均と分散が存在することだけ。連続か離散か、対称か、山が 1 つかは問いません。

マルコフの不等式から出る

もとになるのは、非負の確率変数 $Y$ と $a>0$ についての次の関係です^[1]。

$$P(Y\ge a)\le \frac{E[Y]}{a}$$

$Y=(X-\mu {)}^2$、$a={\epsilon }^2$ と置くと、2 乗しても大小関係が変わらないので次のように移ります。

$$P(|X-\mu |\ge \epsilon )=P\left((X-\mu {)}^2\ge {\epsilon }^2\right)\le \frac{{\sigma }^2}{{\epsilon }^2}$$

行数が短いのは、使っている情報が少ないためです。分散という 1 つの数しか見ていない。

例：どれくらいゆるいか

分布を決めて実際の確率を出し、上界と並べます。

一様分布は端が $\pm \sqrt{3}\sigma$ までしかないので、$2\sigma$ の外に何も置けません。上界との差は 0.25 まるごと。

指数分布は非対称なぶん正規分布より外へ出やすく、$3\sigma$ では 7 倍近い差になります。それでも上界にはまったく届かない。

$1/4$ は縮められない

上界に届く分布があります。3 点だけに確率を置いた分布です。

$k=2$ なら、$\mu \pm 2\sigma$ にそれぞれ $1/8$、中央に $3/4$ です。外にいる確率はちょうど $1/4$。

分散も確かめられます。中央では偏差が $0$、両端では $(2\sigma {)}^2$ なので、$4{\sigma }^2\times \frac{1}{4}={\sigma }^2$ になる。

上界が達成される以上、分布の形を仮定しないかぎり $1/4$ より小さい数には置きかえられません^[1]。

片側ならもっと締まる

上下をまとめて評価するのをやめると、上界が改善します。平均 $0$、分散 $1$ の $Z$ と $v\ge 0$ について次が成り立つ^[4]。

$$P(Z\ge v)\le \frac{1}{1+v^2}$$

カンテリの不等式と呼ばれます。$v=2$ なら $1/5=0.2$ で、チェビシェフの $1/4$ より小さい。

証明は $1+vZ$ を作ってチェビシェフに戻す形です。$P(Z\ge v)=P(1+vZ\ge 1+v^2)$ と書きかえてから 2 乗の評価を当てる。

例：カンテリの等号

こちらにも達成する分布があります。2 点だけです^[4]。

$Z=v$ を確率 $\frac{1}{1+v^2}$、$Z=-\frac{1}{v}$ を確率 $\frac{v^2}{1+v^2}$ でとる。

$v=2$ なら、$2$ が確率 $1/5$、$-0.5$ が確率 $4/5$ です。平均は $2\times 0.2-0.5\times 0.8=0$。

分散は $4\times 0.2+0.25\times 0.8=1$ で、条件を満たしています。$P(Z\ge 2)=0.2$ がそのまま上界。

形を仮定すると、もっと締まる

山が 1 つだと分かっているなら、ガウスの不等式のほうが小さい上界を与えます^[1]。

区間を平均について非対称にとる場合まで含めて、分布のクラスごとに最良の上界が調べられています^[4]。一般、対称、単峰、凹などで別々の値になる。

チェビシェフの $1/k^2$ は、何も仮定しない側の端にある数です。仮定を足せば下げられる。

大数の弱法則への応用

独立同分布な列の標本平均は $V[{\bar{X}}_n]={\sigma }^2/n$ を満たします。そのまま当てはめる。

$$P\left(|{\bar{X}}_n-\mu |\ge \epsilon \right)\le \frac{{\sigma }^2}{n{\epsilon }^2}$$

右辺は $n\to \infty$ で $0$ です。粗い評価でも、$0$ へ行くことを示すには足ります^[1]。

チェビシェフの名前がこの不等式に残っているのは、彼がこれを使って大数の法則を示したためでした^[1]。

上界は $1/k^2$ で減りますが、正規分布は指数より速く減ります。$k$ が大きいほど差が開いていく。

減り方の階級が違うので、裾の評価に使うと極端に保守的になります。分布が分かっているなら、そちらを使うほうがよい。

名前の順番

先に書いたのはビエネメで、証明をつけたのはチェビシェフです^[1]。

いまはビエネメ・チェビシェフの不等式と 2 人の名前で呼ぶことも多い。フランス側とロシア側の系統が、この 1 本で交わっています^[3]。

片側の形にカンテリの名がついているのも、同じ種類の事情によります。関係そのものはチェビシェフの側にさかのぼる。

分散という 1 つの数だけから何が言えるか。その限界を示した式なので、粗いことは欠点ではなく仕様です。

出典