正規分布の形はなぜ一つしかないのか？定義と性質をたどる

平均から標準偏差 1 個ぶん以上離れる確率は 0.31731、2 個ぶんで 0.045500、3 個ぶんで 0.0026998 です^[1]。

この 3 つの数は $\mu$ と $\sigma$ をどう選んでも動きません。標準偏差を物差しにすると、正規分布の形は 1 つしかないため。

密度関数

連続確率変数 $X$ の確率密度が次の形になるとき、$X$ は平均 $\mu$、分散 ${\sigma }^2$ の正規分布に従うといいます^[1]。

$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

記号は $X\sim N(\mu ,{\sigma }^2)$ と書く。$\mu$ が山の位置、$\sigma$ が横の広がりを決めます^[2]。

左右対称なので、平均と中央値と最頻値が $\mu$ でそろいます。歪度は $0$、尖度は $3$^[2]。

山の高さと変曲点

最大値は $x=\mu$ でとり、高さは $\frac{1}{\sigma \sqrt{2\pi }}$ です。$\sigma$ が小さいほど高く細くなる。

2 回微分すると、曲がり方の変わる点が出ます。

$$f^{\prime \prime }(x)=\frac{f(x)}{{\sigma }^2}\left(\frac{(x-\mu {)}^2}{{\sigma }^2}-1\right)$$

$f(x)>0$ なので、$f^{\prime \prime }(x)=0$ となるのは $x=\mu \pm \sigma$ のときだけ。

グラフの曲がりが変わる位置を目で追えば、そこが標準偏差 1 個ぶんの距離です。$\sigma$ は式の中の記号ではなく、絵の中で指させる長さ。

全区間の積分が 1 になる

密度と呼べるかどうかは、全体を足して $1$ になるかで決まります。$\mu =0$、$\sigma =1$ で確かめます。

積分を $I$ と置き、$I^2$ を 2 重積分に直して極座標へ移す^[4]。

$$\begin{array}{rl}{I}^2& ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{e}^{-(x^2+y^2)/2}dxdy\\ & ={\int }_0^{2\pi }{\int }_0^{\infty }{e}^{-r^2/2}rdrd\theta \\ & =2\pi \end{array}$$

$r$ が余分に出るところが効きます。$e^{-r^2/2}r$ なら原始関数が書けるので、$1$ 次元では届かなかった積分が閉じる。

$I=\sqrt{2\pi }$ なので、$\frac{1}{\sqrt{2\pi }}$ を掛ければ全体が $1$ です。一般の $\mu$、$\sigma$ でも $t=(x-\mu )/\sigma$ と置換すれば同じ形に戻ります。

標準化

$X\sim N(\mu ,{\sigma }^2)$ に対して次を作ると、平均 $0$、分散 $1$ の正規分布になります^[4]。

$$Z=\frac{X-\mu }{\sigma }\sim N(0,1)$$

これで、どの正規分布も $N(0,1)$ ひとつの表で読めます。分布族の中に代表が 1 つあり、残りは全部その平行移動と拡大。

例：標準化して確率を読む

$X\sim N(50,10^2)$ で $P(40\le X\le 65)$ を求めます。

境目を標準化すると $\frac{40-50}{10}=-1$、$\frac{65-50}{10}=1.5$ です。

$$P(-1\le Z\le 1.5)=\Phi (1.5)-\Phi (-1)$$

数表から $\Phi (1.5)=0.93319$、$\Phi (-1)=0.15866$。差は $0.77453$ で、およそ 77.5% になります。

積率母関数

正規分布の性質はほとんど、この 1 つの関数から出ます^[4]。

$$M_X(t)=E\left[e^{tX}\right]=\exp \left(\mu t+\frac{{\sigma }^2{t}^2}{2}\right)$$

導き方は平方完成です。$X=\mu +\sigma Z$ と書いて $E[e^{sZ}]$ を計算すると、指数の肩が $sz-\frac{z^2}{2}=\frac{s^2}{2}-\frac{(z-s{)}^2}{2}$ になる。

残った積分は中心が $s$ へずれた密度の全積分なので $1$ です。したがって $E[e^{sZ}]=e^{s^2/2}$。

平均と分散を母関数から出す

$M_X(t)$ を $t$ で微分すると $M_X^{\prime }(t)=M_X(t)(\mu +{\sigma }^{2}t)$ です。

パラメータに置いた $\mu$ と ${\sigma }^2$ が、そのまま平均と分散になりました。名前と中身が一致している、めずらしい分布です。

線形変換で閉じている

$Y=aX+b$（$a\ne 0$）の母関数は $M_Y(t)=e^{bt}{M}_X(at)$ です。中身を展開します。

$$M_Y(t)=\exp \left((a\mu +b)t+\frac{a^2{\sigma }^2{t}^2}{2}\right)$$

同じ形なので $Y\sim N(a\mu +b,a^2{\sigma }^2)$。正規分布を 1 次式で写しても正規分布のままです^[4]。

標準化はこの性質の特別な場合にすぎません。$a=1/\sigma$、$b=-\mu /\sigma$ ととったもの。

再生性

独立な $X_1\sim N({\mu }_1,{\sigma }_1^2)$ と $X_2\sim N({\mu }_2,{\sigma }_2^2)$ の和を考えます。独立なら母関数は掛け算になる。

$$M_{X_1+X_2}(t)=\exp \left(({\mu }_1+{\mu }_2)t+\frac{({\sigma }_1^2+{\sigma }_2^2)t^2}{2}\right)$$

$X_1+X_2\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$ です^[1]。平均も分散も足し算で済みます。

例：差の分布

$X\sim N(170,6^2)$ と $Y\sim N(158,5^2)$ が独立のとき、$X-Y$ の分布を求めます。

$-Y\sim N(-158,5^2)$ なので、平均は $170-158=12$、分散は $36+25=61$ です。

引き算でも分散は足す。標準偏差は $\sqrt{61}=7.81$ になります。

$P(X-Y<0)$ は $\frac{0-12}{7.81}=-1.54$ を標準化した値なので、およそ 6.2% です。

3 シグマの範囲

標準化してしまえば、$\mu$ からの距離は $\sigma$ 何個ぶんかだけで測れます。

$3\sigma$ を超える確率は 0.003 を下回ります^[1]。工程管理でこの幅を管理限界に使うのは、外へ出たら偶然では説明しにくいためです。

和が正規なら、もとも正規

再生性には逆があります。独立な $X_1$ と $X_2$ の和が正規分布に従うなら、$X_1$ と $X_2$ もそれぞれ正規分布に従う^[1]。

クラメルの定理と呼ばれる結果です。正規分布でないものを足し合わせて、ちょうど正規分布を作ることはできません。

正規分布に見えるデータの背後に正規分布でない成分が隠れている、という説明は、独立な和のかたちでは通らないわけです。

名前がつくまで

曲線そのものは 18 世紀からありました。二項分布の項の和を近似する道具として現れた^[3]。

「正規分布」という呼び名を広めたのはピアソンです。それ以前はガウス法則、ガウス・ラプラス分布と呼ばれていました^[1]。

ド・モアブルは表と裏が等確率の試行を $n=3600$ 回おこなう例を挙げ、1770 回から 1830 回のあいだに収まる確率を 0.682688 と計算しています^[3]。

$\pm 30$ 回は $\pm \frac{1}{2}\sqrt{n}$ で、これが二項分布の標準偏差にあたります。外れる確率 0.317312 は、いま数表から読む 0.31731 と同じ数です。

密度の式を覚えるより、変曲点が $\sigma$ の位置にあること、$1$ 次式で写しても形が保たれること、足しても壊れないことの 3 つを押さえるほうが先に効きます。

出典