確率変数を定数倍すると分散だけ 2 乗で効く理由と変換公式

全員の点数に 10 を足しても、分散は 1 も動きません。全員を 2 倍すると、分散は 4 倍になります。

足し算は効かず、掛け算だけが 2 乗で効く。ばらつきが「平均からの距離」で測られていることが、この差を生みます。

期待値は 1 次式をそのまま通す

定数 $a$ 、 $b$ と確率変数 $X$ について、次が成り立ちます^[1]。

$E [a X + b] = a E [X] + b$

期待値は積分なので、定数倍は外へ出せ、定数の期待値はその定数のまま。この 2 つを合わせた形です。

変数が 2 つでも同じです。 $E [α X_{1} + β X_{2}] = α E [X_{1}] + β E [X_{2}]$ が、独立でなくても成り立ちます^[1]。

独立性が要らないのは、期待値が足し算の構造だけを見ているためです。積のほうは事情が変わります。

分散は平行移動を無視する

分散は平均からの距離の 2 乗の平均です。 $Y = a X + b$ を入れてみます。

$V [Y] = E [(a X + b - (a μ + b))^{2}] = E [(a (X - μ))^{2}] = a^{2} V [X]$

$b$ が途中で消えました。 $Y$ の平均にも $b$ が入っているので、引き算のところで打ち消し合います^[2]。

残るのは $a^{2}$ だけ。距離を 2 乗しているので、倍率も 2 乗で効きます。

b

を足す

分布ごと横へずれる。中身の並びは変わらないので、ばらつきは同じ

a

倍する

目盛りそのものが伸びる。距離が $a$ 倍、2 乗して $a^{2}$ 倍

標準偏差には絶対値がつく

標準偏差は分散の平方根なので、 $a^{2} = ∣ a ∣$ です。

$σ [a X + b] = ∣ a ∣ σ [X]$

$a$ が負でも標準偏差は正のまま。 $- 2$ 倍すれば分布が反転しますが、広がり方は 2 倍で同じです。

分散が $a^{2}$ 、標準偏差が $∣ a ∣$ 倍。単位の入り方を考えると自然で、標準偏差はもとの量と同じ単位を持ちます。

標準化

2 つの公式を組み合わせると、平均 $0$ 、分散 $1$ に直せます。

$Z = \frac{X - μ}{σ}$

$a = 1/ σ$ 、 $b = - μ / σ$ にあたる 1 次変換です。 $E [Z] = 0$ 、 $V [Z] = 1$ 。

単位が消えるので、違う尺度で測った量どうしを並べられます。 $σ$ 何個ぶん離れているか、という共通の物差しになる。

例：試験の点を変換する

$E [X] = 60$ 、 $V [X] = 100$ の得点に、 $Y = 2 X + 10$ という変換を当てます。

平均は $2 \times 60 + 10 = 130$ 。分散は $2^{2} \times 100 = 400$ で、標準偏差は 20 です。

もとの標準偏差 10 が 20 になりました。 $b = 10$ はどこにも出てきません。

$Y = - X + 100$ なら平均は 40、分散は $(- 1)^{2} \times 100 = 100$ で変わらず、標準偏差も 10 のまま。順位が逆になっても、広がりは同じです。

独立な和

$X_{1}, \dots, X_{n}$ が独立なら、分散は足し算になります^[2]。

$V [X_{1} + \dots + X_{n}] = V [X_{1}] + \dots + V [X_{n}]$

独立でないと、共分散の項が残ります。期待値の加法性が独立性を要求しないのと対照的です。

標本平均に当てはめると $V [\overset{ˉ}{X}] = σ^{2} / n$ 。 $1/ n$ を掛けたぶんが $1/ n^{2}$ で効き、 $n$ 個ぶん足すので $1/ n$ が残ります。

標準偏差のほうは足せません。 $V$ が足し算なので、 $σ$ どうしは $σ_{1}^{2} + σ_{2}^{2}$ という形になる。

$3$ と $4$ を合わせると $7$ ではなく $5$ 。斜辺の長さと同じ足し方です。

積の期待値には条件がつく

和の期待値はいつでも足し算に分かれますが、積は違います。

$E [X Y] = E [X] E [Y] + Cov (X, Y)$

独立なら共分散が $0$ になるので、 $E [X Y] = E [X] E [Y]$ が成り立ちます^[2]。独立でなければ、ずれたぶんが共分散として残る。

さいころ 2 個を独立に振るなら $E [X Y] = 3.5 \times 3.5 = 12.25$ です。ところが同じ 1 個の目を 2 回使うと $E [X \cdot X] = E [X^{2}] = 15.1667$ になります。

同じ記号でも、別々に振ったのか 1 回の結果を使い回したのかで答えが変わる。共分散の項が $0$ か $35/12$ かの違いです。

関数と期待値は順番を入れかえられない

1 次式なら $E [a X + b] = a E [X] + b$ でしたが、2 乗になると崩れます。

$E [X^{2}] \neq = (E [X])^{2}$

差はちょうど分散です。 $V [X] = E [X^{2}] - (E [X])^{2}$ を移項すれば $E [X^{2}] = (E [X])^{2} + V [X]$ ^[2]。

分散は負にならないので、 $E [X^{2}]$ はつねに $(E [X])^{2}$ 以上。等号は $X$ が定数のときだけです。

一般に、下に凸な関数 $g$ については $g (E [X]) \leq E [g (X)]$ が成り立ちます^[1]。イェンセンの不等式と呼ばれます。

図では $1$ と $4$ を半々でとる確率変数を置いています。平均は 2.5 で、 $(E [X])^{2} = 6.25$ 。

$E [X^{2}]$ は $(1 + 16) /2 = 8.5$ で、こちらのほうが大きい。差の 2.25 が分散にあたります。

例：さいころで確かめる

1 から 6 が等確率のとき、 $E [X] = 3.5$ です。2 乗の期待値も出します。

$E [X^{2}] = \frac{1 + 4 + 9 + 16 + 25 + 36}{6} = \frac{91}{6} = 15.1667$

$(E [X])^{2} = 12.25$ なので、差は 2.9167。これが $V [X] = 35/12$ です。

$Y = 2 X + 1$ とすると、 $E [Y] = 8$ 、 $V [Y] = 4 \times 35/12 = 35/3 = 11.667$ 、 $σ [Y] = 3.416$ 。

もとの標準偏差 1.708 のちょうど 2 倍になりました。

$V [X] = 9$ のとき、 $V [- 3 X + 5]$ はいくつですか。

81
$- 27$
32

__RESULT__

$V [a X + b] = a^{2} V [X]$ なので、 $(- 3)^{2} \times 9 = 81$ です。分散は負になりません。 $b = 5$ は平行移動なので効かず、足し算で $32$ になることもありません。

足し算は位置を動かし、掛け算は目盛りを伸ばす。分散が反応するのは後者だけで、しかも 2 乗で反応します。

参考

Mathematical expectation. Encyclopedia of Mathematics.

Dispersion. Encyclopedia of Mathematics.

全員に 10 を足しても分散は 1 も動かず、全員を 2 倍すると 4 倍になります。$V[aX+b] = a^2V[X]$ の導出では、$Y$ の平均にも $b$ が入っているので引き算のところで打ち消し合う。標準偏差は $\sqrt{a^2} = |a|$ 倍なので、$-2$ 倍でも正のままです。期待値の加法性は独立でなくても成り立つのに、分散の加法性と積の期待値には独立が要ります。さいころ 2 個なら $E[XY] = 12.25$、同じ目を 2 回使えば 15.1667。$E[X^2]$ と $(E[X])^2$ の差がちょうど分散になること、下に凸な関数でのイェンセンの不等式まで、さいころの数値で確かめます。