平均を比べるのになぜ分散を分けるのか？分散分析の平方和

3 つの群の平均が 65、73、67 でした。全体のばらつきは 309.33 で、そのうち 173.33 が群の違いから、136.00 が群の内側から来ています。

この 2 つを自由度で割って比をとると 7.65。上側 5% の点が 3.89 なので、平均がすべて同じだとは言いにくい。

分散分析は、名前のとおり分散を分ける手続きです。平均を比べるのに、ばらつきの分解を使います。

平方和を分ける

群が $k$ 個、全体で $N$ 個の観測があるとします。各値と全体平均の差を 2 乗して足したものが全平方和です。

これが 2 つに分かれます^[1]。

$$\underset{\text{全体}}{\underbrace{\sum _i\sum _j(x_{ij}-\bar{x}{)}^2}}=\underset{\text{群間}}{\underbrace{\sum _i{n}_i({\bar{x}}_i-\bar{x}{)}^2}}+\underset{\text{群内}}{\underbrace{\sum _i\sum _j(x_{ij}-{\bar{x}}_i{)}^2}}$$

群間は、各群の平均が全体平均からどれだけ離れているか。群内は、各値が自分の群の平均からどれだけ離れているかです。

交差項が消えるので、ちょうど 2 つに分かれます。この分解が「分散分析」という名前のもとになりました^[2]。

自由度も分かれる

平方和が分かれるのと同じように、自由度も分かれます^[1]。

$k-1$ と $N-k$ を足すと $N-1$ です。$k$ 個の群平均のうち自由に動けるのが $k-1$ 個、各群で 1 つずつ平均に使われて残るのが $N-k$ 個。

平方和を自由度で割ったものを平均平方と呼びます。群内の平均平方は、共通の分散 ${\sigma }^2$ の推定値になります。

F 統計量

群間と群内の平均平方の比をとります^[1]。

$$F=\frac{\mathrm{SSB}/(k-1)}{\mathrm{SSW}/(N-k)}$$

すべての群の平均が等しいとき、この量は自由度 $(k-1,N-k)$ の F 分布に従います^[2]。

平均が同じなら、群間の平均平方も ${\sigma }^2$ の推定値になります。同じものを 2 通りに推定して比べている形です。

平均が違えば、群間のほうだけが大きくなる。比が $1$ から離れたら、平均が同じという仮定を疑うことになります。

例：3 群の計算を通す

各群 5 個ずつ、平均が 65、73、67、全体平均が 68.33 です。

$F=86.67/11.33=7.647$。自由度 $(2,12)$ の上側 5% 点は 3.885 なので、これを超えています。

p 値は 0.0072 です。3 つの平均がすべて等しいという仮定のもとでは、めったに起きない値になりました。

なぜ 2 群ずつ比べないのか

3 群なら組み合わせは 3 通りです。それぞれ t 検定をすれば済みそうに見えます。

問題は、検定を 3 回おこなうと、すべての平均が同じでもどこかで棄却してしまう確率が上がることです。

$$1-0.95^3=0.1426$$

5% のつもりが 14% になります。群が 5 つなら組み合わせは 10 通りで、確率は 40% を超える。

F 検定は 1 回で済むので、この膨らみが起きません。「どこかに違いがあるか」という 1 つの問いに、1 回で答える形です。

例：どこが違うのかを見る

F 検定が答えるのは「どこかに違いがある」までです。どの群とどの群かは別に調べます。

そのまま読むと 2 組が 5% を割ります。ただしこれは 3 回ぶんの検定なので、水準のほうを割って使います。

$0.05/3=0.0167$ を基準にすると、$t$ の境目は 2.7795。A と B の 3.757 は残り、B と C の 2.818 も残ります。A と C は残りません。

境目が 2.179 から 2.7795 へ動くぶん、拾える差が狭まる。多重性への対処には、必ずこの代償がつきます。

効果の大きさ

$F$ や $p$ は、差がどれだけ大きいかを表しません。割合で見るなら、群間平方和が全体に占める比を使います。

$${\eta }^2=\frac{\mathrm{SSB}}{\mathrm{SST}}=\frac{173.33}{309.33}=0.560$$

ばらつきの 56% が群の違いで説明できる、と読みます。回帰の決定係数と同じ考え方です。

$p$ が小さいことと ${\eta }^2$ が大きいことは別です。標本を増やせば $p$ はいくらでも小さくなりますが、${\eta }^2$ は増えません。

前提

導出には 3 つの前提があります。各群が正規分布に従うこと、分散が群を通じて等しいこと、観測が独立であること。

分散が等しいという前提は、群内平方和をひとまとめにする段階で使っています。群ごとにばらつきが大きく違うなら、この足し合わせに根拠がない。

正規性からのずれには比較的強く、分散の不揃いには弱い。とくに群の大きさが揃っていないと、ずれの影響が出やすくなります。

名前の由来

分散分析はフィッシャーが 1918 年に提案したもので、もとは農業試験のための道具でした^[2]。

畑を区画に分けて品種や肥料を割りつけ、収量の違いが処理によるものか土地のむらによるものかを分ける。平方和の分解は、この問いにそのまま対応しています。

分子と分母が同じ ${\sigma }^2$ を測っているかどうか。分散分析が見ているのは、この一点だけです。

出典