母比率の差の検定の求め方

ページ A では 500 人のうち 60 人が申し込み、ページ B では 500 人のうち 85 人が申し込んだ。B のほうがよいと言ってよいのか。2 つの群の比率にちがいがあるかを調べるのがこの検定です。

• $\hat{p}_A$、$\hat{p}_B$ はそれぞれの群の標本比率
• $\bar{p}$ は 2 つをまとめた比率で、該当数の合計 ÷ 大きさの合計
• $n_A$、$n_B$ はそれぞれの群の大きさ

分母に $\bar{p}$ が出てくるのが要点です。この検定の帰無仮説は「2 つの群の母比率は等しい」というものですから、等しいとしたときの共通の比率を推定しなければなりません。その最良の推定値が、両方を合わせて数えた比率です。片方だけの比率を使うのではなく、まとめてから標準誤差を作ります。

例

既定の入力で見てみます。A は 500 人中 60 人、B は 500 人中 85 人、有意水準 5% です。

それぞれの比率は 12% と 17% で、差は 5 ポイントです。まとめた比率は $(60 + 85) \div (500 + 500)$ で 14.5% になります。

標準誤差は $\sqrt{0.145 \times 0.855 \times (1 \div 500 + 1 \div 500)}$ でおよそ 0.022269 です。z 値は $-0.05 \div 0.022269$ でおよそ −2.2453 になります。

両側の p 値はおよそ 0.024749 です。臨界値 1.9600 を絶対値が超えているので、有意水準 5% で「A と B の比率にちがいがある」と判断します。

注意

A/B テストでいちばん多い誤りは、途中で何度も結果を見て、有意になった時点で止めることです。試行を続けながら覗き見ると、本当は差がなくても、どこかの時点でたまたま有意になる確率が高くなります。5% の水準で覗き見を繰り返せば、最終的に誤って有意と判断する確率は 5% をはるかに超えます。

避けるには、必要な標本サイズを先に決めて、そこまで集め切ってから 1 回だけ判定します。必要な数はこの電卓の「必要な標本サイズ（母比率）」で見積もれます。

有意であることと、意味のある差であることは別です。標本を大きくすれば、ごくわずかな差でも有意になります。12% と 17% の差が事業として見合うかどうかは、統計とは別の判断になります。

正規分布で近似しているので、どちらの群も該当数と非該当数がそれぞれ 5 以上あることが目安です。