仮説検定で示せるのは「合わない」ことだけ、p 値と 0.05 の由来

コインを 100 回投げて表が 60 回出たとします。公正なコインで 60 回以上表が出る確率は 0.02844 です。

この数字が言っているのは「コインが公正なら、いま見えている結果はめったに起きない」まで。コインが歪んでいる確率が 0.028 だ、とは言っていません。

仮説検定は、この 2 つをとりちがえないための手続きです。

何を計算しているのか

出発点は、確かめたい主張のほうではなく、その否定です。$H_0$ を帰無仮説、$H_1$ を対立仮説と呼びます^[1]。

コインの例では $H_0$ が「表の確率は $0.5$」、$H_1$ が「$0.5$ ではない」。証明したいのは $H_1$ のほうです。

計算するのは $H_0$ のもとでの確率だけ。$H_1$ のもとでどうなるかは、この段階では見ません。

条件のどちら側に $H_0$ が来るかが違います。$P(\text{データ}\mid H_0)$ と $P(H_0\mid \text{データ})$ は別の数です。

なぜ否定のほうを立てるのか

確かめたいのが $H_1$ なのに $H_0$ から始めるのは、確率を計算できるのが $H_0$ の側だけだからです。

「表の確率は $0.5$」なら分布が 1 つに決まり、$P(X\ge 60)$ が数として出ます。「$0.5$ ではない」では分布が決まらない。$0.51$ かもしれず、$0.9$ かもしれません。

計算できる側を仮に置き、そこからデータまでの距離を測る。$H_0$ が「差がない」「効果がない」という形になりやすいのは、その形だと分布が 1 つに定まるためです。

背理法に似ていますが、同じではありません。背理法は矛盾を導いて仮定を捨てますが、こちらが導くのは矛盾ではなく「起こりにくさ」です。起こりにくいことが起きただけ、という可能性は最後まで残ります。

検定統計量にまとめる

100 回ぶんの表裏の並びをそのまま扱うと、起こりうる結果は $2^{100}$ 通りあります。どの並びも確率が等しいので、極端さの順番がつきません。

そこで 1 つの数に落とします。コインなら表の回数、平均の比較なら標本平均の差、ばらつきなら分散の比。これを検定統計量と呼びます。

落とし方によって、同じデータから別の検定ができます。情報を捨てているぶん、何を残して何を捨てたかが結論に効いてくる。

有意水準と棄却域

$H_0$ が正しいのに棄却してしまう確率の上限を、あらかじめ決めておきます。これが有意水準 $\alpha$ です^[1]。

$\alpha$ に応じて、統計量がそこへ落ちたら $H_0$ を捨てる範囲を決める。棄却域と呼びます^[3]。

順番が大事です。データを見てから $\alpha$ を決めると、確率の意味が崩れます。

例：棄却域はきりのいい数にならない

$n=100$、$\alpha =0.05$ の片側検定で棄却域を作ります。$X\ge 59$ とすると $P=0.04431$、$X\ge 58$ なら $P=0.06661$。

$X\ge 59$ を棄却域にすると、実際の第一種の誤りの確率は 0.0443 です。5% ちょうどにはなりません。

離散分布では、境目を動かすと確率がとびとびに変わる。「有意水準 5%」は上限であって、実際に使う値ではないわけです。

p 値

棄却域を先に決める代わりに、観測された値そのものから確率を出す形もあります。

ASA の説明では、p 値は「指定した統計モデルのもとで、データの要約統計量が観測された値と等しいかそれより極端になる確率」です^[2]。

コインの例なら 0.02844 がそれにあたる。$\alpha =0.05$ と比べて小さいので、$H_0$ を棄却します。

棄却できないことは、正しいことではない

$p$ が $\alpha$ を上回ったとき、$H_0$ を採択したとは言いません。棄却できなかった、と言います。

理由は非対称にあります。$H_0$ のもとでの確率しか計算していないので、$H_0$ が成り立つ証拠は最初から手元にない。

コインを 10 回投げて表が 6 回でも、$p$ は大きくなります。ただしそれは、コインが公正だという話ではなく、10 回では何も分からないという話です。

データが足りないから判断を保留した場合と、たくさん調べたうえで差が見つからなかった場合が、どちらも同じ「棄却できない」になります。この 2 つを区別するには、p 値のほかにもう 1 つ数字が要る。

例：両側にすると結論が変わる

同じ 60 回でも、両側で数えると $|X-50|\ge 10$ の確率になります。値は 0.05689。

$\alpha =0.05$ のもとでは、片側なら棄却でき、両側なら棄却できません。データも有意水準も同じなのに、結論が反対になる。

だから向きはデータを見る前に決めます。表が多いのを見てから片側に変えるのは、棄却域を後出しで広げるのと同じこと。

「歪んでいるかどうか」を知りたいなら両側、「表が出やすいかどうか」に限って知りたいなら片側です。問いのほうが先にある。

標本を増やせば、どんな差も有意になる

同じ「表が多い」でも、比率と回数の組み合わせで p 値が変わります。

比率の偏りは $0.10$ から $0.003$ まで 30 分の 1 以下に減っているのに、p 値はどれも 0.03 前後です。

回数を増やせば、どれほど小さい偏りでも有意水準を割れます。ASA の第 5 原則が言うのはこの点で、p 値は効果の大きさを測っていません^[2]。

p 値が測っていないもの

ASA は 2016 年に 6 つの原則を出しました^[2]。読み違えが多い順に並んでいます。

4 番目は手続きの話です。多くの分析を走らせて都合のよい p 値だけを報告すると、その p 値は解釈できなくなります^[2]。

0.05 という数

この数が定着した経緯について、ASA の声明は次のやりとりを引いています^[2]。

理論から出た数ではなく、慣習から出た数です。声明の第 3 原則が「閾値を越えたかどうかだけで決めない」と書いているのは、この循環を断つためでした。

$0.05$ に意味がないわけではありません。20 回に 1 回まちがえる覚悟という目安になり、どこかで線を引くなら分かりやすい数ではある。

問題は、$0.049$ と $0.051$ のあいだに実質的な違いがないのに、片方だけが「有意」という札を得てしまうところです。境目の両側で証拠の強さはほとんど同じ。

声明が挙げる代わりの方法は、区間推定のように大きさと不確かさをそのまま出す形、ベイズの方法、尤度比などです^[2]。どれも追加の仮定を要求しますが、効果の大きさそのものには近づけます。

$H_0$ を仮に置いて、そこからデータまでの距離を測る。仮説検定が測っているのはこの一方向だけです。

参考文献