第一種の過誤を 5% に抑えても第二種の過誤は 20% 残る

有意水準を 5% にした検定で、母平均が実際に $0.5$ ずれているとします。標本 25 個なら、その差を見のがす確率は 0.196 です。

第一種の誤りを 5% に抑えても、第二種の誤りは 20% 近く残る。しかも $\alpha$ を 0.001 まで下げると、見のがしは 0.722 まで上がります。

2 つの誤りは同時には減りません。

4 通りの結果

判断は 2 通り、真実も 2 通りなので、組み合わせは 4 つです^[1]。

対角線の外側が誤りです。左下と右上で、まちがえ方の向きが逆になります。

第一種は、差がないのに「差がある」と言ってしまう誤り。早とちりのほうです^[1]。

第二種は、差があるのに「差があるとはいえない」で止めてしまう誤り。見のがしのほうになります。

火災報知器でたとえると分かりやすい。火事でもないのに鳴るのが第一種、火事なのに鳴らないのが第二種です。

感度を上げれば誤報が増え、下げれば見のがしが増える。装置の設計と同じ問題が、検定の設計にもあります。

2 つの確率

第一種の過誤を犯す確率を $\alpha$、第二種の過誤を犯す確率を $\beta$ と書きます^[2]。

$$\alpha =P(\text{棄却}\mid H_0),\beta =P(\text{棄却しない}\mid H_1)$$

$1-\beta$ を検出力と呼びます。差があるときに、それを差として拾える確率です^[1]。

立場がまったく違います。$\alpha$ は分析する側が先に選ぶ数で、$\beta$ は選べません^[2]。

境目を動かすと入れかわる

棄却域を狭めると $\alpha$ が下がり、そのぶん $H_1$ が正しいときに棄却域へ入る確率も下がります。

つまり $\beta$ が上がる。$\alpha$ を下げれば $\beta$ が上がるという関係は、境目が 1 本しかないことから来ています^[2]。

例：有意水準を下げると

母平均が $0.5$ ずれ、標準偏差 $1$、標本 25 個の片側検定で、$\alpha$ だけを変えます。

$\alpha$ を 100 分の 1 にすると、見のがしは 0.196 から 0.722 へ、3.7 倍に増えました。

厳しくすればよい、という話ではありません。厳しさは、どちらの誤りが高くつくかで決めるものです。

標本を増やせば両方下がる

$\alpha$ と $\beta$ の交換は、標本の大きさを固定したときの話です。$n$ を増やすと 2 つの分布が細くなり、重なりが減ります。

$\alpha$ は 0.05 のまま、$\beta$ だけが下がっています。標本の大きさは、交換条件そのものを緩める唯一の手。

検出力 0.80 を目安にするなら、この設定では 25 個が境目です。標本設計は、この計算を先にやっておく作業になります。

順序を逆にすると意味が変わります。データをとったあとで検出力を計算しても、結果が出たあとの後知恵にしかならない。

拾いたい差の大きさを先に決め、そこから $n$ を出す。差の大きさを決める段階では、統計の外側にある知識が要ります。

$\beta$ は 1 つの数ではない

$H_1$ が「$\mu \ne 0$」のような複合仮説だと、$\beta$ は $\mu$ ごとに変わります。

真の差が大きいほど見のがしにくく、$0$ に近いほど見のがしやすい。$\mu$ の関数として書いたものが検出力関数です^[1]。

「この検定の $\beta$ は何%か」という問いには、差の大きさを決めないと答えられません。$\alpha$ が 1 つの数で済むのと対照的です。

誤りの確率と、結論の確からしさは別

$\alpha =0.05$ は「$H_0$ が正しいときに棄却する確率」です。「棄却したときに $H_0$ が正しい確率」ではありません。

検査でたとえます。感度 95%、特異度 95% の検査を、有病率 0.1% の集団に当てる。

1 万人のうち病気は 10 人で、うち陽性は 9.5 人。健康な 9990 人のうち 5% にあたる 499.5 人も陽性になります。

$$\frac{9.5}{9.5+499.5}=0.0187$$

陽性 509 人のうち、本当に病気なのは 1.9% です。$\alpha$ を 5% に抑えていても、陽性という結論が正しい割合はまったく別の数になります。

効いているのは、もとの人数の偏りです。病気の人が 10 人しかいないところへ、健康な人の 5% にあたる 499.5 人が流れこんでくる。

検定でも同じことが起きます。ほとんど差がない仮説ばかりを大量に検定すれば、棄却された中の多くは第一種の誤りになる。

$\alpha$ が守っているのは、$H_0$ が正しい場合だけの割合です。$H_0$ が正しい場合が全体の何割あるかは、$\alpha$ の外側にあります。

何度も検定すると

$\alpha =0.05$ の検定を独立に 20 回おこなうと、すべて $H_0$ が正しくても、少なくとも 1 回は棄却してしまう確率が $1-0.95^{20}=0.6415$ になります。

1 回あたりの $\alpha$ は守られているのに、全体としては半分以上の確率でまちがえる。検定の回数を増やすほど、第一種の過誤は集団として膨らみます。

対処のひとつは、1 回あたりの水準を回数で割る形です。20 回なら $0.05/20=0.0025$ を使う。全体としての誤りを 5% 以下に抑えられます。

代償は $\beta$ です。水準を 20 分の 1 にすれば見のがしは大きく増える。ここでも交換条件から逃げられません。

報告されない検定の回数も同じ問題を起こします。10 通り試して 1 つだけ載せると、読む側からは 1 回に見えて、実際は 10 回ぶんの危険を負っている。

対立仮説を書くかどうか

2 つの誤りがそろうのは、対立仮説を明示する立場をとったときだけです。

フィッシャーの有意性検定は対立仮説にまったく触れません。モデルの検証手続きとして読めるもので、$H_0$ のもとでの分布だけを見て、データがそこから見て変かどうかを判断します^[3]。

比べる相手がいないので $\beta$ も定義できない。背理法に近い形だと言われるのはこのためです^[3]。

ネイマンとピアソンの検定は仮説を 2 つ置きます。同じ $\alpha$ を持つ検定の族の中から、検出力が最大になるものを選ぶ問題として組み直した^[3][4]。

差が 400 倍もつくのは、比べる相手を決めているかどうかの違いです。ただしフィッシャー型は 2 つの分布から選ぶために作られたものではありません^[3]。

目的の違う道具を同じ物差しで測ると、こういう差が出る。$\beta$ を問題にするなら、$H_1$ を先に書く必要があります。

$\alpha$ は選ぶ数、$\beta$ は結果として決まる数、$n$ は 2 つの関係そのものを動かす数。この 3 つの役割が違います。

参考文献