効果量 0.2 を拾うには 197 人（検出力と検出力関数の読み方）

効果量 0.8 の差を両側 5% で拾うなら、標本は 13 個で足ります。効果量 0.5 なら 32 個、0.2 なら 197 個。

差が半分になると、必要な数は 4 倍を超えて増えます。検出力を決めるのは差の大きさと標本の大きさで、その 2 つが $\sqrt{n}$ を通じて掛かり合うため。

この関係を関数として書いたものが検出力関数です。

定義

検出力とは、対立仮説が正しいときに帰無仮説を棄却する確率です^[1]。第二種の過誤の確率 $\beta$ を使えば $1-\beta$ にあたります。

対立仮説が「$\mu \ne 0$」のように幅を持つ場合、この確率は 1 つの数になりません。母数 $\theta$ ごとに値が変わります。

そこで $\theta$ の関数として書きます。棄却する確率を $\theta$ 全体の上で定めたものが検出力関数です^[2]。

$$\beta (\theta )=P_{\theta }(\text{棄却する})$$

$\theta$ が帰無仮説の側にあるときの $\beta (\theta )$ は、第一種の過誤の確率にあたります。同じ関数の、見る場所が違うだけ。

効果量という物差し

必要な標本の大きさを言うとき、差を絶対値で述べても伝わりません。「$5$ の差」は、ばらつきが $1$ なら大きく、$100$ なら小さい。

そこで標準偏差で割った値を使います。差をばらつきの何個ぶんかで測る形です。

$$d=\frac{{\mu }_1-{\mu }_0}{\sigma }$$

これを効果量と呼びます。単位が消えるので、身長でも試験の点でも同じ物差しで比べられる。

検出力を決めるのは、この $d$ と $n$ が組んだ $d\sqrt{n}$ の値です。だから $d$ が半分になると、同じ検出力を保つのに $n$ が 4 倍要ります。

例：両側検定の検出力関数

標準偏差 $1$、標本 25 個、有意水準 5% の両側検定で、$H_0:\mu =0$ を調べます。

$\mu =0$ での値が 0.05 になっています。ここは棄却してはいけない場所なので、この値が有意水準そのもの。

$\mu$ が $0$ から離れるほど値が上がります。差が大きいほど拾いやすい、という当たり前の内容が、曲線の傾きとして出ている。

谷の底が有意水準

両側検定の検出力関数は $\mu =0$ を底とする谷の形になります。底の高さがちょうど $\alpha$。

$n$ を増やすと谷が細くなり、両側の立ち上がりが急になります。底の高さは変わりません。

底が動かないのは、$\alpha$ を固定しているためです。標本を増やしても第一種の過誤は減らない。減るのは第二種のほうだけです。

片側だと単調になる

$H_0:\mu \le 0$、$H_1:\mu >0$ の片側検定にすると、形が変わります。

右側では片側のほうが高く、左側では極端に低い。$\mu =-0.2$ で 0.0041 しかありません。

向きを決めたぶん、決めた向きには強く、反対向きにはほとんど反応しなくなる。片側検定を選ぶことは、この形を選ぶことです。

不偏な検定

検出力関数が ${\Theta }_0$ では $\alpha$ 以下、${\Theta }_1$ では $\alpha$ 以上になる検定を不偏といいます^[3]。

対立仮説が正しい場所での棄却率が、帰無仮説が正しい場所での棄却率を下回らない、という条件です。当たり前に見えますが、成り立たない検定もあります。

片側検定を $\mu \ne 0$ という対立仮説に当てると、$\mu <0$ の側で検出力が $\alpha$ を割ります。$\mu =-0.2$ での 0.0041 がそれです。

一様最強力な検定が存在するときは、それは必ず不偏になります^[3]。有意水準 $\alpha$ で常に棄却するだけの検定より弱くなることがないため。

多くの問題では一様最強力な検定が存在しません。不偏なものに範囲を狭めれば、その中で最強力なものが見つかる場合があります^[3]。

必要な標本の大きさを逆算する

検出力を先に決めて $n$ を出す形が、標本設計です。両側 5%、検出力 0.80 で計算します。

効果量 0.2 と 0.8 で 15 倍の差がつきます。$n$ は効果量の 2 乗に反比例するため。

検出力のほうを上げると $n$ も増えます。効果量 0.5 なら、0.80 で 32 個、0.90 で 43 個、0.95 で 52 個。

上げ方が急なところに注意が要ります。0.80 から 0.95 へ 15 ポイント上げるのに、標本は 1.6 倍。天井に近づくほど高くつく。

逆に、標本の数が先に決まっている場合もあります。そのときは同じ式を逆に読み、この人数で拾える差はどれくらいまでか、を出すことになります。

拾えない大きさの差しか期待できないと分かったなら、調べる前に設計を変えるほうがよい。検出力の計算は、そのための事前の見積もりです。

0.80 という慣習

検出力 0.80 という目安はコーエンが提案したもので、理論から出た数ではありません^[4]。

効果量の大小の目安も同じです。$d$ で 0.20、0.50、0.80 を小・中・大とする区切りは、量的な分析にもとづくものではない^[4]。

分野ごとに測り直すと、目安のほうが大きすぎることがあります。中くらいの効果を拾うのに、コーエンの数字なら 1 群 64 人、測り直した数字なら 110 人が要る^[4]。

慣習の数字を当てると、必要な人数を小さく見積もることになります。

観測された効果から検出力を出さない

データをとったあとで、観測された差を真の差と見なして検出力を計算する形があります。事後検出力と呼ばれます。

これは $p$ 値の言いかえにしかなりません。$p$ が小さければ事後検出力は高く、大きければ低くなる。同じ情報を 2 通りに書いているだけです。

検出力の計算は、拾いたい差を先に決めてこそ意味を持ちます。決める根拠は統計の中にはなく、その分野で意味のある差はどれくらいか、という判断から来る。

「有意にならなかったが検出力が低かった」という書き方も、同じ循環に落ちています。有意にならなかったこと自体から、検出力が低かったと計算されているためです。

言うべきことがあるとすれば、事前に決めた差でどれだけの検出力を用意していたか、のほうです。数字は同じ式から出ますが、決めた時点が違えば意味が変わります。

$\alpha$ は曲線の底の高さ、検出力は底から離れた場所の高さ、標本の大きさは谷の細さ。3 つとも同じ 1 本の曲線の上にあります。

出典