検定力の求め方

差が本当にあるとき、検定でそれを見つけられる確率を検定力といいます。効果量・標本サイズ・有意水準の 3 つで決まります。

$d$ は効果量、$n$ は標本サイズ、$z_{\alpha/2}$ は有意水準の臨界値です。見つけられない確率 $\beta$ は 1 から検定力を引いたもので、第 2 種の誤りといいます。

例

効果量 0.5、標本サイズ 30、有意水準 5% のとき、検定力は 78.2% です。本当に差があっても、5 回に 1 回はそれを見逃すことになります。検定力を 80% にするには、標本サイズを 32 にする必要があります。

有意でないことは、差がないことではない

検定力が低い研究で有意にならなかったとき、それは「差がない」証拠ではありません。単に見つけられるだけの標本がなかっただけかもしれません。有意でないという結果を読むときは、その研究の検定力を確かめる必要があります。

標本サイズは効果量の 2 乗で効く

効果量が半分になると、同じ検定力に必要な標本は 4 倍になります。小さな差を確かめようとするほど、必要な標本は急に増えます。研究を始める前に、見つけたい差の大きさから標本サイズを決めておくのが本来の順序です。

注意

ここでは正規分布による近似を使っています。標本が小さいときは、t 分布を使ったより正確な計算とわずかにずれます。