効果量（コーエンのd）の求め方

検定の p 値は「差があると言えるか」を教えてくれますが、「その差がどれくらい大きいか」は教えてくれません。標本を増やしていけば、どんなにわずかな差でもいつかは有意になるからです。差そのものの大きさを測るのが効果量です。

もっとも広く使われるのがコーエンの d です。平均の差を、ばらつきを単位として測ります。

• $d$ は効果量
• $\bar{x}_1$、$\bar{x}_2$ はそれぞれの群の平均
• $s_p$ はプールした標準偏差で、2 つの群のばらつきを自由度で重みづけてまとめたもの
• $n_1$、$n_2$ はそれぞれの群の大きさ

分母がばらつきなので、d は「標準偏差いくつぶん離れているか」という読み方になります。単位のある量でも d には単位がつかないので、cm で測った実験と kg で測った実験を並べて比べられます。

例

既定の入力 A が 12, 15, 18, 20, 25、B が 10, 14, 15, 17, 19 で見てみます。

平均は 18 と 15 で、差は 3 です。不偏分散は 24.5 と 11.5 ですから、プールした標準偏差は $\sqrt{(4 \times 24.5 + 4 \times 11.5) \div 8}$ で $\sqrt{18}$、およそ 4.2426 になります。

効果量は $3 \div 4.2426$ でおよそ 0.7071 です。2 つの群の平均は、標準偏差 0.7 個ぶんほど離れている、ということになります。

目安

コーエンは 0.2 を小さい効果、0.5 を中くらい、0.8 を大きい効果としました。この例の 0.7071 は中から大のあいだにあたります。

ただしこの目安は、手がかりがまったくないときのための大まかなものです。分野によって意味は変わります。教育や心理の研究では 0.5 でも大きいと見なされる一方、実験室で条件を厳しく揃えられる分野ではもっと大きな値が普通です。その分野で過去に報告された値と比べるほうが確かです。

注意

p 値と効果量は役割が違います。この例のデータで t 検定をしても有意にはなりませんが、効果量は 0.7071 と小さくありません。データが 5 個ずつしかないので、差を見つけるだけの力がないというだけです。逆に何千件もあれば d が 0.05 でも有意になります。論文で両方を並べて報告するのは、このためです。

メタ分析では、単位も測り方も違う多数の研究を効果量に直してから集めます。d に単位がないという性質が、そこで効いてきます。