尤度比検定とは？定義と証明、t 検定やカイ二乗検定との関係まで解説

尤度比検定は、帰無仮説の範囲内で届く最大の尤度と、制約なしで届く最大の尤度を比べる検定です。前者が後者に大きく劣るなら、帰無仮説を捨てます。

比べ方は割り算です。パラメータの空間を $\Theta$、帰無仮説が指定する部分集合を ${\Theta }_0$ として、次の統計量を作ります。

$$\lambda (x)=\frac{{\sup }_{\theta \in {\Theta }_0}L(\theta )}{{\sup }_{\theta \in \Theta }L(\theta )}$$

$\lambda$ が小さいほど帰無仮説に不利です。どこで切るかは $\lambda$ の分布から決めます。

尤度関数

データ $x=(x_1,\dots ,x_n)$ が独立に密度 $f(\cdot ;\theta )$ から得られたとします。尤度関数は次の積です。

$$L(\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$

式そのものは同時密度と同じですが、見る向きが逆です。同時密度はパラメータを固定してデータの関数と見ますが、尤度はデータを固定してパラメータの関数と見ます。

積のままでは扱いにくいので、対数を取ります。以下では対数尤度を $\ell (\theta )=\log L(\theta )$ と書きます。

$\ell$ を最大にする $\theta$ が最尤推定量 $\hat{\theta }$ です。尤度比検定は、この最大値を制約ありと制約なしで比べる操作にほかなりません。

尤度比統計量の範囲

定義から $\lambda$ は $0$ 以上 $1$ 以下です。理由は ${\Theta }_0\subset \Theta$ という包含関係だけで済みます。

狭い集合の上での上限は、広い集合の上での上限を超えられません。したがって分子は分母以下で、尤度が正である限り比は $1$ 以下になります。

$$0\le \lambda (x)\le 1$$

$\lambda$ が $1$ に近いなら、制約を課してもほとんど損をしていないことになります。逆に $\lambda$ が小さければ、制約が実際に効いていて帰無仮説に不利です。

そこで $\lambda \le c$ のときに棄却します。あとは $c$ をどう決めるかが問題になります。

対数尤度で見る

実用上は対数を取り、$-2$ を掛けた形を使います。

$$-2\log \lambda =2\left(\ell (\hat{\theta })-\ell ({\hat{\theta }}_0)\right)$$

$\hat{\theta }$ は全体での最尤推定量、${\hat{\theta }}_0$ は ${\Theta }_0$ に制限したときの最尤推定量です。$\lambda$ が小さいことと $-2\log \lambda$ が大きいことは同じです。

意味は対数尤度の山の高さの差です。制約を課したせいでどれだけ山を下りることになったか、その $2$ 倍を測っています。

<svg viewBox="0 0 460 240" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">山の高さの差の 2 倍が、検定統計量になります</text>
	<line x1="50" y1="200" x2="430" y2="200" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="60,193 67,183 74,173 82,163 89,154 96,145 103,137 110,129 118,122 125,115 132,108 139,102 146,96 154,91 161,86 168,81 175,77 182,74 190,70 197,68 204,65 211,63 218,62 226,61 233,60 240,60 247,60 254,61 262,62 269,63 276,65 283,68 290,70 298,74 305,77 312,81 319,86 326,91 334,96 341,102 348,108 355,115 362,122 370,129 377,137 384,145 391,154 398,163 406,173 413,183 420,193" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<line x1="240" y1="112" x2="240" y2="200" stroke="#9a9a9a" stroke-width="1" stroke-dasharray="4 3"></line>
	<line x1="127" y1="112" x2="127" y2="200" stroke="#9a9a9a" stroke-width="1" stroke-dasharray="4 3"></line>
	<line x1="127" y1="112" x2="240" y2="112" stroke="#9a9a9a" stroke-width="1" stroke-dasharray="4 3"></line>
	<line x1="240" y1="60" x2="240" y2="112" stroke="#d0562a" stroke-width="2"></line>
	<circle cx="240" cy="60" r="3.5" fill="#1b81e0"></circle>
	<circle cx="127" cy="112" r="3.5" fill="#1b81e0"></circle>
	<text x="250" y="56" font-size="11" fill="#1b81e0">制約なしの最大</text>
	<text x="122" y="106" font-size="11" fill="#1b81e0" text-anchor="end">制約ありの最大</text>
	<text x="250" y="96" font-size="11" fill="#d0562a">この差の 2 倍</text>
	<text x="240" y="218" font-size="11" fill="#1f1f1f" text-anchor="middle">最尤推定量</text>
	<text x="127" y="218" font-size="11" fill="#1f1f1f" text-anchor="middle">帰無仮説の値</text>
	<text x="48" y="234" font-size="11" fill="#9a9a9a">縦軸は対数尤度です</text>
</svg>

山が鋭ければ、少し離れただけで高さが大きく落ちます。この鋭さを測る量がフィッシャー情報量で、あとで漸近分布を出すときに効いてきます。

単純仮説どうしの場合：ネイマン・ピアソンの補題

まず、仮説がどちらもパラメータを一点に定める場合を考えます。$H_0$ が密度 $f_0$、$H_1$ が密度 $f_1$ を指定するとします。

このとき尤度比検定は、同じ水準のどの検定よりも検出力が高くなります。次の形の検定 $\phi$ を考えます。

$$f_1(x)>k{f}_0(x)⟹\phi (x)=1,f_1(x)<k{f}_0(x)⟹\phi (x)=0$$

ここで $\phi =1$ は棄却を表します。$k$ は水準がちょうど $\alpha$ になるように選びます。

ネイマン・ピアソンの補題の証明

$\psi$ を水準 $\alpha$ の任意の検定とします。$\psi$ は $0$ 以上 $1$ 以下の値を取る関数で、値は棄却する確率を表します。

証明の要は、次の不等式がすべての $x$ で成り立つことです。

$$\left(\phi (x)-\psi (x)\right)\left(f_1(x)-k{f}_0(x)\right)\ge 0$$

理由は場合分けだけです。$f_1>k{f}_0$ のところでは $\phi =1$ なので $\phi -\psi \ge 0$ となり、両方の因子が非負です。

$f_1<k{f}_0$ のところでは $\phi =0$ なので $\phi -\psi \le 0$ となり、両方の因子が非正です。どちらの場合も積は非負になります。

そこで全体を積分します。

$$\int (\phi -\psi )f_{1}dx\ge k\int (\phi -\psi )f_{0}dx$$

右辺の積分は $\alpha -E_0[\psi ]$ です。$\psi$ の水準は $\alpha$ 以下なので、この値は $0$ 以上になります。

したがって左辺も $0$ 以上で、これは $\phi$ の検出力が $\psi$ の検出力以上であることを意味します。証明が終わりました。

単純仮説どうしなら、尤度比を使うのが最善だと分かります。複合仮説では最強力とは限りませんが、良い出発点になります。

例：正規分布どうしの棄却域

$f_0$ を $N(0,1)$、$f_1$ を $N(1.5,1)$ とします。尤度比を計算すると、指数の肩が $x$ の一次式になります。

$$\frac{f_1(x)}{f_0(x)}=\exp \left(1.5x-1.125\right)$$

これは $x$ について単調増加です。したがって「尤度比が $k$ より大きい」という条件は、「$x$ がある値より大きい」という条件と同じになります。

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">尤度比が大きいところから順に、棄却域へ入れていきます</text>
	<line x1="50" y1="185" x2="430" y2="185" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="60,185 68,184 77,184 85,183 94,182 102,179 111,176 119,170 128,163 136,154 145,142 153,128 162,112 170,96 179,81 187,68 196,58 204,53 212,53 221,58 229,68 238,81 246,96 255,112 263,128 272,142 280,154 289,163 297,170 306,176 314,179 323,182 331,183 340,184 348,184 357,185 365,185 373,185 382,185 390,185 399,185 407,185 416,185 420,185" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<polyline points="60,185 68,185 77,185 85,185 94,185 102,185 111,185 119,185 128,185 136,184 145,184 153,182 162,180 170,178 179,173 187,167 196,159 204,148 212,135 221,120 229,104 238,88 246,74 255,62 263,55 272,52 280,55 289,62 297,74 306,88 314,104 323,120 331,135 340,148 348,159 357,167 365,173 373,178 382,180 390,182 399,184 407,184 416,185 420,185" fill="none" stroke="#7a4fc0" stroke-width="1.5"></polyline>
	<line x1="278" y1="45" x2="278" y2="185" stroke="#d0562a" stroke-width="1" stroke-dasharray="4 3"></line>
	<text x="284" y="58" font-size="11" fill="#d0562a">ここから右が棄却域</text>
	<text x="140" y="70" font-size="11" fill="#1b81e0">帰無仮説</text>
	<text x="326" y="104" font-size="11" fill="#7a4fc0">対立仮説</text>
	<text x="48" y="212" font-size="11" fill="#9a9a9a">尤度比が単調なので、棄却域は右端の区間になります</text>
</svg>

水準を $0.05$ にするには境界を $1.645$ に取ります。このとき棄却域は $x>1.645$ で、境界での尤度比は約 $3.83$ です。

検出力は対立仮説のもとでこの領域に入る確率で、$0.442$ になります。同じ水準のどんな検定も、これを超えることはできません。

複合仮説とウィルクスの定理

現実の帰無仮説は一点を指定しないことが多く、そのときは分子も上限になります。$\lambda$ の分布は一般には求まりませんが、標本が大きければ近似が使えます。

正則条件のもとで、帰無仮説が正しければ次が成り立ちます。

$$-2\log \lambda \stackrel{d}{\to }{\chi }^2(r)$$

$r$ は $\Theta$ の次元と ${\Theta }_0$ の次元の差、つまり帰無仮説が課す制約の数です。これをウィルクスの定理といいます。

正則条件のうち特に大事なのは、帰無仮説の真の値がパラメータ空間の内点にあることです。境界に乗っていると結論が変わります。

ウィルクスの定理の筋道

パラメータが $1$ 次元の場合で見通しを述べます。$\ell$ を $\hat{\theta }$ のまわりで $2$ 次まで展開します。

$$\ell ({\theta }_0)\approx \ell (\hat{\theta })+{\ell }^{\prime }(\hat{\theta })({\theta }_0-\hat{\theta })+\frac{1}{2}{\ell }^{\prime \prime }(\hat{\theta })({\theta }_0-\hat{\theta }{)}^2$$

$\hat{\theta }$ は最大点なので ${\ell }^{\prime }(\hat{\theta })=0$ です。一次の項が消えるところが要点で、差が二次から始まります。

$$-2\log \lambda =2\left(\ell (\hat{\theta })-\ell ({\theta }_0)\right)\approx -{\ell }^{\prime \prime }(\hat{\theta })(\hat{\theta }-{\theta }_0{)}^2$$

ここで $-{\ell }^{\prime \prime }(\hat{\theta })/n$ はフィッシャー情報量 $I({\theta }_0)$ に近づきます。対数尤度の曲がり具合が情報量そのものだからです。

一方、最尤推定量の漸近正規性から $\sqrt{n}(\hat{\theta }-{\theta }_0)$ は $N(0,1/I({\theta }_0))$ に分布収束します。

$$-2\log \lambda \approx {\left(\sqrt{nI({\theta }_0)}(\hat{\theta }-{\theta }_0)\right)}^2\stackrel{d}{\to }{\chi }^2(1)$$

標準正規分布の二乗がカイ二乗分布になる、という関係がそのまま出てきました。多次元でも同じ筋道で、二次形式が $r$ 個の独立な標準正規の二乗和になります。

自由度の決め方

自由度は制約の数です。全体の次元から、帰無仮説のもとで自由に動ける次元を引きます。

正規分布で平均だけを指定するなら、分散は自由に動けるので制約は $1$ つです。平均と分散の両方を指定するなら $2$ つになります。

$k$ 個のカテゴリを持つ多項分布では、確率の和が $1$ という制約があるので全体の次元は $k-1$ です。すべての確率を指定する帰無仮説なら、自由度は $k-1$ になります。

例：分散が既知の正規分布

$N(\mu ,{\sigma }^2)$ で ${\sigma }^2$ が既知とし、$H_0:\mu ={\mu }_0$ を検定します。対数尤度は次の形です。

$$\ell (\mu )=-\frac{n}{2}\log (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$$

制約なしの最大は $\hat{\mu }=\bar{x}$ で達成されます。差を計算するには平方和の分解を使います。

$$\sum _{i=1}^n(x_i-{\mu }_0{)}^2=\sum _{i=1}^n(x_i-\bar{x}{)}^2+n(\bar{x}-{\mu }_0{)}^2$$

第 $1$ 項は $\mu$ を含まないので差を取ると消えます。

$$-2\log \lambda =2\left(\ell (\bar{x})-\ell ({\mu }_0)\right)=\frac{n(\bar{x}-{\mu }_0{)}^2}{{\sigma }^2}$$

右辺は $z$ 検定統計量の二乗です。しかもこの場合、$\bar{x}$ が厳密に正規分布に従うので、統計量は漸近的にではなく厳密に ${\chi }^2(1)$ に従います。

例：分散が未知の正規分布

同じ検定でも ${\sigma }^2$ を未知にすると、様子が変わります。分子でも分母でも ${\sigma }^2$ を最大化しなければなりません。

対数尤度を ${\sigma }^2$ について最大化すると、最大値は残差平方和の平均で決まります。$\mu$ を固定したときの最適な分散は次のとおりです。

$${\hat{\sigma }}^2(\mu )=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2$$

これを代入すると、対数尤度の最大値は $-\frac{n}{2}\log {\hat{\sigma }}^2(\mu )$ と定数の和になります。したがって比は分散の推定値の比だけで決まります。

$$\lambda ={\left(\frac{{\hat{\sigma }}^2(\bar{x})}{{\hat{\sigma }}^2({\mu }_0)}\right)}^{n/2}$$

先ほどの平方和の分解をここで使います。$s^2$ を不偏分散として整理すると、比は $t$ 統計量で書けます。

$$\frac{{\hat{\sigma }}^2({\mu }_0)}{{\hat{\sigma }}^2(\bar{x})}=1+\frac{n(\bar{x}-{\mu }_0{)}^2}{\sum (x_i-\bar{x}{)}^2}=1+\frac{t^2}{n-1}$$

ここで $t=\sqrt{n}(\bar{x}-{\mu }_0)/s$ で、$\sum (x_i-\bar{x}{)}^2=(n-1)s^2$ を使いました。したがって尤度比は次の形になります。

$$\lambda ={\left(1+\frac{t^2}{n-1}\right)}^{-n/2}$$

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">λ は |t| について単調に減るので、2 つの検定は同じものです</text>
	<line x1="50" y1="185" x2="430" y2="185" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="60" y1="45" x2="60" y2="185" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="60,45 74,48 89,57 103,70 118,86 132,102 146,118 161,133 175,145 190,155 204,163 218,169 233,173 247,176 262,179 276,181 290,182 305,183 319,183 334,184 348,184 362,184 377,185 391,185 406,185 420,185" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<line x1="223" y1="170" x2="223" y2="185" stroke="#d0562a" stroke-width="1" stroke-dasharray="4 3"></line>
	<line x1="60" y1="170" x2="223" y2="170" stroke="#d0562a" stroke-width="1" stroke-dasharray="4 3"></line>
	<circle cx="223" cy="170" r="3" fill="#d0562a"></circle>
	<text x="230" y="164" font-size="11" fill="#d0562a">両側 5% 点にあたる位置</text>
	<text x="46" y="49" font-size="11" fill="#9a9a9a" text-anchor="end">1</text>
	<text x="46" y="189" font-size="11" fill="#9a9a9a" text-anchor="end">0</text>
	<text x="424" y="199" font-size="11" fill="#9a9a9a">|t|</text>
	<text x="48" y="212" font-size="11" fill="#9a9a9a">自由度 9 の場合を描いています</text>
</svg>

$\lambda$ は $|t|$ の単調減少関数です。したがって「$\lambda$ が小さいとき棄却する」ことと「$|t|$ が大きいとき棄却する」ことは、まったく同じ検定になります。

$t$ 検定は尤度比検定の言い換えだったわけです。しかも $t$ 分布を使えば、標本が小さくても正確な水準が得られます。

例：二項分布の比率

$n$ 回中 $k$ 回成功したとして、$H_0:p=p_0$ を検定します。最尤推定量は $\hat{p}=k/n$ です。

尤度比の対数を取ると、観測度数と期待度数の比が現れます。

$$-2\log \lambda =2\left[k\log \frac{k}{n{p}_0}+(n-k)\log \frac{n-k}{n(1-p_0)}\right]$$

数値を入れます。$n=100$、$k=60$、$p_0=0.5$ とすると、期待度数は成功も失敗も $50$ です。

$$-2\log \lambda =2\left[60\log \frac{60}{50}+40\log \frac{40}{50}\right]\approx 4.027$$

自由度 $1$ のカイ二乗分布で見ると $p$ 値は $0.0448$ です。$5\%$ 点の $3.841$ を超えているので棄却されます。

比べてみると、ピアソンの統計量は $(60-50{)}^2/50+(40-50{)}^2/50=4.000$ で、$p$ 値は $0.0455$ です。$z$ 検定統計量の二乗も $4.000$ になります。

値が近いのは偶然ではありません。次の節でその理由を示します。

例：多項分布の適合度と G 統計量

カテゴリが $k$ 個あり、観測度数を $O_j$、帰無仮説のもとでの期待度数を $E_j$ とします。多項分布の尤度を最大化すると、制約なしでは ${\hat{p}}_j=O_j/n$ です。

比を取ると、階乗の部分も $n$ も約分されます。

$$-2\log \lambda =2\sum _{j=1}^k{O}_j\log \frac{O_j}{E_j}$$

この形を $G$ 統計量といいます。観測が期待どおりなら各項が $0$ になり、ずれるほど大きくなります。

数値例を挙げます。$4$ つのカテゴリで観測が $30,25,20,25$、期待がすべて $25$ のときです。期待どおりの $2$ つは項が $0$ になるので、残りだけを足します。

$$G=2\left[30\log \frac{30}{25}+20\log \frac{20}{25}\right]\approx 2.014$$

ピアソンの統計量は $(5^2+0+5^2+0)/25=2.000$ です。自由度 $3$ で見ればどちらも棄却されません。

G 統計量とピアソンの統計量が近い理由

$2$ つの統計量が近づくことは、テイラー展開で確かめられます。$O_j=E_j(1+{\delta }_j)$ と置きます。

$$2O_j\log \frac{O_j}{E_j}=2E_j(1+{\delta }_j)\log (1+{\delta }_j)$$

$\log (1+\delta )=\delta -{\delta }^2/2+\cdots$ を代入して整理します。

$$\begin{array}{rl}(1+\delta )\log (1+\delta )& =(1+\delta )\left(\delta -\frac{{\delta }^2}{2}+\cdots \right)\\ & =\delta +\frac{{\delta }^2}{2}+O({\delta }^3)\end{array}$$

$j$ について足します。一次の項の和は $2\sum E_j{\delta }_j=2\sum (O_j-E_j)=0$ なので消えます。

$$G\approx \sum _j{E}_j{\delta }_j^2=\sum _j\frac{(O_j-E_j{)}^2}{E_j}$$

右辺はピアソンの統計量そのものです。両者は二次の項まで一致し、差は三次以降に現れます。

期待度数が小さいところでは ${\delta }_j$ が大きくなるので、この一致は崩れます。度数が少ないセルがあるときに $2$ つの統計量がずれるのは、このためです。

ワルド検定・スコア検定との関係

同じ帰無仮説に対して、よく使われる検定が他に $2$ つあります。$3$ つとも漸近的には同じ分布に従います。

違いは、対数尤度の何を見るかにあります。

同じ二次近似から出てくるので、標本が大きければ結論は一致します。標本が小さいときは食い違い、どれを選ぶかで結果が変わることがあります。

尤度比検定は変数変換で変わらない

尤度比検定には、ほかの $2$ つにない性質があります。パラメータの取り方を変えても統計量が変わりません。

分散 ${\sigma }^2$ で考えても標準偏差 $\sigma$ で考えても、尤度の最大値そのものは同じ点で達成されます。上限を取る操作は一対一の変換で移り合うからです。

ワルド検定にはこの性質がありません。${\sigma }^2$ の距離と $\sigma$ の距離は違う量なので、変換の仕方で結論が変わりえます。

正則条件が破れるとき

ウィルクスの定理はいつでも使えるわけではありません。破れる場面をいくつか挙げます。

まず、帰無仮説の値がパラメータ空間の境界にある場合です。分散成分が $0$ かどうかを検定する場面が典型で、分散は負になれないので $0$ は端です。

このとき $-2\log \lambda$ の極限は、$0$ での点質量と ${\chi }^2(1)$ を半分ずつ混ぜた分布になります。$c>0$ に対する上側確率は次のようになり、$5\%$ 点は $3.841$ ではなく $2.706$ です。

$$P(X>c)=\frac{1}{2}P\left({\chi }^2(1)>c\right)$$

$3.841$ を使っても水準を超えることはありませんが、必要以上に棄却しにくくなります。検出力を無駄に落とすことになります。

帰無仮説のもとで意味を失うパラメータがある場合も破れます。混合分布の成分数の検定がその例で、成分の重みが $0$ になると、その成分の位置は何であってもよくなります。

入れ子でないモデルどうしの比較にも、そのままでは使えません。${\Theta }_0\subset \Theta$ という包含関係が定義の前提だからです。

よくある誤り

参考文献