小さい標本ほど裾が伸びる、t 分布の定義と自由度の意味

自由度 10 の t 分布で、両側 5% を切りわける点は 2.228 です。正規分布なら 1.960^[2]。

同じ 5% でも、t 分布のほうが遠くまで行かないと届きません。自由度 1 まで下がると 12.706 になる。

標本が小さいほど遠くへ行く。この伸び方が、t 分布の中身です。

定義

$Z\sim N(0,1)$ と $U\sim {\chi }^2(n)$ が独立のとき、次の量は自由度 $n$ の t 分布に従います^[1]。

$$T=\frac{Z}{\sqrt{U/n}}$$

記号は $T\sim t(n)$ と書く。分子は標準正規、分母はカイ二乗を自由度で割って平方根をとったものです。

正規分布との違いは分母にあります。$Z$ を定数で割れば正規分布のままですが、ここでは割る相手も揺れている。

密度関数

密度は次の形になります^[1]。

$$f(t)=\frac{\Gamma \left(\frac{n+1}{2}\right)}{\sqrt{n\pi }\Gamma \left(\frac{n}{2}\right)}{\left(1+\frac{t^2}{n}\right)}^{-\frac{n+1}{2}}$$

$t$ の入り方が $t^2$ だけなので、$0$ について左右対称です。歪度は $0$^[2]。

正規分布の $e^{-t^2/2}$ が指数の減り方なのに対し、こちらは $t$ の負べきです。減り方がゆるく、裾が下がりきらない。

裾の重さを数字で見る

自由度 3 の t 分布で $|T|>3$ となる確率は 0.0577 です。標準正規なら 0.0027。

同じ「$3$ の外」でも 21 倍ちがう。正規分布の感覚で外れ値を判定すると、t 分布では引っかかりすぎます。

頂点の高さも下がります。自由度 10 で $t=0$ の密度は 0.3891、正規分布は 0.3989。この差が両端へまわっている。

モーメントは全部そろわない

対称なので奇数次のモーメントは $0$ です。ただし「存在すれば」という但し書きがつきます。

$2r$ 次のモーメントが存在するのは $2r<n$ のときだけ^[1]。自由度が小さいと、次数の高いところから順に落ちていく。

分散は $n>2$ で次の値です。

$$V[T]=\frac{n}{n-2}$$

自由度 10 なら 1.25 で、標準正規の $1$ より大きい。尖度は $n>4$ で $\frac{3(n-2)}{n-4}$ になります^[2]。

自由度 1 はコーシー分布

$n=1$ を密度に入れると $f(t)=\frac{1}{\pi (1+t^2)}$ です。コーシー分布になります^[2]。

この分布には平均がありません。$\int |t|f(t)dt$ が発散するためです。

標本を何個集めても平均が落ち着かない。大数の法則が効かない分布が、t 分布の端に置かれています。

自由度が上がると正規分布に戻る

$n\to \infty$ で ${\left(1+\frac{t^2}{n}\right)}^{-\frac{n+1}{2}}\to e^{-t^2/2}$ です。前の係数も $\frac{1}{\sqrt{2\pi }}$ に近づく^[1]。

近づき方は表で見ると早い。自由度 30 で、両側 5% の点はもう正規分布と 0.082 しか違いません。

自由度 30 を超えたあたりで正規分布に置きかえてよい、という目安はここから来ます^[2]。

標本平均を標準化すると出てくる

$X_1,\dots ,X_n$ が $N(\mu ,{\sigma }^2)$ からの無作為標本のとき、標本平均 $\bar{X}$ と標本分散 $S^2$ を使った次の量が $t(n-1)$ に従います^[3]。

$$T=\frac{\bar{X}-\mu }{S/\sqrt{n}}$$

母分散 $\sigma$ が式から消えているところが要点です。分子と分母の両方に入っていて、割り算で相殺される。

3 つの部品がそろって初めて定義の形になります。どれか 1 つでも欠けると、この分布は出てきません。

例：5 個の測定から区間をつくる

測定値が 12.1、11.8、12.6、12.0、11.5 のとき、平均は 12.0 です。

偏差の平方和は $0.01+0.04+0.36+0+0.25=0.66$ なので、$S^2=0.66/4=0.165$、$S=0.406$。

標準誤差は $S/\sqrt{5}=0.182$ です。自由度 4 の点は 2.776 なので、幅は $2.776\times 0.182=0.504$。

$$12.0\pm 0.50=[11.50,12.50]$$

ここで正規分布の 1.960 を使うと $[11.64,12.36]$ になります。幅が 1.42 倍ちがう。母分散を知らないことの代償が、この差です。

ゴセットが 3000 枚のカードで確かめた

導いたのはギネスの醸造技師ウィリアム・シーリー・ゴセットです。小さい標本しかとれない現場から出た問題でした^[3]。

筆名の理由は、企業秘密というより雇用の秘密でした。ホテリングの記録では、統計家を雇っていること自体を競争相手に知られたくなかった^[3]。

検算の方法が変わっています。3000 人の身長と左中指の長さをカードに書き写し、よく切って 4 枚ずつ 750 組にとりわけ、組ごとに平均と標準偏差を出した。

統計学で最も早い時期のシミュレーションのひとつです^[3]。

証明には穴があった

ゴセットは $S^2$ の分布を最初の 4 つのモーメントから推し量り、カイ二乗だろうと述べています。本人が「実際の証明はないが、そう仮定して進む」と書いた^[3]。

この分布は 1876 年にヘルメルトがすでに導いていました。ドイツ語で出ていたため、イギリス側に伝わっていなかった。

$\bar{X}$ と $S^2$ の独立性も、示せたのは無相関までです。共分散は $\mathrm{cov}(\bar{X},S^2)={\mu }_3/n$ なので、歪みがなければ $0$ になる^[3]。

無相関と独立は別物です。ここが独立と同値になるのは正規分布に限る、という事実が後から確かめられました。

母分散を知らないという一点だけで、正規分布の 1.960 が 2.228 に変わる。自由度は、その代償の大きさを表す数です。

参考文献