ガンマ分布とベータ分布｜定義・証明・両者をつなぐ関係

ガンマ分布は、正の値をとる量の分布です。待ち時間や保険金の額のように、小さい値が多く右に裾が伸びるデータに使われます。

ベータ分布は、 $0$ と $1$ の間の値をとる分布です。割合や確率そのものを表す量に使われます。

この $2$ つはガンマ関数とベータ関数で結ばれています。独立なガンマ分布の変数から比を作るとベータ分布が現れる、という関係が両者をつなぎます。

ガンマ関数の定義

両方の分布の定義にガンマ関数が現れます。 $α > 0$ に対して次の積分で定めます。

$Γ (α) = \int_{0}^{\infty} t^{α - 1} e^{- t} d t$

この積分は収束します。 $t \to 0$ の側では $t^{α - 1}$ の指数が $- 1$ より大きいので積分でき、 $t \to \infty$ の側では $e^{- t}$ が多項式より速く減るからです。

ガンマ関数の要は次の漸化式です。階乗の $n! = n \cdot (n - 1)!$ にあたる関係になっています。

$Γ (α + 1) = α Γ (α)$

証明は部分積分です。 $t^{α}$ を微分する側、 $e^{- t}$ を積分する側に取ります。

$Γ (α + 1) = \int_{0}^{\infty} t^{α} e^{- t} d t = [- t^{α} e^{- t}]_{0}^{\infty} + α \int_{0}^{\infty} t^{α - 1} e^{- t} d t = α Γ (α)$

境界の項が消えることを確かめておきます。 $t \to \infty$ では $e^{- t}$ が $t^{α}$ を押し切って $0$ になり、 $t \to 0$ では $α > 0$ なので $t^{α} \to 0$ です。

例：ガンマ関数が階乗になること

正の整数 $n$ に対して $Γ (n) = (n - 1)!$ が成り立ちます。漸化式からの帰納法で示します。

出発点は $n = 1$ です。定義に代入すると次のようになります。

$Γ (1) = \int_{0}^{\infty} e^{- t} d t = 1 = 0!$

$Γ (n) = (n - 1)!$ を仮定すると、漸化式から次が出ます。

$Γ (n + 1) = n Γ (n) = n \cdot (n - 1)! = n!$

これで全ての正の整数について成り立ちます。添字が $1$ ずれる点には注意が必要で、 $Γ (5)$ は $5!$ ではなく $4! = 24$ です。

例： $Γ (1/2)$ の値

整数でない点でも値が定まります。 $α = 1/2$ のときはガウス積分に帰着します。

$t = x^{2}$ と置くと $d t = 2 x d x$ で、 $t^{- 1/2} = x^{- 1}$ になります。

$Γ (\frac{1}{2}) = \int_{0}^{\infty} t^{- 1/2} e^{- t} d t = \int_{0}^{\infty} x^{- 1} e^{- x^{2}} \cdot 2 x d x = 2 \int_{0}^{\infty} e^{- x^{2}} d x$

$e^{- x^{2}}$ は偶関数なので、 $0$ から $\infty$ までの積分は全体の半分です。ガウス積分の値 $π$ を使うと次のようになります。

$Γ (\frac{1}{2}) = 2 \cdot \frac{π}{2} = π$

階乗を実数に延ばした関数に円周率が出てきます。この値はあとでベータ関数の計算にも効いてきます。

ガンマ分布の定義

形状パラメータ $α > 0$ と率パラメータ $β > 0$ を持つガンマ分布 $Gamma (α, β)$ の確率密度関数は次の形です。

$f (x) = \frac{β ^{α}}{Γ ( α )} x^{α - 1} e^{- β x} (x > 0)$

全体の積分が $1$ になることを確かめます。 $t = β x$ と置くと $d x = d t / β$ です。

$\int_{0}^{\infty} f (x) d x = \frac{β ^{α}}{Γ ( α )} \int_{0}^{\infty} (\frac{t}{β})^{α - 1} e^{- t} \frac{d t}{β} = \frac{1}{Γ ( α )} \int_{0}^{\infty} t^{α - 1} e^{- t} d t = 1$

ガンマ関数を分母に置いた理由がここにあります。密度の形は $x^{α - 1} e^{- β x}$ で決まっていて、 $Γ (α)$ は総和を $1$ にそろえるための定数です。

$α = 1$ とすると $f (x) = β e^{- β x}$ になり、率 $β$ の指数分布と一致します。

率パラメータと尺度パラメータ

ガンマ分布には書き方が $2$ 通りあり、混同すると期待値や分散の式が合わなくなります。 $θ = 1/ β$ と置くと密度は次のように書けます。

$f (x) = \frac{1}{θ ^{α} Γ ( α )} x^{α - 1} e^{- x / θ}$

$θ$ を尺度パラメータ、 $β$ を率パラメータといいます。 $θ$ は時間や金額の単位そのもので、 $β$ はその逆数にあたります。

見分け方は指数の肩です。 $e^{- β x}$ のように掛けてあれば $β$ は率、 $e^{- x / θ}$ のように割ってあれば $θ$ は尺度です。

率パラメータ

β

単位時間あたり何回起きるか。大きいほど分布は原点側に縮む

尺度パラメータ

θ = 1/ β

$1$ 回あたりどれだけかかるか。大きいほど分布は右に伸びる

この記事では率の書き方を使います。期待値が $α / β$ になるのは率の記法のときで、尺度の記法では $α θ$ です。

ガンマ分布の形

$α$ を変えると形が変わります。 $α$ が大きくなるほど山ができて右に動き、左右対称に近づいていきます。

HTML

CSS

JavaScript

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">形状パラメータが大きいほど、山は右へ動いて低くなります</text>
	<line x1="60" y1="190" x2="424" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="60" y1="40" x2="60" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="60,190 66,117 71,76 77,57 82,52 88,56 94,64 99,76 105,88 111,101 116,113 122,124 128,134 133,143 139,150 144,157 150,163 156,167 161,171 167,175 172,177 178,180 184,182 189,183 195,184 201,185 206,186 212,187 218,188 223,188 229,188 234,189 240,189 246,189 251,189 257,189 262,190 268,190 274,190 279,190 285,190 291,190 296,190 302,190 308,190 313,190 319,190 324,190 330,190 336,190 341,190 347,190 352,190 358,190 364,190 369,190 375,190 381,190 386,190 392,190 398,190 403,190 409,190 414,190 420,190" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<polyline points="60,190 66,190 71,189 77,188 82,184 88,179 94,172 99,165 105,156 111,148 116,140 122,133 128,127 133,122 139,119 144,117 150,117 156,117 161,119 167,121 172,124 178,128 184,132 189,136 195,140 201,144 206,148 212,152 218,156 223,159 229,163 234,166 240,169 246,171 251,173 257,175 262,177 268,179 274,180 279,182 285,183 291,184 296,185 302,186 308,186 313,187 319,187 324,188 330,188 336,188 341,189 347,189 352,189 358,189 364,189 369,189 375,190 381,190 386,190 392,190 398,190 403,190 409,190 414,190 420,190" fill="none" stroke="#d0562a" stroke-width="1.5"></polyline>
	<polyline points="60,190 66,190 71,190 77,190 82,190 88,190 94,190 99,190 105,190 111,189 116,189 122,188 128,187 133,186 139,184 144,181 150,179 156,176 161,173 167,169 172,166 178,162 184,158 189,155 195,151 201,148 206,145 212,143 218,141 223,140 229,139 234,138 240,138 246,138 251,138 257,139 262,141 268,142 274,144 279,146 285,148 291,150 296,152 302,154 308,157 313,159 319,161 324,163 330,165 336,167 341,169 347,171 352,173 358,174 364,176 369,177 375,179 381,180 386,181 392,182 398,183 403,184 409,184 414,185 420,186" fill="none" stroke="#9a9a9a" stroke-width="1.5"></polyline>
	<text x="86" y="46" font-size="11" fill="#1b81e0">形状 2</text>
	<text x="150" y="108" font-size="11" fill="#d0562a">形状 5</text>
	<text x="246" y="130" font-size="11" fill="#9a9a9a">形状 9</text>
	<text x="48" y="212" font-size="11" fill="#9a9a9a">率はどれも 1 にそろえています</text>
</svg>

$α \leq 1$ のときは山がなく、密度は右下がりの曲線になります。 $α < 1$ では原点で発散しますが、面積は $1$ に収まります。

$β$ を変えても形そのものは変わりません。横軸を $β$ 倍に縮めるだけで、 $X$ が $Gamma (α, β)$ に従うとき $c X$ は $Gamma (α, β / c)$ に従います。

例：ガンマ分布の最頻値

山の位置を求めます。密度そのものより対数を微分するほうが簡単です。

$lo g f (x) = const + (α - 1) lo g x - β x$

$x$ で微分して $0$ と置きます。

$\frac{α - 1}{x} - β = 0$

したがって $α > 1$ のとき最頻値は $(α - 1) / β$ です。期待値の $α / β$ より小さく、右に裾が伸びる分布の特徴が出ています。

$α \leq 1$ のときは導関数が常に負で、最頻値は端の $0$ になります。

ガンマ分布のモーメント

期待値と分散は、 $k$ 次のモーメントをまとめて計算すると一度で片づきます。密度の積分と同じ置き換えを使います。

$E [X^{k}] = \frac{β ^{α}}{Γ ( α )} \int_{0}^{\infty} x^{α + k - 1} e^{- β x} d x = \frac{β ^{α}}{Γ ( α )} \cdot \frac{Γ ( α + k )}{β ^{α + k}} = \frac{Γ ( α + k )}{Γ ( α ) β ^{k}}$

$k = 1$ と $k = 2$ を入れます。漸化式から $Γ (α + 1) = α Γ (α)$ 、 $Γ (α + 2) = (α + 1) α Γ (α)$ です。

$E [X] = \frac{α}{β}, E [X^{2}] = \frac{( α + 1 ) α}{β ^{2}}$

分散は差を取るだけです。

$V [X] = \frac{( α + 1 ) α}{β ^{2}} - \frac{α ^{2}}{β ^{2}} = \frac{α}{β ^{2}}$

標準偏差は $α / β$ で、期待値との比は $1/ α$ になります。形状パラメータが大きいほど、ばらつきは相対的に小さくなります。

指数分布の和になること

ガンマ分布がどこから来るのかを見ます。率 $λ$ で起きる事象を考え、 $n$ 回目が起きるまでの時間を $S_{n}$ とします。

$S_{n}$ が $t$ を超えることと、時刻 $t$ までの回数が $n - 1$ 以下であることは同じです。回数はポアソン分布に従うので、次のように書けます。

$P (S_{n} > t) = j = 0 \sum n - 1 e^{- λ t} \frac{( λ t ) ^{j}}{j !}$

密度はこれを $t$ で微分して符号を変えたものです。各項の微分は次のようになります。

$\frac{d}{d t} (e^{- λ t} \frac{( λ t ) ^{j}}{j !}) = - λ e^{- λ t} \frac{( λ t ) ^{j}}{j !} + λ e^{- λ t} \frac{( λ t ) ^{j - 1}}{( j - 1 )!}$

$j = 0$ の項には第 $2$ 項がありません。そのうえで $j$ について足し合わせると、隣どうしが打ち消し合って $j = n - 1$ の第 $1$ 項だけが残ります。

$f (t) = λ e^{- λ t} \frac{( λ t ) ^{n - 1}}{( n - 1 )!} = \frac{λ ^{n}}{Γ ( n )} t^{n - 1} e^{- λ t}$

これは $Gamma (n, λ)$ の密度そのものです。 $Γ (n) = (n - 1)!$ が効いています。

HTML

CSS

JavaScript

<svg viewBox="0 0 460 170" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">間隔はそれぞれ指数分布に従い、合計がガンマ分布になります</text>
	<line x1="50" y1="110" x2="424" y2="110" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="50" y1="104" x2="50" y2="116" stroke="#c8c8c8" stroke-width="1"></line>
	<circle cx="140" cy="110" r="3.5" fill="#1b81e0"></circle>
	<circle cx="230" cy="110" r="3.5" fill="#1b81e0"></circle>
	<circle cx="350" cy="110" r="3.5" fill="#1b81e0"></circle>
	<line x1="50" y1="84" x2="140" y2="84" stroke="#d0562a" stroke-width="1"></line>
	<line x1="140" y1="84" x2="230" y2="84" stroke="#d0562a" stroke-width="1"></line>
	<line x1="230" y1="84" x2="350" y2="84" stroke="#d0562a" stroke-width="1"></line>
	<line x1="50" y1="80" x2="50" y2="88" stroke="#d0562a" stroke-width="1"></line>
	<line x1="140" y1="80" x2="140" y2="88" stroke="#d0562a" stroke-width="1"></line>
	<line x1="230" y1="80" x2="230" y2="88" stroke="#d0562a" stroke-width="1"></line>
	<line x1="350" y1="80" x2="350" y2="88" stroke="#d0562a" stroke-width="1"></line>
	<text x="95" y="76" font-size="11" fill="#d0562a" text-anchor="middle">間隔 1</text>
	<text x="185" y="76" font-size="11" fill="#d0562a" text-anchor="middle">間隔 2</text>
	<text x="290" y="76" font-size="11" fill="#d0562a" text-anchor="middle">間隔 3</text>
	<text x="140" y="132" font-size="11" fill="#1f1f1f" text-anchor="middle">1 回目</text>
	<text x="230" y="132" font-size="11" fill="#1f1f1f" text-anchor="middle">2 回目</text>
	<text x="350" y="132" font-size="11" fill="#1f1f1f" text-anchor="middle">3 回目</text>
	<text x="428" y="114" font-size="11" fill="#9a9a9a">時間</text>
	<text x="48" y="158" font-size="11" fill="#9a9a9a">3 回目までの時間が、形状 3 のガンマ分布に従います</text>
</svg>

形状パラメータが正の整数のとき、この分布はアーラン分布とも呼ばれます。整数でない $α$ でも密度は意味を持ち、そちらがガンマ分布の一般形です。

例：3 回目の故障までの時間

平均 $200$ 時間に $1$ 回の割合で壊れる部品を考えます。率は $λ = 1/200$ で、 $3$ 回目の故障までの時間は $Gamma (3, 1/200)$ に従います。

期待値は $3/ λ = 600$ 時間、標準偏差は $3 / λ \approx 346$ 時間です。平均の半分を超えるばらつきがあります。

$600$ 時間を超える確率は、回数の側に翻訳すると求まります。 $λ t = 3$ を代入します。

$P (S_{3} > 600) = e^{- 3} (1 + 3 + \frac{9}{2}) = 8.5 e^{- 3} \approx 0.423$

期待値を超える確率が $1/2$ より小さくなりました。右に長い裾が平均を引き上げているためです。

$300$ 時間以内に $3$ 回目が来る確率も同じように計算できます。 $λ t = 1.5$ を入れます。

$P (S_{3} \leq 300) = 1 - e^{- 1.5} (1 + 1.5 + 1.125) \approx 0.191$

ガンマ分布の再生性

率が同じガンマ分布どうしは、足すとまたガンマ分布になります。形状パラメータだけが足し合わされます。

証明にはモーメント母関数を使います。 $t < β$ のとき次のように計算できます。

$M (t) = E [e^{tX}] = \frac{β ^{α}}{Γ ( α )} \int_{0}^{\infty} x^{α - 1} e^{- (β - t) x} d x = \frac{β ^{α}}{Γ ( α )} \cdot \frac{Γ ( α )}{( β - t ) ^{α}} = (1 - \frac{t}{β})^{- α}$

独立な確率変数の和では、モーメント母関数が積になります。 $X_{1} \sim Gamma (α_{1}, β)$ と $X_{2} \sim Gamma (α_{2}, β)$ が独立なら次のとおりです。

$M_{X_{1} + X_{2}} (t) = (1 - \frac{t}{β})^{- α_{1}} (1 - \frac{t}{β})^{- α_{2}} = (1 - \frac{t}{β})^{- (α_{1} + α_{2})}$

これは $Gamma (α_{1} + α_{2}, β)$ のモーメント母関数です。 $0$ の近くでモーメント母関数が一致すれば分布も一致するので、証明が終わります。

指数分布の和がガンマ分布になることも、 $α_{1} = \dots = α_{n} = 1$ の場合として含まれます。

例：率が違うと再生性は崩れる

率がそろっていることが本質です。 $X$ を率 $1$ の指数分布、 $Y$ を率 $2$ の指数分布に従う独立な変数とします。

和の密度は畳み込みで求まります。

$f_{X + Y} (z) = \int_{0}^{z} e^{- x} \cdot 2 e^{- 2 (z - x)} d x = 2 e^{- 2 z} \int_{0}^{z} e^{x} d x = 2 (e^{- z} - e^{- 2 z})$

これがガンマ分布でないことを見ます。期待値は $1 + 1/2 = 3/2$ 、分散は $1 + 1/4 = 5/4$ です。

もし $Gamma (α, β)$ に従うなら $α / β = 3/2$ かつ $α / β^{2} = 5/4$ が必要で、これを解くと $β = 6/5$ 、 $α = 9/5$ になります。

ところが $Gamma (9/5, 6/5)$ の密度は原点近くで $z^{4/5}$ の速さで立ち上がります。一方いま求めた密度は、 $e^{- z} - e^{- 2 z} \approx z$ より $z^{1}$ の速さです。

立ち上がりの指数が違うので、この和はガンマ分布ではありません。率がそろわない指数分布の和は、別の分布になります。

カイ二乗分布との関係

自由度 $ν$ のカイ二乗分布は $Gamma (ν /2, 1/2)$ と同じ分布です。形状が自由度の半分、率が $1/2$ にあたります。

$Γ (1/2) = π$ が出てくるのは、自由度が奇数のときの正規化定数です。カイ二乗分布の性質そのものは別の記事で扱います。

ベータ関数の定義

ベータ分布の正規化に必要な積分を先に用意します。 $a > 0$ 、 $b > 0$ に対して次のように定めます。

$B (a, b) = \int_{0}^{1} x^{a - 1} (1 - x)^{b - 1} d x$

$x$ を $1 - x$ に取り替えると $a$ と $b$ が入れ替わるので、 $B (a, b) = B (b, a)$ が成り立ちます。

$a = b = 1$ なら被積分関数は $1$ で、 $B (1, 1) = 1$ です。

ベータ関数とガンマ関数を結ぶ公式

この積分はガンマ関数だけで書けます。

$B (a, b) = \frac{Γ ( a ) Γ ( b )}{Γ ( a + b )}$

証明はガンマ関数の積を二重積分と見るところから始めます。

$Γ (a) Γ (b) = \int_{0}^{\infty} \int_{0}^{\infty} x^{a - 1} y^{b - 1} e^{- (x + y)} d x d y$

ここで和と比に変数を取り替えます。 $x = uv$ 、 $y = u (1 - v)$ と置くと、 $u > 0$ と $0 < v < 1$ の範囲が第一象限に一対一で対応します。

偏微分は次のとおりです。

$\frac{\partial x}{\partial u} = v, \frac{\partial x}{\partial v} = u, \frac{\partial y}{\partial u} = 1 - v, \frac{\partial y}{\partial v} = - u$

ヤコビアンはこれらの組み合わせで求まります。

$\frac{\partial ( x , y )}{\partial ( u , v )} = v \cdot (- u) - u \cdot (1 - v) = - u$

絶対値を取って $d x d y = u d u d v$ です。 $x + y = u$ なので指数部分は $e^{- u}$ になり、被積分関数は次のように分かれます。

$Γ (a) Γ (b) = \int_{0}^{\infty} \int_{0}^{1} (uv)^{a - 1} (u (1 - v))^{b - 1} e^{- u} u d v d u = \int_{0}^{\infty} u^{a + b - 1} e^{- u} d u \int_{0}^{1} v^{a - 1} (1 - v)^{b - 1} d v = Γ (a + b) B (a, b)$

両辺を $Γ (a + b)$ で割れば公式が出ます。この変数変換はあとでもう一度使います。

例： $B (1/2, 1/2)$ の値

公式に $a = b = 1/2$ を入れます。 $Γ (1/2) = π$ と $Γ (1) = 1$ を使うと次のようになります。

$B (\frac{1}{2}, \frac{1}{2}) = \frac{Γ ( 1/2 ) ^{2}}{Γ ( 1 )} = π$

直接積分しても同じ値になります。 $x = sin^{2} θ$ と置けば $d x = 2 sin θ cos θ d θ$ で、被積分関数の平方根が消えます。

$\int_{0}^{1} \frac{d x}{x ( 1 - x )} = \int_{0}^{π /2} 2 d θ = π$

ベータ分布の定義

$a > 0$ 、 $b > 0$ を持つベータ分布 $Beta (a, b)$ の確率密度関数は次の形です。

$f (x) = \frac{1}{B ( a , b )} x^{a - 1} (1 - x)^{b - 1} (0 < x < 1)$

積分が $1$ になることは、ベータ関数の定義そのものです。分母の $B (a, b)$ はそのために置いてあります。

ガンマ関数で書き直すと、現場でよく見る形になります。

$f (x) = \frac{Γ ( a + b )}{Γ ( a ) Γ ( b )} x^{a - 1} (1 - x)^{b - 1}$

ここでの $b$ は、ガンマ分布の率パラメータ $β$ とは別物です。記号が同じことが多いので、文脈で読み分ける必要があります。

ベータ分布の形

$a$ と $b$ の大小によって形が大きく変化します。 $a = b = 1$ のときは一様分布、 $a, b > 1$ のときは山が $1$ つ、 $a, b < 1$ のときは両端が高い U 字型になります。

HTML

CSS

JavaScript

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">パラメータの大小で、山型にも U 字型にもなります</text>
	<line x1="60" y1="190" x2="424" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="60" y1="40" x2="60" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="64,140 71,140 78,140 85,140 92,140 100,140 107,140 114,140 121,140 128,140 136,140 143,140 150,140 157,140 164,140 172,140 179,140 186,140 193,140 200,140 208,140 215,140 222,140 229,140 236,140 244,140 251,140 258,140 265,140 272,140 280,140 287,140 294,140 301,140 308,140 316,140 323,140 330,140 337,140 344,140 352,140 359,140 366,140 373,140 380,140 388,140 395,140 402,140 409,140 416,140" fill="none" stroke="#9a9a9a" stroke-width="1.5"></polyline>
	<polyline points="64,176 71,150 78,129 85,111 92,97 100,86 107,78 114,73 121,69 128,67 136,67 143,69 150,71 157,75 164,79 172,85 179,90 186,96 193,103 200,109 208,115 215,122 222,128 229,134 236,140 244,146 251,151 258,156 265,161 272,165 280,169 287,172 294,175 301,178 308,180 316,182 323,184 330,186 337,187 344,188 352,188 359,189 366,189 373,190 380,190 388,190 395,190 402,190 409,190 416,190" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<polyline points="64,190 71,190 78,190 85,190 92,190 100,190 107,190 114,189 121,189 128,188 136,188 143,187 150,186 157,184 164,182 172,180 179,178 186,175 193,172 200,169 208,165 215,161 222,156 229,151 236,146 244,140 251,134 258,128 265,122 272,115 280,109 287,103 294,96 301,90 308,85 316,79 323,75 330,71 337,69 344,67 352,67 359,69 366,73 373,78 380,86 388,97 395,111 402,129 409,150 416,176" fill="none" stroke="#d0562a" stroke-width="1.5"></polyline>
	<polyline points="64,40 71,97 78,117 85,128 92,134 100,139 107,143 114,145 121,148 128,149 136,151 143,152 150,153 157,154 164,155 172,156 179,156 186,157 193,157 200,157 208,158 215,158 222,158 229,158 236,158 244,158 251,158 258,158 265,158 272,158 280,157 287,157 294,157 301,156 308,156 316,155 323,154 330,153 337,152 344,151 352,149 359,148 366,145 373,143 380,139 388,134 395,128 402,117 409,97 416,40" fill="none" stroke="#7a4fc0" stroke-width="1.5"></polyline>
	<text x="64" y="130" font-size="11" fill="#9a9a9a">1, 1</text>
	<text x="132" y="58" font-size="11" fill="#1b81e0">2, 5</text>
	<text x="332" y="58" font-size="11" fill="#d0562a">5, 2</text>
	<text x="228" y="172" font-size="11" fill="#7a4fc0">0.5, 0.5</text>
	<text x="48" y="212" font-size="11" fill="#9a9a9a">0.5, 0.5 は両端で発散するので、上端で切ってあります</text>
</svg>

$a = b$ なら $x$ と $1 - x$ の役割が同じなので、密度は $x = 1/2$ について対称です。 $a > b$ なら右寄り、 $a < b$ なら左寄りになります。

$a = b = 1/2$ の場合はアークサイン分布と呼ばれ、両端で発散します。発散しても面積は有限で、 $B (1/2, 1/2) = π$ が有限であることがそれを保証しています。

例：ベータ分布の最頻値

ガンマ分布と同じく、対数を微分します。

$lo g f (x) = const + (a - 1) lo g x + (b - 1) lo g (1 - x)$

微分して $0$ と置きます。

$\frac{a - 1}{x} - \frac{b - 1}{1 - x} = 0$

分母を払うと $(a - 1) (1 - x) = (b - 1) x$ となり、整理すると次が出ます。

$x = \frac{a - 1}{a + b - 2}$

この式が使えるのは $a > 1$ かつ $b > 1$ のときだけです。それ以外では山が内部にできず、端が最も高くなります。

ベータ分布のモーメント

こちらもまとめて計算します。ベータ関数の定義から、指数を $k$ だけずらすだけです。

$E [X^{k}] = \frac{1}{B ( a , b )} \int_{0}^{1} x^{a + k - 1} (1 - x)^{b - 1} d x = \frac{B ( a + k , b )}{B ( a , b )} = \frac{Γ ( a + k ) Γ ( a + b )}{Γ ( a ) Γ ( a + b + k )}$

$k = 1$ では、漸化式で $Γ (a + 1) = a Γ (a)$ と $Γ (a + b + 1) = (a + b) Γ (a + b)$ を使います。

$E [X] = \frac{a}{a + b}$

$k = 2$ も同じ要領です。

$E [X^{2}] = \frac{( a + 1 ) a}{( a + b + 1 ) ( a + b )}$

分散は差を取って通分します。

$V [X] = \frac{( a + 1 ) a}{( a + b + 1 ) ( a + b )} - \frac{a ^{2}}{( a + b ) ^{2}} = \frac{a [ ( a + 1 ) ( a + b ) - a ( a + b + 1 ) ]}{( a + b ) ^{2} ( a + b + 1 )} = \frac{ab}{( a + b ) ^{2} ( a + b + 1 )}$

期待値は $a$ と $b$ の比だけで決まり、分散は $a + b$ が大きいほど小さくなります。 $a + b$ は「どれだけ強く信じているか」の目安として働きます。

ガンマ分布からベータ分布を作る

$2$ つの分布をつなぐ関係を示します。 $X \sim Gamma (a, β)$ と $Y \sim Gamma (b, β)$ が独立で、率が同じとします。

このとき和 $U = X + Y$ と比 $V = X / (X + Y)$ は独立で、 $U \sim Gamma (a + b, β)$ 、 $V \sim Beta (a, b)$ になります。

証明はベータ関数の公式と同じ変数変換です。まず $X$ と $Y$ の同時密度を書きます。

$f (x, y) = \frac{β ^{a + b}}{Γ ( a ) Γ ( b )} x^{a - 1} y^{b - 1} e^{- β (x + y)}$

$x = uv$ 、 $y = u (1 - v)$ と置くと、ヤコビアンは先ほどと同じ $u$ です。指数部分は $e^{- β u}$ になります。

$g (u, v) = \frac{β ^{a + b}}{Γ ( a ) Γ ( b )} u^{a + b - 1} v^{a - 1} (1 - v)^{b - 1} e^{- β u}$

$Γ (a + b)$ を掛けて割る形に整えると、 $u$ だけの式と $v$ だけの式の積に分かれます。

$g (u, v) = \frac{β ^{a + b} u ^{a + b - 1} e ^{- β u}}{Γ ( a + b )} \cdot \frac{v ^{a - 1} ( 1 - v ) ^{b - 1}}{B ( a , b )}$

同時密度が積に分かれたので $U$ と $V$ は独立で、それぞれの因子が主張どおりの密度です。

率が同じ独立なガンマ分布が $2$ つ

和と比に変数を取り替える

和はガンマ分布、比はベータ分布

HTML

CSS

JavaScript

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">和と比に取り替えると、第一象限が帯にほどけます</text>
	<line x1="60" y1="190" x2="212" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="60" y1="60" x2="60" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<text x="216" y="194" font-size="11" fill="#9a9a9a">x</text>
	<text x="52" y="56" font-size="11" fill="#9a9a9a">y</text>
	<line x1="60" y1="150" x2="100" y2="190" stroke="#1b81e0" stroke-width="1.5"></line>
	<line x1="60" y1="80" x2="170" y2="190" stroke="#1b81e0" stroke-width="1.5"></line>
	<line x1="60" y1="190" x2="205" y2="118" stroke="#d0562a" stroke-width="1"></line>
	<line x1="60" y1="190" x2="145" y2="62" stroke="#d0562a" stroke-width="1"></line>
	<text x="106" y="76" font-size="11" fill="#1b81e0">x + y = u</text>
	<text x="150" y="152" font-size="11" fill="#d0562a">傾きが v</text>
	<line x1="228" y1="120" x2="268" y2="120" stroke="#9a9a9a" stroke-width="1"></line>
	<polygon points="268,116 276,120 268,124" fill="#9a9a9a"></polygon>
	<line x1="300" y1="70" x2="424" y2="70" stroke="#1b81e0" stroke-width="1.5"></line>
	<line x1="300" y1="180" x2="424" y2="180" stroke="#1b81e0" stroke-width="1.5"></line>
	<line x1="300" y1="70" x2="300" y2="180" stroke="#c8c8c8" stroke-width="1"></line>
	<text x="292" y="66" font-size="11" fill="#9a9a9a" text-anchor="end">1</text>
	<text x="292" y="184" font-size="11" fill="#9a9a9a" text-anchor="end">0</text>
	<text x="362" y="128" font-size="11" fill="#1f1f1f" text-anchor="middle">v はベータ分布</text>
	<text x="362" y="204" font-size="11" fill="#9a9a9a" text-anchor="middle">u はガンマ分布</text>
</svg>

比を取ると率 $β$ が消えるところが大事です。単位を変えても比は変わらないので、ベータ分布には尺度が残りません。

率が違う場合はこの計算が通りません。指数部分が $e^{- β_{1} x - β_{2} y}$ となり、 $u$ と $v$ に分かれないからです。

例：順序統計量がベータ分布になること

$U_{1}, \dots, U_{n}$ が独立に $0$ から $1$ の一様分布に従うとします。小さい順に並べたときの $k$ 番目を $U_{(k)}$ と書きます。

$U_{(k)}$ が $x$ の近くにある確率を数えます。 $n$ 個のうち $1$ 個が $x$ の近く、 $k - 1$ 個がその左、 $n - k$ 個がその右にある場合です。

どの個体がどの役を務めるかの選び方は $n! / ((k - 1)! (n - k)!)$ 通りあります。左にある確率は $x$ 、右にある確率は $1 - x$ なので、密度は次の形になります。

$f_{k} (x) = \frac{n !}{( k - 1 )! ( n - k )!} x^{k - 1} (1 - x)^{n - k}$

これは $Beta (k, n - k + 1)$ の密度です。実際、ベータ関数の値は階乗で書けます。

$B (k, n - k + 1) = \frac{Γ ( k ) Γ ( n - k + 1 )}{Γ ( n + 1 )} = \frac{( k - 1 )! ( n - k )!}{n !}$

期待値は $k / (n + 1)$ です。 $n$ 個の点が区間を $n + 1$ 等分するように並ぶ、という直感と合っています。

例：ベータ分布の累積確率が二項分布の裾に一致すること

順序統計量の見方から、連続と離散をつなぐ等式が出ます。 $U_{(k)} \leq p$ という事象を数え直します。

$k$ 番目に小さい値が $p$ 以下であることと、 $p$ 以下の点が $k$ 個以上あることは同じです。 $p$ 以下に入る個数は二項分布に従います。

$P (U_{(k)} \leq p) = j = k \sum n (j n) p^{j} (1 - p)^{n - j}$

左辺はベータ分布の累積確率なので、次の等式が成り立ちます。

$\frac{n !}{( k - 1 )! ( n - k )!} \int_{0}^{p} t^{k - 1} (1 - t)^{n - k} d t = j = k \sum n (j n) p^{j} (1 - p)^{n - j}$

連続分布の積分が、離散分布の和にぴたりと等しくなります。二項分布の裾の確率を積分で表せるので、数値計算でも使われます。

ベータ分布が事前分布に使われる理由

割合 $p$ を推定する場面を考えます。 $p$ に $Beta (a, b)$ を事前分布として置き、 $n$ 回中 $k$ 回成功したというデータを得たとします。

事後分布は、事前分布と尤度の積に比例します。二項分布の尤度は $p^{k} (1 - p)^{n - k}$ です。

$p^{k} (1 - p)^{n - k} \cdot p^{a - 1} (1 - p)^{b - 1} = p^{a + k - 1} (1 - p)^{b + n - k - 1}$

右辺は $Beta (a + k, b + n - k)$ の密度の形そのものです。積分して正規化定数を求めなくても、形を見るだけで分布が決まります。

事前分布と事後分布が同じ形の族にとどまる性質を共役性といいます。ベータ分布は二項分布に対する共役事前分布です。

パラメータの解釈も見やすくなります。 $Beta (a, b)$ は「あらかじめ $a - 1$ 回の成功と $b - 1$ 回の失敗を見た」ことに相当し、データが来ると回数がそのまま足されます。

例：発芽率の推定

種を $10$ 粒まいて $7$ 粒が発芽したとします。事前分布に $Beta (2, 2)$ を置きます。これは $0.5$ のまわりをゆるく見込む形です。

事後分布は $Beta (2 + 7, 2 + 3) = Beta (9, 5)$ になります。

$E [p ∣ data] = \frac{9}{9 + 5} = \frac{9}{14} \approx 0.643$

標本比率の $0.7$ より少し $0.5$ 側に寄りました。事前分布が $2$ 回分の観測に相当する重みで引っぱっています。

最頻値は $(9 - 1) / (9 + 5 - 2) = 2/3$ 、標準偏差は次の値です。

$\frac{9 \cdot 5}{1 4 ^{2} \cdot 15} \approx 0.124$

HTML

CSS

JavaScript

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="48" y="24" font-size="11" fill="#1f1f1f">データが入ると、山は狭く高くなります</text>
	<line x1="60" y1="190" x2="424" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="60" y1="40" x2="60" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<polyline points="64,187 71,183 78,178 85,173 92,169 100,165 107,161 114,157 121,154 128,150 136,147 143,144 150,142 157,139 164,137 172,135 179,133 186,132 193,130 200,129 208,128 215,127 222,126 229,126 236,126 244,126 251,126 258,126 265,127 272,128 280,129 287,130 294,132 301,133 308,135 316,137 323,139 330,142 337,144 344,147 352,150 359,154 366,157 373,161 380,165 388,169 395,173 402,178 409,183 416,187" fill="none" stroke="#9a9a9a" stroke-width="1.5"></polyline>
	<polyline points="64,190 71,190 78,190 85,190 92,190 100,190 107,190 114,190 121,190 128,190 136,190 143,189 150,189 157,188 164,186 172,185 179,182 186,179 193,175 200,170 208,163 215,156 222,148 229,138 236,128 244,117 251,106 258,95 265,85 272,76 280,68 287,62 294,58 301,57 308,59 316,64 323,72 330,82 337,95 344,109 352,123 359,138 366,152 373,164 380,174 388,181 395,186 402,189 409,190 416,190" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<text x="196" y="118" font-size="11" fill="#9a9a9a">事前分布</text>
	<text x="312" y="48" font-size="11" fill="#1b81e0">事後分布</text>
	<text x="64" y="208" font-size="11" fill="#9a9a9a">0</text>
	<text x="410" y="208" font-size="11" fill="#9a9a9a">1</text>
	<text x="48" y="224" font-size="11" fill="#9a9a9a">横軸は発芽する確率です</text>
</svg>