平均してから曲げるか、曲げてから平均するか、イェンセンの不等式

平均をとってから曲げるのと、曲げてから平均をとるのでは、値が変わります。曲げ方が凸なら、順番の違いはいつも同じ向きに出ます^[1]。

$$\phi \left({\int }_{X}fd\mu \right)\le {\int }_X\phi (f)d\mu$$

$\mu$ が確率測度、$\phi$ が凸関数のときに成り立つ形です。ヨハン・イェンセンが 1906 年に示しました。

証明は 1 本の直線で終わります。凸関数の下に接する直線を引き、両辺を積分するだけ。相加相乗平均もヘルダーの不等式も、この 2 行から出てきます。

凸関数と支持直線

$\phi$ が凸であるとは、グラフの 2 点を結ぶ弦がいつもグラフの上にあることをいいます。

$$\phi (\lambda x+(1-\lambda )y)\le \lambda \phi (x)+(1-\lambda )\phi (y)$$

同値な言い方として、どの点 $x_0$ にも支持直線が引けます。傾き $a$ をうまく選べば、次がすべての $x$ で成り立つ。

$$\phi (x)\ge \phi (x_0)+a(x-x_0)$$

微分できる点では $a={\phi }^{\prime }(x_0)$、折れている点では左右の微分係数の間から選びます。凸関数はどの内点でも左右の微分係数を持つので、直線は必ず引ける。

赤い点が青い点より上にあり続けます。広がりを $0$ にすると重なる。ここが等号の起きる場所です。

不等式の証明

$x_0={\int }_{X}fd\mu$ と置きます。$\mu$ が確率測度なので、$x_0$ は $f$ の平均です。

支持直線の不等式を $x=f(t)$ に当てます。

$$\phi (f(t))\ge \phi (x_0)+a(f(t)-x_0)$$

両辺を $\mu$ で積分します。右辺の第 2 項は $\int fd\mu -x_0=0$ なので消えます。

$${\int }_X\phi (f)d\mu \ge \phi (x_0)\cdot \mu (X)=\phi (x_0)$$

最後で $\mu (X)=1$ を使いました。証明はここまで。凸性を支持直線に翻訳した時点で、話が終わっています。

有限個の点に対する形は、帰納法でも示せます。イェンセン自身の証明のほか、オットー・ヘルダーが 1889 年に 2 階微分できる場合について先に示した筋道も残っています^[2]。

確率測度でないと崩れる

$\mu (X)=1$ を落とすと成り立ちません。$[0,2]$ にルベーグ測度を入れ、$f\equiv 1$、$\phi (x)=x^2$ とします。

$$\phi \left({\int }_0^{2}1dx\right)=4,{\int }_0^2{1}^{2}dx=2$$

左辺のほうが大きくなり、不等号が逆です。全測度が $1$ でないと、$\phi (x_0)\mu (X)$ の項が邪魔をします。

一般の有限測度なら、$\mu$ を $\mu (X)$ で割って確率測度に直してから使う。

例：分散が非負であること

確率空間で $\phi (x)=x^2$ を当てます。

$$(\mathbb{E}[X]{)}^2\le \mathbb{E}[X^2]$$

移項すると分散の非負性そのもの。イェンセンの不等式は、分散が $0$ 以上であることの一般化だと読めます。

例：指数関数

$\phi (x)=e^x$ は凸なので、次が成り立ちます。

$$e^{\mathbb{E}[X]}\le \mathbb{E}[e^X]$$

統計力学で自由エネルギーの評価に使われる形です。左辺と右辺の差がゆらぎの大きさを表します。

例：相加相乗平均

$\phi (x)=-\log x$ は $(0,\infty )$ で凸です。二階微分が $1/x^2>0$ だから。

重み ${\lambda }_i>0$、$\sum {\lambda }_i=1$ に対して不等式を当てます。

$$-\log \left(\sum _i{\lambda }_i{x}_i\right)\le \sum _i{\lambda }_i(-\log x_i)$$

両辺の符号を変えて指数をとると、重み付きの相加相乗平均が出ます。

$$\sum _i{\lambda }_i{x}_i\ge \prod _i{x}_i^{{\lambda }_i}$$

${\lambda }_i=\frac{1}{n}$ とすれば見慣れた形。凸関数を 1 つ選ぶだけで導けます^[3]。

等号条件

$\phi$ が狭義凸なら、等号が成り立つのは $f$ が概収束の意味で定数のときに限られます^[3]。

支持直線の不等式が、$f(t)\ne x_0$ となる点で狭義に成り立つため。そこが正の測度を持てば、積分に差が残ります。

狭義でない凸関数では話が変わります。$\phi$ が $f$ の値域で 1 次式なら、定数でなくても等号が立つ。

例：有限測度上の $L^p$ の包含

$\mu (X)=1$ とし、$1\le p<r$ とします。$\phi (t)=t^{r/p}$ は $r/p>1$ なので凸です。

$|f{|}^p$ に当てると次が出ます。

$${\left(\int |f{|}^{p}d\mu \right)}^{r/p}\le \int |f{|}^{r}d\mu$$

両辺を $\frac{1}{r}$ 乗して $\Vert f{\Vert }_{L^p}\le \Vert f{\Vert }_{L^r}$。確率空間では、$p$ が大きいほど空間が小さくなります。

無限測度では成り立ちません。全測度が $1$ であることを使っているからです。

例：情報量が非負であること

2 つの確率測度 $P$、$Q$ について、カルバック・ライブラー情報量を次で定めます。

$$D(P\Vert Q)=\int \log \frac{dP}{dQ}dP$$

$-\log$ の凸性から $D(P\Vert Q)\ge 0$ が出ます。$P$ について積分し、$\int \frac{dQ}{dP}dP=1$ を使う形。

等号は $P=Q$ のときだけ。情報量が距離らしく振る舞う根拠が、イェンセンの不等式にあります。

条件付きの形

条件付き期待値についても同じ不等式が成り立ちます。

$$\phi (\mathbb{E}[X\mid \mathcal{G}])\le \mathbb{E}[\phi (X)\mid \mathcal{G}]$$

概収束の意味での不等式です。マルチンゲールに凸関数を当てると劣マルチンゲールになる、という事実がここから出ます。

凹関数では向きが逆になる

$\phi$ が凹なら $-\phi$ が凸なので、不等号が反転します。

$$\phi \left(\int fd\mu \right)\ge \int \phi (f)d\mu$$

$\log$、$\sqrt{\cdot }$、有界な効用関数などが凹です。経済学でリスク回避を表すときは、この向きを使います。

よくある誤り

参考文献