y = \dfrac{1}{1+e^{-x}}

ロジスティック関数 $y = \dfrac{1}{1+e^{-x}}$

ロジスティック関数 $y = \dfrac{1}{1+e^{-x}}$ は、標準シグモイド関数とも呼ばれる代表的な S 字カーブです¹。入力がどんな実数でも出力を $0$ と $1$ の間に収めるため、確率や「オン・オフ」の度合いを表すのに適しています。

定義域と値域

分母 $1 + e^{-x}$ はつねに正で、両端の値には決して達しません。

$f(-x) = 1 - f(x)$ が成り立ち、グラフは点 $\left(0, \dfrac{1}{2}\right)$ に関して点対称です。

$x$	$f(x)$	$f(-x)$	和
$1$	$\approx 0.7311$	$\approx 0.2689$	$1$
$2$	$\approx 0.8808$	$\approx 0.1192$	$1$
$4$	$\approx 0.9820$	$\approx 0.0180$	$1$

導関数は自分自身で書けるという、この関数の際立った特徴をもちます。

f'(x) = f(x)\bigl(1 - f(x)\bigr) = \frac{e^{-x}}{(1+e^{-x})^2}

つねに正なので全域で単調増加します。傾きが最大になるのは中央の $x = 0$ で、その値は $\dfrac{1}{4}$ です。値が $0$ か $1$ に近いところでは傾きがほとんど $0$ になり、これが深いネットワークでの勾配消失につながります。

二階導関数は $f'' = f(1-f)(1-2f)$ で、 $f = \dfrac{1}{2}$ すなわち $x = 0$ で符号が変わります。点 $\left(0, \dfrac{1}{2}\right)$ が唯一の変曲点で、そこを境に下に凸から上に凸へ移ります。

f(x) = \frac{1}{2}\left(1 + \tanh\frac{x}{2}\right)

$\tanh$ を横に $2$ 倍に広げ、縦に半分にして $\dfrac{1}{2}$ だけ持ち上げたものと一致します。

形は同じもので、値域と縮尺だけが違います。

$19$ 世紀にベルギーのフェルフルストが、資源に限りのある環境での個体数増加を表すロジスティック方程式の解として導入しました。