y = \ln(1+e^x)

ソフトプラス関数 $y = \ln(1 + e^x)$ のグラフ

$y = \ln(1 + e^x)$ はソフトプラスと呼ばれる関数です。 $e^x > 0$ より $1 + e^x > 1$ なので対数は必ず正になり、定義域はすべての実数、値域は $y > 0$ です。中身 $1 + e^x$ が単調に増え、 $\ln$ も単調増加なので、全体として単調に増加します。

$2$ 本の漸近線

左右で振る舞いがまったく違います。

$x$ の側	近似	漸近線
$x \to -\infty$	$\ln(1 + 0) = 0$	$y = 0$ （ $x$ 軸）
$x \to +\infty$	$\ln(e^x) = x$	$y = x$

左では平らに $0$ へ、右では傾き $1$ の直線に漸近する、なめらかに折れ曲がった形です。

導関数はシグモイド

導関数は次のようになり、これはちょうどロジスティック関数（シグモイド関数）です。

y' = \frac{e^x}{1 + e^x} = \frac{1}{1 + e^{-x}}

値は $0$ から $1$ のあいだをとり、 $x \to -\infty$ で $0$ 、 $x \to +\infty$ で $1$ に近づきます。二階導関数は正なので、グラフはつねに下に凸です。

具体的な値

$x$	$y$	$x$ との差
$-1$	$0.313$	$1.313$
$0$	$0.693$	$0.693$
$1$	$1.313$	$0.313$
$5$	$5.007$	$0.007$

大きい $x$ ではほぼ $x$ に一致します。差がそのまま $\ln(1 + e^{-x})$ で、左右の値が入れ替わって並ぶのは $y - x$ が $-x$ での値に等しいからです。

ReLU との関係

機械学習でよく使う ReLU $\max(0, x)$ は原点で折れ曲がって微分できませんが、ソフトプラスはそれをなめらかにつないだ近似で、原点付近では丸みを帯び、遠方では ReLU とほとんど重なります。ニューラルネットワークの活性化関数として、あるいは分散や個体数など必ず正になる量をパラメータ化する際に使われます。導関数がシグモイドであること、すなわちシグモイドの原始関数がソフトプラスであるという関係も、勾配計算を簡単にしてくれます。

数値計算の工夫

$\ln(1 + e^x)$ をそのまま計算すると、 $x$ が大きいときに $e^x$ があふれてしまいます。実装では次の形に書き換えて数値的に安定させる工夫がよく用いられます。

\max(0, x) + \ln\!\left( 1 + e^{-|x|} \right)

指数の肩がつねに $0$ 以下になるので、あふれることがありません。

ソフトプラス関数 y=ln⁡(1+ex)y = \ln(1 + e^x)y=ln(1+ex) のグラフ