TensorFlow の損失関数とオプティマイザ

モデルの訓練とは、損失関数が返す値を小さくするようにパラメータを調整する作業にほかならない。損失関数が「どれだけ間違っているか」を測り、オプティマイザが「どう直すか」を決める。この 2 つはモデルの学習能力を左右する重要な要素であり、タスクに合った組み合わせを選ぶことが精度向上の第一歩になる。

損失関数の役割

損失関数はモデルの予測値と正解ラベルの「ズレ」を 1 つの数値にまとめる関数だ。この数値が小さいほど予測が正解に近いことを意味する。訓練ではこの値を最小化する方向にパラメータが更新されていく。

損失関数の選択を誤ると、モデルがまったく学習しなかったり、見当違いの方向に最適化されたりする。タスクの種類に応じた正しい選択が不可欠だ。

分類タスクの損失関数

分類タスクでは交差エントロピー（cross entropy）系の損失関数を使う。正解クラスに割り当てられた確率が高いほど損失は小さくなり、低いほど大きくなるという仕組みだ。

sparse と通常版のどちらを使うかは、ラベルの形式で機械的に決まる。整数ラベルなら sparse、one-hot ラベルなら通常版を選べばよい。

2 クラス分類の例

スパム判定のような 2 クラス分類では、出力層に sigmoid を置き、損失関数に binary_crossentropy を指定する。

model = keras.Sequential([
    layers.Dense(64, activation="relu", input_shape=(100,)),
    layers.Dense(32, activation="relu"),
    layers.Dense(1, activation="sigmoid"),
])

model.compile(
    optimizer="adam",
    loss="binary_crossentropy",
    metrics=["accuracy"],
)

sigmoid は出力を 0〜1 の範囲に押し込む関数で、「クラス 1 に属する確率」と解釈できる。0.5 を閾値にして 0 か 1 に分類するのが一般的な使い方だ。

多クラス分類の例

出力層に softmax を置くと、各クラスの確率分布が得られる。すべての出力の合計は 1 になる。

model = keras.Sequential([
    layers.Dense(128, activation="relu", input_shape=(784,)),
    layers.Dense(64, activation="relu"),
    layers.Dense(10, activation="softmax"),
])

model.compile(
    optimizer="adam",
    loss="sparse_categorical_crossentropy",
    metrics=["accuracy"],
)

回帰タスクの損失関数

回帰タスクでは、予測値と正解値の数値的な距離を損失として計算する。

住宅価格の予測を例にとると、次のようになる。

model = keras.Sequential([
    layers.Dense(64, activation="relu", input_shape=(13,)),
    layers.Dense(32, activation="relu"),
    layers.Dense(1),
])

model.compile(
    optimizer="adam",
    loss="mse",
    metrics=["mae"],
)

回帰の出力層には活性化関数を指定しない。値の範囲に制約を設けず、任意の実数を出力させるためだ。

オプティマイザの役割

損失関数が「現在の誤差」を教えてくれるのに対し、オプティマイザは「パラメータをどの方向にどれだけ動かすか」を決定する。すべてのオプティマイザは勾配降下法を基盤としており、損失関数の勾配（傾き）を手がかりに重みを更新していく。

主要なオプティマイザ

オプティマイザの使い分け

文字列で指定するとデフォルト設定が適用される。ハイパーパラメータを細かく調整したい場合はオブジェクトで渡す。

# 文字列で指定（デフォルト設定）
model.compile(optimizer="adam", loss="mse")

# オブジェクトで指定（学習率を変更）
model.compile(
    optimizer=keras.optimizers.Adam(learning_rate=0.0001),
    loss="mse",
)

# SGD + momentum
model.compile(
    optimizer=keras.optimizers.SGD(learning_rate=0.01, momentum=0.9),
    loss="mse",
)

Adam のデフォルト学習率は 0.001 で、多くのケースではこの値で十分に機能する。精度が伸び悩んだときに 0.0001 や 0.0005 に下げてみるのは有効なアプローチだ。

学習率の影響

学習率はオプティマイザの中でもっとも重要なハイパーパラメータだ。値によって訓練の挙動は大きく変わる。

学習率を訓練の途中で動的に変化させるスケジューリングという手法もある。たとえば最初は大きめの学習率で素早く収束に近づき、後半で小さくして精密に調整するやり方だ。

lr_schedule = keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate=0.01,
    decay_steps=1000,
    decay_rate=0.9,
)

model.compile(
    optimizer=keras.optimizers.Adam(learning_rate=lr_schedule),
    loss="sparse_categorical_crossentropy",
    metrics=["accuracy"],
)

ExponentialDecay は指定したステップごとに学習率を指数的に減衰させる。1000 ステップごとに学習率が 0.9 倍になるため、訓練の後半では自動的に細かい調整に切り替わる。

タスク別の推奨設定

最後に、タスクの種類と損失関数・出力層・オプティマイザの典型的な組み合わせをまとめておく。

オプティマイザは迷ったら Adam から始め、精度が頭打ちになったら学習率の調整や SGD + momentum への切り替えを検討する。損失関数とオプティマイザの正しい選択は、モデルの構造設計と同じくらい訓練の成否を左右する要素だ。