機械学習ではカテゴリカル変数を数値に変換する必要があります。「ダミー変数」や「One-Hot エンコーディング」と呼ばれるこの処理を、pandas の get_dummies と scikit-learn の OneHotEncoder で実装する方法を解説します。
ダミー変数とは
カテゴリ変数の各カテゴリに対して、該当すれば 1、しなければ 0 の列を作成します。
import pandas as pd df = pd.DataFrame({ 'color': ['赤', '青', '緑', '赤', '青'] }) # ダミー変数化 dummies = pd.get_dummies(df['color']) print(dummies) # 青 緑 赤 # 0 0 0 1 # 1 1 0 0 # 2 0 1 0 # 3 0 0 1 # 4 1 0 0
get_dummies の基本
get_dummies は pandas の関数で、シンプルな変換に適しています。
import pandas as pd df = pd.DataFrame({ 'name': ['田中', '佐藤', '鈴木'], 'city': ['東京', '大阪', '東京'], 'age': [25, 30, 35] }) # 単一列をダミー変数化 pd.get_dummies(df['city']) # DataFrame 全体に適用（object 型の列を自動検出） pd.get_dummies(df) # name age city_大阪 city_東京 # 0 田中 25 0 1 # 1 佐藤 30 1 0 # 2 鈴木 35 0 1
prefix オプション
複数の列をダミー変数化する場合、prefix で接頭辞をつけると識別しやすくなります。
df = pd.DataFrame({ 'color': ['赤', '青', '赤'], 'size': ['S', 'M', 'L'] }) dummies = pd.get_dummies(df, prefix=['color', 'size']) print(dummies.columns.tolist()) # ['color_赤', 'color_青', 'size_L', 'size_M', 'size_S']
drop_first で多重共線性を回避
回帰分析では、ダミー変数の全てを使うと多重共線性の問題が起きます。drop_first=True で 1 つ目のカテゴリを落とせます。
df = pd.DataFrame({ 'color': ['赤', '青', '緑', '赤'] }) # 全カテゴリ print(pd.get_dummies(df['color'])) # 青 緑 赤 # 0 0 0 1 # 1 1 0 0 # 2 0 1 0 # 3 0 0 1 # 最初のカテゴリを落とす print(pd.get_dummies(df['color'], drop_first=True)) # 緑 赤 # 0 0 1 # 1 0 0 # 2 1 0 # 3 0 1
「青」の列がなくなりました。緑=0、赤=0 なら青と判断できます。
drop_first=False
全カテゴリを保持。解釈しやすいが、回帰分析で問題になる可能性。
drop_first=True
多重共線性を回避。回帰分析では推奨。
scikit-learn の OneHotEncoder
機械学習パイプラインでは OneHotEncoder がよく使われます。学習データとテストデータで一貫した変換が保証されるためです。
from sklearn.preprocessing import OneHotEncoder import pandas as pd import numpy as np df = pd.DataFrame({ 'color': ['赤', '青', '緑', '赤'] }) # OneHotEncoder を作成 encoder = OneHotEncoder(sparse_output=False) # 学習と変換 encoded = encoder.fit_transform(df[['color']]) print(encoded) # [[0. 0. 1.] # [1. 0. 0.] # [0. 1. 0.] # [0. 0. 1.]] # カテゴリの確認 print(encoder.categories_) # [array(['緑', '赤', '青'], dtype=object)]
未知のカテゴリへの対処
get_dummies の問題点は、学習データにないカテゴリがテストデータに現れたときです。
import pandas as pd # 学習データ train = pd.DataFrame({'color': ['赤', '青', '緑']}) train_dummies = pd.get_dummies(train['color']) # テストデータに新しいカテゴリ「黄」がある test = pd.DataFrame({'color': ['赤', '黄']}) test_dummies = pd.get_dummies(test['color']) print(train_dummies.columns.tolist()) # ['緑', '赤', '青'] print(test_dummies.columns.tolist()) # ['赤', '黄'] # 列が一致しない！
OneHotEncoder なら handle_unknown オプションで対処できます。
from sklearn.preprocessing import OneHotEncoder encoder = OneHotEncoder(sparse_output=False, handle_unknown='ignore') # 学習データで fit train = [['赤'], ['青'], ['緑']] encoder.fit(train) # 未知のカテゴリを含むデータを変換 test = [['赤'], ['黄']] encoded = encoder.transform(test) print(encoded) # [[0. 0. 1.] # 赤 # [0. 0. 0.]] # 黄（全て0になる）
| handle_unknown | 動作 |
|---|---|
| error | エラーを発生（デフォルト） |
| ignore | 全て 0 のベクトルにする |
| infrequent_if_exist | 稀なカテゴリとして扱う |
DataFrame との統合
OneHotEncoder の結果を DataFrame に戻す方法です。
from sklearn.preprocessing import OneHotEncoder import pandas as pd df = pd.DataFrame({ 'color': ['赤', '青', '緑'], 'size': ['S', 'M', 'L'], 'price': [100, 200, 300] }) # カテゴリ列のみエンコード encoder = OneHotEncoder(sparse_output=False) cat_columns = ['color', 'size'] encoded = encoder.fit_transform(df[cat_columns]) feature_names = encoder.get_feature_names_out(cat_columns) # DataFrame に変換して結合 encoded_df = pd.DataFrame(encoded, columns=feature_names) result = pd.concat([df.drop(columns=cat_columns), encoded_df], axis=1) print(result)
ColumnTransformer でパイプライン化
実務では ColumnTransformer を使って、カテゴリ列と数値列を別々に処理するのが一般的です。
from sklearn.compose import ColumnTransformer from sklearn.preprocessing import OneHotEncoder, StandardScaler from sklearn.pipeline import Pipeline from sklearn.linear_model import LogisticRegression import pandas as pd df = pd.DataFrame({ 'color': ['赤', '青', '緑', '赤'], 'size': ['S', 'M', 'L', 'S'], 'price': [100, 200, 300, 150], 'target': [0, 1, 1, 0] }) # 前処理パイプライン preprocessor = ColumnTransformer( transformers=[ ('cat', OneHotEncoder(handle_unknown='ignore'), ['color', 'size']), ('num', StandardScaler(), ['price']) ] ) # モデルと結合 pipeline = Pipeline([ ('preprocessor', preprocessor), ('classifier', LogisticRegression()) ]) # 学習 X = df.drop(columns=['target']) y = df['target'] pipeline.fit(X, y) # 予測（新しいデータも同じ前処理が適用される） new_data = pd.DataFrame({ 'color': ['青'], 'size': ['M'], 'price': [250] }) pipeline.predict(new_data)
get_dummies
探索的分析や簡単な変換に便利。学習/テストの一貫性は手動で管理が必要。
OneHotEncoder
機械学習パイプラインに組み込みやすい。未知カテゴリの処理も可能。
get_dummies は手軽で直感的ですが、本番の機械学習システムでは OneHotEncoder を使ったパイプラインを構築するのが推奨されます。
