機械学習ではカテゴリカル変数を数値に変換する必要があります。「ダミー変数」や「One-Hot エンコーディング」と呼ばれるこの処理を、pandas の get_dummies と scikit-learn の OneHotEncoder で実装する方法を解説します。
ダミー変数とは
カテゴリ変数の各カテゴリに対して、該当すれば 1、しなければ 0 の列を作成します。
import pandas as pd
df = pd.DataFrame({
'color': ['赤', '青', '緑', '赤', '青']
})
# ダミー変数化
dummies = pd.get_dummies(df['color'])
print(dummies)
# 青 緑 赤
# 0 0 0 1
# 1 1 0 0
# 2 0 1 0
# 3 0 0 1
# 4 1 0 0
get_dummies の基本
get_dummies は pandas の関数で、シンプルな変換に適しています。
import pandas as pd
df = pd.DataFrame({
'name': ['田中', '佐藤', '鈴木'],
'city': ['東京', '大阪', '東京'],
'age': [25, 30, 35]
})
# 単一列をダミー変数化
pd.get_dummies(df['city'])
# DataFrame 全体に適用（object 型の列を自動検出）
pd.get_dummies(df)
# name age city_大阪 city_東京
# 0 田中 25 0 1
# 1 佐藤 30 1 0
# 2 鈴木 35 0 1
prefix オプション
複数の列をダミー変数化する場合、prefix で接頭辞をつけると識別しやすくなります。
df = pd.DataFrame({
'color': ['赤', '青', '赤'],
'size': ['S', 'M', 'L']
})
dummies = pd.get_dummies(df, prefix=['color', 'size'])
print(dummies.columns.tolist())
# ['color_赤', 'color_青', 'size_L', 'size_M', 'size_S']
drop_first で多重共線性を回避
回帰分析では、ダミー変数の全てを使うと多重共線性の問題が起きます。drop_first=True で 1 つ目のカテゴリを落とせます。
df = pd.DataFrame({
'color': ['赤', '青', '緑', '赤']
})
# 全カテゴリ
print(pd.get_dummies(df['color']))
# 青 緑 赤
# 0 0 0 1
# 1 1 0 0
# 2 0 1 0
# 3 0 0 1
# 最初のカテゴリを落とす
print(pd.get_dummies(df['color'], drop_first=True))
# 緑 赤
# 0 0 1
# 1 0 0
# 2 1 0
# 3 0 1
「青」の列がなくなりました。緑=0、赤=0 なら青と判断できます。
drop_first=False
全カテゴリを保持。解釈しやすいが、回帰分析で問題になる可能性。
drop_first=True
多重共線性を回避。回帰分析では推奨。
scikit-learn の OneHotEncoder
機械学習パイプラインでは OneHotEncoder がよく使われます。学習データとテストデータで一貫した変換が保証されるためです。
from sklearn.preprocessing import OneHotEncoder
import pandas as pd
import numpy as np
df = pd.DataFrame({
'color': ['赤', '青', '緑', '赤']
})
# OneHotEncoder を作成
encoder = OneHotEncoder(sparse_output=False)
# 学習と変換
encoded = encoder.fit_transform(df[['color']])
print(encoded)
# [[0. 0. 1.]
# [1. 0. 0.]
# [0. 1. 0.]
# [0. 0. 1.]]
# カテゴリの確認
print(encoder.categories_)
# [array(['緑', '赤', '青'], dtype=object)]
未知のカテゴリへの対処
get_dummies の問題点は、学習データにないカテゴリがテストデータに現れたときです。
import pandas as pd
# 学習データ
train = pd.DataFrame({'color': ['赤', '青', '緑']})
train_dummies = pd.get_dummies(train['color'])
# テストデータに新しいカテゴリ「黄」がある
test = pd.DataFrame({'color': ['赤', '黄']})
test_dummies = pd.get_dummies(test['color'])
print(train_dummies.columns.tolist())
# ['緑', '赤', '青']
print(test_dummies.columns.tolist())
# ['赤', '黄'] # 列が一致しない！
OneHotEncoder なら handle_unknown オプションで対処できます。
from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder(sparse_output=False, handle_unknown='ignore')
# 学習データで fit
train = [['赤'], ['青'], ['緑']]
encoder.fit(train)
# 未知のカテゴリを含むデータを変換
test = [['赤'], ['黄']]
encoded = encoder.transform(test)
print(encoded)
# [[0. 0. 1.] # 赤
# [0. 0. 0.]] # 黄（全て0になる）
| handle_unknown | 動作 |
|---|---|
| error | エラーを発生（デフォルト） |
| ignore | 全て 0 のベクトルにする |
| infrequent_if_exist | 稀なカテゴリとして扱う |
DataFrame との統合
OneHotEncoder の結果を DataFrame に戻す方法です。
from sklearn.preprocessing import OneHotEncoder
import pandas as pd
df = pd.DataFrame({
'color': ['赤', '青', '緑'],
'size': ['S', 'M', 'L'],
'price': [100, 200, 300]
})
# カテゴリ列のみエンコード
encoder = OneHotEncoder(sparse_output=False)
cat_columns = ['color', 'size']
encoded = encoder.fit_transform(df[cat_columns])
feature_names = encoder.get_feature_names_out(cat_columns)
# DataFrame に変換して結合
encoded_df = pd.DataFrame(encoded, columns=feature_names)
result = pd.concat([df.drop(columns=cat_columns), encoded_df], axis=1)
print(result)
ColumnTransformer でパイプライン化
実務では ColumnTransformer を使って、カテゴリ列と数値列を別々に処理するのが一般的です。
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
import pandas as pd
df = pd.DataFrame({
'color': ['赤', '青', '緑', '赤'],
'size': ['S', 'M', 'L', 'S'],
'price': [100, 200, 300, 150],
'target': [0, 1, 1, 0]
})
# 前処理パイプライン
preprocessor = ColumnTransformer(
transformers=[
('cat', OneHotEncoder(handle_unknown='ignore'), ['color', 'size']),
('num', StandardScaler(), ['price'])
]
)
# モデルと結合
pipeline = Pipeline([
('preprocessor', preprocessor),
('classifier', LogisticRegression())
])
# 学習
X = df.drop(columns=['target'])
y = df['target']
pipeline.fit(X, y)
# 予測（新しいデータも同じ前処理が適用される）
new_data = pd.DataFrame({
'color': ['青'],
'size': ['M'],
'price': [250]
})
pipeline.predict(new_data)
get_dummies
探索的分析や簡単な変換に便利。学習/テストの一貫性は手動で管理が必要。
OneHotEncoder
機械学習パイプラインに組み込みやすい。未知カテゴリの処理も可能。
get_dummies は手軽で直感的ですが、本番の機械学習システムでは OneHotEncoder を使ったパイプラインを構築するのが推奨されます。
