実データには欠損値（NaN）がつきものです。センサーの故障、通信エラー、データ収集の失敗など、さまざまな理由でデータが欠落します。pandas には欠損値を補間するための多様な方法が用意されています。
欠損値の確認
まず、欠損値を含むサンプルデータを作成します。
import pandas as pd import numpy as np # 欠損値を含むデータ df = pd.DataFrame({ 'date': pd.date_range('2024-01-01', periods=10, freq='D'), 'value': [100, np.nan, np.nan, 103, 105, np.nan, 108, 110, np.nan, 115] }).set_index('date') print(df) # value # date # 2024-01-01 100.0 # 2024-01-02 NaN # 2024-01-03 NaN # 2024-01-04 103.0 # 2024-01-05 105.0 # 2024-01-06 NaN # 2024-01-07 108.0 # 2024-01-08 110.0 # 2024-01-09 NaN # 2024-01-10 115.0
欠損値の数や位置を確認するには、いくつかの方法があります。
# 欠損値の数 print(df.isna().sum()) # value 4 # 欠損値がある行 print(df[df['value'].isna()]) # 欠損値の割合 print(df.isna().mean()) # value 0.4
前方補間（ffill）と後方補間（bfill）
最もシンプルな補間方法は、直前または直後の有効な値で埋める方法です。
# 前方補間：直前の値で埋める df['ffill'] = df['value'].ffill() # 後方補間：直後の値で埋める df['bfill'] = df['value'].bfill() print(df) # value ffill bfill # date # 2024-01-01 100.0 100.0 100.0 # 2024-01-02 NaN 100.0 103.0 # 2024-01-03 NaN 100.0 103.0 # 2024-01-04 103.0 103.0 103.0 # ...
連続する欠損値が多い場合、ffill だと同じ値が長く続いてしまいます。limit パラメータで補間する最大数を制限できます。
# 最大1つまで前方補間 df['ffill_limit'] = df['value'].ffill(limit=1) print(df) # value ffill_limit # date # 2024-01-01 100.0 100.0 # 2024-01-02 NaN 100.0 # 補間される # 2024-01-03 NaN NaN # 制限超過で補間されない # 2024-01-04 103.0 103.0 # ...
時系列データで「最新の既知の値を使う」場合に適している。例：センサー故障時に直前の値を使う。
データを遡って処理する場合に使う。リアルタイム処理では使えない（未来の値を参照するため）。
線形補間（interpolate）
前後の値から線形に補間する方法です。より自然な補間結果が得られます。
# 線形補間 df['linear'] = df['value'].interpolate(method='linear') print(df[['value', 'ffill', 'linear']]) # value ffill linear # date # 2024-01-01 100.0 100.0 100.0 # 2024-01-02 NaN 100.0 101.0 # (100+103)/2 に近い値 # 2024-01-03 NaN 100.0 102.0 # 2024-01-04 103.0 103.0 103.0 # ...
interpolate には多くの補間方法があります。
| method | 説明 |
|---|---|
| linear | 線形補間（デフォルト） |
| time | 時間間隔を考慮した線形補間 |
| index | インデックス値を考慮した補間 |
| pad / ffill | 前方補間 |
| nearest | 最も近い値で補間 |
| polynomial | 多項式補間 |
| spline | スプライン補間 |
時間ベースの補間
不規則な間隔の時系列データでは、method='time' を使うと時間間隔を考慮した補間ができます。
# 不規則な間隔のデータ irregular = pd.DataFrame({ 'value': [100, np.nan, 200] }, index=pd.to_datetime(['2024-01-01', '2024-01-02', '2024-01-11'])) # 線形補間（インデックス位置ベース） irregular['linear'] = irregular['value'].interpolate(method='linear') # 時間補間（時間間隔ベース） irregular['time'] = irregular['value'].interpolate(method='time') print(irregular) # value linear time # 2024-01-01 100.0 100.0 100.0 # 2024-01-02 NaN 150.0 110.0 # 時間では1/10の位置 # 2024-01-11 200.0 200.0 200.0
method='linear' はインデックスの位置（0, 1, 2）で補間するため中間値 150 になりますが、method='time' は時間間隔を考慮して 110 に近い値になります。
スプライン補間
滑らかな曲線で補間したい場合はスプライン補間が有効です。
# スプライン補間（3次） df['spline'] = df['value'].interpolate(method='spline', order=3) # 多項式補間（2次） df['poly'] = df['value'].interpolate(method='polynomial', order=2)
スプライン補間を使うには scipy がインストールされている必要があります。order パラメータで多項式の次数を指定します。
シンプルで高速。ほとんどの場合はこれで十分。
滑らかな曲線が必要な場合に使う。ただしデータの端で不安定になることがある。
特定の値で埋める
補間ではなく、固定値で埋めたい場合は fillna を使います。
# 0で埋める df['zero'] = df['value'].fillna(0) # 平均値で埋める df['mean'] = df['value'].fillna(df['value'].mean()) # 中央値で埋める df['median'] = df['value'].fillna(df['value'].median())
グループごとの平均値で埋めることもできます。
# カテゴリ付きデータ df = pd.DataFrame({ 'category': ['A', 'A', 'A', 'B', 'B', 'B'], 'value': [10, np.nan, 12, 100, np.nan, 110] }) # グループ別の平均値で埋める df['filled'] = df.groupby('category')['value'].transform( lambda x: x.fillna(x.mean()) ) print(df) # category value filled # 0 A 10.0 10.0 # 1 A NaN 11.0 # Aグループの平均 # 2 A 12.0 12.0 # 3 B 100.0 100.0 # 4 B NaN 105.0 # Bグループの平均 # 5 B 110.0 110.0
欠損値を削除する
補間が適切でない場合、欠損値を含む行を削除する選択肢もあります。
# 欠損値を含む行を削除 df_clean = df.dropna() # 特定の列に欠損値がある行を削除 df_clean = df.dropna(subset=['value']) # 全ての列が欠損の行のみ削除 df_clean = df.dropna(how='all') # 閾値以上のデータがある行を残す df_clean = df.dropna(thresh=2) # 2列以上に値があれば残す
補間方法の選び方
補間方法の選択は、データの性質と用途によって異なります。
センサーデータ
ffill または線形補間
直前の値を使うか、前後から推測
金融データ
ffill（直前の価格を使用）
ゼロや平均値での補間は不適切
科学データ
スプライン補間
滑らかな連続性が必要
欠損値の補間は分析結果に大きく影響します。データの欠損パターン（ランダムか、特定の条件で発生するか）を理解し、適切な補間方法を選ぶことが重要です。また、補間後のデータが元のデータの特性（分布、相関など）を大きく変えていないか確認することも大切です。
