Python のジェネレータでメモリを節約する
ジェネレータの最大の利点は、メモリ効率の良さです。リストがすべての要素を一度にメモリに展開するのに対し、ジェネレータは必要なときに1つずつ値を生成します。この「遅延評価」により、大量のデータを扱う際にメモリを大幅に節約できます。
メモリ使用量の比較
100万個の数値を扱う場合の違いを見てみましょう。
import sys
# リスト：すべてメモリに展開
numbers_list = [x ** 2 for x in range(1_000_000)]
print(f"リスト: {sys.getsizeof(numbers_list):,} bytes")
# リスト: 8,448,728 bytes（約8MB）
# ジェネレータ：計算式だけを保持
numbers_gen = (x ** 2 for x in range(1_000_000))
print(f"ジェネレータ: {sys.getsizeof(numbers_gen)} bytes")
# ジェネレータ: 200 bytesジェネレータはデータそのものではなく「どうやってデータを生成するか」だけを覚えているため、要素数に関わらずサイズがほぼ一定です。
大きなファイルの処理
巨大なファイルを処理する際、全行をリストに読み込むとメモリ不足になることがあります。
リストで読み込む（危険）
メモリに全行を展開する。数GBのファイルで OutOfMemoryError の可能性。
ジェネレータで処理（安全）
1行ずつ読み込んで処理。ファイルサイズに関係なく一定のメモリで動作。
# 悪い例：全行をリストに読み込む
def read_all_lines(filename):
with open(filename) as f:
return f.readlines() # 全行がメモリに
# 良い例：ジェネレータで1行ずつ
def read_lines(filename):
with open(filename) as f:
for line in f:
yield line.strip()
# 使用例
for line in read_lines("huge_file.txt"):
process(line) # 1行ずつ処理データパイプラインの構築
ジェネレータを連結すると、メモリ効率の良いデータパイプラインを作れます。
def read_numbers(filename):
with open(filename) as f:
for line in f:
yield int(line.strip())
def filter_positive(numbers):
for n in numbers:
if n > 0:
yield n
def double(numbers):
for n in numbers:
yield n * 2
# パイプラインを構築（まだ何も実行されない）
pipeline = double(filter_positive(read_numbers("data.txt")))
# ここで初めて1行ずつ処理が実行される
for result in pipeline:
print(result)各ジェネレータは1要素ずつ処理するため、ファイル全体がメモリに載ることはありません。
sum() や max() との組み合わせ
集計処理でもジェネレータを活用できます。
# リスト内包表記（一度リストを作成）
total = sum([x ** 2 for x in range(1_000_000)])
# ジェネレータ式（リストを作らない）
total = sum(x ** 2 for x in range(1_000_000))後者はリストを作らずに直接合計を計算するため、メモリ使用量が大幅に少なくなります。
いつジェネレータを使うべきか
ジェネレータが適している
大量のデータを1回だけ処理する。全データを同時に必要としない。ストリーム処理やパイプライン。
リストが適している
データに何度もアクセスする。インデックスでランダムアクセスしたい。データ量が小さい。
メモリが限られた環境や、巨大なデータを扱う場合は、ジェネレータの活用を検討してください。
14views
