strings_sum_benchmark.py ドキュメント
概要
strings_sum_benchmark.py は、Pythonにおいて大量の文字列連結を行う際のパフォーマンスを評価するためのベンチマークプログラムです。Pythonの文字列は不変 (immutable) オブジェクトであるため、繰り返しの結合処理の書き方によって実行速度が大きく異なります。本プログラムは複数のアプローチで文字列を構築し、それぞれの実行コストを検証・比較します。
動作環境・依存ライブラリ
本プログラムはPython標準ライブラリのみを使用しており、非標準ライブラリへの依存はありません。 以下の標準ライブラリを使用しています。
argparsestatisticstimeiotyping
入力仕様
コマンドライン引数として以下のオプションを受け付けます。
-n,--count: 連結するチャンク (#の80回繰り返し文字列) の数を指定します (デフォルト: 100000)。0以上の整数を指定する必要があります。-r,--repeat: 各メソッドごとのベンチマーク実行回数を指定します (デフォルト: 3)。1以上の整数を指定する必要があります。
無効な値 (0未満のカウント数や1未満の繰り返し回数) が指定された場合は、エラーを出力して処理を中断します。
出力仕様
標準出力 (stdout) に対して以下の情報がテキスト形式で出力されます。
チャンクの構成、実行回数、生成される総出力サイズ ( \(\mathrm{MiB}\) ) のサマリ
各メソッドごとの実行時間の中央値 (
median) および最小値 (minimum)。時間の単位は秒 ( \(\mathrm{s}\) ) です。
処理・アルゴリズム概要
検証データの準備 連結の単位となる文字列として、
#を80文字繋げた定数CHUNKを使用します。文字列結合手法の実装 以下の4種類の手法で、指定された回数分だけ
CHUNKを結合します。s = s + chunk(concat_plus) : 変数に対して文字列を加算し、再代入する手法です。新しい文字列オブジェクトが都度作成されます。s += chunk(concat_iadd) : 累算代入演算子を使用する手法です。CPythonの内部最適化 (fast path) が適用されるかどうかの検証対象となります。list.append + join(list_join) : 空のリストにCHUNKを追加し続け、最後に文字列のjoinメソッドを使用して一括結合する手法です。StringIO.write(string_io) : メモリ内のテキストバッファであるio.StringIOに書き込みを続け、最終的にgetvalueメソッドで完全な文字列を取得する手法です。
計測と検証
各手法を指定された回数 (
repeat) 実行し、time.perf_counter()を用いて処理時間を計測します。処理完了後、生成された文字列の長さが想定される長さ (
len(CHUNK) * n) と一致するか検証します。不一致の場合はRuntimeErrorを送出します。statistics.medianを用いて実行時間の中央値を算出し、最小値と合わせて標準出力に表示します。
実行例
デフォルトの設定でベンチマークを実行する場合のコマンドです。
python strings_sum_benchmark.py
チャンク数を1,000,000回に増やし、各手法の計測を5回ずつ実行する場合のコマンドです。
python strings_sum_benchmark.py -n 1000000 -r 5