strings_sum_benchmark.py ドキュメント
概要
Pythonにおける複数の文字列連結処理のパフォーマンスを比較検証するベンチマークスクリプトです。80文字の # からなる文字列チャンクを繰り返し連結する4つの異なる手法について実行時間を計測し、それぞれの実行時間の中央値と最小値を出力します。
背景と目的
Pythonにおける文字列は不変(イミュータブル)オブジェクトであり、大量の文字列を繰り返し連結する処理は、手法によってメモリ確保のオーバーヘッドが大きく異なります。本プログラムは、非効率とされる s = s + chunk やCPythonの最適化が効く s += chunk の違い、そしてより実践的な手法であるリストと join を組み合わせた手法や、 StringIO.write を用いた手法のパフォーマンス差を具体的な計測値で確認することを目的としています。
依存関係
本プログラムは標準ライブラリのみを使用しており、外部ライブラリへの依存はありません。
argparsestatisticstimeiotyping
アルゴリズムと処理フロー
本プログラムでは、以下の4つの文字列連結アルゴリズムの実行速度を比較します。
s = s + chunk毎回の連結処理において、新しい文字列オブジェクトを生成するため、連結回数に対して実行時間が増大しやすい手法です。s += chunkCPythonの内部最適化(インプレース連結のファストパス)が適用される場合があり、単純な+演算子による連結よりも高速に動作することがある手法です。list.appendとjoin文字列チャンクを一度リストに格納し、最後にjoinメソッドで一括して結合する手法です。一般的にPythonにおける文字列の大量結合において推奨される高速なアプローチです。StringIO.writeメモリ上のテキストストリームであるStringIOに文字列を書き込み、最後にgetvalueで結合結果を取得する手法です。
処理フロー
コマンドライン引数から、チャンクの連結回数と各手法の実行試行回数を受け取ります。
チャンクサイズと連結回数に基づき、最終出力となる文字列の合計サイズ(単位: \(MiB\))を計算し、画面に表示します。
4種類の連結関数を順次呼び出し、指定された回数分ループ実行して
time.perf_counterで処理時間(単位: \(s\))を計測します。計測結果から実行時間の中央値および最小値を算出し、手法名とともに標準出力へ整形して表示します。
入出力仕様
入力
コマンドラインオプションを通じて以下の引数を受け付けます。
-n,--count: 文字列チャンクを連結する回数を指定します。デフォルトは100000です。0以上の整数を指定する必要があります。-r,--repeat: 各連結手法の計測試行回数を指定します。デフォルトは3です。1以上の整数を指定する必要があります。
出力
以下の情報が標準出力(コンソール)に出力されます。
チャンクの内容、連結回数、および最終的な出力サイズ(単位: \(MiB\))
各手法ごとのベンチマーク結果(手法名、実行時間の中央値、実行時間の最小値)
実行例
デフォルト設定(連結回数100,000回、試行回数3回)で実行する場合:
python strings_sum_benchmark.py
連結回数を1,000,000回、試行回数を5回に指定して実行する場合:
python strings_sum_benchmark.py -n 1000000 -r 5