strings_sum_benchmark.py ドキュメント

概要

Pythonにおける複数の文字列連結処理のパフォーマンスを比較検証するベンチマークスクリプトです。80文字の # からなる文字列チャンクを繰り返し連結する4つの異なる手法について実行時間を計測し、それぞれの実行時間の中央値と最小値を出力します。

背景と目的

Pythonにおける文字列は不変(イミュータブル)オブジェクトであり、大量の文字列を繰り返し連結する処理は、手法によってメモリ確保のオーバーヘッドが大きく異なります。本プログラムは、非効率とされる s = s + chunk やCPythonの最適化が効く s += chunk の違い、そしてより実践的な手法であるリストと join を組み合わせた手法や、 StringIO.write を用いた手法のパフォーマンス差を具体的な計測値で確認することを目的としています。

依存関係

本プログラムは標準ライブラリのみを使用しており、外部ライブラリへの依存はありません。

  • argparse

  • statistics

  • time

  • io

  • typing

アルゴリズムと処理フロー

本プログラムでは、以下の4つの文字列連結アルゴリズムの実行速度を比較します。

  1. s = s + chunk 毎回の連結処理において、新しい文字列オブジェクトを生成するため、連結回数に対して実行時間が増大しやすい手法です。

  2. s += chunk CPythonの内部最適化(インプレース連結のファストパス)が適用される場合があり、単純な + 演算子による連結よりも高速に動作することがある手法です。

  3. list.append と join 文字列チャンクを一度リストに格納し、最後に join メソッドで一括して結合する手法です。一般的にPythonにおける文字列の大量結合において推奨される高速なアプローチです。

  4. StringIO.write メモリ上のテキストストリームである StringIO に文字列を書き込み、最後に getvalue で結合結果を取得する手法です。

処理フロー

  1. コマンドライン引数から、チャンクの連結回数と各手法の実行試行回数を受け取ります。

  2. チャンクサイズと連結回数に基づき、最終出力となる文字列の合計サイズ(単位: \(MiB\))を計算し、画面に表示します。

  3. 4種類の連結関数を順次呼び出し、指定された回数分ループ実行して time.perf_counter で処理時間(単位: \(s\))を計測します。

  4. 計測結果から実行時間の中央値および最小値を算出し、手法名とともに標準出力へ整形して表示します。

入出力仕様

入力

コマンドラインオプションを通じて以下の引数を受け付けます。

  • -n , --count : 文字列チャンクを連結する回数を指定します。デフォルトは 100000 です。 0 以上の整数を指定する必要があります。

  • -r , --repeat : 各連結手法の計測試行回数を指定します。デフォルトは 3 です。 1 以上の整数を指定する必要があります。

出力

以下の情報が標準出力(コンソール)に出力されます。

  • チャンクの内容、連結回数、および最終的な出力サイズ(単位: \(MiB\))

  • 各手法ごとのベンチマーク結果(手法名、実行時間の中央値、実行時間の最小値)

実行例

デフォルト設定(連結回数100,000回、試行回数3回)で実行する場合:

python strings_sum_benchmark.py

連結回数を1,000,000回、試行回数を5回に指定して実行する場合:

python strings_sum_benchmark.py -n 1000000 -r 5