ufunc_benchmark.py ドキュメント

概要

ufunc_benchmark.py は、Pythonにおける要素ごとの数値計算のパフォーマンスを複数の実装方法(純粋なPythonループ、リスト内包表記、NumPy、Numbaなど)で比較評価するためのベンチマークスクリプトです。各実装の実行時間、基準実装(NumPyの ufunc )に対する速度向上比、および計算結果の正確さを測定し、標準出力にレポートを表示します。

特徴・機能

  • 多様な実装の比較: Pythonの for ループ、リスト内包表記、NumPyの ufunc 、 np.vectorize 、およびNumbaのJITコンパイル( @vectorize および @njit )による実行速度を比較します。

  • 正確性の検証: 各メソッドの計算結果が、基準となるNumPyによる計算結果と許容誤差の範囲内で一致するかを毎回の試行で検証します。

  • ウォームアップの分離: NumbaのJITコンパイル時間や、各関数の初回呼び出し時のオーバーヘッド(ウォームアップ時間)を、ベンチマークの計測時間から分離して測定・表示します。

  • バイアス低減の工夫: 実行順序によるキャッシュ状態やCPUクロックの変動などの影響を均すため、試行ごとに各メソッドの実行順序をローテーションさせます。

前提条件・依存ライブラリ

本スクリプトを実行するには、以下の環境およびライブラリが必要です。

  • Python: プラットフォームに依存しない標準環境

  • 標準ライブラリ: argparse, math, platform, statistics, time

  • サードパーティライブラリ:

    • numpy (必須)

    • numba (任意。インストールされていない場合は自動的にスキップされます)

実行例

デフォルトの設定(要素数 \(1000000\) 、試行回数 \(5\) )で実行する場合は、以下のコマンドを使用します。

python ufunc_benchmark.py

配列の要素数を \(5000000\) にし、試行回数を \(10\) 回に設定して実行する例です。

python ufunc_benchmark.py -n 5000000 --repeat 10

Numbaがインストールされている環境であっても、意図的にNumbaの評価をスキップする場合は --no-numba オプションを指定します。

python ufunc_benchmark.py --no-numba

入出力仕様

入力(コマンドライン引数)

スクリプトは以下のコマンドラインオプションを受け付けます。

  • -n, --count: ベンチマークに使用する配列の要素数(デフォルト: \(1000000\) )。 \(1\) 以上の整数を指定する必要があります。

  • --repeat: ベンチマークの試行回数(デフォルト: \(5\) )。 \(1\) 以上の整数を指定する必要があります。

  • --no-numba: Numbaを用いた実装の評価を行わない場合に指定するフラグです。

出力(標準出力)

処理結果は以下の形式で標準出力にテキストとして表示されます。ファイルへの出力処理は実装されていません。

  1. 実行環境と条件: PythonおよびNumPyのバージョン、実行OS、対象の関数式、要素数、試行回数。

  2. ウォームアップ時間: 各実装の初回実行(およびNumbaのコンパイル)に要した時間。

  3. ベンチマーク進行状況: 各試行が完了するごとの進捗メッセージ。

  4. 結果レポート: 各実装の実行時間の中央値、最小値、基準実装に対する速度向上比( speedup )、最大絶対誤差( max.abs.err )、および結果の整合性( match )。

処理の流れ・アルゴリズム

1. ベンチマーク対象の数学的モデル

本スクリプトで各実装が評価に用いる対象の関数は、入力 \(x\) に対して要素ごとに以下の計算を行います。

\[f(x) = \sin(x) + x^2 + 1\]

入力データとして、区間 \([-3.0, 3.0]\) を指定された要素数で等分割した float64 型の配列を使用します。

2. 初期化と基準値の算出

コマンドライン引数の解析後、対象の入力配列 x を生成します。その後、NumPyの組み込み ufunc を用いて計算した結果を reference として保持します。この基準値は、後続の全ての計算結果の正確性を評価するために使用されます。

3. NumbaのJITコンパイルとウォームアップ

--no-numba が指定されておらず、かつ numba がインポート可能である場合、以下の2つのアプローチでJITコンパイルを準備します。

  • Numbaの @vectorize デコレータを用いたユニバーサル関数の生成。

  • Numbaの @njit デコレータを用いた明示的な配列ループ処理のコンパイル。

その後、計測対象となるすべての関数に対して入力データ全体を用いたテスト実行(ウォームアップ)を行い、初回実行にかかるオーバーヘッドを計測・記録します。また、この段階で出力結果が reference と比較され、相対許容誤差 \(1 \times 10^{-12}\) および絶対許容誤差 \(1 \times 10^{-12}\) の範囲内で一致するかを確認します。

4. ベンチマークのメインループとローテーションアルゴリズム

指定された試行回数( repeat )にわたって、各実装の実行時間を測定します。固定順序による系統的なバイアス(CPU温度の変化やキャッシュの利用状況など)を低減するため、試行 \(j\) において実装リストの実行開始オフセット \(k\) を以下のモジュロ演算によって決定し、実行順序を循環させます。

\[k = j \pmod{N_{\mathrm{methods}}}\]

各試行において算出された出力配列は、都度 reference と比較され、最大絶対誤差が記録されます。評価が完了した出力配列は、メモリ逼迫を防ぐために直ちに破棄( del )されます。

5. 統計量の算出とレポート出力

全試行の完了後、各メソッドの実行時間のリストから中央値および最小値を算出します。純粋なPythonの for ループ実装の中央値を基準時間として、各メソッドの速度向上比(中央値ベース)を計算し、整形されたテキストレポートとして出力します。最後に、NumPyの処理の仕組み(複数パスの利用)とNumbaのループ融合に関する考察メッセージが出力され、処理が終了します。