概要
run_benchmark.py は、同一の物理シミュレーションを異なる手法で実装した複数のプログラムを独立したプロセスで実行し、パフォーマンスと計算精度の比較を行うためのベンチマークツールです。
背景と目的
数値計算や物理シミュレーションにおいて、実装手法の違い(純粋なPython、NumPyによるベクトル化、NumbaによるJITコンパイル、C言語拡張など)が処理時間や計算精度に与える影響を定量的に評価する必要があります。本スクリプトは、それぞれの手法で実装された外部スクリプトをサブプロセスとして一括で実行し、実行時間(中央値)の比較による速度向上率の算出や、基準となる実装(リファレンス)の計算結果に対する誤差の自動判定を行うことを目的としています。ユーティリティ・データ処理プログラムとして設計されており、統一されたパラメータを各スクリプトに引き渡し、結果をJSON形式のファイルに集約します。
依存ライブラリと実行環境
本プログラムはPython標準ライブラリのほかに、以下の非標準ライブラリに依存しています。
numpy: 計算結果の配列データの処理や、許容誤差を用いた結果の一致判定 (numpy.allclose) を行うために使用されます。
使用されている標準ライブラリは以下の通りです。
argparsejsonsubprocesssyspathlib
入出力仕様
入力(コマンドライン引数)
本スクリプトはコマンドライン引数として以下のオプションを受け付けます。なお、これらの引数以外に入力されたオプションは、ベンチマーク対象の各スクリプトにそのまま引き継がれます。
--backends: 実行するバックエンドをカンマ区切りで指定します。デフォルトはpython,numpy,numba,cです。--output: 実行結果を保存するJSONファイルのパスを指定します。デフォルトはbenchmark_results.jsonです。--rtol: 計算結果の一致判定に用いる相対許容誤差を指定します。デフォルトは \(10^{-8}\) です。--atol: 計算結果の一致判定に用いる絶対許容誤差を指定します。デフォルトは \(10^{-10}\) です。--help: ベンチマークツールのヘルプに加え、対象となるシミュレーションスクリプトの共通引数ヘルプを表示します。
指定可能なバックエンドと呼び出されるファイル名の対応は以下の通りです。
python:diffeq2nd_planet.pynumpy:diffeq2nd_planet_generator.pynumba:diffeq2nd_planet_generator_numba.pyc:diffeq2nd_planet_c.py
出力(ファイルおよび標準出力)
JSONファイル: 各実装の実行時間(起動時間、実行時間のリスト、中央値)および計算結果の一致状況、最大位置誤差が保存されます。リファレンスとされたバックエンド名や、許容誤差(
rtolとatol)、実行に失敗した際のエラー出力も記録されます。標準出力: 各バックエンドの実行進捗、個別の処理時間、リファレンスを基準とした速度向上率 (speedup) がターミナルに表示されます。
誤差判定アルゴリズム
スクリプトは、最初に実行されたバックエンド(デフォルトでは python)の出力を基準(リファレンス)とし、位置データ r と速度データ v に対して許容誤差内であるかを確認します。判定には numpy.allclose が使用され、各要素について以下の条件を満たすかが評価されます。
\(| a - b | \le ( \text{atol} + \text{rtol} \times | b | )\)
ここで、\(a\) は評価対象の計算結果、\(b\) はリファレンスの計算結果を表します。すべての要素がこの条件を満たした場合にのみ、結果が一致した (matches_reference が True) とみなされます。いずれかのバックエンドで実行失敗や計算結果の不一致が発生した場合、プログラムは終了ステータス 1 で異常終了します。
実行例
デフォルトのバックエンドすべてを実行し、結果を benchmark_results.json に出力する基本的な実行例です。
python run_benchmark.py
特定のバックエンド (python と numpy) のみを比較対象とし、許容誤差の基準を緩め、カスタムの出力ファイル名を指定する実行例です。
python run_benchmark.py --backends python,numpy --output custom_results.json --rtol 1e-6 --atol 1e-8
シミュレーションスクリプト側に引き継ぐための固有の引数(例としてシミュレーション時間 --t_max を想定)を付与する実行例です。ツール側の引数以外のものは自動的に転送されます。
python run_benchmark.py --backends numba,c --t_max 100.0