run_benchmark.py ダウンロード/コピー

run_benchmark.py をダウンロード

run_benchmark.py
run_benchmark.py
 1"""
 2概要:
 3    4つの実装を同一の引数で別プロセスとして実行します。
 4
 5詳細説明:
 6    python, numpy, numba, c のバックエンドを指定して、それぞれの実装を別プロセスで実行します。
 7    実行結果はJSON形式の出力から読み取られ、参照データとの計算結果の一致や実行時間の比較が行われます。
 8    最終的なベンチマーク結果は指定されたJSONファイルに保存されます。
 9
10関連リンク:
11    run_benchmark_usage
12"""
13import argparse
14import json
15import subprocess
16import sys
17from pathlib import Path
18import numpy as np
19
20def main():
21    """
22    概要:
23        コマンドライン引数を解析し、各バックエンドのシミュレーションを実行および評価します。
24
25    詳細説明:
26        argparseを使用して引数をパースし、指定された各スクリプトをサブプロセスで呼び出します。
27        実行結果のJSON出力をパースし、位置や速度の計算結果が最初のバックエンドの実装と許容誤差内で一致するか確認します。
28        最後にベンチマーク結果を標準出力に表示し、JSONファイルに保存します。
29
30    戻り値:
31        :returns: 戻り値はありません。
32        :rtype: None
33
34    例外:
35        :raises SystemExit: バックエンドの実行に失敗した場合、または結果が参照実装と一致しない場合に終了コード1で終了します。
36    """
37    parser = argparse.ArgumentParser(description=__doc__, add_help=False)
38    parser.add_argument('--backends', default='python,numpy,numba,c')
39    parser.add_argument('--output', default='benchmark_results.json')
40    parser.add_argument('--rtol', type=float, default=1e-8)
41    parser.add_argument('--atol', type=float, default=1e-10)
42    args, forwarded = parser.parse_known_args()
43    if '--help' in forwarded:
44        print('Runner: --backends python,numpy,numba,c --output benchmark_results.json --rtol 1e-8 --atol 1e-10\nCommon simulation arguments:')
45        subprocess.run([sys.executable, str(Path(__file__).with_name('diffeq2nd_planet.py')), '--help'], check=True)
46        return
47    files = {'python':'diffeq2nd_planet.py','numpy':'diffeq2nd_planet_generator.py',
48             'numba':'diffeq2nd_planet_generator_numba.py','c':'diffeq2nd_planet_c.py'}
49    results = []; failures = []; reference = None
50    for backend in args.backends.split(','):
51        if backend not in files: parser.error(f'Unknown backend: {backend}')
52        print(f'Running {backend} ...', flush=True)
53        proc = subprocess.run([sys.executable, str(Path(__file__).with_name(files[backend])), *forwarded, '--json'], capture_output=True, text=True)
54        if proc.returncode:
55            failures.append({'backend':backend, 'error':proc.stderr})
56            print(f'{backend}: FAILED\n{proc.stderr}', file=sys.stderr)
57            continue
58        result = json.loads(proc.stdout)
59        if reference is None: reference = result
60        result['matches_reference'] = all(np.allclose(result[key],reference[key],rtol=args.rtol,atol=args.atol) for key in ['r','v'])
61        result['max_position_error_au'] = float(np.max(np.abs(np.array(result['r'])-reference['r'])))
62        results.append(result)
63        print(f"{backend}: startup={result['startup_s']:.6f}s, trials={result['times_s']}, median={result['median_s']:.6f}s, match={result['matches_reference']}", flush=True)
64    Path(args.output).write_text(json.dumps({'reference':None if reference is None else reference['backend'], 'rtol':args.rtol,'atol':args.atol,'results':results,'failures':failures}, indent=2), encoding='utf-8')
65    if results:
66        base = results[0]['median_s']
67        print('backend    median(s)    speedup    match')
68        for r in results: print(f"{r['backend']:8} {r['median_s']:10.6f} {base/r['median_s']:9.2f} {r['matches_reference']}")
69    if failures or any(not r['matches_reference'] for r in results): raise SystemExit(1)
70
71if __name__ == '__main__': main()