benchmark.py ダウンロード/コピー
benchmark.py
benchmark.py
1"""
2概要:
3 オリジナルのPython版tkfermiとC言語移植版を比較するベンチマークスクリプトです。
4詳細説明:
5 キャッシュを無効にしたPython版と、C言語に部分移植された高速版の間で、
6 処理時間および計算結果の相対誤差を比較します。
7 結果はコマンドラインに出力されるとともに、CSVファイルとして保存されます。
8"""
9import argparse
10import csv
11from pathlib import Path
12import platform
13import statistics
14import sys
15from time import perf_counter
16
17import numpy as np
18import scipy
19import tkfermi_python as original
20import tkfermi_c as native
21
22
23def positive_int(text):
24 """
25 概要:
26 文字列を1以上の正の整数に変換します。
27 詳細説明:
28 argparseの型変換用関数として使用されます。指定された文字列を整数に変換し、
29 1未満であればエラーを発生させます。
30 引数:
31 :param text: 変換対象の文字列。
32 :type text: str
33 戻り値:
34 :returns: 変換後の正の整数。
35 :rtype: int
36 例外:
37 :raises argparse.ArgumentTypeError: 変換した値が1未満の場合に発生します。
38 """
39 value = int(text)
40 if value < 1:
41 raise argparse.ArgumentTypeError('must be >= 1')
42 return value
43
44
45def main():
46 """
47 概要:
48 ベンチマークのメイン処理を実行します。
49 詳細説明:
50 コマンドライン引数を解析し、Python版とC言語版の各実装について指定された条件で
51 実行時間を計測します。計算結果の相対誤差や高速化の度合いを計算し、
52 標準出力への表示とCSVファイルへの保存を行います。
53 """
54 parser = argparse.ArgumentParser(description=__doc__)
55 parser.add_argument('-n', '--count', type=positive_int, default=1000,
56 help='calls per eta per implementation per trial (default: 1000)')
57 parser.add_argument('--repeat', type=positive_int, default=3)
58 parser.add_argument('--eta', nargs='+', type=float,
59 default=[-10, -3, -1, -0.1001, -0.1, 0, 1, 5, 10, 19.9, 20, 50, 100])
60 parser.add_argument('--order', type=float, choices=[0.5, 1.5], default=0.5)
61 parser.add_argument('--output', type=Path, default=Path('tkfermi_comparison'))
62 args = parser.parse_args()
63 if not all(np.isfinite(x) for x in args.eta):
64 parser.error('eta must be finite')
65
66 # Replace the cached function in its own global namespace.
67 cached = original._FermiIntegral_cached
68 cached.cache_clear()
69 original._FermiIntegral_cached = cached.__wrapped__
70 assert not hasattr(original._FermiIntegral_cached, 'cache_info')
71 print('Original cache: DISABLED (__wrapped__); C version: NO CACHE')
72 print(f'{platform.platform()} | Python {sys.version.split()[0]} | '
73 f'NumPy {np.__version__} | SciPy {scipy.__version__}')
74 print(f'order={args.order}, count={args.count} per eta per trial, repeat={args.repeat}')
75 # Identical one-argument wrapper overhead; real ctypes/LowLevelCallable overhead included.
76 def python_fn(eta):
77 return original.FermiIntegral_fast(eta, args.order)
78 def c_fn(eta):
79 return native.FermiIntegral_fast(eta, args.order)
80 functions = [('Python', python_fn), ('C', c_fn)]
81 rows, trials = [], []
82 print(f'{"eta":>9} {"region":>12} {"Python us":>12} {"C us":>12} '
83 f'{"speedup":>9} {"C/Py rel.diff":>15}')
84 for eta in args.eta:
85 py_value, c_value = python_fn(eta), c_fn(eta) # warmup, untimed
86 if not (np.isfinite(py_value) and np.isfinite(c_value)):
87 raise RuntimeError(f'Nonfinite result at eta={eta}')
88 difference = abs(c_value-py_value) / abs(py_value) if py_value else (
89 0.0 if c_value == 0 else float('inf'))
90 times = {'Python': [], 'C': []}
91 for trial in range(args.repeat):
92 for name, fn in functions[::1 if trial % 2 == 0 else -1]:
93 start = perf_counter()
94 for _ in range(args.count):
95 fn(eta)
96 elapsed = perf_counter() - start
97 times[name].append(elapsed)
98 trials.append(dict(eta=eta, implementation=name, trial=trial+1,
99 count=args.count, seconds=elapsed))
100 py_time, c_time = (statistics.median(times[k]) for k in ('Python', 'C'))
101 region = 'series' if eta < -0.1 else ('asymptotic' if eta >= 20 else 'quad')
102 row = dict(eta=eta, order=args.order, region=region, count=args.count,
103 repeat=args.repeat, python_seconds=py_time, c_seconds=c_time,
104 python_us=py_time/args.count*1e6, c_us=c_time/args.count*1e6,
105 speedup=py_time/c_time, python_value=py_value,
106 c_value=c_value, relative_difference=difference)
107 rows.append(row)
108 print(f'{eta:9g} {region:>12} {row["python_us"]:12.3f} '
109 f'{row["c_us"]:12.3f} {row["speedup"]:9.2f} {difference:15.3e}', flush=True)
110 py_total = sum(row['python_seconds'] for row in rows)
111 c_total = sum(row['c_seconds'] for row in rows)
112 print(f'Sum of per-eta median times: Python={py_total:.6f}s, C={c_total:.6f}s; '
113 f'speedup={py_total/c_total:.2f}x')
114 print('relative_difference compares C with Python, NOT with an exact integral.')
115 for suffix, data in [('summary', rows), ('trials', trials)]:
116 path = args.output.with_name(args.output.name + '_' + suffix + '.csv')
117 path.parent.mkdir(parents=True, exist_ok=True)
118 with path.open('w', newline='', encoding='utf-8-sig') as f:
119 writer = csv.DictWriter(f, fieldnames=list(data[0]))
120 writer.writeheader()
121 writer.writerows(data)
122 print('Saved:', path)
123
124
125if __name__ == '__main__':
126 main()