benchmark.py ダウンロード/コピー

benchmark.py をダウンロード

benchmark.py
benchmark.py
  1"""
  2概要:
  3    オリジナルのPython版tkfermiとC言語移植版を比較するベンチマークスクリプトです。
  4詳細説明:
  5    キャッシュを無効にしたPython版と、C言語に部分移植された高速版の間で、
  6    処理時間および計算結果の相対誤差を比較します。
  7    結果はコマンドラインに出力されるとともに、CSVファイルとして保存されます。
  8"""
  9import argparse
 10import csv
 11from pathlib import Path
 12import platform
 13import statistics
 14import sys
 15from time import perf_counter
 16
 17import numpy as np
 18import scipy
 19import tkfermi_python as original
 20import tkfermi_c as native
 21
 22
 23def positive_int(text):
 24    """
 25    概要:
 26        文字列を1以上の正の整数に変換します。
 27    詳細説明:
 28        argparseの型変換用関数として使用されます。指定された文字列を整数に変換し、
 29        1未満であればエラーを発生させます。
 30    引数:
 31        :param text: 変換対象の文字列。
 32        :type text: str
 33    戻り値:
 34        :returns: 変換後の正の整数。
 35        :rtype: int
 36    例外:
 37        :raises argparse.ArgumentTypeError: 変換した値が1未満の場合に発生します。
 38    """
 39    value = int(text)
 40    if value < 1:
 41        raise argparse.ArgumentTypeError('must be >= 1')
 42    return value
 43
 44
 45def main():
 46    """
 47    概要:
 48        ベンチマークのメイン処理を実行します。
 49    詳細説明:
 50        コマンドライン引数を解析し、Python版とC言語版の各実装について指定された条件で
 51        実行時間を計測します。計算結果の相対誤差や高速化の度合いを計算し、
 52        標準出力への表示とCSVファイルへの保存を行います。
 53    """
 54    parser = argparse.ArgumentParser(description=__doc__)
 55    parser.add_argument('-n', '--count', type=positive_int, default=1000,
 56                        help='calls per eta per implementation per trial (default: 1000)')
 57    parser.add_argument('--repeat', type=positive_int, default=3)
 58    parser.add_argument('--eta', nargs='+', type=float,
 59                        default=[-10, -3, -1, -0.1001, -0.1, 0, 1, 5, 10, 19.9, 20, 50, 100])
 60    parser.add_argument('--order', type=float, choices=[0.5, 1.5], default=0.5)
 61    parser.add_argument('--output', type=Path, default=Path('tkfermi_comparison'))
 62    args = parser.parse_args()
 63    if not all(np.isfinite(x) for x in args.eta):
 64        parser.error('eta must be finite')
 65
 66    # Replace the cached function in its own global namespace.
 67    cached = original._FermiIntegral_cached
 68    cached.cache_clear()
 69    original._FermiIntegral_cached = cached.__wrapped__
 70    assert not hasattr(original._FermiIntegral_cached, 'cache_info')
 71    print('Original cache: DISABLED (__wrapped__); C version: NO CACHE')
 72    print(f'{platform.platform()} | Python {sys.version.split()[0]} | '
 73          f'NumPy {np.__version__} | SciPy {scipy.__version__}')
 74    print(f'order={args.order}, count={args.count} per eta per trial, repeat={args.repeat}')
 75    # Identical one-argument wrapper overhead; real ctypes/LowLevelCallable overhead included.
 76    def python_fn(eta):
 77        return original.FermiIntegral_fast(eta, args.order)
 78    def c_fn(eta):
 79        return native.FermiIntegral_fast(eta, args.order)
 80    functions = [('Python', python_fn), ('C', c_fn)]
 81    rows, trials = [], []
 82    print(f'{"eta":>9} {"region":>12} {"Python us":>12} {"C us":>12} '
 83          f'{"speedup":>9} {"C/Py rel.diff":>15}')
 84    for eta in args.eta:
 85        py_value, c_value = python_fn(eta), c_fn(eta)  # warmup, untimed
 86        if not (np.isfinite(py_value) and np.isfinite(c_value)):
 87            raise RuntimeError(f'Nonfinite result at eta={eta}')
 88        difference = abs(c_value-py_value) / abs(py_value) if py_value else (
 89            0.0 if c_value == 0 else float('inf'))
 90        times = {'Python': [], 'C': []}
 91        for trial in range(args.repeat):
 92            for name, fn in functions[::1 if trial % 2 == 0 else -1]:
 93                start = perf_counter()
 94                for _ in range(args.count):
 95                    fn(eta)
 96                elapsed = perf_counter() - start
 97                times[name].append(elapsed)
 98                trials.append(dict(eta=eta, implementation=name, trial=trial+1,
 99                                   count=args.count, seconds=elapsed))
100        py_time, c_time = (statistics.median(times[k]) for k in ('Python', 'C'))
101        region = 'series' if eta < -0.1 else ('asymptotic' if eta >= 20 else 'quad')
102        row = dict(eta=eta, order=args.order, region=region, count=args.count,
103                   repeat=args.repeat, python_seconds=py_time, c_seconds=c_time,
104                   python_us=py_time/args.count*1e6, c_us=c_time/args.count*1e6,
105                   speedup=py_time/c_time, python_value=py_value,
106                   c_value=c_value, relative_difference=difference)
107        rows.append(row)
108        print(f'{eta:9g} {region:>12} {row["python_us"]:12.3f} '
109              f'{row["c_us"]:12.3f} {row["speedup"]:9.2f} {difference:15.3e}', flush=True)
110    py_total = sum(row['python_seconds'] for row in rows)
111    c_total = sum(row['c_seconds'] for row in rows)
112    print(f'Sum of per-eta median times: Python={py_total:.6f}s, C={c_total:.6f}s; '
113          f'speedup={py_total/c_total:.2f}x')
114    print('relative_difference compares C with Python, NOT with an exact integral.')
115    for suffix, data in [('summary', rows), ('trials', trials)]:
116        path = args.output.with_name(args.output.name + '_' + suffix + '.csv')
117        path.parent.mkdir(parents=True, exist_ok=True)
118        with path.open('w', newline='', encoding='utf-8-sig') as f:
119            writer = csv.DictWriter(f, fieldnames=list(data[0]))
120            writer.writeheader()
121            writer.writerows(data)
122        print('Saved:', path)
123
124
125if __name__ == '__main__':
126    main()