benchmark_fd.py ダウンロード/コピー

benchmark_fd.py をダウンロード

benchmark_fd.py
benchmark_fd.py
  1"""
  2概要:
  3    添付6実装のF_1/2(eta)を比較します。元のプログラムは変更しません。
  4詳細説明:
  5    各実装のスクリプトを動的にロードして、Fermi-Dirac積分の計算速度と精度を比較するベンチマークスクリプトです。
  6    計算時間や相対誤差などの結果はCSVファイルとして出力されます。
  7"""
  8import argparse
  9import csv
 10import importlib.util
 11import math
 12from pathlib import Path
 13import statistics
 14import sys
 15from time import perf_counter
 16
 17import numpy as np
 18from scipy.integrate import quad
 19from scipy.special import expit
 20
 21
 22SOURCES = [
 23    ('sonnet5.5', 'Ne-T_sonnet5.5.py'),
 24    ('tkfermi', 'tkfermi_integral.py'),
 25    ('copilot', 'Ne-T_copilot.py'),
 26    ('Gemini3.8Flash', 'Ne-T_Gemini3.8Flash.py'),
 27    ('Gemini3Flash', 'Ne-T_Gemini3Flash.py'),
 28    ('sol', 'Ne-T_sol.py'),
 29]
 30NORMALIZATION = math.gamma(1.5)
 31
 32
 33def load_function(label, path):
 34    """
 35    概要:
 36        指定されたパスからPythonファイルとしてモジュールを動的に読み込みます。
 37    詳細説明:
 38        ファイル名にハイフンや括弧が含まれていても読み込めるように処理します。
 39        また対象モジュール内の関数に設定されたキャッシュを無効化し、
 40        すべての実装の出力を統一されたスケールに調整した関数を返します。
 41    引数:
 42        :param label: 実装を識別するための文字列
 43        :type label: str
 44        :param path: 読み込むPythonスクリプトのファイルパス
 45        :type path: pathlib.Path
 46    戻り値:
 47        :returns: 統一されたインターフェースを持つ計算関数とキャッシュが無効化された関数名のリストのタプル
 48        :rtype: tuple
 49    """
 50    # ファイル名にハイフンや括弧が含まれるので、パスからimportする。
 51    name = 'fd_bench_' + label.replace('.', '_')
 52    spec = importlib.util.spec_from_file_location(name, path)
 53    module = importlib.util.module_from_spec(spec)
 54    sys.modules[name] = module  # dataclassを使用するモジュールにも必要
 55    spec.loader.exec_module(module)
 56
 57    disabled = []
 58    for name, obj in list(vars(module).items()):
 59        if callable(obj) and hasattr(obj, 'cache_clear') and hasattr(obj, '__wrapped__'):
 60            obj.cache_clear()
 61            # キャッシュのラッパーを外す。毎回cache_clearする時間は計測しない。
 62            while hasattr(obj, '__wrapped__'):
 63                obj = obj.__wrapped__
 64            setattr(module, name, obj)
 65            disabled.append(name)
 66
 67    # 全実装を 1/Gamma(3/2) * integral(x**0.5 * f, x=0..inf) に統一。
 68    if label == 'tkfermi':
 69        fn = module.FermiIntegral_half
 70        function = lambda eta: fn(eta) / NORMALIZATION
 71    elif label == 'sonnet5.5':
 72        function = module.fd_half
 73    elif label == 'Gemini3Flash':
 74        fn = module.Fj
 75        function = lambda eta: fn(eta) / NORMALIZATION
 76    elif label == 'sol':
 77        function = module.Fj
 78    else:
 79        fn = module.Fj
 80        function = lambda eta: fn(0.5, eta)
 81    return function, disabled
 82
 83
 84def reference(eta):
 85    """
 86    概要:
 87        精度確認用の独立な数値積分を行います。
 88    詳細説明:
 89        この関数の計算時間はベンチマーク時間には含まれません。
 90        負のetaではexp(eta)を外に出すことで小さな値の相対精度を保ちます。
 91    引数:
 92        :param eta: 計算対象となる無次元のフェルミ準位
 93        :type eta: float
 94    戻り値:
 95        :returns: scipy.integrate.quadを利用して計算された高精度な基準値
 96        :rtype: float
 97    """
 98    # 精度確認用の独立な数値積分。ベンチマーク時間には含めない。
 99    # 負のetaではexp(eta)を外に出して小さな値の相対精度を保つ。
100    scale = math.exp(eta) if eta < 0 else 1.0
101    def integrand(t):
102        x = t * t
103        f = math.exp(-x) * expit(x - eta) if eta < 0 else expit(eta - x)
104        return 2 * t * t * f
105    cuts = sorted(set([0.0, math.sqrt(max(eta, 0)),
106                       math.sqrt(max(eta, 0) + 100)]))
107    value = sum(quad(integrand, a, b, epsabs=1e-12, epsrel=1e-12,
108                     limit=500)[0] for a, b in zip(cuts[:-1], cuts[1:]))
109    return scale * value / NORMALIZATION
110
111
112def positive_int(text):
113    """
114    概要:
115        入力文字列を1以上の整数に変換して検証します。
116    引数:
117        :param text: コマンドライン引数から受け取った文字列
118        :type text: str
119    戻り値:
120        :returns: 変換された1以上の整数値
121        :rtype: int
122    例外:
123        :raises argparse.ArgumentTypeError: 変換結果が1未満の場合に送出されます
124    """
125    value = int(text)
126    if value < 1:
127        raise argparse.ArgumentTypeError('1以上を指定してください')
128    return value
129
130
131def main():
132    """
133    概要:
134        ベンチマークスクリプトのメイン処理です。
135    詳細説明:
136        コマンドライン引数を解析し、各実装をロードしてウォームアップと精度確認を行います。
137        その後、各実装の実行時間を複数回計測し、中央値などの統計情報を計算してCSVファイルに出力します。
138    """
139    parser = argparse.ArgumentParser(description=__doc__)
140    parser.add_argument('-n', '--count', type=positive_int, default=1000,
141                        help='各実装・各試行の総計算回数 (default: 1000)')
142    parser.add_argument('--repeat', type=positive_int, default=3,
143                        help='試行数。代表値は中央値 (default: 3)')
144    parser.add_argument('--eta', type=float, nargs='+',
145                        default=[-10, -3, -1, -0.1, 0, 1, 5, 19.9, 20, 50, 100],
146                        help='順番に循環させるetaのリスト')
147    parser.add_argument('--source-dir', type=Path, default=Path(__file__).resolve().parent)
148    parser.add_argument('--output', type=Path, default=Path('benchmark_fd'))
149    args = parser.parse_args()
150    if not all(math.isfinite(e) for e in args.eta):
151        parser.error('etaは有限値を指定してください')
152    if args.count < len(args.eta):
153        parser.error('countはetaの個数以上にしてください')
154    # 全実装で同じ入力・順序。入力配列の作成とimportは計測外。
155    inputs = [args.eta[i % len(args.eta)] for i in range(args.count)]
156    functions = []
157    for label, filename in SOURCES:
158        fn, disabled = load_function(label, args.source_dir / filename)
159        functions.append((label, fn))
160        print(f'{label}: cache disabled: {", ".join(disabled) or "none found"}')
161
162    # ウォームアップ兼精度確認。例外や積分警告を隠さない。
163    accuracy = []
164    errors = {}
165    refs = [reference(eta) for eta in args.eta]
166    for label, fn in functions:
167        errors[label] = []
168        for eta, ref in zip(args.eta, refs):
169            value = float(fn(eta))
170            relative = abs(value - ref) / abs(ref) if ref != 0 else float('nan')
171            if not math.isfinite(value):
172                relative = float('inf')
173            errors[label].append(relative)
174            accuracy.append(dict(implementation=label, eta=eta, value=value,
175                                 reference=ref, relative_error=relative))
176
177    times = {label: [] for label, _ in functions}
178    # 試行ごとに実行順を回転して、常に同じ実装が先頭になるのを避ける。
179    for trial in range(args.repeat):
180        offset = trial % len(functions)
181        for label, fn in functions[offset:] + functions[:offset]:
182            start = perf_counter()
183            for eta in inputs:
184                fn(eta)
185            elapsed = perf_counter() - start
186            times[label].append(elapsed)
187            print(f'trial {trial+1}/{args.repeat}: {label:16s} {elapsed:.6f} s', flush=True)
188
189    rows = []
190    for label, _ in functions:
191        seconds = statistics.median(times[label])
192        rows.append(dict(implementation=label, count=args.count, repeat=args.repeat,
193                         median_seconds=seconds, min_seconds=min(times[label]),
194                         us_per_call=seconds / args.count * 1e6,
195                         max_relative_error=max(errors[label])))
196    rows.sort(key=lambda row: row['median_seconds'])
197    print('\nNormalized F_1/2; count = calls per implementation per trial')
198    print(f'{"implementation":16s} {"median(s)":>12s} {"us/call":>12s} {"max rel.err":>14s}')
199    for row in rows:
200        print(f'{row["implementation"]:16s} {row["median_seconds"]:12.6f} '
201              f'{row["us_per_call"]:12.3f} {row["max_relative_error"]:14.3e}')
202    for suffix, data in [('timing', rows), ('values', accuracy),
203                         ('trials', [dict(implementation=k, trial=i+1, seconds=t)
204                                     for k, ts in times.items() for i, t in enumerate(ts)])]:
205        path = args.output.with_name(args.output.name + '_' + suffix + '.csv')
206        path.parent.mkdir(parents=True, exist_ok=True)
207        with path.open('w', newline='', encoding='utf-8-sig') as f:
208            writer = csv.DictWriter(f, fieldnames=list(data[0]))
209            writer.writeheader()
210            writer.writerows(data)
211        print('Saved:', path)
212
213
214if __name__ == '__main__':
215    main()