benchmark_fd.py ダウンロード/コピー
benchmark_fd.py
benchmark_fd.py
1"""
2概要:
3 添付6実装のF_1/2(eta)を比較します。元のプログラムは変更しません。
4詳細説明:
5 各実装のスクリプトを動的にロードして、Fermi-Dirac積分の計算速度と精度を比較するベンチマークスクリプトです。
6 計算時間や相対誤差などの結果はCSVファイルとして出力されます。
7"""
8import argparse
9import csv
10import importlib.util
11import math
12from pathlib import Path
13import statistics
14import sys
15from time import perf_counter
16
17import numpy as np
18from scipy.integrate import quad
19from scipy.special import expit
20
21
22SOURCES = [
23 ('sonnet5.5', 'Ne-T_sonnet5.5.py'),
24 ('tkfermi', 'tkfermi_integral.py'),
25 ('copilot', 'Ne-T_copilot.py'),
26 ('Gemini3.8Flash', 'Ne-T_Gemini3.8Flash.py'),
27 ('Gemini3Flash', 'Ne-T_Gemini3Flash.py'),
28 ('sol', 'Ne-T_sol.py'),
29]
30NORMALIZATION = math.gamma(1.5)
31
32
33def load_function(label, path):
34 """
35 概要:
36 指定されたパスからPythonファイルとしてモジュールを動的に読み込みます。
37 詳細説明:
38 ファイル名にハイフンや括弧が含まれていても読み込めるように処理します。
39 また対象モジュール内の関数に設定されたキャッシュを無効化し、
40 すべての実装の出力を統一されたスケールに調整した関数を返します。
41 引数:
42 :param label: 実装を識別するための文字列
43 :type label: str
44 :param path: 読み込むPythonスクリプトのファイルパス
45 :type path: pathlib.Path
46 戻り値:
47 :returns: 統一されたインターフェースを持つ計算関数とキャッシュが無効化された関数名のリストのタプル
48 :rtype: tuple
49 """
50 # ファイル名にハイフンや括弧が含まれるので、パスからimportする。
51 name = 'fd_bench_' + label.replace('.', '_')
52 spec = importlib.util.spec_from_file_location(name, path)
53 module = importlib.util.module_from_spec(spec)
54 sys.modules[name] = module # dataclassを使用するモジュールにも必要
55 spec.loader.exec_module(module)
56
57 disabled = []
58 for name, obj in list(vars(module).items()):
59 if callable(obj) and hasattr(obj, 'cache_clear') and hasattr(obj, '__wrapped__'):
60 obj.cache_clear()
61 # キャッシュのラッパーを外す。毎回cache_clearする時間は計測しない。
62 while hasattr(obj, '__wrapped__'):
63 obj = obj.__wrapped__
64 setattr(module, name, obj)
65 disabled.append(name)
66
67 # 全実装を 1/Gamma(3/2) * integral(x**0.5 * f, x=0..inf) に統一。
68 if label == 'tkfermi':
69 fn = module.FermiIntegral_half
70 function = lambda eta: fn(eta) / NORMALIZATION
71 elif label == 'sonnet5.5':
72 function = module.fd_half
73 elif label == 'Gemini3Flash':
74 fn = module.Fj
75 function = lambda eta: fn(eta) / NORMALIZATION
76 elif label == 'sol':
77 function = module.Fj
78 else:
79 fn = module.Fj
80 function = lambda eta: fn(0.5, eta)
81 return function, disabled
82
83
84def reference(eta):
85 """
86 概要:
87 精度確認用の独立な数値積分を行います。
88 詳細説明:
89 この関数の計算時間はベンチマーク時間には含まれません。
90 負のetaではexp(eta)を外に出すことで小さな値の相対精度を保ちます。
91 引数:
92 :param eta: 計算対象となる無次元のフェルミ準位
93 :type eta: float
94 戻り値:
95 :returns: scipy.integrate.quadを利用して計算された高精度な基準値
96 :rtype: float
97 """
98 # 精度確認用の独立な数値積分。ベンチマーク時間には含めない。
99 # 負のetaではexp(eta)を外に出して小さな値の相対精度を保つ。
100 scale = math.exp(eta) if eta < 0 else 1.0
101 def integrand(t):
102 x = t * t
103 f = math.exp(-x) * expit(x - eta) if eta < 0 else expit(eta - x)
104 return 2 * t * t * f
105 cuts = sorted(set([0.0, math.sqrt(max(eta, 0)),
106 math.sqrt(max(eta, 0) + 100)]))
107 value = sum(quad(integrand, a, b, epsabs=1e-12, epsrel=1e-12,
108 limit=500)[0] for a, b in zip(cuts[:-1], cuts[1:]))
109 return scale * value / NORMALIZATION
110
111
112def positive_int(text):
113 """
114 概要:
115 入力文字列を1以上の整数に変換して検証します。
116 引数:
117 :param text: コマンドライン引数から受け取った文字列
118 :type text: str
119 戻り値:
120 :returns: 変換された1以上の整数値
121 :rtype: int
122 例外:
123 :raises argparse.ArgumentTypeError: 変換結果が1未満の場合に送出されます
124 """
125 value = int(text)
126 if value < 1:
127 raise argparse.ArgumentTypeError('1以上を指定してください')
128 return value
129
130
131def main():
132 """
133 概要:
134 ベンチマークスクリプトのメイン処理です。
135 詳細説明:
136 コマンドライン引数を解析し、各実装をロードしてウォームアップと精度確認を行います。
137 その後、各実装の実行時間を複数回計測し、中央値などの統計情報を計算してCSVファイルに出力します。
138 """
139 parser = argparse.ArgumentParser(description=__doc__)
140 parser.add_argument('-n', '--count', type=positive_int, default=1000,
141 help='各実装・各試行の総計算回数 (default: 1000)')
142 parser.add_argument('--repeat', type=positive_int, default=3,
143 help='試行数。代表値は中央値 (default: 3)')
144 parser.add_argument('--eta', type=float, nargs='+',
145 default=[-10, -3, -1, -0.1, 0, 1, 5, 19.9, 20, 50, 100],
146 help='順番に循環させるetaのリスト')
147 parser.add_argument('--source-dir', type=Path, default=Path(__file__).resolve().parent)
148 parser.add_argument('--output', type=Path, default=Path('benchmark_fd'))
149 args = parser.parse_args()
150 if not all(math.isfinite(e) for e in args.eta):
151 parser.error('etaは有限値を指定してください')
152 if args.count < len(args.eta):
153 parser.error('countはetaの個数以上にしてください')
154 # 全実装で同じ入力・順序。入力配列の作成とimportは計測外。
155 inputs = [args.eta[i % len(args.eta)] for i in range(args.count)]
156 functions = []
157 for label, filename in SOURCES:
158 fn, disabled = load_function(label, args.source_dir / filename)
159 functions.append((label, fn))
160 print(f'{label}: cache disabled: {", ".join(disabled) or "none found"}')
161
162 # ウォームアップ兼精度確認。例外や積分警告を隠さない。
163 accuracy = []
164 errors = {}
165 refs = [reference(eta) for eta in args.eta]
166 for label, fn in functions:
167 errors[label] = []
168 for eta, ref in zip(args.eta, refs):
169 value = float(fn(eta))
170 relative = abs(value - ref) / abs(ref) if ref != 0 else float('nan')
171 if not math.isfinite(value):
172 relative = float('inf')
173 errors[label].append(relative)
174 accuracy.append(dict(implementation=label, eta=eta, value=value,
175 reference=ref, relative_error=relative))
176
177 times = {label: [] for label, _ in functions}
178 # 試行ごとに実行順を回転して、常に同じ実装が先頭になるのを避ける。
179 for trial in range(args.repeat):
180 offset = trial % len(functions)
181 for label, fn in functions[offset:] + functions[:offset]:
182 start = perf_counter()
183 for eta in inputs:
184 fn(eta)
185 elapsed = perf_counter() - start
186 times[label].append(elapsed)
187 print(f'trial {trial+1}/{args.repeat}: {label:16s} {elapsed:.6f} s', flush=True)
188
189 rows = []
190 for label, _ in functions:
191 seconds = statistics.median(times[label])
192 rows.append(dict(implementation=label, count=args.count, repeat=args.repeat,
193 median_seconds=seconds, min_seconds=min(times[label]),
194 us_per_call=seconds / args.count * 1e6,
195 max_relative_error=max(errors[label])))
196 rows.sort(key=lambda row: row['median_seconds'])
197 print('\nNormalized F_1/2; count = calls per implementation per trial')
198 print(f'{"implementation":16s} {"median(s)":>12s} {"us/call":>12s} {"max rel.err":>14s}')
199 for row in rows:
200 print(f'{row["implementation"]:16s} {row["median_seconds"]:12.6f} '
201 f'{row["us_per_call"]:12.3f} {row["max_relative_error"]:14.3e}')
202 for suffix, data in [('timing', rows), ('values', accuracy),
203 ('trials', [dict(implementation=k, trial=i+1, seconds=t)
204 for k, ts in times.items() for i, t in enumerate(ts)])]:
205 path = args.output.with_name(args.output.name + '_' + suffix + '.csv')
206 path.parent.mkdir(parents=True, exist_ok=True)
207 with path.open('w', newline='', encoding='utf-8-sig') as f:
208 writer = csv.DictWriter(f, fieldnames=list(data[0]))
209 writer.writeheader()
210 writer.writerows(data)
211 print('Saved:', path)
212
213
214if __name__ == '__main__':
215 main()