get_paper_inf5.py ダウンロード/コピー
get_paper_inf5.py
get_paper_inf5.py
1"""
2このモジュールは、学術論文のPDFファイルからメタデータ(著者、タイトル、発行年、DOIなど)を抽出し、
3その情報をExcelファイルに保存したり、推奨されるファイル名に基づいてPDFファイルをリネームしたりするツールです。
4様々なAIモデル(OpenAI, Gemini, LM Studioなど)をLiteLLMを通じて利用してテキストから情報を解析します。
5
6このスクリプトは、PDFからテキストを抽出し、そのテキストをLLM(Large Language Model)に送信して、
7構造化されたメタデータ(JSON形式)を抽出します。抽出されたメタデータはExcelに記録され、
8オプションでファイルのリネームにも利用されます。
9
10.. seealso::
11 :doc:`get_paper_inf5_usage` (もし対応するドキュメントがあれば、ここにリンクを追加します)
12"""
13import argparse
14import os
15import shutil
16import glob
17import io
18import json
19try:
20 from openpyxl import Workbook, load_workbook
21except ImportError:
22 print("Error: Failed to import openpyxl")
23 input("Install: pip install openpyxl")
24try:
25 import PyPDF2
26except ImportError:
27 print("Error: Failed to import PyPDF2")
28 input("Install: pip install pypdf2")
29
30from tkai_lib_litellm import extract_text, query_ai, read_ai_config
31
32
33#=========================================================
34# Global configuration
35#=========================================================
36config_path = "ai.env"
37
38DEFAULT_GEMINI_MODEL = "gemini-3.1-pro-preview"
39DEFAULT_OPENAI_MODEL4 = "gpt-4o"
40DEFAULT_OPENAI_MODEL5 = "gpt-5.4"
41DEFAULT_LMSTUDIO_MODEL = "qwen/qwen3.8-27b"
42
43
44#=========================================================
45# Read configuration
46#=========================================================
47read_ai_config(config_path)
48
49max_tokens = int(os.getenv("max_tokens", "2000"))
50
51openai_api_key = os.getenv("OPENAI_API_KEY")
52openai_model = os.getenv("openai_model", DEFAULT_OPENAI_MODEL4)
53temperature = float(os.getenv("temperature", "0.3"))
54
55openai_model5 = os.getenv("openai_model5", DEFAULT_OPENAI_MODEL5)
56reasoning_effort = os.getenv("reasoning_effort", "low")
57
58google_api_key = os.getenv("GOOGLE_API_KEY")
59google_model = os.getenv("gemini_model", DEFAULT_GEMINI_MODEL)
60lmstudio_model = os.getenv("lmstudio_model", DEFAULT_LMSTUDIO_MODEL)
61
62
63#=========================================================
64# Parameters
65#=========================================================
66DEFAULT_TEMPLATE = "(author_first)_(author_last)_(short_title)_(shortest_name)_(year).pdf"
67
68xlsx_labels = [
69 "directory", "filename_original", "filename_rename",
70 "authors", "author_first", "author_last",
71 "title", "short_title", "journal", "short_name", "shortest_name",
72 "date_received", "date_accepted", "date_published_online", "date_published",
73 "year", "volume", "issue", "pages", "doi",
74 ]
75
76# Prompt template: start
77prompt_template = """
78以下の学術論文のテキストから、指定された情報をJSON形式で抽出してください。
79また、first author、last author、短縮したtitle (short_title)、shortest_name、発行年から
80推奨ファイル名 {{template}} を作ってください。
81short_titleの単語はCaptalFirstにして、空白、.、,などの文字は削除してください。
82
83推奨ファイル名(filename_rename):
84著者リスト(authors) :
85第一著者(author_first):
86最終著者(author_last) :
87論文題目(title) :
88論文題目略称(short_title) :
89発行雑誌名(journal) :
90発行雑誌名略称(short_name):
91発行雑誌名の最短の略称(shortest_name):
92投稿受理日(date_received) :
93採択日(date_accepted) :
94オンライン発行日(date_published_online):
95発行日(date_published):
96発行年(year) :
97巻番号(volume):
98号番号(issue) :
99ページ(pages ):
100DOI(doi):
101
102情報が不明な場合は、空文字列 "" を使用してください。
103
104--- 論文テキスト ---
105{{text}}
106"""
107# Prompt template: end
108
109
110def initialize() -> argparse.ArgumentParser:
111 """
112 コマンドライン引数を解析するためのArgumentParserオブジェクトを初期化します。
113
114 処理するPDFファイルのパス、使用するAPI、モデル、推論強度、出力Excelファイルのパス、
115 再帰検索の有無、ファイルリネームの有無、元のファイルの削除オプション、最大バイト数、
116 ファイル名テンプレートなどの引数を定義します。
117
118 :returns: argparse.ArgumentParser - コマンドライン引数パーサーオブジェクト。
119 """
120 parser = argparse.ArgumentParser(description="学術論文のPDFからメタデータを抽出します。")
121 parser.add_argument("--api", type=str, default='openai5',
122 choices = ["openai", "openai5", "google", "lmstudio"],
123 help="使用する API を指定(openai5|openai|google|lmstudio: デフォルト: openai5)")
124 parser.add_argument("--model", type=str, default=None,
125 help="使用するモデル名。未指定時は ai.env の各 API 用モデル設定を使用する")
126 parser.add_argument("--reasoning-effort", "--reasoning_effort",
127 dest="reasoning_effort", choices=["low", "medium", "xhigh"], default=None,
128 help="推論強度(LM Studio/OpenAI5 用)。未指定時は ai.env の reasoning_effort")
129 parser.add_argument("input_file", type=str, help="処理するPDFファイルのパス")
130 parser.add_argument("--summary_path", type=str, default = "summary.xlsx",
131 help="summary.xlsxのパス")
132 parser.add_argument("--recursive", type=int, default=0,
133 help="1の場合、サブディレクトリまで処理する")
134 parser.add_argument("--rename", type=int, default=0,
135 help="1の場合、生成AIで推薦ファイル名を取得できた場合、リネームする")
136# parser.add_argument("--rename", action="store_true",
137# help="生成AIで推薦ファイル名を取得できた場合、リネームする")
138 parser.add_argument("--delete_original", type=int, default=1,
139 help="1の場合、renameしたら元のファイルを削除する")
140 parser.add_argument("--max_bytes", type=int, default=10000,
141 help="APIに送る最大テキストバイト数。論文全体を送る必要がない場合に指定。")
142 parser.add_argument("--template", type=str, default=DEFAULT_TEMPLATE,
143 help=f"ファイル名を変える際のテンプレート {DEFAULT_TEMPLATE}")
144 return parser
145
146def extract_text_from_pdf(pdf_path: str, max_bytes: int) -> str:
147 """
148 PDFファイルからテキストを抽出し、指定された最大バイト数に制限します。
149
150 PyPDF2ライブラリを使用してPDFの各ページからテキストを読み込みます。
151 抽出中に指定された `max_bytes` を超えた場合、その時点でテキストの抽出を停止し、
152 バイト数で切り詰めます。
153
154 :param pdf_path: str - 処理するPDFファイルのパス。
155 :param max_bytes: int - APIに送信するテキストの最大バイト数。
156 :returns: str - 抽出されたテキスト。エラーが発生した場合は空文字列。
157 """
158 text_buffer = io.StringIO()
159 try:
160 with open(pdf_path, 'rb') as f:
161 pdf_reader = PyPDF2.PdfReader(f)
162 num_pages = len(pdf_reader.pages)
163
164 for page_num in range(num_pages):
165 page = pdf_reader.pages[page_num]
166 text_buffer.write(page.extract_text() or '')
167
168 # バイト数チェック
169 # StringIO.tell() は文字数ではなく、内部バッファのバイト数を近似的に返すため、
170 # 正確なバイト数チェックはエンコード後に行う。ここでは大まかな目安として利用。
171 if text_buffer.tell() * 2 > max_bytes: # UTF-8で最大2バイト/文字を想定
172 break
173 except Exception as e:
174 print(f"PDFファイルの読み込み中にエラーが発生しました: {e}")
175 return ""
176
177 full_text = text_buffer.getvalue()
178
179 # バイト数でテキストを切り詰める
180 encoded_text = full_text.encode('utf-8', 'ignore')
181 if len(encoded_text) > max_bytes:
182 truncated_text = encoded_text[:max_bytes].decode('utf-8', 'ignore')
183 return truncated_text
184
185 return full_text
186
187def response_to_metadata(response: object) -> dict:
188 """
189 LiteLLMのAI応答からJSON形式のメタデータを取り出します。
190
191 AIからの応答が文字列として返された場合、その文字列からJSONオブジェクトをパースします。
192 応答がJSONラッパー(例: ```json ... ```)で囲まれている場合も適切に処理します。
193
194 :param response: Any - LiteLLM (tkai_lib_litellm) からのAI応答オブジェクト。
195 :returns: dict - 抽出されたメタデータを含む辞書。JSONパースに失敗した場合は空の辞書。
196 """
197 text = extract_text(response)
198 if not text:
199 return {}
200
201 text = text.strip()
202 if text.startswith("```"):
203 text = text.split("\n", 1)[-1]
204 if text.rstrip().endswith("```"):
205 text = text.rstrip()[:-3].rstrip()
206
207 try:
208 value = json.loads(text)
209 except json.JSONDecodeError:
210 # ローカルモデルが JSON の前後に短い説明を付けた場合にも対応する。
211 start, end = text.find("{"), text.rfind("}")
212 if start < 0 or end < start:
213 print("Error: AI response is not JSON.")
214 print(text)
215 return {}
216 try:
217 value = json.loads(text[start:end + 1])
218 except json.JSONDecodeError as exc:
219 print(f"Error: Failed to parse AI response as JSON: {exc}")
220 return {}
221
222 return value if isinstance(value, dict) else {}
223
224
225def get_metadata_from_ai(text: str, template: str, api: str) -> dict:
226 """
227 指定されたテキストからAIモデルを使用して学術論文のメタデータを抽出します。
228
229 事前定義されたプロンプトテンプレートに論文テキストを埋め込み、選択されたAPI
230 (OpenAI, Google Gemini, LM Studioなど)を介してAIにクエリを送信します。
231 各APIの特性(モデル名、推論強度、温度など)に応じてパラメータを調整します。
232
233 :param text: str - 抽出元となる論文のテキスト。
234 :param template: str - 推奨ファイル名を生成するためのテンプレート文字列。
235 :param api: str - 使用するAI APIの指定("openai", "openai5", "google", "lmstudio")。
236 :returns: dict - AIによって抽出されたメタデータを含む辞書。
237 """
238 prompt = prompt_template.replace("{{text}}", text).replace("{{template}}", template)
239 kwargs = {
240 "max_tokens": max_tokens,
241 "response_format": {"type": "json_object"},
242 }
243
244 if api == "lmstudio":
245 # Qwen など LM Studio の reasoning モデルは OpenAI 互換 API の
246 # extra_body で推論強度を受け取る。
247 kwargs["extra_body"] = {"reasoning_effort": reasoning_effort}
248 kwargs["drop_params"] = True
249 model, provider = lmstudio_model, "lmstudio"
250 elif api == "openai5":
251 kwargs["reasoning_effort"] = reasoning_effort
252 model, provider = openai_model5, "openai5"
253 elif api == "openai":
254 kwargs["temperature"] = temperature
255 model, provider = openai_model, "openai"
256 elif api == "google":
257 model, provider = google_model, "google"
258 else:
259 raise ValueError(f"未対応の API: {api}")
260
261 response = query_ai(prompt, model=model, role=None, provider=provider, **kwargs)
262 return response_to_metadata(response)
263
264def append_xlsx(path: str, mode: str, labels: list, data_list: list[list]) -> None:
265 """
266 指定されたExcelファイルにデータを追記します。
267
268 ファイルが存在しない場合やモードが"w"の場合、新しいワークブックを作成し、
269 ヘッダー行 (`labels`) を書き込みます。それ以外の場合は既存のワークブックをロードし、
270 指定された `data_list` の各行をシートの末尾に追加します。
271
272 :param path: str - 処理するExcelファイルのパス。
273 :param mode: str - ファイルのオープンモード("w"で新規作成、それ以外は追記)。
274 :param labels: list - Excelシートのヘッダー行として使用される文字列のリスト。
275 :param data_list: list[list] - Excelシートに追加するデータのリスト。各内部リストが1行に対応します。
276 :returns: None
277 """
278 if mode == "w" or not os.path.exists(path):
279 wb = Workbook()
280 ws = wb.active
281 ws.append(labels)
282 else:
283 wb = load_workbook(filename = path)
284 ws = wb.active
285
286 for row in data_list:
287 ws.append(row)
288
289 wb.save(path)
290
291def rename_file(input_file: str, new_filename: str, delete_original: bool = False) -> bool:
292 """
293 ファイルを新しい名前にリネームまたはコピーします。
294
295 指定された `input_file` を `new_filename` に変更します。
296 `delete_original` がTrueの場合、元のファイルを削除しリネームを行います。
297 Falseの場合は、元のファイルを残したまま新しいファイル名でコピーを作成します。
298 新しいファイル名が既に存在する場合は処理をスキップします。
299
300 :param input_file: str - 元のファイルパス。
301 :param new_filename: str - 新しいファイル名。
302 :param delete_original: bool - Trueの場合、元のファイルを削除してリネームします。Falseの場合、コピーを作成します。
303 :returns: bool - リネームまたはコピーが成功した場合はTrue、失敗した場合はFalse。
304 """
305 if os.path.exists(new_filename):
306 print(f"Error in rename_file(): File [{new_filename}] already exists. Skip.")
307 return False
308
309 try:
310 directory = os.path.dirname(input_file)
311 # 現在の作業ディレクトリを一時的に変更する。
312 # これは shutil.copy や os.rename が相対パスで動作する場合に予期せぬ挙動を避けるため。
313 # ただし、input_file と new_filename が絶対パスの場合、chdirは不要だが、
314 # ここでは元々の実装の意図を尊重する。
315 original_cwd = os.getcwd()
316 os.chdir(directory)
317
318 # new_filename が basename のみの場合、現在のディレクトリに作成される。
319 # input_file も basename のみの場合、現在のディレクトリのファイルを指す。
320 # ここでは input_file と new_filename が完全なパスとして扱われることを想定する。
321 full_input_path = os.path.join(original_cwd, input_file) if not os.path.isabs(input_file) else input_file
322 full_new_path = os.path.join(original_cwd, new_filename) if not os.path.isabs(new_filename) else new_filename
323
324 if delete_original:
325 os.rename(full_input_path, full_new_path)
326 print(f"Changed file name from [{full_input_path}] to [{full_new_path}]")
327 else:
328 shutil.copy(full_input_path, full_new_path)
329 print(f"Copied [{full_input_path}] to [{full_new_path}]")
330 except Exception as e:
331 print(f"Error in rename_file(): Could not change file name to [{new_filename}] due to: {e}")
332 return False
333 finally:
334 os.chdir(original_cwd) # 元の作業ディレクトリに戻す
335
336 return True
337
338def get_inf(input_file: str, summary_path: str, api: str = "openai", max_bytes: int = 10000,
339 rename: bool = False, delete_original: bool = True, template: str = DEFAULT_TEMPLATE) -> bool:
340 """
341 単一のPDFファイルからメタデータを抽出し、Excelに保存し、必要に応じてファイルをリネームします。
342
343 この関数は以下のステップを実行します:
344 1. PDFからテキストを抽出します。
345 2. 抽出したテキストを指定されたAPIとモデルに送信し、AIからメタデータを取得します。
346 3. 取得したメタデータをExcelファイル (`summary_path`) に追記します。
347 4. `rename` オプションがTrueで、AIが推奨ファイル名を返した場合、PDFファイルを推奨ファイル名に
348 リネーム(またはコピー)します。
349 5. `delete_original` オプションにより、リネーム時の元のファイルの扱いを制御します。
350
351 :param input_file: str - 処理するPDFファイルのパス。
352 :param summary_path: str - メタデータを保存するExcelファイルのパス。
353 :param api: str - 使用するAI APIの指定(デフォルト: "openai")。
354 :param max_bytes: int - APIに送信するテキストの最大バイト数(デフォルト: 10000)。
355 :param rename: bool - Trueの場合、AIが推奨するファイル名でPDFファイルをリネームします。
356 :param delete_original: bool - Trueの場合、リネーム後に元のファイルを削除します(renameがTrueの場合のみ有効)。
357 :param template: str - ファイル名生成に使用するテンプレート文字列。
358 :returns: bool - 処理が成功した場合はTrue、失敗した場合はFalse。
359 """
360 directory = os.path.dirname(input_file)
361 filename = os.path.basename(input_file)
362 print(f"Input PDF file: [{input_file}]")
363 print(f" Directory: [{directory}]")
364 print(f" File name: [{filename}]")
365
366 extracted_text = extract_text_from_pdf(input_file, max_bytes)
367 if not extracted_text:
368 print("テキストの抽出に失敗したか、ファイルが空です。処理を終了します。")
369 print("PyCryptodomeが必要というメッセージが出たら、以下のようにinstallしてください。")
370 print("Install: pip install pycryptodome ")
371 return False
372
373 print(f" API: {api.upper()}")
374 if api == 'lmstudio':
375 print(f" lmstudio_model: {lmstudio_model}")
376 print(f" effort : {reasoning_effort}")
377 print(f" max_tokens : {max_tokens}")
378 elif 'openai5' in api:
379 print(f" openai_model: {openai_model5}")
380 print(f" effort : {reasoning_effort}")
381 print(f" max_tokens : {max_tokens}")
382 elif 'openai' in api:
383 print(f" openai_model: {openai_model}")
384 print(f" temperature : {temperature}")
385 print(f" max_tokens : {max_tokens}")
386 else: # google
387 print(f" google_model: {google_model}")
388 print(f" max_tokens: {max_tokens}")
389
390 print(f" max bytes: {max_bytes}")
391 print(f" 抽出したテキストを送信中...")
392 try:
393 metadata = get_metadata_from_ai(extracted_text[:max_bytes], template, api)
394 except Exception as exc:
395 print(f"Error: AI からのメタデータ抽出に失敗しました: {exc}")
396 return False
397
398 if metadata:
399 print("\n--- 論文メタデータ ---")
400 # xlsx_labelsの順序に合わせてデータを追加
401 # filename_rename は metadata にあるが、directory, filename_original は引数から取得
402 # metadataから抽出した情報がxlsx_labelsの順序と一致するように調整
403
404 # まずxlsx_labelsに対応する辞書を作成し、欠落しているキーは空文字列で埋める
405 row_data_dict = {label: "" for label in xlsx_labels}
406 row_data_dict["directory"] = directory
407 row_data_dict["filename_original"] = filename
408
409 for key, value in metadata.items():
410 print(f"{key}: {value}")
411 if key in row_data_dict: # xlsx_labels に含まれるキーのみを対象
412 if isinstance(value, (list, tuple)):
413 row_data_dict[key] = ", ".join(map(str, value)) # リスト/タプルはカンマ区切り文字列に
414 else:
415 row_data_dict[key] = str(value) # その他の型は文字列に変換
416
417 # xlsx_labelsの順序でデータリストを作成
418 data = [row_data_dict[label] for label in xlsx_labels]
419
420 else:
421 # メタデータが取得できなかった場合、空のデータで埋める
422 print("AIからメタデータを取得できませんでした。")
423 data = [directory, filename, "", "", "", "", "",
424 "", "", "", "", "",
425 "", "", "", "", "", "", "", "", ""]
426
427 append_xlsx(summary_path, mode = "a", labels = xlsx_labels, data_list = [data])
428
429 if rename and metadata.get("filename_rename", None):
430 new_filename = metadata["filename_rename"]
431 if not new_filename.lower().endswith('.pdf'): # 小文字に変換してチェック
432 new_filename += '.pdf'
433
434 # rename_file には絶対パスを渡すか、os.chdir() の影響を考慮したパスを渡す
435 # ここでは get_inf に渡された input_file が既に適切なパスであると仮定
436 ret = rename_file(input_file, os.path.join(directory, new_filename), delete_original=delete_original)
437 if not ret:
438 return False
439
440 return True
441
442def main() -> None:
443 """
444 メインのエントリーポイントとして、コマンドライン引数を処理し、指定されたPDFファイル群からメタデータを抽出します。
445
446 1. `initialize()` を呼び出してコマンドライン引数を解析します。
447 2. `--model` オプションが指定された場合、使用するAIモデルを更新します。
448 3. `--recursive` オプションに応じて、指定されたファイルパターンに合致するPDFファイルを検索します。
449 4. 見つかった各PDFファイルに対し `get_inf` 関数を呼び出し、メタデータ抽出、
450 Excel保存、リネーム処理を実行します。
451 5. 処理の最後にユーザー入力を待ち、プログラムを終了します。
452
453 :returns: None
454 """
455 global openai_model, openai_model5, google_model, lmstudio_model, reasoning_effort
456
457 parser = initialize()
458 args = parser.parse_args()
459
460 if args.model:
461 if args.api == "openai":
462 openai_model = args.model
463 elif args.api == "openai5":
464 openai_model5 = args.model
465 elif args.api == "google":
466 google_model = args.model
467 else: # lmstudio
468 lmstudio_model = args.model
469 if args.reasoning_effort:
470 reasoning_effort = args.reasoning_effort
471
472 fmask = args.input_file
473 if args.recursive:
474 directory = os.path.dirname(fmask)
475 base_name = os.path.basename(fmask)
476 if '*' not in directory:
477 # 再帰検索の場合、ディレクトリとファイル名の間に '**' を挿入して glob がサブディレクトリを検索するようにする
478 # ただし、input_fileが既に特定のディレクトリ内のファイルの場合、
479 # そのディレクトリのサブディレクトリも対象とするために '**' を追加する。
480 # input_fileがワイルドカードを含まない単一ファイル名の場合(例: paper.pdf)、
481 # カレントディレクトリとサブディレクトリのpaper.pdfを検索する。
482 fmask = os.path.join(directory if directory else '.', '**', base_name)
483 else:
484 # input_file が既にワイルドカードを含むパスの場合、そのまま使用
485 pass
486
487 print()
488 print(f"Search files for [{fmask}]")
489 print(f"Recursive search? {bool(args.recursive)}") # intをboolとして表示
490 files = sorted(glob.glob(fmask, recursive = bool(args.recursive)))
491 print()
492 if len(files) == 0:
493 print(f"Error: No file found.")
494 else:
495 print(f"Files found for [{args.input_file}]")
496 for f in files:
497 print(f" {f}")
498
499 for f in files:
500 print()
501 # intの引数をboolとして渡す
502 get_inf(f, args.summary_path, args.api, args.max_bytes,
503 bool(args.rename), bool(args.delete_original), args.template)
504
505 input("\nPress ENTER to terminate>>\n")
506
507
508if __name__ == "__main__":
509 main()