get_paper_inf5.py ダウンロード/コピー

get_paper_inf5.py をダウンロード

get_paper_inf5.py
get_paper_inf5.py
  1"""
  2このモジュールは、学術論文のPDFファイルからメタデータ(著者、タイトル、発行年、DOIなど)を抽出し、
  3その情報をExcelファイルに保存したり、推奨されるファイル名に基づいてPDFファイルをリネームしたりするツールです。
  4様々なAIモデル(OpenAI, Gemini, LM Studioなど)をLiteLLMを通じて利用してテキストから情報を解析します。
  5
  6このスクリプトは、PDFからテキストを抽出し、そのテキストをLLM(Large Language Model)に送信して、
  7構造化されたメタデータ(JSON形式)を抽出します。抽出されたメタデータはExcelに記録され、
  8オプションでファイルのリネームにも利用されます。
  9
 10.. seealso::
 11   :doc:`get_paper_inf5_usage` (もし対応するドキュメントがあれば、ここにリンクを追加します)
 12"""
 13import argparse
 14import os
 15import shutil
 16import glob
 17import io
 18import json
 19try:
 20    from openpyxl import Workbook, load_workbook
 21except ImportError:
 22    print("Error: Failed to import openpyxl")
 23    input("Install: pip install openpyxl")
 24try:
 25    import PyPDF2
 26except ImportError:
 27    print("Error: Failed to import PyPDF2")
 28    input("Install: pip install pypdf2")
 29
 30from tkai_lib_litellm import extract_text, query_ai, read_ai_config
 31
 32
 33#=========================================================
 34# Global configuration
 35#=========================================================
 36config_path = "ai.env"
 37
 38DEFAULT_GEMINI_MODEL = "gemini-3.1-pro-preview"
 39DEFAULT_OPENAI_MODEL4 = "gpt-4o"
 40DEFAULT_OPENAI_MODEL5 = "gpt-5.4"
 41DEFAULT_LMSTUDIO_MODEL = "qwen/qwen3.8-27b"
 42
 43
 44#=========================================================
 45# Read configuration
 46#=========================================================
 47read_ai_config(config_path)
 48
 49max_tokens     = int(os.getenv("max_tokens", "2000"))
 50
 51openai_api_key = os.getenv("OPENAI_API_KEY")
 52openai_model   = os.getenv("openai_model", DEFAULT_OPENAI_MODEL4)
 53temperature    = float(os.getenv("temperature", "0.3"))
 54
 55openai_model5  = os.getenv("openai_model5", DEFAULT_OPENAI_MODEL5)
 56reasoning_effort = os.getenv("reasoning_effort", "low")
 57
 58google_api_key = os.getenv("GOOGLE_API_KEY")
 59google_model   = os.getenv("gemini_model", DEFAULT_GEMINI_MODEL)
 60lmstudio_model = os.getenv("lmstudio_model", DEFAULT_LMSTUDIO_MODEL)
 61
 62
 63#=========================================================
 64# Parameters
 65#=========================================================
 66DEFAULT_TEMPLATE = "(author_first)_(author_last)_(short_title)_(shortest_name)_(year).pdf"
 67
 68xlsx_labels = [
 69    "directory", "filename_original", "filename_rename", 
 70    "authors", "author_first", "author_last", 
 71    "title", "short_title", "journal", "short_name", "shortest_name", 
 72    "date_received", "date_accepted", "date_published_online", "date_published",
 73    "year", "volume", "issue", "pages", "doi",
 74    ]
 75
 76# Prompt template: start
 77prompt_template = """
 78以下の学術論文のテキストから、指定された情報をJSON形式で抽出してください。
 79また、first author、last author、短縮したtitle (short_title)、shortest_name、発行年から
 80推奨ファイル名 {{template}} を作ってください。
 81short_titleの単語はCaptalFirstにして、空白、.、,などの文字は削除してください。
 82
 83推奨ファイル名(filename_rename):
 84著者リスト(authors)   :
 85第一著者(author_first):
 86最終著者(author_last) :
 87論文題目(title)           :
 88論文題目略称(short_title) :
 89発行雑誌名(journal)       :
 90発行雑誌名略称(short_name):
 91発行雑誌名の最短の略称(shortest_name):
 92投稿受理日(date_received) :
 93採択日(date_accepted) :
 94オンライン発行日(date_published_online):
 95発行日(date_published):
 96発行年(year)   :
 97巻番号(volume):
 98号番号(issue) :
 99ページ(pages ):
100DOI(doi):
101
102情報が不明な場合は、空文字列 "" を使用してください。
103
104--- 論文テキスト ---
105{{text}}
106"""
107# Prompt template: end
108
109
110def initialize() -> argparse.ArgumentParser:
111    """
112    コマンドライン引数を解析するためのArgumentParserオブジェクトを初期化します。
113
114    処理するPDFファイルのパス、使用するAPI、モデル、推論強度、出力Excelファイルのパス、
115    再帰検索の有無、ファイルリネームの有無、元のファイルの削除オプション、最大バイト数、
116    ファイル名テンプレートなどの引数を定義します。
117
118    :returns: argparse.ArgumentParser - コマンドライン引数パーサーオブジェクト。
119    """
120    parser = argparse.ArgumentParser(description="学術論文のPDFからメタデータを抽出します。")
121    parser.add_argument("--api", type=str, default='openai5',
122        choices = ["openai", "openai5", "google", "lmstudio"],
123        help="使用する API を指定(openai5|openai|google|lmstudio: デフォルト: openai5)")
124    parser.add_argument("--model", type=str, default=None,
125        help="使用するモデル名。未指定時は ai.env の各 API 用モデル設定を使用する")
126    parser.add_argument("--reasoning-effort", "--reasoning_effort",
127        dest="reasoning_effort", choices=["low", "medium", "xhigh"], default=None,
128        help="推論強度(LM Studio/OpenAI5 用)。未指定時は ai.env の reasoning_effort")
129    parser.add_argument("input_file", type=str, help="処理するPDFファイルのパス")
130    parser.add_argument("--summary_path", type=str, default = "summary.xlsx", 
131                        help="summary.xlsxのパス")
132    parser.add_argument("--recursive", type=int, default=0, 
133                        help="1の場合、サブディレクトリまで処理する")
134    parser.add_argument("--rename", type=int, default=0, 
135                        help="1の場合、生成AIで推薦ファイル名を取得できた場合、リネームする")
136#    parser.add_argument("--rename", action="store_true", 
137#                        help="生成AIで推薦ファイル名を取得できた場合、リネームする")
138    parser.add_argument("--delete_original", type=int, default=1, 
139                        help="1の場合、renameしたら元のファイルを削除する")
140    parser.add_argument("--max_bytes", type=int, default=10000,
141                        help="APIに送る最大テキストバイト数。論文全体を送る必要がない場合に指定。")
142    parser.add_argument("--template", type=str, default=DEFAULT_TEMPLATE,
143                        help=f"ファイル名を変える際のテンプレート {DEFAULT_TEMPLATE}")
144    return parser
145
146def extract_text_from_pdf(pdf_path: str, max_bytes: int) -> str:
147    """
148    PDFファイルからテキストを抽出し、指定された最大バイト数に制限します。
149
150    PyPDF2ライブラリを使用してPDFの各ページからテキストを読み込みます。
151    抽出中に指定された `max_bytes` を超えた場合、その時点でテキストの抽出を停止し、
152    バイト数で切り詰めます。
153
154    :param pdf_path: str - 処理するPDFファイルのパス。
155    :param max_bytes: int - APIに送信するテキストの最大バイト数。
156    :returns: str - 抽出されたテキスト。エラーが発生した場合は空文字列。
157    """
158    text_buffer = io.StringIO()
159    try:
160        with open(pdf_path, 'rb') as f:
161            pdf_reader = PyPDF2.PdfReader(f)
162            num_pages = len(pdf_reader.pages)
163            
164            for page_num in range(num_pages):
165                page = pdf_reader.pages[page_num]
166                text_buffer.write(page.extract_text() or '')
167                
168                # バイト数チェック
169                # StringIO.tell() は文字数ではなく、内部バッファのバイト数を近似的に返すため、
170                # 正確なバイト数チェックはエンコード後に行う。ここでは大まかな目安として利用。
171                if text_buffer.tell() * 2 > max_bytes: # UTF-8で最大2バイト/文字を想定
172                    break
173    except Exception as e:
174        print(f"PDFファイルの読み込み中にエラーが発生しました: {e}")
175        return ""
176
177    full_text = text_buffer.getvalue()
178    
179    # バイト数でテキストを切り詰める
180    encoded_text = full_text.encode('utf-8', 'ignore')
181    if len(encoded_text) > max_bytes:
182        truncated_text = encoded_text[:max_bytes].decode('utf-8', 'ignore')
183        return truncated_text
184    
185    return full_text
186
187def response_to_metadata(response: object) -> dict:
188    """
189    LiteLLMのAI応答からJSON形式のメタデータを取り出します。
190
191    AIからの応答が文字列として返された場合、その文字列からJSONオブジェクトをパースします。
192    応答がJSONラッパー(例: ```json ... ```)で囲まれている場合も適切に処理します。
193
194    :param response: Any - LiteLLM (tkai_lib_litellm) からのAI応答オブジェクト。
195    :returns: dict - 抽出されたメタデータを含む辞書。JSONパースに失敗した場合は空の辞書。
196    """
197    text = extract_text(response)
198    if not text:
199        return {}
200
201    text = text.strip()
202    if text.startswith("```"):
203        text = text.split("\n", 1)[-1]
204        if text.rstrip().endswith("```"):
205            text = text.rstrip()[:-3].rstrip()
206
207    try:
208        value = json.loads(text)
209    except json.JSONDecodeError:
210        # ローカルモデルが JSON の前後に短い説明を付けた場合にも対応する。
211        start, end = text.find("{"), text.rfind("}")
212        if start < 0 or end < start:
213            print("Error: AI response is not JSON.")
214            print(text)
215            return {}
216        try:
217            value = json.loads(text[start:end + 1])
218        except json.JSONDecodeError as exc:
219            print(f"Error: Failed to parse AI response as JSON: {exc}")
220            return {}
221
222    return value if isinstance(value, dict) else {}
223
224
225def get_metadata_from_ai(text: str, template: str, api: str) -> dict:
226    """
227    指定されたテキストからAIモデルを使用して学術論文のメタデータを抽出します。
228
229    事前定義されたプロンプトテンプレートに論文テキストを埋め込み、選択されたAPI
230    (OpenAI, Google Gemini, LM Studioなど)を介してAIにクエリを送信します。
231    各APIの特性(モデル名、推論強度、温度など)に応じてパラメータを調整します。
232
233    :param text: str - 抽出元となる論文のテキスト。
234    :param template: str - 推奨ファイル名を生成するためのテンプレート文字列。
235    :param api: str - 使用するAI APIの指定("openai", "openai5", "google", "lmstudio")。
236    :returns: dict - AIによって抽出されたメタデータを含む辞書。
237    """
238    prompt = prompt_template.replace("{{text}}", text).replace("{{template}}", template)
239    kwargs = {
240        "max_tokens": max_tokens,
241        "response_format": {"type": "json_object"},
242    }
243
244    if api == "lmstudio":
245        # Qwen など LM Studio の reasoning モデルは OpenAI 互換 API の
246        # extra_body で推論強度を受け取る。
247        kwargs["extra_body"] = {"reasoning_effort": reasoning_effort}
248        kwargs["drop_params"] = True
249        model, provider = lmstudio_model, "lmstudio"
250    elif api == "openai5":
251        kwargs["reasoning_effort"] = reasoning_effort
252        model, provider = openai_model5, "openai5"
253    elif api == "openai":
254        kwargs["temperature"] = temperature
255        model, provider = openai_model, "openai"
256    elif api == "google":
257        model, provider = google_model, "google"
258    else:
259        raise ValueError(f"未対応の API: {api}")
260
261    response = query_ai(prompt, model=model, role=None, provider=provider, **kwargs)
262    return response_to_metadata(response)
263
264def append_xlsx(path: str, mode: str, labels: list, data_list: list[list]) -> None:
265    """
266    指定されたExcelファイルにデータを追記します。
267
268    ファイルが存在しない場合やモードが"w"の場合、新しいワークブックを作成し、
269    ヘッダー行 (`labels`) を書き込みます。それ以外の場合は既存のワークブックをロードし、
270    指定された `data_list` の各行をシートの末尾に追加します。
271
272    :param path: str - 処理するExcelファイルのパス。
273    :param mode: str - ファイルのオープンモード("w"で新規作成、それ以外は追記)。
274    :param labels: list - Excelシートのヘッダー行として使用される文字列のリスト。
275    :param data_list: list[list] - Excelシートに追加するデータのリスト。各内部リストが1行に対応します。
276    :returns: None
277    """
278    if mode == "w" or not os.path.exists(path):
279        wb = Workbook()
280        ws = wb.active
281        ws.append(labels)
282    else:
283        wb = load_workbook(filename = path)
284        ws = wb.active
285
286    for row in data_list:
287        ws.append(row)
288
289    wb.save(path)
290
291def rename_file(input_file: str, new_filename: str, delete_original: bool = False) -> bool:
292    """
293    ファイルを新しい名前にリネームまたはコピーします。
294
295    指定された `input_file` を `new_filename` に変更します。
296    `delete_original` がTrueの場合、元のファイルを削除しリネームを行います。
297    Falseの場合は、元のファイルを残したまま新しいファイル名でコピーを作成します。
298    新しいファイル名が既に存在する場合は処理をスキップします。
299
300    :param input_file: str - 元のファイルパス。
301    :param new_filename: str - 新しいファイル名。
302    :param delete_original: bool - Trueの場合、元のファイルを削除してリネームします。Falseの場合、コピーを作成します。
303    :returns: bool - リネームまたはコピーが成功した場合はTrue、失敗した場合はFalse。
304    """
305    if os.path.exists(new_filename):
306        print(f"Error in rename_file(): File [{new_filename}] already exists. Skip.")
307        return False
308
309    try:
310        directory = os.path.dirname(input_file)
311        # 現在の作業ディレクトリを一時的に変更する。
312        # これは shutil.copy や os.rename が相対パスで動作する場合に予期せぬ挙動を避けるため。
313        # ただし、input_file と new_filename が絶対パスの場合、chdirは不要だが、
314        # ここでは元々の実装の意図を尊重する。
315        original_cwd = os.getcwd()
316        os.chdir(directory)
317
318        # new_filename が basename のみの場合、現在のディレクトリに作成される。
319        # input_file も basename のみの場合、現在のディレクトリのファイルを指す。
320        # ここでは input_file と new_filename が完全なパスとして扱われることを想定する。
321        full_input_path = os.path.join(original_cwd, input_file) if not os.path.isabs(input_file) else input_file
322        full_new_path = os.path.join(original_cwd, new_filename) if not os.path.isabs(new_filename) else new_filename
323
324        if delete_original:
325            os.rename(full_input_path, full_new_path)
326            print(f"Changed file name from [{full_input_path}] to [{full_new_path}]")
327        else:
328            shutil.copy(full_input_path, full_new_path)
329            print(f"Copied [{full_input_path}] to [{full_new_path}]")
330    except Exception as e:
331        print(f"Error in rename_file(): Could not change file name to [{new_filename}] due to: {e}")
332        return False
333    finally:
334        os.chdir(original_cwd) # 元の作業ディレクトリに戻す
335
336    return True
337
338def get_inf(input_file: str, summary_path: str, api: str = "openai", max_bytes: int = 10000, 
339            rename: bool = False, delete_original: bool = True, template: str = DEFAULT_TEMPLATE) -> bool:
340    """
341    単一のPDFファイルからメタデータを抽出し、Excelに保存し、必要に応じてファイルをリネームします。
342
343    この関数は以下のステップを実行します:
344    1.  PDFからテキストを抽出します。
345    2.  抽出したテキストを指定されたAPIとモデルに送信し、AIからメタデータを取得します。
346    3.  取得したメタデータをExcelファイル (`summary_path`) に追記します。
347    4.  `rename` オプションがTrueで、AIが推奨ファイル名を返した場合、PDFファイルを推奨ファイル名に
348        リネーム(またはコピー)します。
349    5.  `delete_original` オプションにより、リネーム時の元のファイルの扱いを制御します。
350
351    :param input_file: str - 処理するPDFファイルのパス。
352    :param summary_path: str - メタデータを保存するExcelファイルのパス。
353    :param api: str - 使用するAI APIの指定(デフォルト: "openai")。
354    :param max_bytes: int - APIに送信するテキストの最大バイト数(デフォルト: 10000)。
355    :param rename: bool - Trueの場合、AIが推奨するファイル名でPDFファイルをリネームします。
356    :param delete_original: bool - Trueの場合、リネーム後に元のファイルを削除します(renameがTrueの場合のみ有効)。
357    :param template: str - ファイル名生成に使用するテンプレート文字列。
358    :returns: bool - 処理が成功した場合はTrue、失敗した場合はFalse。
359    """
360    directory = os.path.dirname(input_file)
361    filename  = os.path.basename(input_file)
362    print(f"Input PDF file: [{input_file}]")
363    print(f"  Directory: [{directory}]")
364    print(f"  File name: [{filename}]")
365
366    extracted_text = extract_text_from_pdf(input_file, max_bytes)
367    if not extracted_text:
368        print("テキストの抽出に失敗したか、ファイルが空です。処理を終了します。")
369        print("PyCryptodomeが必要というメッセージが出たら、以下のようにinstallしてください。")
370        print("Install: pip install pycryptodome ")
371        return False
372
373    print(f"  API: {api.upper()}")
374    if api == 'lmstudio':
375        print(f"  lmstudio_model: {lmstudio_model}")
376        print(f"  effort         : {reasoning_effort}")
377        print(f"  max_tokens     : {max_tokens}")
378    elif 'openai5' in api:
379        print(f"  openai_model: {openai_model5}")
380        print(f"  effort      : {reasoning_effort}")
381        print(f"  max_tokens  : {max_tokens}")
382    elif 'openai' in api:
383        print(f"  openai_model: {openai_model}")
384        print(f"  temperature : {temperature}")
385        print(f"  max_tokens  : {max_tokens}")
386    else: # google
387        print(f"  google_model: {google_model}")
388        print(f"  max_tokens: {max_tokens}")
389
390    print(f"  max bytes: {max_bytes}")
391    print(f"  抽出したテキストを送信中...")
392    try:
393        metadata = get_metadata_from_ai(extracted_text[:max_bytes], template, api)
394    except Exception as exc:
395        print(f"Error: AI からのメタデータ抽出に失敗しました: {exc}")
396        return False
397
398    if metadata:
399        print("\n--- 論文メタデータ ---")
400        # xlsx_labelsの順序に合わせてデータを追加
401        # filename_rename は metadata にあるが、directory, filename_original は引数から取得
402        # metadataから抽出した情報がxlsx_labelsの順序と一致するように調整
403        
404        # まずxlsx_labelsに対応する辞書を作成し、欠落しているキーは空文字列で埋める
405        row_data_dict = {label: "" for label in xlsx_labels}
406        row_data_dict["directory"] = directory
407        row_data_dict["filename_original"] = filename
408
409        for key, value in metadata.items():
410            print(f"{key}: {value}")
411            if key in row_data_dict: # xlsx_labels に含まれるキーのみを対象
412                if isinstance(value, (list, tuple)):
413                    row_data_dict[key] = ", ".join(map(str, value)) # リスト/タプルはカンマ区切り文字列に
414                else:
415                    row_data_dict[key] = str(value) # その他の型は文字列に変換
416            
417        # xlsx_labelsの順序でデータリストを作成
418        data = [row_data_dict[label] for label in xlsx_labels]
419
420    else:
421        # メタデータが取得できなかった場合、空のデータで埋める
422        print("AIからメタデータを取得できませんでした。")
423        data = [directory, filename, "", "", "", "", "", 
424                "", "", "", "", "", 
425                "", "", "", "", "", "", "", "", ""]
426    
427    append_xlsx(summary_path, mode = "a", labels = xlsx_labels, data_list = [data])
428
429    if rename and metadata.get("filename_rename", None):
430        new_filename = metadata["filename_rename"]
431        if not new_filename.lower().endswith('.pdf'): # 小文字に変換してチェック
432            new_filename += '.pdf'
433        
434        # rename_file には絶対パスを渡すか、os.chdir() の影響を考慮したパスを渡す
435        # ここでは get_inf に渡された input_file が既に適切なパスであると仮定
436        ret = rename_file(input_file, os.path.join(directory, new_filename), delete_original=delete_original)
437        if not ret: 
438            return False
439    
440    return True
441
442def main() -> None:
443    """
444    メインのエントリーポイントとして、コマンドライン引数を処理し、指定されたPDFファイル群からメタデータを抽出します。
445
446    1.  `initialize()` を呼び出してコマンドライン引数を解析します。
447    2.  `--model` オプションが指定された場合、使用するAIモデルを更新します。
448    3.  `--recursive` オプションに応じて、指定されたファイルパターンに合致するPDFファイルを検索します。
449    4.  見つかった各PDFファイルに対し `get_inf` 関数を呼び出し、メタデータ抽出、
450        Excel保存、リネーム処理を実行します。
451    5.  処理の最後にユーザー入力を待ち、プログラムを終了します。
452
453    :returns: None
454    """
455    global openai_model, openai_model5, google_model, lmstudio_model, reasoning_effort
456
457    parser = initialize()
458    args = parser.parse_args()
459
460    if args.model:
461        if args.api == "openai":
462            openai_model = args.model
463        elif args.api == "openai5":
464            openai_model5 = args.model
465        elif args.api == "google":
466            google_model = args.model
467        else: # lmstudio
468            lmstudio_model = args.model
469    if args.reasoning_effort:
470        reasoning_effort = args.reasoning_effort
471    
472    fmask = args.input_file
473    if args.recursive:
474        directory = os.path.dirname(fmask)
475        base_name = os.path.basename(fmask)
476        if '*' not in directory:
477            # 再帰検索の場合、ディレクトリとファイル名の間に '**' を挿入して glob がサブディレクトリを検索するようにする
478            # ただし、input_fileが既に特定のディレクトリ内のファイルの場合、
479            # そのディレクトリのサブディレクトリも対象とするために '**' を追加する。
480            # input_fileがワイルドカードを含まない単一ファイル名の場合(例: paper.pdf)、
481            # カレントディレクトリとサブディレクトリのpaper.pdfを検索する。
482            fmask = os.path.join(directory if directory else '.', '**', base_name)
483        else:
484            # input_file が既にワイルドカードを含むパスの場合、そのまま使用
485            pass
486            
487    print()
488    print(f"Search files for [{fmask}]")
489    print(f"Recursive search? {bool(args.recursive)}") # intをboolとして表示
490    files = sorted(glob.glob(fmask, recursive = bool(args.recursive)))
491    print()
492    if len(files) == 0:
493        print(f"Error: No file found.")
494    else:
495        print(f"Files found for [{args.input_file}]")
496        for f in files:
497            print(f"  {f}")
498
499        for f in files:
500            print()
501            # intの引数をboolとして渡す
502            get_inf(f, args.summary_path, args.api, args.max_bytes, 
503                    bool(args.rename), bool(args.delete_original), args.template)
504
505    input("\nPress ENTER to terminate>>\n")
506
507
508if __name__ == "__main__":
509    main()