get_paper_inf5 プログラム仕様

このモジュールは、学術論文のPDFファイルからメタデータ(著者、タイトル、発行年、DOIなど)を抽出し、 その情報をExcelファイルに保存したり、推奨されるファイル名に基づいてPDFファイルをリネームしたりするツールです。 様々なAIモデル(OpenAI, Gemini, LM Studioなど)をLiteLLMを通じて利用してテキストから情報を解析します。

このスクリプトは、PDFからテキストを抽出し、そのテキストをLLM(Large Language Model)に送信して、 構造化されたメタデータ(JSON形式)を抽出します。抽出されたメタデータはExcelに記録され、 オプションでファイルのリネームにも利用されます。

参考

get_paper_inf5.py ドキュメント (もし対応するドキュメントがあれば、ここにリンクを追加します)

ai.get_paper_inf5.append_xlsx(path: str, mode: str, labels: list, data_list: list[list]) → None

指定されたExcelファイルにデータを追記します。

ファイルが存在しない場合やモードが"w"の場合、新しいワークブックを作成し、 ヘッダー行 (labels) を書き込みます。それ以外の場合は既存のワークブックをロードし、 指定された data_list の各行をシートの末尾に追加します。

パラメータ:
  • path -- str - 処理するExcelファイルのパス。

  • mode -- str - ファイルのオープンモード("w"で新規作成、それ以外は追記)。

  • labels -- list - Excelシートのヘッダー行として使用される文字列のリスト。

  • data_list -- list[list] - Excelシートに追加するデータのリスト。各内部リストが1行に対応します。

戻り値:

None

ai.get_paper_inf5.extract_text_from_pdf(pdf_path: str, max_bytes: int) → str

PDFファイルからテキストを抽出し、指定された最大バイト数に制限します。

PyPDF2ライブラリを使用してPDFの各ページからテキストを読み込みます。 抽出中に指定された max_bytes を超えた場合、その時点でテキストの抽出を停止し、 バイト数で切り詰めます。

パラメータ:
  • pdf_path -- str - 処理するPDFファイルのパス。

  • max_bytes -- int - APIに送信するテキストの最大バイト数。

戻り値:

str - 抽出されたテキスト。エラーが発生した場合は空文字列。

ai.get_paper_inf5.get_inf(input_file: str, summary_path: str, api: str = 'openai', max_bytes: int = 10000, rename: bool = False, delete_original: bool = True, template: str = '(author_first)_(author_last)_(short_title)_(shortest_name)_(year).pdf') → bool

単一のPDFファイルからメタデータを抽出し、Excelに保存し、必要に応じてファイルをリネームします。

この関数は以下のステップを実行します: 1. PDFからテキストを抽出します。 2. 抽出したテキストを指定されたAPIとモデルに送信し、AIからメタデータを取得します。 3. 取得したメタデータをExcelファイル (summary_path) に追記します。 4. rename オプションがTrueで、AIが推奨ファイル名を返した場合、PDFファイルを推奨ファイル名に

リネーム(またはコピー)します。

  1. delete_original オプションにより、リネーム時の元のファイルの扱いを制御します。

パラメータ:
  • input_file -- str - 処理するPDFファイルのパス。

  • summary_path -- str - メタデータを保存するExcelファイルのパス。

  • api -- str - 使用するAI APIの指定(デフォルト: "openai")。

  • max_bytes -- int - APIに送信するテキストの最大バイト数(デフォルト: 10000)。

  • rename -- bool - Trueの場合、AIが推奨するファイル名でPDFファイルをリネームします。

  • delete_original -- bool - Trueの場合、リネーム後に元のファイルを削除します(renameがTrueの場合のみ有効)。

  • template -- str - ファイル名生成に使用するテンプレート文字列。

戻り値:

bool - 処理が成功した場合はTrue、失敗した場合はFalse。

ai.get_paper_inf5.get_metadata_from_ai(text: str, template: str, api: str) → dict

指定されたテキストからAIモデルを使用して学術論文のメタデータを抽出します。

事前定義されたプロンプトテンプレートに論文テキストを埋め込み、選択されたAPI (OpenAI, Google Gemini, LM Studioなど)を介してAIにクエリを送信します。 各APIの特性(モデル名、推論強度、温度など)に応じてパラメータを調整します。

パラメータ:
  • text -- str - 抽出元となる論文のテキスト。

  • template -- str - 推奨ファイル名を生成するためのテンプレート文字列。

  • api -- str - 使用するAI APIの指定("openai", "openai5", "google", "lmstudio")。

戻り値:

dict - AIによって抽出されたメタデータを含む辞書。

ai.get_paper_inf5.initialize() → ArgumentParser

コマンドライン引数を解析するためのArgumentParserオブジェクトを初期化します。

処理するPDFファイルのパス、使用するAPI、モデル、推論強度、出力Excelファイルのパス、 再帰検索の有無、ファイルリネームの有無、元のファイルの削除オプション、最大バイト数、 ファイル名テンプレートなどの引数を定義します。

戻り値:

argparse.ArgumentParser - コマンドライン引数パーサーオブジェクト。

ai.get_paper_inf5.main() → None

メインのエントリーポイントとして、コマンドライン引数を処理し、指定されたPDFファイル群からメタデータを抽出します。

  1. initialize() を呼び出してコマンドライン引数を解析します。

  2. --model オプションが指定された場合、使用するAIモデルを更新します。

  3. --recursive オプションに応じて、指定されたファイルパターンに合致するPDFファイルを検索します。

  4. 見つかった各PDFファイルに対し get_inf 関数を呼び出し、メタデータ抽出、 Excel保存、リネーム処理を実行します。

  5. 処理の最後にユーザー入力を待ち、プログラムを終了します。

戻り値:

None

ai.get_paper_inf5.rename_file(input_file: str, new_filename: str, delete_original: bool = False) → bool

ファイルを新しい名前にリネームまたはコピーします。

指定された input_file を new_filename に変更します。 delete_original がTrueの場合、元のファイルを削除しリネームを行います。 Falseの場合は、元のファイルを残したまま新しいファイル名でコピーを作成します。 新しいファイル名が既に存在する場合は処理をスキップします。

パラメータ:
  • input_file -- str - 元のファイルパス。

  • new_filename -- str - 新しいファイル名。

  • delete_original -- bool - Trueの場合、元のファイルを削除してリネームします。Falseの場合、コピーを作成します。

戻り値:

bool - リネームまたはコピーが成功した場合はTrue、失敗した場合はFalse。

ai.get_paper_inf5.response_to_metadata(response: object) → dict

LiteLLMのAI応答からJSON形式のメタデータを取り出します。

AIからの応答が文字列として返された場合、その文字列からJSONオブジェクトをパースします。 応答がJSONラッパー(例: `json ... `)で囲まれている場合も適切に処理します。

パラメータ:

response -- Any - LiteLLM (tkai_lib_litellm) からのAI応答オブジェクト。

戻り値:

dict - 抽出されたメタデータを含む辞書。JSONパースに失敗した場合は空の辞書。