get_paper_inf5 プログラム仕様
このモジュールは、学術論文のPDFファイルからメタデータ(著者、タイトル、発行年、DOIなど)を抽出し、 その情報をExcelファイルに保存したり、推奨されるファイル名に基づいてPDFファイルをリネームしたりするツールです。 様々なAIモデル(OpenAI, Gemini, LM Studioなど)をLiteLLMを通じて利用してテキストから情報を解析します。
このスクリプトは、PDFからテキストを抽出し、そのテキストをLLM(Large Language Model)に送信して、 構造化されたメタデータ(JSON形式)を抽出します。抽出されたメタデータはExcelに記録され、 オプションでファイルのリネームにも利用されます。
参考
get_paper_inf5.py ドキュメント (もし対応するドキュメントがあれば、ここにリンクを追加します)
- ai.get_paper_inf5.append_xlsx(path: str, mode: str, labels: list, data_list: list[list]) None
指定されたExcelファイルにデータを追記します。
ファイルが存在しない場合やモードが"w"の場合、新しいワークブックを作成し、 ヘッダー行 (labels) を書き込みます。それ以外の場合は既存のワークブックをロードし、 指定された data_list の各行をシートの末尾に追加します。
- パラメータ:
path -- str - 処理するExcelファイルのパス。
mode -- str - ファイルのオープンモード("w"で新規作成、それ以外は追記)。
labels -- list - Excelシートのヘッダー行として使用される文字列のリスト。
data_list -- list[list] - Excelシートに追加するデータのリスト。各内部リストが1行に対応します。
- 戻り値:
None
- ai.get_paper_inf5.extract_text_from_pdf(pdf_path: str, max_bytes: int) str
PDFファイルからテキストを抽出し、指定された最大バイト数に制限します。
PyPDF2ライブラリを使用してPDFの各ページからテキストを読み込みます。 抽出中に指定された max_bytes を超えた場合、その時点でテキストの抽出を停止し、 バイト数で切り詰めます。
- パラメータ:
pdf_path -- str - 処理するPDFファイルのパス。
max_bytes -- int - APIに送信するテキストの最大バイト数。
- 戻り値:
str - 抽出されたテキスト。エラーが発生した場合は空文字列。
- ai.get_paper_inf5.get_inf(input_file: str, summary_path: str, api: str = 'openai', max_bytes: int = 10000, rename: bool = False, delete_original: bool = True, template: str = '(author_first)_(author_last)_(short_title)_(shortest_name)_(year).pdf') bool
単一のPDFファイルからメタデータを抽出し、Excelに保存し、必要に応じてファイルをリネームします。
この関数は以下のステップを実行します: 1. PDFからテキストを抽出します。 2. 抽出したテキストを指定されたAPIとモデルに送信し、AIからメタデータを取得します。 3. 取得したメタデータをExcelファイル (summary_path) に追記します。 4. rename オプションがTrueで、AIが推奨ファイル名を返した場合、PDFファイルを推奨ファイル名に
リネーム(またはコピー)します。
delete_original オプションにより、リネーム時の元のファイルの扱いを制御します。
- パラメータ:
input_file -- str - 処理するPDFファイルのパス。
summary_path -- str - メタデータを保存するExcelファイルのパス。
api -- str - 使用するAI APIの指定(デフォルト: "openai")。
max_bytes -- int - APIに送信するテキストの最大バイト数(デフォルト: 10000)。
rename -- bool - Trueの場合、AIが推奨するファイル名でPDFファイルをリネームします。
delete_original -- bool - Trueの場合、リネーム後に元のファイルを削除します(renameがTrueの場合のみ有効)。
template -- str - ファイル名生成に使用するテンプレート文字列。
- 戻り値:
bool - 処理が成功した場合はTrue、失敗した場合はFalse。
- ai.get_paper_inf5.get_metadata_from_ai(text: str, template: str, api: str) dict
指定されたテキストからAIモデルを使用して学術論文のメタデータを抽出します。
事前定義されたプロンプトテンプレートに論文テキストを埋め込み、選択されたAPI (OpenAI, Google Gemini, LM Studioなど)を介してAIにクエリを送信します。 各APIの特性(モデル名、推論強度、温度など)に応じてパラメータを調整します。
- パラメータ:
text -- str - 抽出元となる論文のテキスト。
template -- str - 推奨ファイル名を生成するためのテンプレート文字列。
api -- str - 使用するAI APIの指定("openai", "openai5", "google", "lmstudio")。
- 戻り値:
dict - AIによって抽出されたメタデータを含む辞書。
- ai.get_paper_inf5.initialize() ArgumentParser
コマンドライン引数を解析するためのArgumentParserオブジェクトを初期化します。
処理するPDFファイルのパス、使用するAPI、モデル、推論強度、出力Excelファイルのパス、 再帰検索の有無、ファイルリネームの有無、元のファイルの削除オプション、最大バイト数、 ファイル名テンプレートなどの引数を定義します。
- 戻り値:
argparse.ArgumentParser - コマンドライン引数パーサーオブジェクト。
- ai.get_paper_inf5.main() None
メインのエントリーポイントとして、コマンドライン引数を処理し、指定されたPDFファイル群からメタデータを抽出します。
initialize() を呼び出してコマンドライン引数を解析します。
--model オプションが指定された場合、使用するAIモデルを更新します。
--recursive オプションに応じて、指定されたファイルパターンに合致するPDFファイルを検索します。
見つかった各PDFファイルに対し get_inf 関数を呼び出し、メタデータ抽出、 Excel保存、リネーム処理を実行します。
処理の最後にユーザー入力を待ち、プログラムを終了します。
- 戻り値:
None
- ai.get_paper_inf5.rename_file(input_file: str, new_filename: str, delete_original: bool = False) bool
ファイルを新しい名前にリネームまたはコピーします。
指定された input_file を new_filename に変更します。 delete_original がTrueの場合、元のファイルを削除しリネームを行います。 Falseの場合は、元のファイルを残したまま新しいファイル名でコピーを作成します。 新しいファイル名が既に存在する場合は処理をスキップします。
- パラメータ:
input_file -- str - 元のファイルパス。
new_filename -- str - 新しいファイル名。
delete_original -- bool - Trueの場合、元のファイルを削除してリネームします。Falseの場合、コピーを作成します。
- 戻り値:
bool - リネームまたはコピーが成功した場合はTrue、失敗した場合はFalse。
- ai.get_paper_inf5.response_to_metadata(response: object) dict
LiteLLMのAI応答からJSON形式のメタデータを取り出します。
AIからの応答が文字列として返された場合、その文字列からJSONオブジェクトをパースします。 応答がJSONラッパー(例:
`json ... `)で囲まれている場合も適切に処理します。- パラメータ:
response -- Any - LiteLLM (tkai_lib_litellm) からのAI応答オブジェクト。
- 戻り値:
dict - 抽出されたメタデータを含む辞書。JSONパースに失敗した場合は空の辞書。