tkasr_llm.py ライブラリ ドキュメント

ライブラリの機能や目的

tkasr_llm.py は、音声認識 (ASR) によって生成された文字起こしテキストを、大規模言語モデル (LLM) を利用して校正するためのPythonライブラリです。

主な目的は、ASRの出力に含まれるフィラー(「えーと」「あのー」など)、どもり、明らかな誤変換、同音異義語、不適切な句読点、表記ゆれなどを修正し、より自然で読みやすい日本語のテキストを生成することです。

本ライブラリは以下の原則に基づいて動作します。

  • 非破壊的な修正: テキストの要約、削除、追加、言い換え、解説は行いません。あくまで元のテキストの意味や内容を維持しつつ、表記上の誤りを修正します。

  • ASR管理行の保持: [[ASR_CHUNK...]] や [[ASR_BOUNDARY...]] といったASRシステムが生成する管理行は、校正処理中は変更せずに残し、最終的な出力からは削除します。これにより、元のASRデータの構造を尊重しつつ、クリーンなテキストを得られます。

  • 段落分けの自動調整: 話題の変更点など、自然な箇所で自動的に段落を分けることで、テキストの可読性を向上させます。

  • LLMラッパーの利用: tkai_lib_litellm.py ライブラリをLLMへのインターフェースとして利用することで、様々なLLMプロバイダやモデルに柔軟に対応します。

importする方法

このライブラリは、Pythonモジュールとして他のプログラムからインポートして使用します。

import tkasr_llm

# または特定の関数や変数をインポートする
from tkasr_llm import correct, MARKER, SYSTEM

必要な非標準ライブラリとインストール方法

tkasr_llm.py の機能を完全に利用するためには、いくつかの非標準ライブラリと特定のカスタムライブラリが必要です。

  1. tkasr_common: OptionalDependencyError クラスを提供します。

    pip install tkasr-common
    
  2. tkai_lib_litellm.py: LLMとの通信を行うためのカスタムライブラリです。このファイルは tkasr_llm.py と同じディレクトリ、またはPythonのパスが通っている場所に配置する必要があります。これは pip でインストールするライブラリではありません。

  3. litellm: tkai_lib_litellm.py が依存しているLLMラッパーライブラリです。

    pip install litellm
    
  4. python-dotenv: tkai_lib_litellm.py が環境変数からの設定読み込みに利用するライブラリです。

    pip install python-dotenv
    

これらのライブラリが不足している場合、correct 関数を実行しようとすると OptionalDependencyError が発生します。

importできる変数と関数

変数

  • MARKER

    • 説明: ASRのチャンクや境界を示す管理行(例: [[ASR_CHUNK...]])を検出するためのコンパイル済み正規表現オブジェクトです。この正規表現にマッチする行は、最終的な校正済みテキストから除外されます。

  • SYSTEM

    • 説明: LLMに渡すシステムプロンプトのテキストです。LLMに対する校正の規則や指示が詳細に記述されています。

関数

  • correct(text: str, *, config: str, provider: str, model: str, context: str, max_tokens: int, maximum_chars: int) -> str

    • 動作: 与えられたASR文字起こしテキストをLLMで校正します。テキストが長い場合は、指定された最大文字数で分割し、部分ごとにLLMに問い合わせを行います。校正処理中、ASR管理行は保持されますが、最終的な戻り値からは削除されます。

    • 引数:

      • text (str): 校正対象のASR文字起こしテキスト。

      • config (str): LLMの設定ファイルへのパス(例: .env ファイルなど)。tkai_lib_litellm.py がこのファイルからAI設定を読み込みます。

      • provider (str): 使用するLLMプロバイダ(例: openai, anthropic, lmstudio, local など)。

      • model (str): 使用するLLMモデルの名前(例: gpt-4o, claude-3-opus-20240229, openai/microsoft/phi-3-mini-4k-instruct など)。provider が lmstudio や local の場合、特定の接頭辞 openai/ が自動的に処理されます。

      • context (str): LLMに与える追加の補助情報や専門用語候補のテキスト。この情報がある場合、システムプロンプトに追記されます。ない場合は無視されます。

      • max_tokens (int): LLMからの応答として期待される最大トークン数。

      • maximum_chars (int): LLMに一度に渡すテキストの最大文字数。入力テキストがこの値を超える場合、自然な境界(改行、句読点など)で分割して処理されます。

    • 戻り値:

      • str: LLMによって校正された最終的なテキスト。ASR管理行は削除され、段落分けが適用されています。

    • 例外:

      • RuntimeError: LLMへの問い合わせが失敗した場合や、LLMが有効な校正済み本文を返さなかった場合に発生します。

main scriptとして実行したときの動作

tkasr_llm.py は if __name__ == "__main__": ブロックを持たないため、このファイルをPythonのメインスクリプトとして直接実行しても、特別な動作は定義されていません。このライブラリは、他のPythonプログラムやスクリプトからインポートされ、その機能が利用されることを想定して設計されています。