tkasr_qwen_local.py ダウンロード/コピー

tkasr_qwen_local.py をダウンロード

tkasr_qwen_local.py
tkasr_qwen_local.py
  1"""
  2Qwen3-ASRローカルバックエンドを提供するモジュール。
  3
  4Qwen3-ASRローカルバックエンドを提供し、音声認識機能を実現します。
  5このモジュールは、必要に応じて `qwen-asr` と `torch` ライブラリを動的にインポートします。
  6これにより、これらの依存関係がインストールされている環境でのみ機能が有効になります。
  7
  8関連リンク:
  9    :doc:`tkasr_qwen_local_usage`
 10"""
 11from __future__ import annotations
 12from pathlib import Path
 13from typing import Optional
 14from tkasr_common import ASRResult, OptionalDependencyError, Segment
 15
 16BACKEND_NAME = "qwen-local"
 17MODELS = {"0.6B": "Qwen/Qwen3-ASR-0.6B", "1.7B": "Qwen/Qwen3-ASR-1.7B"}
 18
 19class Backend:
 20    """
 21    Qwen3-ASRローカルモデルを管理し、音声認識を実行するバックエンドクラス。
 22
 23    Qwen3-ASRモデルのロード、デバイスとデータ型の設定、音声ファイルからの文字起こし機能を提供します。
 24    モデルやデバイスに関する設定は、初期化時に渡される引数 `args` に基づいて行われます。
 25    """
 26    def __init__(self, args):
 27        """
 28        Backend クラスの新しいインスタンスを初期化します。
 29
 30        モデルのロードに必要な設定引数を保持し、その他の属性を初期化します。
 31        モデル (`self.model`) は `load()` メソッドが呼び出されるまで初期化されません。
 32
 33        :param args: モデルのロードと推論設定を含む引数オブジェクト。
 34                     通常はコマンドライン引数をパースした結果です。
 35        """
 36        self.args, self.model, self.device, self.dtype = args, None, "", ""
 37
 38    def load(self):
 39        """
 40        Qwen3-ASRモデルをロードし、デバイスとデータ型を設定します。
 41
 42        このメソッドは、PyTorchと `qwen-asr` ライブラリを動的にインポートし、
 43        `__init__` で渡された引数 (`self.args`) に基づいてQwen3-ASRモデルを初期化します。
 44        デバイスの自動検出(CUDA/CPU)とデータ型の選択(bfloat16, float16, float32)が行われ、
 45        必要に応じて `forced_aligner` や `attn_implementation` のオプションも設定されます。
 46
 47        :raises OptionalDependencyError: `qwen-asr` または `torch` ライブラリがインストールされていない場合。
 48        :raises RuntimeError: CUDAが利用できないのにCUDAデバイスが指定された場合、または未対応のデータ型が指定された場合。
 49        :returns: なし
 50        """
 51        try:
 52            import torch
 53            from qwen_asr import Qwen3ASRModel
 54        except ImportError as exc:
 55            raise OptionalDependencyError("qwen-local には qwen-asr と PyTorch が必要です。例: pip install qwen-asr torch") from exc
 56        device = self.args.device.lower()
 57        self.device = ("cuda:0" if torch.cuda.is_available() else "cpu") if device == "auto" else ("cuda:0" if device == "cuda" else device)
 58        if self.device.startswith("cuda") and not torch.cuda.is_available(): raise RuntimeError("CUDA が指定されましたが利用できません。")
 59        name = self.args.dtype if self.args.dtype != "auto" else ("bfloat16" if self.device.startswith("cuda") and torch.cuda.is_bf16_supported() else ("float16" if self.device.startswith("cuda") else "float32"))
 60        table = {"bfloat16": torch.bfloat16, "float16": torch.float16, "float32": torch.float32}
 61        if name not in table: raise RuntimeError(f"未対応 --dtype: {name}")
 62        options = {"dtype": table[name], "device_map": self.device, "max_inference_batch_size": self.args.max_inference_batch_size, "max_new_tokens": self.args.max_new_tokens}
 63        if self.args.timestamps:
 64            options["forced_aligner"] = self.args.aligner
 65            options["forced_aligner_kwargs"] = {"dtype": table[name], "device_map": self.device}
 66        if self.args.attention != "auto": options["attn_implementation"] = self.args.attention
 67        model = MODELS.get(self.args.model, self.args.model)
 68        print(f"Loading local Qwen3-ASR: {model} ({self.device}, {name})", flush=True)
 69        self.model, self.dtype = Qwen3ASRModel.from_pretrained(model, **options), name
 70
 71    def describe(self):
 72        """
 73        現在のバックエンド設定の詳細を辞書形式で返します。
 74
 75        :returns: バックエンドの名前、ロードされたモデル、使用中のデバイス、データ型、
 76                  およびタイムスタンプ機能が有効かどうかの情報を含む辞書。
 77        :rtype: dict
 78        """
 79        return {"backend": BACKEND_NAME, "model": MODELS.get(self.args.model, self.args.model), "device": self.device, "dtype": self.dtype, "timestamps": bool(self.args.timestamps)}
 80
 81    def transcribe(self, audio: Path, language: Optional[str], prompt: str) -> ASRResult:
 82        """
 83        指定された音声ファイルを文字起こしします。
 84
 85        Qwen3-ASRモデルの `transcribe` メソッドを呼び出し、その結果を `ASRResult` オブジェクトに変換します。
 86        `self.args.timestamps` が真の場合、音声のタイムスタンプ情報も抽出し、
 87        `ASRResult` の `segments` リストに `Segment` オブジェクトとして格納します。
 88        `qwen-asr` モデルからの `time_stamps` はネストされたリスト/タプルである可能性があるため、
 89        適切な形式に平坦化する処理が含まれています。
 90
 91        :param audio: 文字起こしする音声ファイルへのパス。
 92        :type audio: Path
 93        :param language: 音声の言語(例: "en", "ja")。Noneの場合、モデルが自動的に検出します。
 94        :type language: Optional[str]
 95        :param prompt: 文字起こしをガイドするためのプロンプトテキスト。
 96        :type prompt: str
 97        :returns: 文字起こしされたテキスト、セグメント情報、および検出された言語を含むASRResultオブジェクト。
 98        :rtype: ASRResult
 99        """
100        raw = self.model.transcribe(audio=str(audio), language=language, return_time_stamps=bool(self.args.timestamps))[0]
101        items = getattr(raw, "time_stamps", None) or []
102        while isinstance(items, (list, tuple)) and len(items) == 1 and isinstance(items[0], (list, tuple)): items = items[0]
103        segments = []
104        for item in items:
105            get = item.get if isinstance(item, dict) else lambda key, default=None: getattr(item, key, default)
106            segments.append(Segment(get("start_time", get("start")), get("end_time", get("end")), str(get("text", ""))))
107        return ASRResult(str(getattr(raw, "text", "")).strip(), segments, getattr(raw, "language", None))