tkasr_qwen_local.py ダウンロード/コピー
tkasr_qwen_local.py
tkasr_qwen_local.py
1"""
2Qwen3-ASRローカルバックエンドを提供するモジュール。
3
4Qwen3-ASRローカルバックエンドを提供し、音声認識機能を実現します。
5このモジュールは、必要に応じて `qwen-asr` と `torch` ライブラリを動的にインポートします。
6これにより、これらの依存関係がインストールされている環境でのみ機能が有効になります。
7
8関連リンク:
9 :doc:`tkasr_qwen_local_usage`
10"""
11from __future__ import annotations
12from pathlib import Path
13from typing import Optional
14from tkasr_common import ASRResult, OptionalDependencyError, Segment
15
16BACKEND_NAME = "qwen-local"
17MODELS = {"0.6B": "Qwen/Qwen3-ASR-0.6B", "1.7B": "Qwen/Qwen3-ASR-1.7B"}
18
19class Backend:
20 """
21 Qwen3-ASRローカルモデルを管理し、音声認識を実行するバックエンドクラス。
22
23 Qwen3-ASRモデルのロード、デバイスとデータ型の設定、音声ファイルからの文字起こし機能を提供します。
24 モデルやデバイスに関する設定は、初期化時に渡される引数 `args` に基づいて行われます。
25 """
26 def __init__(self, args):
27 """
28 Backend クラスの新しいインスタンスを初期化します。
29
30 モデルのロードに必要な設定引数を保持し、その他の属性を初期化します。
31 モデル (`self.model`) は `load()` メソッドが呼び出されるまで初期化されません。
32
33 :param args: モデルのロードと推論設定を含む引数オブジェクト。
34 通常はコマンドライン引数をパースした結果です。
35 """
36 self.args, self.model, self.device, self.dtype = args, None, "", ""
37
38 def load(self):
39 """
40 Qwen3-ASRモデルをロードし、デバイスとデータ型を設定します。
41
42 このメソッドは、PyTorchと `qwen-asr` ライブラリを動的にインポートし、
43 `__init__` で渡された引数 (`self.args`) に基づいてQwen3-ASRモデルを初期化します。
44 デバイスの自動検出(CUDA/CPU)とデータ型の選択(bfloat16, float16, float32)が行われ、
45 必要に応じて `forced_aligner` や `attn_implementation` のオプションも設定されます。
46
47 :raises OptionalDependencyError: `qwen-asr` または `torch` ライブラリがインストールされていない場合。
48 :raises RuntimeError: CUDAが利用できないのにCUDAデバイスが指定された場合、または未対応のデータ型が指定された場合。
49 :returns: なし
50 """
51 try:
52 import torch
53 from qwen_asr import Qwen3ASRModel
54 except ImportError as exc:
55 raise OptionalDependencyError("qwen-local には qwen-asr と PyTorch が必要です。例: pip install qwen-asr torch") from exc
56 device = self.args.device.lower()
57 self.device = ("cuda:0" if torch.cuda.is_available() else "cpu") if device == "auto" else ("cuda:0" if device == "cuda" else device)
58 if self.device.startswith("cuda") and not torch.cuda.is_available(): raise RuntimeError("CUDA が指定されましたが利用できません。")
59 name = self.args.dtype if self.args.dtype != "auto" else ("bfloat16" if self.device.startswith("cuda") and torch.cuda.is_bf16_supported() else ("float16" if self.device.startswith("cuda") else "float32"))
60 table = {"bfloat16": torch.bfloat16, "float16": torch.float16, "float32": torch.float32}
61 if name not in table: raise RuntimeError(f"未対応 --dtype: {name}")
62 options = {"dtype": table[name], "device_map": self.device, "max_inference_batch_size": self.args.max_inference_batch_size, "max_new_tokens": self.args.max_new_tokens}
63 if self.args.timestamps:
64 options["forced_aligner"] = self.args.aligner
65 options["forced_aligner_kwargs"] = {"dtype": table[name], "device_map": self.device}
66 if self.args.attention != "auto": options["attn_implementation"] = self.args.attention
67 model = MODELS.get(self.args.model, self.args.model)
68 print(f"Loading local Qwen3-ASR: {model} ({self.device}, {name})", flush=True)
69 self.model, self.dtype = Qwen3ASRModel.from_pretrained(model, **options), name
70
71 def describe(self):
72 """
73 現在のバックエンド設定の詳細を辞書形式で返します。
74
75 :returns: バックエンドの名前、ロードされたモデル、使用中のデバイス、データ型、
76 およびタイムスタンプ機能が有効かどうかの情報を含む辞書。
77 :rtype: dict
78 """
79 return {"backend": BACKEND_NAME, "model": MODELS.get(self.args.model, self.args.model), "device": self.device, "dtype": self.dtype, "timestamps": bool(self.args.timestamps)}
80
81 def transcribe(self, audio: Path, language: Optional[str], prompt: str) -> ASRResult:
82 """
83 指定された音声ファイルを文字起こしします。
84
85 Qwen3-ASRモデルの `transcribe` メソッドを呼び出し、その結果を `ASRResult` オブジェクトに変換します。
86 `self.args.timestamps` が真の場合、音声のタイムスタンプ情報も抽出し、
87 `ASRResult` の `segments` リストに `Segment` オブジェクトとして格納します。
88 `qwen-asr` モデルからの `time_stamps` はネストされたリスト/タプルである可能性があるため、
89 適切な形式に平坦化する処理が含まれています。
90
91 :param audio: 文字起こしする音声ファイルへのパス。
92 :type audio: Path
93 :param language: 音声の言語(例: "en", "ja")。Noneの場合、モデルが自動的に検出します。
94 :type language: Optional[str]
95 :param prompt: 文字起こしをガイドするためのプロンプトテキスト。
96 :type prompt: str
97 :returns: 文字起こしされたテキスト、セグメント情報、および検出された言語を含むASRResultオブジェクト。
98 :rtype: ASRResult
99 """
100 raw = self.model.transcribe(audio=str(audio), language=language, return_time_stamps=bool(self.args.timestamps))[0]
101 items = getattr(raw, "time_stamps", None) or []
102 while isinstance(items, (list, tuple)) and len(items) == 1 and isinstance(items[0], (list, tuple)): items = items[0]
103 segments = []
104 for item in items:
105 get = item.get if isinstance(item, dict) else lambda key, default=None: getattr(item, key, default)
106 segments.append(Segment(get("start_time", get("start")), get("end_time", get("end")), str(get("text", ""))))
107 return ASRResult(str(getattr(raw, "text", "")).strip(), segments, getattr(raw, "language", None))