make_textbook5.py ダウンロード/コピー

make_textbook5.py をダウンロード

make_textbook5.py
make_textbook5.py
  1#!/usr/bin/env python3 
  2# -*- coding: utf-8 -*-
  3"""AI処理専用:講義テキスト(文字起こし)とスライドMarkdownから教科書用/スライド用Markdownを生成します。
  4
  5LiteLLMを通してOpenAIとGoogle(Gemini)を統一的に呼び出します。
  6既存のmessages構築とログ保存形式は維持します。
  7AIに渡すmessagesを .log ファイルに保存します。
  8
  9:doc:`make_textbook5_usage`
 10"""
 11
 12import os
 13import sys
 14import argparse
 15import re
 16import json
 17from pathlib import Path
 18
 19try:
 20    from tkai_lib_litellm import read_ai_config, query_ai, extract_text
 21except ImportError:
 22    print("tkai_lib_litellm.py または LiteLLM が見つかりません。", file=sys.stderr)
 23    print("pip install litellm python-dotenv を実行してください。", file=sys.stderr)
 24    input("\nPress ENTER to terminate>>\n")
 25    sys.exit(1)
 26
 27
 28DEFAULT_GEMINI_MODEL = "gemini-3.1-pro-preview"
 29DEFAULT_OPENAI_MODEL4 = "gpt-4o"
 30DEFAULT_OPENAI_MODEL5 = "gpt-5.4"
 31
 32PROMPT_TEMPLATE_JA = None
 33PROMPT_TEMPLATE_EN = None
 34
 35language_map = {
 36    'jp': '日本語',
 37    'ja': '日本語',
 38    'en': '米国英語',
 39    'cn': '標準中国語',
 40    'zh': '標準中国語',
 41    'kr': '韓国語',
 42    'ko': '韓国語',
 43    }
 44
 45pause = 0
 46
 47
 48def terminate():
 49    """スクリプトを終了します。
 50
 51    `pause` グローバル変数が1の場合、ユーザーにEnterキーの入力を求めます。
 52
 53    :returns: None
 54    """
 55    if pause:
 56        input("\nPress ENTER to terminate>>\n")
 57    exit()
 58
 59def search_file(infile=None):
 60    """指定されたファイルを現在のディレクトリまたはスクリプトのディレクトリから検索します。
 61
 62    `infile` が指定されていない場合、スクリプト名に基づいたINIファイルを検索します。
 63
 64    :param infile: str, optional: 検索するファイルパス。デフォルトはNone。
 65    :returns: str or None: 見つかったファイルの絶対パス、または見つからなかった場合はNone。
 66    """
 67    script_path = os.path.abspath(sys.argv[0])
 68    script_dir = os.path.dirname(script_path)
 69    script_name = os.path.splitext(os.path.basename(script_path))[0]
 70    default_ini = f"{script_name}.ini"
 71
 72    if infile is None:
 73        for path in [os.getcwd(), script_dir]:
 74            candidate = os.path.join(path, default_ini)
 75            if os.path.isfile(candidate):
 76                return candidate
 77        return None
 78
 79    if not os.path.isfile(infile):
 80        candidate = os.path.join(script_dir, infile)
 81        if os.path.isfile(candidate):
 82            return candidate
 83        return None
 84
 85    return infile
 86
 87def read_ini(inifile=None):
 88    """INIファイルから設定を読み込みます。
 89
 90    `key=val` 形式の設定を解析し、複数行の値 (三重クォート) や `$VAR` 形式の変数展開をサポートします。
 91
 92    :param inifile: str, optional: 読み込むINIファイルのパス。デフォルトはNone。
 93    :returns: dict: 読み込まれた設定を格納した辞書。
 94    :raises FileNotFoundError: INIファイルが見つからなかった場合。
 95    """
 96    path = search_file(inifile)
 97    if path is None:
 98        raise FileNotFoundError("INIファイルが見つかりませんでした")
 99
100    result = {}
101    variables = {}
102    current_key = None
103    multiline_val = []
104    multiline_delim = None
105
106    with open(path, 'r', encoding='utf-8') as f:
107        for line in f:
108            line = line.rstrip()
109
110            if not line or line.startswith('#') or line.startswith(';'):
111                continue
112
113            # 複数行値の終了判定(stripで判定)
114            if multiline_delim:
115                if line.strip() == multiline_delim:
116                    val = '\n'.join(multiline_val)
117                    result[current_key] = val
118                    variables[current_key] = val
119                    current_key = None
120                    multiline_val = []
121                    multiline_delim = None
122                else:
123                    multiline_val.append(line)
124                continue
125
126            # key=val の解析
127            if '=' in line:
128                key, val = map(str.strip, line.split('=', 1))
129                val = val.strip()
130
131                # 複数行値の開始判定(空文字でも対応)
132                if (val == '"""' or val == "'''" or
133                   (val.startswith('"""') and not val.endswith('"""')) or \
134                   (val.startswith("'''") and not val.endswith("'''")) ):
135                    multiline_delim = val[:3]
136                    content = val[3:]
137                    multiline_val = [content] if content else []
138                    current_key = key
139                    continue
140
141                # 単一行の複数行値
142                if (val.startswith('"""') and val.endswith('"""')) or \
143                   (val.startswith("'''") and val.endswith("'''")):
144                    val = val[3:-3]
145
146                result[key] = val
147                variables[key] = val
148
149    # 変数展開(あとから一括処理)
150    for key, val in result.items():
151        def expand_var(match):
152            var_name = match.group(1)
153            return variables.get(var_name, match.group(0))
154        result[key] = re.sub(r"\$(\w+)\b", expand_var, val)
155
156    return result
157
158
159def parse_args():
160    """コマンドライン引数を解析し、AI設定を読み込みます。
161
162    `ai.env` からAI設定を読み込み、INIファイルからプロンプトテンプレートを読み込みます。
163    モデル名の指定ロジックを含みます。
164
165    :returns: tuple: `argparse.ArgumentParser` オブジェクトと解析された引数を格納した `argparse.Namespace` オブジェクトのタプル。
166    """
167    global PROMPT_TEMPLATE_JA, PROMPT_TEMPLATE_EN
168
169    read_ai_config('ai.env')
170
171    p = argparse.ArgumentParser(
172        description="講義の文字起こしとスライドをAIで教科書/スライドMarkdownに変換(Pandoc不要)。",
173        formatter_class=argparse.RawTextHelpFormatter
174    )
175    p.add_argument('--inifile', default = None, help='プロンプトなどを保存したkey=valファイル')
176    p.add_argument('-i',  '--infile',   default = None, help='文字起こしテキストファイル (例: lecture.txt)')
177    p.add_argument('-im', '--in_slide', default = None, help='入力 講義スライドMarkdown (任意, 例: slide.md)')
178    p.add_argument('-t',  '--textbook', help='出力 教科書Markdown (デフォルト: [infile]_textbook.md)')
179    p.add_argument('-s',  '--slide',    help='出力 スライドMarkdown (デフォルト: [infile]_slide.md)')
180
181    ai = p.add_argument_group('AI設定')
182    ai.add_argument(
183        '--api', '-a',
184        choices=['gemini', 'openai5', 'openai', 'google', 'lmstudio'],
185        default='gemini',
186        help='使用API',
187    )
188    ai.add_argument('--model', help='明示モデル名の指定(apiごとに適用先を切替)')
189    ai.add_argument('--openai_model', default=os.getenv("OPENAI_MODEL", DEFAULT_OPENAI_MODEL4))
190    ai.add_argument('--openai_model5', default=os.getenv("OPENAI_MODEL5", DEFAULT_OPENAI_MODEL5))
191    ai.add_argument('--google_model', default=os.getenv("GOOGLE_MODEL", DEFAULT_GEMINI_MODEL))
192    ai.add_argument(
193        '--lmstudio_model',
194        default=os.getenv("lmstudio_model") or os.getenv("LMSTUDIO_MODEL"),
195        help='LM Studioのモデル名(省略時: qwen/qwen3.8-27b)',
196    )
197    ai.add_argument(
198        '--reasoning-effort', '--reasoning_effort',
199        dest='reasoning_effort',
200        choices=['low', 'medium', 'xhigh'],
201        default=None,
202        help='LM StudioのQwen3.8用推論量。省略時はモデル既定値',
203    )
204
205    ai.add_argument('--lang', default='ja', choices=['ja', 'en', 'zh', 'ko'], help='出力言語 (デフォルト ja)')
206    ai.add_argument('--field', default='半導体工学', help='専門分野')
207    ai.add_argument('--role', default='大学教授', help='役割')
208    ai.add_argument('--pause', type=int, default=0, help="終了時にENTERキー入力を要求するか (デフォルト: 0)")
209    args = p.parse_args()
210    
211    if args.infile is None and args.in_slide is None:
212        print("❌ --infile(-i)か--in_slide(-im)のどちらかを与えないといけません")
213        terminate()
214
215    if args.model:
216        if args.api == 'openai5': args.openai_model5 = args.model
217        elif args.api == 'openai': args.openai_model = args.model
218        elif args.api in ('gemini', 'google'): args.google_model = args.model
219        elif args.api == 'lmstudio': args.lmstudio_model = args.model
220
221    if args.reasoning_effort and args.api != 'lmstudio':
222        p.error('--reasoning-effort は --api lmstudio と組み合わせて指定してください')
223
224    args.inifile = search_file(args.inifile)
225    print("Prompot inifile: ", args.inifile)
226    inf = read_ini(args.inifile)
227    PROMPT_TEMPLATE_JA = inf["PROMPT_TEMPLATE_JA"]
228    PROMPT_TEMPLATE_EN = inf["PROMPT_TEMPLATE_EN"]
229
230    return p, args
231
232def build_messages(api_choice: str, system_instructions: str, lecture_text: str, slide_markdown: str, final_instruction: str):
233    """指定されたAPI形式に基づいてAIへのメッセージリストを構築します。
234
235    OpenAI形式 (`role` を分けてメッセージを構築) と Google/Gemini形式 (単一の `user` メッセージに結合) の両方に対応します。
236
237    :param api_choice: str: 使用するAIのAPI選択肢 ('openai', 'openai5', 'lmstudio', 'gemini', 'google')。
238    :param system_instructions: str: AIへのシステム指示。
239    :param lecture_text: str: 講義の文字起こしテキスト。
240    :param slide_markdown: str: 講義スライドのMarkdownテキスト。
241    :param final_instruction: str: AIへの最終指示。
242    :returns: list: 構築されたAIメッセージのリスト。
243    """
244    messages = []
245
246    if api_choice in ('openai', 'openai5', 'lmstudio'):
247        # OpenAI形式
248        messages.append({"role": "system", "content": system_instructions})
249
250        if lecture_text:
251            messages.append({"role": "user", "content": f"# 文字起こしテキスト\n\n{lecture_text}"})
252        else:
253            messages.append({"role": "user", "content": "文字起こしテキストはありません。"})
254
255        if slide_markdown:
256            messages.append({"role": "user", "content": f"# 講義スライド\n\n{slide_markdown}"})
257
258        messages.append({"role": "user", "content": final_instruction})
259
260    elif api_choice in ('gemini', 'google'):
261        # Google/Gemini形式: まとめる
262        parts = []
263        parts.append(system_instructions)
264
265        if lecture_text:
266            parts.append(f"# 文字起こしテキスト\n\n{lecture_text}")
267        else:
268            parts.append("文字起こしテキストはありません。")
269
270        if slide_markdown:
271            parts.append(f"# 講義スライド\n\n{slide_markdown}")
272
273        parts.append(final_instruction)
274
275        messages = [{"role": "user", "content": "\n\n".join(parts)}]
276
277    return messages
278
279
280def save_messages_log(messages: list, infile: str):
281    """AIに送信するメッセージをJSON形式でログファイルに保存します。
282
283    入力ファイル名に基づいてログファイル名 (`.log`) を生成し、メッセージ内容をUTF-8エンコーディングで保存します。
284
285    :param messages: list: 保存するAIメッセージのリスト。
286    :param infile: str: 入力ファイルのパス。ログファイル名の基盤として使用されます。
287    :returns: None
288    """
289    if infile:
290        base = Path(infile).stem
291    else:
292        base = "output"
293    log_file = f"{base}.log"
294
295    try:
296        with open(log_file, "w", encoding="utf-8") as f:
297            json.dump(messages, f, ensure_ascii=False, indent=2)
298        print(f"📝 messagesログを '{log_file}' に保存しました")
299    except Exception as e:
300        print(f"⚠️ ログ保存に失敗しました: {e}", file=sys.stderr)
301
302def select_model(args: argparse.Namespace) -> str:
303    """コマンドライン引数とAPI選択に基づいて使用するAIモデル名を決定します。
304
305    `--model` オプションが指定されている場合はそれを優先し、それ以外の場合はAPI種別に応じたデフォルトモデル
306    または環境変数のモデルを選択します。
307
308    :param args: argparse.Namespace: 解析されたコマンドライン引数。
309    :returns: str: 選択されたAIモデル名。
310    :raises ValueError: 未対応のAPIが指定された場合。
311    """
312    if args.model:
313        return args.model
314
315    if args.api == "openai5":
316        return args.openai_model5
317    if args.api == "openai":
318        return args.openai_model
319    if args.api in ("gemini", "google"):
320        return args.google_model
321    if args.api == "lmstudio":
322        return args.lmstudio_model or "qwen/qwen3.8-27b"
323
324    raise ValueError(f"未対応API: {args.api}")
325
326
327def call_ai_api(
328    messages: list,
329    api_choice: str,
330    model_name: str,
331    reasoning_effort: str | None = None,
332) -> str | None:
333    """LiteLLMライブラリを介してAIサービスを呼び出し、応答テキストを返します。
334
335    OpenAI, Gemini, LM Studioなどのプロバイダーに対応し、LM Studio (Qwen3.8) の `reasoning_effort` パラメータも処理します。
336
337    :param messages: list: AIに送信するメッセージのリスト。
338    :param api_choice: str: 使用するAIのAPI選択肢。
339    :param model_name: str: 使用するAIモデルの名前。
340    :param reasoning_effort: str or None, optional: LM StudioのQwen3.8で使用する推論量 ('low', 'medium', 'xhigh')。デフォルトはNone。
341    :returns: str or None: AIからの応答本文、またはエラーが発生した場合はNone。
342    """
343    try:
344        if not model_name:
345            raise ValueError("モデル名が設定されていません。")
346
347        if api_choice == "lmstudio":
348            provider = "lmstudio"
349        elif api_choice in ("gemini", "google"):
350            provider = "gemini"
351        else:
352            provider = "openai"
353        print(f"🚀 LiteLLM [{provider}/{model_name}] を呼び出しています...")
354
355        role_parts = []
356        prompt_parts = []
357
358        for message in messages:
359            content = str(message.get("content", ""))
360            if message.get("role") == "system":
361                role_parts.append(content)
362            else:
363                prompt_parts.append(content)
364
365        call_kwargs = {}
366        if provider == "lmstudio" and reasoning_effort:
367            # Qwen3.8の推論量はLM Studio OpenAI互換APIのextra_bodyに渡す。
368            call_kwargs["extra_body"] = {
369                "reasoning_effort": reasoning_effort,
370            }
371
372        response = query_ai(
373            "\n\n".join(prompt_parts),
374            model=model_name,
375            role="\n\n".join(role_parts) or None,
376            provider=provider,
377            **call_kwargs,
378        )
379        return extract_text(response)
380
381    except Exception as e:
382        print(
383            f"❌ API呼び出し中にエラーが発生しました "
384            f"({api_choice}/{model_name}): {e}",
385            file=sys.stderr,
386        )
387        return None
388
389def run_ai_processing(infile: str, in_slide_file: str, textbook_file: str, slide_file: str, args: argparse.Namespace):
390    """AIによる教科書とスライドの生成処理を実行し、結果をファイルに保存します。
391
392    入力ファイルからテキストを読み込み、指定された言語と専門分野に基づいてプロンプトを構築します。
393    AIの応答から教科書とスライドのセクションを抽出し、それぞれのファイルに書き込みます。
394
395    :param infile: str: 講義の文字起こしテキストファイルのパス。
396    :param in_slide_file: str: 入力スライドMarkdownファイルのパス。
397    :param textbook_file: str: 出力する教科書Markdownファイルのパス。
398    :param slide_file: str: 出力するスライドMarkdownファイルのパス。
399    :param args: argparse.Namespace: 解析されたコマンドライン引数。
400    :returns: None
401    """
402
403    print()
404    print(f"生成AIを実行します...")
405    print(f"  文字起こし入力: {infile}")
406    print(f"  スライド入力  : {in_slide_file}")
407    print(f"  出力言語: {args.lang}")
408    print()
409
410    if infile:
411        try:
412            lecture_text = Path(infile).read_text(encoding='utf-8')
413        except FileNotFoundError:
414            print(f"❌ 入力ファイル '{infile}' が見つかりません", file=sys.stderr)
415            terminate()
416    else:
417        lecture_text = None
418
419    slide_markdown = ""
420    if in_slide_file:
421        try:
422            slide_markdown = Path(in_slide_file).read_text(encoding='utf-8')
423            print(f"📄 スライド入力: {in_slide_file}")
424        except FileNotFoundError:
425            print(f"⚠️ スライド '{in_slide_file}' が見つかりません", file=sys.stderr)
426            terminate()
427
428    if args.lang == 'en':
429        language = '米国英語' 
430        if PROMPT_TEMPLATE_EN:
431            prompt_template = PROMPT_TEMPLATE_EN
432        else:
433            print(f"Error: PROMPT_TEMPLATE_EN is not provided for lang=en\n")
434            terminate()
435    elif args.lang == 'ja':
436        language = '日本語'
437        prompt_template = PROMPT_TEMPLATE_JA
438    elif args.lang == 'zh':
439        language = '標準中国語'
440        prompt_template = PROMPT_TEMPLATE_JA
441    elif args.lang == 'ko':
442        language = '韓国語'
443        prompt_template = PROMPT_TEMPLATE_JA
444    else:
445        if args.lang in language_map.keys():
446            language = language_map[args.lang]
447            prompt_template = PROMPT_TEMPLATE_JA
448        else:
449            print(f"Error: Invalid lang={args.lang}\n")
450            terminate()
451
452    prompt = prompt_template\
453        .replace("{field}", args.field)\
454        .replace("{role}", args.role)\
455        .replace("{language}", language)\
456        .strip()
457#    print("  prompt:", prompt)
458    system_instructions = prompt
459    
460    final_instruction = """
461すべての情報を統合し、以下の形式で出力してください:
462
463[TEXTBOOK_START]
464(教科書の内容)
465[TEXTBOOK_END]
466[SLIDES_START]
467(スライドの内容)
468[SLIDES_END]
469"""
470
471    messages = build_messages(args.api, system_instructions, lecture_text, slide_markdown, final_instruction)
472
473    # 🔹 messagesログを保存
474    save_messages_log(messages, infile)
475
476    print("\n--- 🤖 AIにプロンプトを送信 ---")
477
478    model_name = select_model(args)
479    ai_response = call_ai_api(
480        messages,
481        args.api,
482        model_name,
483        args.reasoning_effort,
484    )
485
486    if not ai_response:
487        print("❌ Error: 生成AIからの応答が得られません", file=sys.stderr)
488        terminate()
489
490    textbook_match = re.search(r"\[TEXTBOOK_START\](.*?)\[TEXTBOOK_END\]", ai_response, re.DOTALL)
491    slides_match   = re.search(r"\[SLIDES_START\](.*?)\[SLIDES_END\]", ai_response, re.DOTALL)
492    
493    if not textbook_match or not slides_match:
494        print("❌ Error: 出力形式エラー", file=sys.stderr)
495        print(ai_response, file=sys.stderr)
496        terminate()
497
498    Path(textbook_file).write_text(textbook_match.group(1).strip(), encoding='utf-8')
499    print(f"✅ 教科書ファイル '{textbook_file}' を生成")
500    Path(slide_file).write_text(slides_match.group(1).strip(), encoding='utf-8')
501    print(f"✅ スライドファイル '{slide_file}' を生成")
502
503
504def main():
505    """スクリプトの主要な処理フローを制御します。
506
507    コマンドライン引数を解析し、出力ファイル名を決定した後、AI処理関数 `run_ai_processing` を呼び出します。
508
509    :returns: None
510    """
511    global pause
512    
513    parser, args = parse_args()
514    pause = args.pause
515    base = Path(args.infile).stem if args.infile else "output"
516    textbook = args.textbook or f"{base}_textbook.md"
517    slide    = args.slide    or f"{base}_slide.md"
518
519    run_ai_processing(args.infile, args.in_slide, textbook, slide, args)
520
521    terminate()
522
523
524if __name__ == "__main__":
525    main()
526    terminate()