make_textbook5.py ダウンロード/コピー
make_textbook5.py
make_textbook5.py
1#!/usr/bin/env python3
2# -*- coding: utf-8 -*-
3"""AI処理専用:講義テキスト(文字起こし)とスライドMarkdownから教科書用/スライド用Markdownを生成します。
4
5LiteLLMを通してOpenAIとGoogle(Gemini)を統一的に呼び出します。
6既存のmessages構築とログ保存形式は維持します。
7AIに渡すmessagesを .log ファイルに保存します。
8
9:doc:`make_textbook5_usage`
10"""
11
12import os
13import sys
14import argparse
15import re
16import json
17from pathlib import Path
18
19try:
20 from tkai_lib_litellm import read_ai_config, query_ai, extract_text
21except ImportError:
22 print("tkai_lib_litellm.py または LiteLLM が見つかりません。", file=sys.stderr)
23 print("pip install litellm python-dotenv を実行してください。", file=sys.stderr)
24 input("\nPress ENTER to terminate>>\n")
25 sys.exit(1)
26
27
28DEFAULT_GEMINI_MODEL = "gemini-3.1-pro-preview"
29DEFAULT_OPENAI_MODEL4 = "gpt-4o"
30DEFAULT_OPENAI_MODEL5 = "gpt-5.4"
31
32PROMPT_TEMPLATE_JA = None
33PROMPT_TEMPLATE_EN = None
34
35language_map = {
36 'jp': '日本語',
37 'ja': '日本語',
38 'en': '米国英語',
39 'cn': '標準中国語',
40 'zh': '標準中国語',
41 'kr': '韓国語',
42 'ko': '韓国語',
43 }
44
45pause = 0
46
47
48def terminate():
49 """スクリプトを終了します。
50
51 `pause` グローバル変数が1の場合、ユーザーにEnterキーの入力を求めます。
52
53 :returns: None
54 """
55 if pause:
56 input("\nPress ENTER to terminate>>\n")
57 exit()
58
59def search_file(infile=None):
60 """指定されたファイルを現在のディレクトリまたはスクリプトのディレクトリから検索します。
61
62 `infile` が指定されていない場合、スクリプト名に基づいたINIファイルを検索します。
63
64 :param infile: str, optional: 検索するファイルパス。デフォルトはNone。
65 :returns: str or None: 見つかったファイルの絶対パス、または見つからなかった場合はNone。
66 """
67 script_path = os.path.abspath(sys.argv[0])
68 script_dir = os.path.dirname(script_path)
69 script_name = os.path.splitext(os.path.basename(script_path))[0]
70 default_ini = f"{script_name}.ini"
71
72 if infile is None:
73 for path in [os.getcwd(), script_dir]:
74 candidate = os.path.join(path, default_ini)
75 if os.path.isfile(candidate):
76 return candidate
77 return None
78
79 if not os.path.isfile(infile):
80 candidate = os.path.join(script_dir, infile)
81 if os.path.isfile(candidate):
82 return candidate
83 return None
84
85 return infile
86
87def read_ini(inifile=None):
88 """INIファイルから設定を読み込みます。
89
90 `key=val` 形式の設定を解析し、複数行の値 (三重クォート) や `$VAR` 形式の変数展開をサポートします。
91
92 :param inifile: str, optional: 読み込むINIファイルのパス。デフォルトはNone。
93 :returns: dict: 読み込まれた設定を格納した辞書。
94 :raises FileNotFoundError: INIファイルが見つからなかった場合。
95 """
96 path = search_file(inifile)
97 if path is None:
98 raise FileNotFoundError("INIファイルが見つかりませんでした")
99
100 result = {}
101 variables = {}
102 current_key = None
103 multiline_val = []
104 multiline_delim = None
105
106 with open(path, 'r', encoding='utf-8') as f:
107 for line in f:
108 line = line.rstrip()
109
110 if not line or line.startswith('#') or line.startswith(';'):
111 continue
112
113 # 複数行値の終了判定(stripで判定)
114 if multiline_delim:
115 if line.strip() == multiline_delim:
116 val = '\n'.join(multiline_val)
117 result[current_key] = val
118 variables[current_key] = val
119 current_key = None
120 multiline_val = []
121 multiline_delim = None
122 else:
123 multiline_val.append(line)
124 continue
125
126 # key=val の解析
127 if '=' in line:
128 key, val = map(str.strip, line.split('=', 1))
129 val = val.strip()
130
131 # 複数行値の開始判定(空文字でも対応)
132 if (val == '"""' or val == "'''" or
133 (val.startswith('"""') and not val.endswith('"""')) or \
134 (val.startswith("'''") and not val.endswith("'''")) ):
135 multiline_delim = val[:3]
136 content = val[3:]
137 multiline_val = [content] if content else []
138 current_key = key
139 continue
140
141 # 単一行の複数行値
142 if (val.startswith('"""') and val.endswith('"""')) or \
143 (val.startswith("'''") and val.endswith("'''")):
144 val = val[3:-3]
145
146 result[key] = val
147 variables[key] = val
148
149 # 変数展開(あとから一括処理)
150 for key, val in result.items():
151 def expand_var(match):
152 var_name = match.group(1)
153 return variables.get(var_name, match.group(0))
154 result[key] = re.sub(r"\$(\w+)\b", expand_var, val)
155
156 return result
157
158
159def parse_args():
160 """コマンドライン引数を解析し、AI設定を読み込みます。
161
162 `ai.env` からAI設定を読み込み、INIファイルからプロンプトテンプレートを読み込みます。
163 モデル名の指定ロジックを含みます。
164
165 :returns: tuple: `argparse.ArgumentParser` オブジェクトと解析された引数を格納した `argparse.Namespace` オブジェクトのタプル。
166 """
167 global PROMPT_TEMPLATE_JA, PROMPT_TEMPLATE_EN
168
169 read_ai_config('ai.env')
170
171 p = argparse.ArgumentParser(
172 description="講義の文字起こしとスライドをAIで教科書/スライドMarkdownに変換(Pandoc不要)。",
173 formatter_class=argparse.RawTextHelpFormatter
174 )
175 p.add_argument('--inifile', default = None, help='プロンプトなどを保存したkey=valファイル')
176 p.add_argument('-i', '--infile', default = None, help='文字起こしテキストファイル (例: lecture.txt)')
177 p.add_argument('-im', '--in_slide', default = None, help='入力 講義スライドMarkdown (任意, 例: slide.md)')
178 p.add_argument('-t', '--textbook', help='出力 教科書Markdown (デフォルト: [infile]_textbook.md)')
179 p.add_argument('-s', '--slide', help='出力 スライドMarkdown (デフォルト: [infile]_slide.md)')
180
181 ai = p.add_argument_group('AI設定')
182 ai.add_argument(
183 '--api', '-a',
184 choices=['gemini', 'openai5', 'openai', 'google', 'lmstudio'],
185 default='gemini',
186 help='使用API',
187 )
188 ai.add_argument('--model', help='明示モデル名の指定(apiごとに適用先を切替)')
189 ai.add_argument('--openai_model', default=os.getenv("OPENAI_MODEL", DEFAULT_OPENAI_MODEL4))
190 ai.add_argument('--openai_model5', default=os.getenv("OPENAI_MODEL5", DEFAULT_OPENAI_MODEL5))
191 ai.add_argument('--google_model', default=os.getenv("GOOGLE_MODEL", DEFAULT_GEMINI_MODEL))
192 ai.add_argument(
193 '--lmstudio_model',
194 default=os.getenv("lmstudio_model") or os.getenv("LMSTUDIO_MODEL"),
195 help='LM Studioのモデル名(省略時: qwen/qwen3.8-27b)',
196 )
197 ai.add_argument(
198 '--reasoning-effort', '--reasoning_effort',
199 dest='reasoning_effort',
200 choices=['low', 'medium', 'xhigh'],
201 default=None,
202 help='LM StudioのQwen3.8用推論量。省略時はモデル既定値',
203 )
204
205 ai.add_argument('--lang', default='ja', choices=['ja', 'en', 'zh', 'ko'], help='出力言語 (デフォルト ja)')
206 ai.add_argument('--field', default='半導体工学', help='専門分野')
207 ai.add_argument('--role', default='大学教授', help='役割')
208 ai.add_argument('--pause', type=int, default=0, help="終了時にENTERキー入力を要求するか (デフォルト: 0)")
209 args = p.parse_args()
210
211 if args.infile is None and args.in_slide is None:
212 print("❌ --infile(-i)か--in_slide(-im)のどちらかを与えないといけません")
213 terminate()
214
215 if args.model:
216 if args.api == 'openai5': args.openai_model5 = args.model
217 elif args.api == 'openai': args.openai_model = args.model
218 elif args.api in ('gemini', 'google'): args.google_model = args.model
219 elif args.api == 'lmstudio': args.lmstudio_model = args.model
220
221 if args.reasoning_effort and args.api != 'lmstudio':
222 p.error('--reasoning-effort は --api lmstudio と組み合わせて指定してください')
223
224 args.inifile = search_file(args.inifile)
225 print("Prompot inifile: ", args.inifile)
226 inf = read_ini(args.inifile)
227 PROMPT_TEMPLATE_JA = inf["PROMPT_TEMPLATE_JA"]
228 PROMPT_TEMPLATE_EN = inf["PROMPT_TEMPLATE_EN"]
229
230 return p, args
231
232def build_messages(api_choice: str, system_instructions: str, lecture_text: str, slide_markdown: str, final_instruction: str):
233 """指定されたAPI形式に基づいてAIへのメッセージリストを構築します。
234
235 OpenAI形式 (`role` を分けてメッセージを構築) と Google/Gemini形式 (単一の `user` メッセージに結合) の両方に対応します。
236
237 :param api_choice: str: 使用するAIのAPI選択肢 ('openai', 'openai5', 'lmstudio', 'gemini', 'google')。
238 :param system_instructions: str: AIへのシステム指示。
239 :param lecture_text: str: 講義の文字起こしテキスト。
240 :param slide_markdown: str: 講義スライドのMarkdownテキスト。
241 :param final_instruction: str: AIへの最終指示。
242 :returns: list: 構築されたAIメッセージのリスト。
243 """
244 messages = []
245
246 if api_choice in ('openai', 'openai5', 'lmstudio'):
247 # OpenAI形式
248 messages.append({"role": "system", "content": system_instructions})
249
250 if lecture_text:
251 messages.append({"role": "user", "content": f"# 文字起こしテキスト\n\n{lecture_text}"})
252 else:
253 messages.append({"role": "user", "content": "文字起こしテキストはありません。"})
254
255 if slide_markdown:
256 messages.append({"role": "user", "content": f"# 講義スライド\n\n{slide_markdown}"})
257
258 messages.append({"role": "user", "content": final_instruction})
259
260 elif api_choice in ('gemini', 'google'):
261 # Google/Gemini形式: まとめる
262 parts = []
263 parts.append(system_instructions)
264
265 if lecture_text:
266 parts.append(f"# 文字起こしテキスト\n\n{lecture_text}")
267 else:
268 parts.append("文字起こしテキストはありません。")
269
270 if slide_markdown:
271 parts.append(f"# 講義スライド\n\n{slide_markdown}")
272
273 parts.append(final_instruction)
274
275 messages = [{"role": "user", "content": "\n\n".join(parts)}]
276
277 return messages
278
279
280def save_messages_log(messages: list, infile: str):
281 """AIに送信するメッセージをJSON形式でログファイルに保存します。
282
283 入力ファイル名に基づいてログファイル名 (`.log`) を生成し、メッセージ内容をUTF-8エンコーディングで保存します。
284
285 :param messages: list: 保存するAIメッセージのリスト。
286 :param infile: str: 入力ファイルのパス。ログファイル名の基盤として使用されます。
287 :returns: None
288 """
289 if infile:
290 base = Path(infile).stem
291 else:
292 base = "output"
293 log_file = f"{base}.log"
294
295 try:
296 with open(log_file, "w", encoding="utf-8") as f:
297 json.dump(messages, f, ensure_ascii=False, indent=2)
298 print(f"📝 messagesログを '{log_file}' に保存しました")
299 except Exception as e:
300 print(f"⚠️ ログ保存に失敗しました: {e}", file=sys.stderr)
301
302def select_model(args: argparse.Namespace) -> str:
303 """コマンドライン引数とAPI選択に基づいて使用するAIモデル名を決定します。
304
305 `--model` オプションが指定されている場合はそれを優先し、それ以外の場合はAPI種別に応じたデフォルトモデル
306 または環境変数のモデルを選択します。
307
308 :param args: argparse.Namespace: 解析されたコマンドライン引数。
309 :returns: str: 選択されたAIモデル名。
310 :raises ValueError: 未対応のAPIが指定された場合。
311 """
312 if args.model:
313 return args.model
314
315 if args.api == "openai5":
316 return args.openai_model5
317 if args.api == "openai":
318 return args.openai_model
319 if args.api in ("gemini", "google"):
320 return args.google_model
321 if args.api == "lmstudio":
322 return args.lmstudio_model or "qwen/qwen3.8-27b"
323
324 raise ValueError(f"未対応API: {args.api}")
325
326
327def call_ai_api(
328 messages: list,
329 api_choice: str,
330 model_name: str,
331 reasoning_effort: str | None = None,
332) -> str | None:
333 """LiteLLMライブラリを介してAIサービスを呼び出し、応答テキストを返します。
334
335 OpenAI, Gemini, LM Studioなどのプロバイダーに対応し、LM Studio (Qwen3.8) の `reasoning_effort` パラメータも処理します。
336
337 :param messages: list: AIに送信するメッセージのリスト。
338 :param api_choice: str: 使用するAIのAPI選択肢。
339 :param model_name: str: 使用するAIモデルの名前。
340 :param reasoning_effort: str or None, optional: LM StudioのQwen3.8で使用する推論量 ('low', 'medium', 'xhigh')。デフォルトはNone。
341 :returns: str or None: AIからの応答本文、またはエラーが発生した場合はNone。
342 """
343 try:
344 if not model_name:
345 raise ValueError("モデル名が設定されていません。")
346
347 if api_choice == "lmstudio":
348 provider = "lmstudio"
349 elif api_choice in ("gemini", "google"):
350 provider = "gemini"
351 else:
352 provider = "openai"
353 print(f"🚀 LiteLLM [{provider}/{model_name}] を呼び出しています...")
354
355 role_parts = []
356 prompt_parts = []
357
358 for message in messages:
359 content = str(message.get("content", ""))
360 if message.get("role") == "system":
361 role_parts.append(content)
362 else:
363 prompt_parts.append(content)
364
365 call_kwargs = {}
366 if provider == "lmstudio" and reasoning_effort:
367 # Qwen3.8の推論量はLM Studio OpenAI互換APIのextra_bodyに渡す。
368 call_kwargs["extra_body"] = {
369 "reasoning_effort": reasoning_effort,
370 }
371
372 response = query_ai(
373 "\n\n".join(prompt_parts),
374 model=model_name,
375 role="\n\n".join(role_parts) or None,
376 provider=provider,
377 **call_kwargs,
378 )
379 return extract_text(response)
380
381 except Exception as e:
382 print(
383 f"❌ API呼び出し中にエラーが発生しました "
384 f"({api_choice}/{model_name}): {e}",
385 file=sys.stderr,
386 )
387 return None
388
389def run_ai_processing(infile: str, in_slide_file: str, textbook_file: str, slide_file: str, args: argparse.Namespace):
390 """AIによる教科書とスライドの生成処理を実行し、結果をファイルに保存します。
391
392 入力ファイルからテキストを読み込み、指定された言語と専門分野に基づいてプロンプトを構築します。
393 AIの応答から教科書とスライドのセクションを抽出し、それぞれのファイルに書き込みます。
394
395 :param infile: str: 講義の文字起こしテキストファイルのパス。
396 :param in_slide_file: str: 入力スライドMarkdownファイルのパス。
397 :param textbook_file: str: 出力する教科書Markdownファイルのパス。
398 :param slide_file: str: 出力するスライドMarkdownファイルのパス。
399 :param args: argparse.Namespace: 解析されたコマンドライン引数。
400 :returns: None
401 """
402
403 print()
404 print(f"生成AIを実行します...")
405 print(f" 文字起こし入力: {infile}")
406 print(f" スライド入力 : {in_slide_file}")
407 print(f" 出力言語: {args.lang}")
408 print()
409
410 if infile:
411 try:
412 lecture_text = Path(infile).read_text(encoding='utf-8')
413 except FileNotFoundError:
414 print(f"❌ 入力ファイル '{infile}' が見つかりません", file=sys.stderr)
415 terminate()
416 else:
417 lecture_text = None
418
419 slide_markdown = ""
420 if in_slide_file:
421 try:
422 slide_markdown = Path(in_slide_file).read_text(encoding='utf-8')
423 print(f"📄 スライド入力: {in_slide_file}")
424 except FileNotFoundError:
425 print(f"⚠️ スライド '{in_slide_file}' が見つかりません", file=sys.stderr)
426 terminate()
427
428 if args.lang == 'en':
429 language = '米国英語'
430 if PROMPT_TEMPLATE_EN:
431 prompt_template = PROMPT_TEMPLATE_EN
432 else:
433 print(f"Error: PROMPT_TEMPLATE_EN is not provided for lang=en\n")
434 terminate()
435 elif args.lang == 'ja':
436 language = '日本語'
437 prompt_template = PROMPT_TEMPLATE_JA
438 elif args.lang == 'zh':
439 language = '標準中国語'
440 prompt_template = PROMPT_TEMPLATE_JA
441 elif args.lang == 'ko':
442 language = '韓国語'
443 prompt_template = PROMPT_TEMPLATE_JA
444 else:
445 if args.lang in language_map.keys():
446 language = language_map[args.lang]
447 prompt_template = PROMPT_TEMPLATE_JA
448 else:
449 print(f"Error: Invalid lang={args.lang}\n")
450 terminate()
451
452 prompt = prompt_template\
453 .replace("{field}", args.field)\
454 .replace("{role}", args.role)\
455 .replace("{language}", language)\
456 .strip()
457# print(" prompt:", prompt)
458 system_instructions = prompt
459
460 final_instruction = """
461すべての情報を統合し、以下の形式で出力してください:
462
463[TEXTBOOK_START]
464(教科書の内容)
465[TEXTBOOK_END]
466[SLIDES_START]
467(スライドの内容)
468[SLIDES_END]
469"""
470
471 messages = build_messages(args.api, system_instructions, lecture_text, slide_markdown, final_instruction)
472
473 # 🔹 messagesログを保存
474 save_messages_log(messages, infile)
475
476 print("\n--- 🤖 AIにプロンプトを送信 ---")
477
478 model_name = select_model(args)
479 ai_response = call_ai_api(
480 messages,
481 args.api,
482 model_name,
483 args.reasoning_effort,
484 )
485
486 if not ai_response:
487 print("❌ Error: 生成AIからの応答が得られません", file=sys.stderr)
488 terminate()
489
490 textbook_match = re.search(r"\[TEXTBOOK_START\](.*?)\[TEXTBOOK_END\]", ai_response, re.DOTALL)
491 slides_match = re.search(r"\[SLIDES_START\](.*?)\[SLIDES_END\]", ai_response, re.DOTALL)
492
493 if not textbook_match or not slides_match:
494 print("❌ Error: 出力形式エラー", file=sys.stderr)
495 print(ai_response, file=sys.stderr)
496 terminate()
497
498 Path(textbook_file).write_text(textbook_match.group(1).strip(), encoding='utf-8')
499 print(f"✅ 教科書ファイル '{textbook_file}' を生成")
500 Path(slide_file).write_text(slides_match.group(1).strip(), encoding='utf-8')
501 print(f"✅ スライドファイル '{slide_file}' を生成")
502
503
504def main():
505 """スクリプトの主要な処理フローを制御します。
506
507 コマンドライン引数を解析し、出力ファイル名を決定した後、AI処理関数 `run_ai_processing` を呼び出します。
508
509 :returns: None
510 """
511 global pause
512
513 parser, args = parse_args()
514 pause = args.pause
515 base = Path(args.infile).stem if args.infile else "output"
516 textbook = args.textbook or f"{base}_textbook.md"
517 slide = args.slide or f"{base}_slide.md"
518
519 run_ai_processing(args.infile, args.in_slide, textbook, slide, args)
520
521 terminate()
522
523
524if __name__ == "__main__":
525 main()
526 terminate()