gp_simulation_animation.py ドキュメント

概要

gp_simulation_animation.py は、1次元の未知関数に対してガウス過程回帰(Gaussian Process Regression)を適用し、ベイズ最適化や特定目標値の探索過程を可視化するスクリプトです。様々な探索戦略(獲得関数)の切り替えに対応しており、データのサンプリング過程と予測分布の更新をアニメーションとして描画し、GIFファイルとして保存することができます。

理論と数式モデル

真の関数と観測モデル

本プログラムでは、以下の1次元関数を真の関数 \(f(x)\) として設定しています。

\[f(x) = \sin(2 \pi x) + 0.3 \cos(4 \pi x)\]

観測値 \(y\) には、標準偏差 \(\sigma_n\) の正規分布に従う観測ノイズが付加されます。

\[y = f(x) + \epsilon, \quad \epsilon \sim \mathcal{N}(0, \sigma_n^2)\]

ガウス過程回帰 (GPR)

未知関数 \(f(x)\) をガウス過程に従うと仮定し、観測データから事後分布を計算します。カーネル関数には以下のRBFカーネル(Radial Basis Function kernel)を使用します。

\[k(x_i, x_j) = \sigma_f^2 \exp\left(-\frac{(x_i - x_j)^2}{2l^2}\right)\]

ここで、 \(\sigma_f^2\) は信号分散、 \(l\) は長さスケール(相関距離)を表します。 観測済みのデータ点 \(X\) と観測値ベクトル \(\mathbf{y}\) が与えられたとき、未観測のテスト点 \(x_*\) における予測値は正規分布 \(\mathcal{N}(\mu_*, \sigma_*^2)\) に従います。予測平均 \(\mu_*\) と予測分散 \(\sigma_*^2\) は以下のように定式化されます。

\[\mu_* = \mathbf{k}_*^\top (K + \sigma_n^2 I)^{-1} \mathbf{y}\]
\[\sigma_*^2 = k(x_*, x_*) - \mathbf{k}_*^\top (K + \sigma_n^2 I)^{-1} \mathbf{k}_*\]

プログラム内では、計算の数値的安定性を確保するために、共分散行列 \(K + \sigma_n^2 I\) のコレスキー分解(Cholesky decomposition)を用いてこれらの逆行列計算を行っています。

獲得関数 (Acquisition Function)

次にサンプリングする点 \(x\) を決定するための戦略として、以下の複数の獲得関数が実装されています。プログラムは獲得関数を最大化する点 \(x\) を選びます。

  • UCB (Upper Confidence Bound) 予測の平均値と不確実性のバランスを取り、最大値を探索します。 \(\kappa\) は探索の度合いを調整するパラメータです。

    \[a_{\text{UCB}}(x) = \mu(x) + \kappa \sigma(x)\]
  • EI (Expected Improvement) 現在の最大観測値 \(y_{\max}\) に対する改善量の期待値を最大化します。 \(Z = \frac{\mu(x) - y_{\max}}{\sigma(x)}\) とし、 \(\Phi(Z)\) を標準正規分布の累積分布関数、 \(\phi(Z)\) を確率密度関数とします。

    \[a_{\text{EI}}(x) = (\mu(x) - y_{\max}) \Phi(Z) + \sigma(x) \phi(Z)\]
  • Target Probability ( target ) 予測分布に基づき、次の観測値が目標値 \(v_0\) の許容範囲 \([v_0 - \epsilon, v_0 + \epsilon]\) に入る確率を最大化します。 \(\sigma_{\text{pred}}(x) = \sqrt{\sigma^2(x) + \sigma_n^2}\) とします。

    \[a_{\text{target}}(x) = \Phi\left(\frac{v_0 + \epsilon - \mu(x)}{\sigma_{\text{pred}}(x)}\right) - \Phi\left(\frac{v_0 - \epsilon - \mu(x)}{\sigma_{\text{pred}}(x)}\right)\]
  • Target UCB ( target_ucb ) 目標値 \(v_0\) への近さと不確実性のバランスを取ります。

    \[a_{\text{target\_ucb}}(x) = -|\mu(x) - v_0| + \kappa \sigma(x)\]
  • Target Square ( target_sq ) スコア関数 \(S(y) = -(y - v_0)^2\) の観測値を直接ガウス過程で回帰し、そのモデル上でのUCBを最大化するアプローチです。

必要ライブラリ (依存関係)

実行には以下の非標準Pythonライブラリが必要です。

  • numpy

  • scipy

  • matplotlib

入出力仕様

入力

スクリプトは実行時のコマンドライン引数からパラメータを受け取ります。指定がない場合はソースコード内のデフォルト値が使用されます。

  1. 第1引数 ( mode ) : 探索戦略を指定します。以下のいずれかの文字列を入力します。

    • random : ランダムに点をサンプリング

    • std : 予測分散 \(\sigma(x)\) が最大の点をサンプリング

    • max : 予測平均 \(\mu(x)\) が最大の点をサンプリング

    • ucb : UCB を最大化

    • ei : EI を最大化

    • target : 目標範囲に入る確率を最大化

    • target_ucb : 目標値付近での Target UCB を最大化

    • target_sq : 目標値の二乗誤差のマイナスをスコアとして UCB を最大化

  2. 第2引数 ( nmaxiter ) : アニメーションの最大フレーム数(サンプリング回数)を表す整数値です。

  3. 第3引数 ( outfile ) : 出力するGIFアニメーションのファイル名です。空文字列(未指定)の場合は保存されず、画面表示のみとなります。

  4. 第4引数 ( v0 ) : 目標探索モードにおける目標値 \(v_0\) を表す浮動小数点数です。

  5. 第5引数 ( eps_target ) : 目標探索モードにおける目標値の許容範囲 \(\epsilon\) を表す浮動小数点数です。

出力

  • 画面表示: matplotlib のウィンドウが開き、ガウス過程回帰の予測平均(青線)、不確実性区間 \(\mu \pm 2\sigma\) (青の塗りつぶし)、観測点(黒点)、および真の関数(黒点線)の推移がアニメーション表示されます。

  • ファイル出力: 第3引数 ( outfile ) に有効なファイル名(例: animation.gif )が指定されている場合、アニメーションがGIF形式で保存されます(MP4出力用のコードは存在しますがコメントアウトされているため機能しません)。保存が完了すると、標準出力に保存完了のメッセージが出力されます。

実行例

デフォルト設定(画面表示のみ)で実行する場合:

python gp_simulation_animation.py

UCBモードを指定し、30回の反復で探索を行う様子を output.gif に保存する場合:

python gp_simulation_animation.py ucb 30 output.gif

ターゲット探索モード( target )を指定し、目標値を \(0.5\) 、許容範囲を \(0.05\) と設定してアニメーションを保存する場合:

python gp_simulation_animation.py target 20 target_anim.gif 0.5 0.05