変分推論

ベイズ推論の目的は、観測データ $\mathbf{x}$ が与えられたときの未知パラメータ $\mathbf{z}$ の事後分布 $p(\mathbf{z} | \mathbf{x})$ を求めることにある。しかし、複雑なモデルでは周辺尤度 $p(\mathbf{x}) = \int p(\mathbf{x}, \mathbf{z}) d\mathbf{z}$ の計算が困難となり、事後分布を厳密に求めることができない。変分推論（Variational Inference; VI）は、この事後分布の推定問題を「サンプリングによる近似」ではなく「最適化問題」へと置き換えて解く手法である。具体的には、扱いやすい形の近似分布 $q(\mathbf{z})$ を用意し、真の事後分布に最も近くなるようにそのパラメータを更新していく。

基本設定

近似分布 $q(\mathbf{z})$ と真の事後分布 $p(\mathbf{z} | \mathbf{x})$ の間の親近性を測る指標として、KLダイバージェンス（Kullback-Leibler divergence）を用いる。VIの目的は、以下の $KL(q||p)$ を最小化することである。

\[KL(q(\mathbf{z}) || p(\mathbf{z} | \mathbf{x})) = \int q(\mathbf{z}) \ln \frac{q(\mathbf{z})}{p(\mathbf{z} | \mathbf{x})} d\mathbf{z}\]

しかし、この式には未知の $p(\mathbf{z} | \mathbf{x})$ が含まれるため直接最小化できない。そこで、対数周辺尤度 $\ln p(\mathbf{x})$ を以下のように分解する。

\[\ln p(\mathbf{x}) = ELBO(q) + KL(q(\mathbf{z}) || p(\mathbf{z} | \mathbf{x}))\]

ここで、$ELBO(q)$ は「証拠下界（Evidence Lower Bound）」と呼ばれ、次のように定義される。

\[ELBO(q) = \mathbb{E}_{q} [\ln p(\mathbf{x}, \mathbf{z})] - \mathbb{E}_{q} [\ln q(\mathbf{z})]\]

$\ln p(\mathbf{x})$ は定数であるため、$KL$ を最小化することは $ELBO(q)$ を最大化することと同義となる。VIはこの下界を最大化するプロセスに集約される。

平均場近似による事後分布の推定

近似分布 $q(\mathbf{z})$ の自由度が高すぎると最適化が困難になるため、パラメータ群 $\mathbf{z} = \{z_1, z_2, \dots, z_M\}$ が互いに独立であると仮定する「平均場近似（Mean Field Approximation）」が広く用いられる。

\[q(\mathbf{z}) = \prod_{j=1}^{M} q_j(z_j)\]

この仮定を置くことで、複雑な多変量分布の推定を、各変数ごとの単変量分布の推定に分解することが可能となる。各因子 $q_j$ は、他の因子を固定した状態で $ELBO$ を最大化するように逐次的に最適化される。

座標上昇型変分推論（CAVI）

平均場近似の下で $ELBO$ を最大化するための具体的なアルゴリズムが、座標上昇型変分推論（Coordinate Ascent Variational Inference; CAVI）である。特定の成分 $q_j(z_j)$ に着目したとき、最適な分布 $q_j^*(z_j)$ は以下の関係を満たす。

\[\ln q_j^*(z_j) \propto \mathbb{E}_{i \neq j} [\ln p(\mathbf{x}, \mathbf{z})]\]

ここで $\mathbb{E}_{i \neq j}[\cdot]$ は、$q_j$ 以外のすべての変数に関する期待値である。CAVIは、ある一つの $q_j$ をこの式に基づき更新し、他の変数を固定するという操作を全変数に対して順番に繰り返し、全体の $ELBO$ が収束するまで継続する。これにより、解析的に困難だった事後分布の近似解を効率的に得ることができる。

まとめ

変分推論は、ベイズ推論における積分計算を、KLダイバージェンスの最小化あるいはELBOの最大化という最適化問題に転換する強力な枠組みである。平均場近似によって各変数を独立に扱い、CAVIによって逐次的にパラメータを更新することで、大規模なデータセットや複雑な階層モデルに対しても高速な推論が可能となる。MCMCと比較して収束の判定が容易であり、計算コストを抑えられる点が大きな利点である。

Mathematics is the language with which God has written the universe.