Definition：free energy
自由エネルギーは,訓練データ\[\mathcal{D} = \{ x_1, x_2, \ldots, x_n \}\]に対する周辺尤度の負の対数として定義される.\[F_n \;=\; - \log p(\mathcal{D})\]ここで,周辺尤度 $p(\mathcal{D})$ は\[p(\mathcal{D}) \;=\; \int_{\mathcal{W}} \left[ \prod_{i=1}^n p(x_i \mid w) \right] \varphi(w) \, dw\]であり,$\varphi(w)$ は事前分布,$p(x_i \mid w)$ はパラメータ $w$ に基づく尤度関数である.
$p(\mathcal{D})$ は,「そのモデルと事前分布の組み合わせにおいて,観測されたデータ $\mathcal{D}$ が得られる確率[または確率密度]」である.その対数 $\log p(\mathcal{D})$ は尤度を加法的スケールに変換したものであり,$-\log p(\mathcal{D})$ は情報量[自己情報量]を表す.すなわち,$-\log p(\mathcal{D})$ はモデルがそのデータを説明する難しさを意味し,この値が小さいほど,モデルはそのデータを高い確率で生成できる[＝適合度が高い]ことを示す.逆に値が大きい場合、データはモデルにとって予測しづらく、説明力が低いことを意味する。この量は統計物理における自由エネルギーと類似の役割を持ち,ベイズ推論ではモデル比較や汎化性能評価に用いられる.
Mathematics is the language with which God has written the universe.