ベイズ推定は、未知の母数を確率変数として扱い、事前分布と観測データに基づいて事後分布を導く推定手法である。ベイズの定理に基づき、情報の更新を一貫した形で行う枠組みを提供する。
観測データ $X$ と母数 $\theta$ に対して、ベイズの定理により
\[p(\theta \mid X) = \frac{p(X \mid \theta) p(\theta)}{p(X)}\]
が成立する。
比例関係として、
\[p(\theta \mid X) \propto p(X \mid \theta) p(\theta)\]
と書くことが多い。
事後分布は、観測データを考慮した後の母数の不確実性を表す。この分布を用いて推定や予測を行う。
損失関数に応じて様々な推定量が定義される。
\[\hat{\theta}_{\mathrm{Bayes}} = \mathbb{E}[\theta \mid X]\]
\[\hat{\theta}_{\mathrm{MAP}} = \arg\max_{\theta} p(\theta \mid X)\]
\[P(\theta \leq \hat{\theta} \mid X) = \frac{1}{2}\]
事前分布と事後分布が同じ分布族に属する場合、これを共役事前分布という。
$X_i \sim \mathrm{Bernoulli}(p)$、事前分布 $p \sim \mathrm{Beta}(\alpha,\beta)$ とすると、
\[p \mid X \sim \mathrm{Beta}(\alpha + k, \beta + n - k)\]
が成立する（$k = \sum X_i$）。
新しい観測値 $X_{\text{new}}$ に対する予測は、
\[p(X_{\text{new}} \mid X) = \int p(X_{\text{new}} \mid \theta) p(\theta \mid X) d\theta\]
で与えられる。
ベイズ推定は事前情報を自然に組み込める点に特徴がある。
複雑なモデルでは事後分布の解析解が得られないため、以下の数値手法が用いられる。
ベイズ推定は、事前分布と尤度を組み合わせて事後分布を導く統一的な推定枠組みである。推定だけでなく不確実性の評価や予測にも利用でき、現代統計学および機械学習において重要な役割を果たす。
Mathematics is the language with which God has written the universe.