ガウス過程回帰（Gaussian Process Regression, GPR）は、関数そのものを確率的対象として扱うベイズ的回帰手法であり、無限次元の確率過程としてのガウス過程を事前分布とすることで、観測データに基づく事後分布を厳密に導出する方法である。その本質は、カーネル関数によって規定される共分散構造により関数の滑らかさや相関を表現し、有限次元の多変量正規分布として計算可能な形に帰着される点にある。
集合 $\mathcal{X}$ 上の確率過程 $f = \{f(x)\}_{x \in \mathcal{X}}$ がガウス過程であるとは、任意の有限点集合 $\{x_1,\dots,x_n\}$ に対して
\[(f(x_1), \dots, f(x_n)) \sim \mathcal{N}(m, K)\]
が成立することをいう。ここで平均関数と共分散関数は
\[m(x) = \mathbb{E}[f(x)], \quad k(x,x') = \mathrm{Cov}(f(x), f(x'))\]
で定義される。これを略記して
\[f \sim \mathcal{GP}(m,k)\]
と書く。
観測データ
\[\{(x_i, y_i)\}_{i=1}^n,\quad y_i = f(x_i) + \varepsilon_i\]
を考える。ただしノイズは独立同分布で
\[\varepsilon_i \sim \mathcal{N}(0, \sigma^2)\]
とする。すなわち観測はガウス雑音付き関数値である。
関数 $f$ にガウス過程事前分布
\[f \sim \mathcal{GP}(0,k)\]
を仮定すると、観測点と新しい点 $x_*$ における関数値は同時に正規分布に従う：
\[\begin{pmatrix}\mathbf{y} \\f_*\end{pmatrix}\sim\mathcal{N}\left(0,\begin{pmatrix}K + \sigma^2 I & k_* \\k_*^T & k(x_*,x_*)\end{pmatrix}\right)\]
ここで
\[K_{ij} = k(x_i,x_j), \quad k_* = (k(x_1,x_*),\dots,k(x_n,x_*))^T\]
である。
条件付き正規分布の公式より、予測分布は
\[f_* \mid \mathbf{y} \sim \mathcal{N}(\mu_*, \sigma_*^2)\]
ただし
\[\mu_* = k_*^T (K + \sigma^2 I)^{-1} \mathbf{y}\]
\[\sigma_*^2 = k(x_*,x_*) - k_*^T (K + \sigma^2 I)^{-1} k_*\]
である。これにより平均と不確実性（分散）が同時に得られる。
予測平均 $\mu_*$ はカーネルリッジ回帰の解と一致する。すなわち
\[\min_{f \in \mathcal{H}}\sum_{i=1}^n (y_i - f(x_i))^2 + \lambda \|f\|_{\mathcal{H}}^2\]
の解と同一であり、$\lambda = \sigma^2$ に対応する。この意味でGPRはRKHSにおける正則化問題のベイズ的解釈である。
カーネルのパラメータ $\theta$ やノイズ分散 $\sigma^2$ は周辺尤度（evidence）
\[p(\mathbf{y} \mid X) =\mathcal{N}(0, K_\theta + \sigma^2 I)\]
を最大化することで推定する。対数尤度は
\[\log p(\mathbf{y}\mid X)= -\frac{1}{2}\mathbf{y}^T (K+\sigma^2 I)^{-1}\mathbf{y}- \frac{1}{2}\log|K+\sigma^2 I|- \frac{n}{2}\log(2\pi)\]
であり、第1項はデータ適合、第2項はモデル複雑性のペナルティ（Occam因子）に対応する。
カーネルの選択は事前分布（関数の仮定）を意味する。
カーネル $k$ は積分作用素
\[(T_k f)(x) = \int k(x,x') f(x') d\mu(x')\]
を定義し、メルサーの定理により固有展開
\[k(x,x') = \sum_{i} \lambda_i \phi_i(x)\phi_i(x')\]
を持つ。GPRはこの固有関数基底におけるガウス分布として理解できる。
GPRは逆行列計算により $O(n^3)$ の計算量と $O(n^2)$ のメモリを要する。このため大規模データでは
などが用いられる。
GPRは完全なベイズ推論であり、予測に不確実性が伴う点が特徴である。データが少ない領域では分散が大きくなり、データが密な領域では分散が小さくなる。
ガウス過程回帰は、関数に対するガウス過程事前分布と観測データに基づく厳密なベイズ推論により、予測と不確実性を同時に与える回帰手法である。カーネル関数を通じて関数空間の構造を柔軟に表現し、RKHSやカーネルリッジ回帰と深く関連する。また、作用素論・スペクトル理論・ベイズ統計の統合的枠組みに位置づけられる、現代機械学習における重要な基盤手法である。
Mathematics is the language with which God has written the universe.