メルサーの定理

Mercer の定理（Mercer's Theorem）は正定値カーネル関数の固有展開（スペクトル分解）の存在と収束性を保証する関数解析学の基本定理であり、再生核ヒルベルト空間（RKHS）の構造・カーネル法の理論的正当化・ガウス過程の共分散関数解析の数学的基盤を提供する。積分作用素論・コンパクト作用素のスペクトル理論・測度論的確率論を統合した深い結果である。

設定

コンパクト距離空間 $(\mathcal{X}, d)$（例：$\mathcal{X} = [a,b]^p \subset \mathbb{R}^p$）と$\mathcal{X}$ 上の Borel 確率測度 $\nu$（台が $\mathcal{X}$ 全体）を固定する。$L^2(\mathcal{X}, \nu)$ を二乗可積分関数のヒルベルト空間とし、内積を $\langle f, g\rangle_{L^2} = \int_{\mathcal{X}} f(\boldsymbol{x})g(\boldsymbol{x})\,d\nu(\boldsymbol{x})$とする。$k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ を連続対称関数（$k(\boldsymbol{x},\boldsymbol{x}') = k(\boldsymbol{x}',\boldsymbol{x})$）とし、$k$ が $\mathcal{X} \times \mathcal{X}$ 上で有界（$\sup_{\boldsymbol{x},\boldsymbol{x}'}|k(\boldsymbol{x},\boldsymbol{x}')| < \infty$）とする。

積分作用素の定義と性質

積分作用素 $T_k$

カーネル $k$ が定義する積分作用素（Integral Operator）$T_k: L^2(\mathcal{X},\nu) \to L^2(\mathcal{X},\nu)$ を

\[(T_k f)(\boldsymbol{x})= \int_{\mathcal{X}} k(\boldsymbol{x}, \boldsymbol{x}') f(\boldsymbol{x}')\, d\nu(\boldsymbol{x}')\]

と定義する。$k$ が連続かつ有界であるとき $T_k$ は well-defined な有界線形作用素であり、以下の性質を持つ。

  • 自己共役性：$\langle T_k f, g\rangle_{L^2} = \langle f, T_k g\rangle_{L^2}$。$k$ の対称性 $k(\boldsymbol{x},\boldsymbol{x}') = k(\boldsymbol{x}',\boldsymbol{x})$ からFubini の定理（前節）を用いて直接導かれる。
  • コンパクト性：$k$ が連続（$\mathcal{X}$ がコンパクト）のとき $T_k$ はコンパクト作用素である。直観的には $T_k$ が $L^2$ の有界集合を$C(\mathcal{X})$（連続関数空間）の有界集合に写し、Arzelà–Ascoli の定理により $C(\mathcal{X}) \hookrightarrow L^2$ がコンパクト埋め込みとなることから従う。
  • 正値性（$k$ が正定値のとき）：$\langle T_k f, f\rangle_{L^2} = \int\int k(\boldsymbol{x},\boldsymbol{x}')f(\boldsymbol{x})f(\boldsymbol{x}')\,d\nu d\nu \geq 0$。$k$ の正定値性の定義（連続化）から成立する。

Hilbert–Schmidt 作用素

$k \in L^2(\mathcal{X} \times \mathcal{X}, \nu \otimes \nu)$（二乗可積分なカーネル）のとき、$T_k$ はHilbert–Schmidt 作用素（Hilbert–Schmidt Operator）であり、Hilbert–Schmidt ノルム

\[\|T_k\|_{\mathrm{HS}}^2= \int_{\mathcal{X}}\int_{\mathcal{X}} k(\boldsymbol{x},\boldsymbol{x}')^2\, d\nu(\boldsymbol{x})\, d\nu(\boldsymbol{x}')< \infty\]

が有限である。Hilbert–Schmidt 作用素はコンパクト作用素であり、その固有値列 $\{\lambda_j\}$ は $\sum_j \lambda_j^2 = \|T_k\|_{\mathrm{HS}}^2 < \infty$ を満たす。特に連続カーネルはコンパクト集合上で $L^2$ に属するため Hilbert–Schmidt 作用素を定義する。

Mercer の定理

定理の主張

定理（Mercer, 1909；現代版）：$\mathcal{X}$ をコンパクト距離空間、$\nu$ を台が $\mathcal{X}$ 全体の Borel 確率測度、$k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ を連続対称正定値カーネルとする。このとき以下が成立する：

  1. 積分作用素 $T_k: L^2(\mathcal{X},\nu) \to L^2(\mathcal{X},\nu)$ は自己共役正コンパクト作用素であり、正規直交固有関数の列 $\{\varphi_j\}_{j=1}^\infty \subset L^2(\mathcal{X},\nu) \cap C(\mathcal{X})$ と対応する固有値の列 $\lambda_1 \geq \lambda_2 \geq \cdots > 0$ が存在して\[T_k \varphi_j = \lambda_j \varphi_j,\quad\langle \varphi_j, \varphi_\ell\rangle_{L^2} = \delta_{j\ell}\]を満たし（$\delta_{j\ell}$ は Kronecker のデルタ）、固有値は可算個であって $\sum_{j=1}^\infty \lambda_j < \infty$。
  2. カーネルは固有展開\[k(\boldsymbol{x}, \boldsymbol{x}')= \sum_{j=1}^\infty \lambda_j \varphi_j(\boldsymbol{x})\varphi_j(\boldsymbol{x}')\]を持ち、この級数は $\mathcal{X} \times \mathcal{X}$ 上で絶対収束かつ一様収束する。

証明の詳細

ステップ 1：スペクトル定理の適用

$T_k$ は自己共役コンパクト作用素であるから、Hilbert 空間におけるコンパクト自己共役作用素のスペクトル定理が適用できる：固有値 $\{\lambda_j\}$（重複度込み、$|\lambda_1| \geq |\lambda_2| \geq \cdots \to 0$）と対応する正規直交固有函数 $\{\varphi_j\}$ が存在して$T_k = \sum_j \lambda_j \langle\cdot,\varphi_j\rangle_{L^2} \varphi_j$が $L^2$ 上でノルム収束する（スペクトル分解）。正値性 $\langle T_k f, f\rangle_{L^2} \geq 0$ により固有値はすべて非負（$\lambda_j \geq 0$）。$k$ が正定値であれば $\lambda_j > 0$ がすべての $j$ に対して成立する（零固有値が存在する場合、$k$ は退化した正定値カーネル）。

ステップ 2：固有関数の連続性

固有方程式 $T_k\varphi_j = \lambda_j\varphi_j$ を考える。$\lambda_j > 0$ のとき

\[\varphi_j(\boldsymbol{x})= \frac{1}{\lambda_j}(T_k\varphi_j)(\boldsymbol{x})= \frac{1}{\lambda_j}\int_{\mathcal{X}} k(\boldsymbol{x},\boldsymbol{x}')\varphi_j(\boldsymbol{x}')\,d\nu(\boldsymbol{x}')\]

$k$ が連続（$\mathcal{X}$ がコンパクトのため一様連続）かつ $\varphi_j \in L^2$ より、$\boldsymbol{x}$ の関数として右辺は連続である（一様連続なカーネルと $L^2$ 関数の畳み込み）。よって $\varphi_j \in C(\mathcal{X})$（連続関数）であることが示される。

ステップ 3：固有値の絶対和可能性

トレース公式から

\[\sum_{j=1}^\infty \lambda_j= \mathrm{tr}(T_k)= \int_{\mathcal{X}} k(\boldsymbol{x}, \boldsymbol{x})\, d\nu(\boldsymbol{x})\leq \sup_{\boldsymbol{x}} k(\boldsymbol{x},\boldsymbol{x}) < \infty\]

が成立する（$k$ の連続性・有界性とコンパクト集合上の積分の有限性から）。$\sum_j \lambda_j < \infty$ は $T_k$ がトレースクラス作用素（Trace Class Operator）であることを意味し、Hilbert–Schmidt 作用素より強い条件である。

ステップ 4：Mercer 展開の一様収束

部分和 $k_N(\boldsymbol{x},\boldsymbol{x}') = \sum_{j=1}^N \lambda_j\varphi_j(\boldsymbol{x})\varphi_j(\boldsymbol{x}')$を考え、残差 $r_N(\boldsymbol{x},\boldsymbol{x}') = k(\boldsymbol{x},\boldsymbol{x}') - k_N(\boldsymbol{x},\boldsymbol{x}')$が定義する積分作用素 $T_{r_N}$ は正定値（$k$ と $k_N$ の差）であるから、

\[0 \leq r_N(\boldsymbol{x},\boldsymbol{x})= k(\boldsymbol{x},\boldsymbol{x}) - \sum_{j=1}^N \lambda_j \varphi_j(\boldsymbol{x})^2\]

Dini の定理の条件（単調収束する連続関数の列がコンパクト集合上でゼロに収束）より、$\sum_{j=1}^\infty \lambda_j\varphi_j(\boldsymbol{x})^2 \to k(\boldsymbol{x},\boldsymbol{x})$ が$\mathcal{X}$ 上で一様収束する。Cauchy–Schwarz 不等式

\[\left|k(\boldsymbol{x},\boldsymbol{x}') - \sum_{j=1}^N \lambda_j\varphi_j(\boldsymbol{x})\varphi_j(\boldsymbol{x}')\right|\leq \sqrt{r_N(\boldsymbol{x},\boldsymbol{x})\cdot r_N(\boldsymbol{x}',\boldsymbol{x}')}\]

と対角収束の一様性から $k(\boldsymbol{x},\boldsymbol{x}')$ への一様収束が導かれる。$\square$

RKHS との関係

Mercer 展開から RKHS の構成

Mercer 展開 $k(\boldsymbol{x},\boldsymbol{x}') = \sum_j \lambda_j \varphi_j(\boldsymbol{x})\varphi_j(\boldsymbol{x}')$を用いると、RKHS $\mathcal{H}_k$ は

\[\mathcal{H}_k= \left\{f = \sum_{j=1}^\infty c_j \varphi_j :\|f\|_{\mathcal{H}_k}^2 = \sum_{j=1}^\infty \frac{c_j^2}{\lambda_j} < \infty\right\}\]

と明示的に構成される。内積は$\langle f, g\rangle_{\mathcal{H}_k} = \sum_j c_j d_j / \lambda_j$（$f = \sum_j c_j\varphi_j$、$g = \sum_j d_j\varphi_j$）。$L^2$ の内積との比較：

\[\langle f, g\rangle_{L^2} = \sum_j c_j d_j,\qquad\langle f, g\rangle_{\mathcal{H}_k} = \sum_j \frac{c_j d_j}{\lambda_j}\]

小さな固有値 $\lambda_j \ll 1$ に対応する方向の係数に大きなペナルティが課されることが分かり、$\|f\|_{\mathcal{H}_k}^2 = \sum_j c_j^2/\lambda_j$ が高振動成分を抑制する「複雑度ペナルティ」として機能することの数学的根拠となる。

埋め込み $\mathcal{H}_k \hookrightarrow L^2$ はコンパクト（$\sum_j\lambda_j < \infty$ から）であり、$\mathcal{H}_k$ の元は $L^2$ より滑らかな関数クラスを形成する。より正確には $\mathcal{H}_k = T_k^{1/2}(L^2)$（$T_k$ の平方根作用素の値域）として特徴づけられ、$\|f\|_{\mathcal{H}_k} = \|T_k^{-1/2}f\|_{L^2}$。

再生性の確認

上記の RKHS で再生性を確認する。任意の $f = \sum_j c_j\varphi_j \in \mathcal{H}_k$ と $\boldsymbol{x} \in \mathcal{X}$ に対して

\[\langle f, k(\cdot,\boldsymbol{x})\rangle_{\mathcal{H}_k}= \left\langle \sum_j c_j\varphi_j,\, \sum_j \lambda_j\varphi_j(\boldsymbol{x})\varphi_j \right\rangle_{\mathcal{H}_k}= \sum_j \frac{c_j \cdot \lambda_j\varphi_j(\boldsymbol{x})}{\lambda_j}= \sum_j c_j\varphi_j(\boldsymbol{x})= f(\boldsymbol{x})\]

が成立し（Mercer 展開の一様収束と Parseval の等式を使用）、再生性 $f(\boldsymbol{x}) = \langle f, k(\cdot,\boldsymbol{x})\rangle_{\mathcal{H}_k}$ が確認される。特に $k(\boldsymbol{x},\boldsymbol{x}') = \langle k(\cdot,\boldsymbol{x}), k(\cdot,\boldsymbol{x}')\rangle_{\mathcal{H}_k}$も直接計算で確かめられる。

特徴写像の Mercer 表現

Mercer 展開が与える特徴写像は

\[\phi: \boldsymbol{x} \mapsto(\sqrt{\lambda_1}\varphi_1(\boldsymbol{x}),\, \sqrt{\lambda_2}\varphi_2(\boldsymbol{x}),\, \ldots)\in \ell^2\]

であり、$k(\boldsymbol{x},\boldsymbol{x}') = \langle\phi(\boldsymbol{x}),\phi(\boldsymbol{x}')\rangle_{\ell^2}= \sum_j \lambda_j\varphi_j(\boldsymbol{x})\varphi_j(\boldsymbol{x}')$が成立する。$\mathcal{H}_k$ への正準埋め込み $\boldsymbol{x} \mapsto k(\cdot,\boldsymbol{x})$ との関係は$k(\cdot,\boldsymbol{x}) = \sum_j \lambda_j\varphi_j(\boldsymbol{x})\varphi_j$ であり、$\mathcal{H}_k$ のノルムで$\|k(\cdot,\boldsymbol{x})\|_{\mathcal{H}_k}^2 = \sum_j \lambda_j\varphi_j(\boldsymbol{x})^2 \leq \sum_j\lambda_j = \mathrm{tr}(T_k)$が有界であることが確認できる。

具体例：RBF カーネルの Mercer 展開

$\mathcal{X} = \mathbb{R}$、$\nu = \mathcal{N}(0,\sigma_x^2)$（ガウス測度）、RBF カーネル $k(x,x') = \exp(-\gamma(x-x')^2)$ に対して Mercer 展開を求める。Mehler の公式より

\[\exp(-\gamma(x-x')^2)= \sum_{j=0}^\infty \lambda_j^{\mathrm{RBF}} H_j(\alpha x) H_j(\alpha x')\]

ここで $H_j$ は Hermite 多項式、$\alpha$・$\lambda_j^{\mathrm{RBF}}$ は$\gamma$・$\sigma_x^2$ に依存する定数である。具体的には $c = 2\gamma\sigma_x^2$・$A = (1 + 2c)^{1/4}$ とおくと、

\[\lambda_j^{\mathrm{RBF}}= \frac{\sqrt{2c}}{A}\left(\frac{2c-1+2A}{2c+1+2A}\right)^{j/2}\cdot \frac{1}{2^j j!}\]

固有値は指数的に減少し（$j$ の増大とともに $\lambda_j^{\mathrm{RBF}} \to 0$ 指数的）、これが RBF カーネルの RKHS が$C^\infty$（無限回微分可能）関数の稠密な部分空間を含むなめらかな関数クラスであることと整合する。

Mercer の定理の拡張

非コンパクト集合への拡張

$\mathcal{X} = \mathbb{R}^d$（非コンパクト）の場合、コンパクト性の仮定が成立しないため原論文の定理は直接適用できない。対処として以下の拡張が知られている。

  • Gaussian 測度による重み付け：$\nu = \mathcal{N}(0, I)$ のような正規測度を用いると、カーネルの適切な可積分条件のもとで $T_k$ がコンパクトとなりMercer 展開が成立する。RBF カーネルはこの設定で直接扱える。
  • Bochner の定理による代替：$\mathbb{R}^d$ 上の連続定常カーネルに対してはMercer 展開の代わりに Fourier 変換による表現$k(\boldsymbol{x}-\boldsymbol{x}') = \int e^{i\boldsymbol{\omega}^\top(\boldsymbol{x}-\boldsymbol{x}')}\,d\mu(\boldsymbol{\omega})$（$\mu$：非負 Borel 測度）が成立する（Bochner の定理）。これはランダム特徴量の理論的根拠であり、Mercer 展開の連続スペクトル版と解釈できる。
  • 数え上げ測度（離散集合）：$\mathcal{X} = \{1,\ldots,n\}$（有限集合）のとき、$T_k$ はグラム行列 $K \in \mathbb{R}^{n \times n}$ に帰着し、Mercer 展開は有限次元の固有値分解$K = V\Lambda V^\top$ に一致する。

測度への依存性

Mercer 展開の固有値・固有関数は測度 $\nu$ に依存するため、「カーネル $k$ のスペクトル」は $\nu$ なしでは一意に定まらない。これは実用上重要な注意点であり、同一のカーネルでも $\nu$ の選択によって異なる Mercer 展開（異なる $\lambda_j$、$\varphi_j$）を与える。Moore–Aronszajn 定理による RKHS の構成は $\nu$ に依存しない（$k$ のみから一意に定まる）のに対し、Mercer 展開は $\nu$ 依存であることが根本的な違いである。

作用素論的一般化

Mercer の定理は作用素論の観点からコンパクト自己共役作用素のスペクトル定理の具体的実現として位置づけられる。一般のヒルベルト空間 $\mathcal{H}$ 上のコンパクト自己共役作用素 $T$ のスペクトル定理は

\[T = \sum_j \lambda_j \langle\cdot, \varphi_j\rangle \varphi_j\quad (\text{ノルム収束})\]

を保証するが、Mercer の定理は積分核作用素の特殊性（カーネル $k$ の連続性）を用いてこの分解が点別かつ一様に収束することを示す点で強い結果である。トレースクラス作用素の理論では Mercer の定理の条件（連続正定値カーネル、コンパクト台）は$\mathrm{tr}(T_k) = \int k(\boldsymbol{x},\boldsymbol{x})\,d\nu = \sum_j\lambda_j < \infty$ を保証し、Hilbert–Schmidt 条件（$\|T_k\|_{\mathrm{HS}}^2 = \sum_j\lambda_j^2 < \infty$）より強い。

Mercer の定理と機械学習の接続

正則化と RKHS ノルム

Mercer 展開 $f = \sum_j c_j\varphi_j$、$\|f\|_{\mathcal{H}_k}^2 = \sum_j c_j^2/\lambda_j$において、RKHS ノルムによる正則化の意味を理解できる。固有値 $\lambda_j$ が小さい方向（高振動・不安定な方向）に対して大きな罰則 $1/\lambda_j$ が課される。カーネルリッジ回帰の解 $\hat{f} = \sum_j c_j\varphi_j$ では正則化パラメータ $\lambda$ のもとで

\[c_j = \frac{\lambda_j}{\lambda_j + \lambda}\langle \boldsymbol{y}, \varphi_j\rangle_{L^2}\]

という縮小が生じる（各固有方向に独立な Ridge 縮小）。$\lambda_j \gg \lambda$（大きな固有値方向）では縮小が小さく、$\lambda_j \ll \lambda$（小さな固有値方向）では強く縮小され、不安定な成分が抑制される。これはスペクトル正則化（Spectral Regularization）として一般化でき、Ridge（$c_j \propto \lambda_j/(\lambda_j+\lambda)$）・トランケーション（$c_j \propto \mathbf{1}[\lambda_j > \lambda]$）・Landweber 法（$c_j \propto 1-(1-\lambda_j)^T$）などが統一的に記述される。

カーネルの等価性と RKHS の包含関係

二つのカーネル $k_1$、$k_2$ に対して$\mathcal{H}_{k_1} \subseteq \mathcal{H}_{k_2}$（RKHS の包含関係）はある定数 $c > 0$ が存在して $k_2(\boldsymbol{x},\boldsymbol{x}') - ck_1(\boldsymbol{x},\boldsymbol{x}')$が正定値カーネルであることと等価である（de Branges の定理）。Mercer 展開では $\lambda_j^{(2)} \geq c\lambda_j^{(1)}$ として表現され、「$k_2$ の固有値が $k_1$ の対応する固有値以上」という条件に対応する。例えば多項式カーネル（有限次元 RKHS）はRBF カーネル（無限次元 RKHS）の RKHS に包含されない（両者の固有関数系は $L^2$ 上で異なる）。

統計的推定レートとの接続

Mercer 展開の固有値の減衰速度はカーネル法の統計的収束速度を決定する。固有値が多項式的に減衰するとき$\lambda_j \asymp j^{-\beta}$（$\beta > 1$）、カーネルリッジ回帰の最適収束率は

\[\mathbb{E}\|\hat{f} - f^*\|_{L^2}^2= O\!\left(n^{-\frac{2s\beta}{2s\beta + 1}}\right)\]

となる（$f^*$ が RKHS の $s$ 次の補間空間に属するとき）。$\beta$ が大きい（固有値が速く減衰する）ほど関数クラスが「滑らか」であり、より速い収束率が達成される。RBF カーネルでは固有値の指数的減衰により任意の多項式レートより速い収束が可能（ただし次元の呪いが現れる）。

ガウス過程との接続

ガウス過程（Gaussian Process, GP）$f \sim \mathcal{GP}(0, k)$（$k$ を共分散関数とする）に対して、Mercer 展開は Karhunen–Loève 展開を与える：

\[f(\boldsymbol{x})= \sum_{j=1}^\infty \xi_j \sqrt{\lambda_j}\varphi_j(\boldsymbol{x}),\quad \xi_j \overset{\text{i.i.d.}}{\sim} \mathcal{N}(0,1)\]

この展開は $L^2(\mathcal{X},\nu)$ 上で a.s. 収束する（確率論的収束の意味で）。Karhunen–Loève 展開は：

  • $\xi_j$ が互いに独立（無相関 $+$ ガウス性から独立）
  • $\xi_j = \langle f, \varphi_j\rangle_{L^2} / \sqrt{\lambda_j}$（フーリエ係数の正規化）
  • $\sum_{j=1}^N \lambda_j$ の意味での最良 $N$ 次元近似を与える

という性質を持ち、ガウス過程の主成分分析（最適低次元近似）として解釈できる。RKHS と GP の対応（Duality）として、GP の事後平均がカーネルリッジ回帰の解に一致するというベイズ・頻度論の対応関係の数学的基礎を提供する：

\[\mathbb{E}[f(\cdot) \mid \boldsymbol{y}]= k(\cdot, X)(K + \sigma^2 I)^{-1}\boldsymbol{y}= \sum_{i=1}^n \hat{\alpha}_i k(\cdot, \boldsymbol{x}_i)= \hat{f}^{\mathrm{KRR}}(\cdot)\]

Mercer の定理の仮定の必要性

定理の主要な仮定（コンパクト性・連続性・正定値性）それぞれが本質的に必要であることを示す反例を挙げる。

  • コンパクト性なし（$\mathcal{X} = \mathbb{R}$）：$T_k$ がコンパクトでなくなる場合がある。例えば恒等カーネル $k(x,x') = \delta(x-x')$（$L^2$ ではないが例示的に）は積分作用素が恒等作用素となりコンパクトでない。離散固有値列が存在しない（連続スペクトルを持つ）場合、Mercer 展開は可算和の形では成立しない（Bochner の定理による連続版への一般化が必要）。
  • 連続性なし：$L^2$ カーネルだが不連続なカーネルでは$\sum_j \lambda_j\varphi_j(\boldsymbol{x})\varphi_j(\boldsymbol{x}')$ が点別収束しても一様収束しない場合がある。Dini の定理の適用には対角 $k(\boldsymbol{x},\boldsymbol{x})$ の連続性が必要であり、これはカーネルの連続性から従う。
  • 正定値性なし（対称カーネルのみ）：負の固有値が存在するとき展開の収束は保証されず、また RKHS の構成において $1/\lambda_j < 0$ が問題となる。正定値でない対称カーネル（例：$k(x,x') = \cos(x-x')$ の特定のスケーリング）は正則化問題における凸性を失わせる。

まとめ

Mercer の定理は連続正定値カーネルが積分作用素の固有展開$k(\boldsymbol{x},\boldsymbol{x}') = \sum_j \lambda_j\varphi_j(\boldsymbol{x})\varphi_j(\boldsymbol{x}')$を持ち、この展開が $\mathcal{X} \times \mathcal{X}$ 上で絶対・一様収束することを保証する。証明はコンパクト自己共役作用素のスペクトル定理・固有関数の連続性・Dini の定理・Cauchy–Schwarz 不等式を組み合わせて完成される。RKHS との関係では$\mathcal{H}_k = \{f = \sum_j c_j\varphi_j : \sum_j c_j^2/\lambda_j < \infty\}$という明示的構成が得られ、$\|f\|_{\mathcal{H}_k}^2 = \sum_j c_j^2/\lambda_j$ が小固有値方向への複雑度ペナルティとして機能することが理解される。特徴写像 $\phi(\boldsymbol{x}) = (\sqrt{\lambda_j}\varphi_j(\boldsymbol{x}))_j \in \ell^2$ はカーネルの無限次元内積表現を与え、スペクトル正則化・統計的収束率・Karhunen–Loève 展開・GP との双対性の理論的基盤をなす。非コンパクト設定では Bochner の定理（定常カーネル）・加重 $L^2$ 空間（ガウス測度）・有限集合（行列固有値分解）への拡張が知られており、それぞれランダム特徴量・ガウス過程・カーネル行列スペクトル理論と接続する。

Mathematics is the language with which God has written the universe.





















数理統計学 機械学習