再生核ヒルベルト空間（Reproducing Kernel Hilbert Space, RKHS）は評価汎関数の有界性という条件によって特徴づけられる関数のヒルベルト空間であり、カーネル法・正則化理論・ガウス過程・統計的学習理論の数学的基盤をなす。Mercer の定理による固有展開・Moore–Aronszajn の対応定理・表現定理を統合し、無限次元関数空間での最適化を有限次元問題に帰着させる構造を持つ。
$\mathcal{X}$ を非空集合（入力空間）、$\mathcal{H}$ を $\mathcal{X}$ 上の実数値関数 $f: \mathcal{X} \to \mathbb{R}$ からなるヒルベルト空間（内積 $\langle\cdot,\cdot\rangle_{\mathcal{H}}$、ノルム $\|\cdot\|_{\mathcal{H}}$）とする。$\mathcal{X}$ には特別な位相・測度の構造を仮定しない（集合論的な設定から出発する）。以下では実数体 $\mathbb{R}$ 上のヒルベルト空間を扱うが、複素数体 $\mathbb{C}$ への拡張は自然に行える。
各点 $\boldsymbol{x} \in \mathcal{X}$ における評価汎関数（Evaluation Functional）$\delta_{\boldsymbol{x}}: \mathcal{H} \to \mathbb{R}$ を
\[\delta_{\boldsymbol{x}}(f) = f(\boldsymbol{x})\]と定義する。$\delta_{\boldsymbol{x}}$ は線形汎関数であるが、一般のヒルベルト空間（例：$L^2(\mathcal{X},\nu)$）では有界でない場合がある（$L^2$ の要素は点別に定義されず $\nu$-a.e. で定まる同値類であるため）。
ヒルベルト空間 $\mathcal{H}$（$\mathcal{X}$ 上の実数値関数からなる）が再生核ヒルベルト空間（RKHS）であるとは、すべての $\boldsymbol{x} \in \mathcal{X}$ に対して評価汎関数 $\delta_{\boldsymbol{x}}$ が有界線形汎関数（Bounded Linear Functional）であることをいう：
\[\forall \boldsymbol{x} \in \mathcal{X},\;\exists M_{\boldsymbol{x}} > 0 \text{ s.t. }|f(\boldsymbol{x})| \leq M_{\boldsymbol{x}} \|f\|_{\mathcal{H}}\quad \forall f \in \mathcal{H}\]この条件は「$\mathcal{H}$ のノルム収束が点別収束を含意する」ことと等価であり、RKHS の要素が well-defined な点別の値を持つことを保証する。
$\mathcal{H}$ が RKHS であるとき、各 $\boldsymbol{x} \in \mathcal{X}$ に対して評価汎関数 $\delta_{\boldsymbol{x}}$ は有界線形汎関数であるから、Riesz 表現定理（ヒルベルト空間の双対定理）により、$\delta_{\boldsymbol{x}}(f) = \langle f, k_{\boldsymbol{x}}\rangle_{\mathcal{H}}$を満たす一意な元 $k_{\boldsymbol{x}} \in \mathcal{H}$ が存在する。関数 $k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ を
\[k(\boldsymbol{x}, \boldsymbol{x}') = k_{\boldsymbol{x}}(\boldsymbol{x}') = \langle k_{\boldsymbol{x}}, k_{\boldsymbol{x}'}\rangle_{\mathcal{H}}\]と定義する。この $k$ を $\mathcal{H}$ の再生核（Reproducing Kernel）と呼ぶ。再生核は以下の再生性（Reproducing Property）を満たす：
\[f(\boldsymbol{x}) = \langle f, k(\cdot, \boldsymbol{x})\rangle_{\mathcal{H}}\quad \forall f \in \mathcal{H},\; \forall \boldsymbol{x} \in \mathcal{X}\]特に $f = k(\cdot, \boldsymbol{x}')$ とおくと$k(\boldsymbol{x}', \boldsymbol{x}) = \langle k(\cdot,\boldsymbol{x}'), k(\cdot,\boldsymbol{x})\rangle_{\mathcal{H}}$が成立し、再生核の対称性 $k(\boldsymbol{x},\boldsymbol{x}') = k(\boldsymbol{x}',\boldsymbol{x})$と正定値性が従う。
再生性 $f(\boldsymbol{x}) = \langle f, k(\cdot,\boldsymbol{x})\rangle_{\mathcal{H}}$ は関数の点別評価を RKHS における内積として表現する。これにより以下が可能になる：
Moore–Aronszajn 定理（1950）：RKHS と正定値カーネルの間には完全な一対一対応が成立する。
正定値カーネル $k$ から RKHS $\mathcal{H}_k$ を構成する手順を示す。
ステップ 1：前ヒルベルト空間の構成。$k(\cdot,\boldsymbol{x})$（$\boldsymbol{x} \in \mathcal{X}$）の有限線形結合からなる空間
\[\mathcal{H}_k^0= \mathrm{span}\{k(\cdot,\boldsymbol{x}) : \boldsymbol{x} \in \mathcal{X}\}= \left\{f = \sum_{i=1}^n \alpha_i k(\cdot,\boldsymbol{x}_i) :n \in \mathbb{N},\; \alpha_i \in \mathbb{R},\; \boldsymbol{x}_i \in \mathcal{X}\right\}\]上の内積を
\[\left\langle \sum_i \alpha_i k(\cdot,\boldsymbol{x}_i),\;\sum_j \beta_j k(\cdot,\boldsymbol{x}_j') \right\rangle_{\mathcal{H}_k^0}= \sum_i \sum_j \alpha_i \beta_j k(\boldsymbol{x}_i, \boldsymbol{x}_j')\]と定義する。$k$ の正定値性からこの双線型形式は半正定値（$\langle f, f\rangle \geq 0$）であり、内積として well-defined（$\langle f, f\rangle = 0 \Rightarrow f = 0$）であることは再生性から示される：$f = \sum_i \alpha_i k(\cdot,\boldsymbol{x}_i)$ のとき$f(\boldsymbol{x}) = \langle f, k(\cdot,\boldsymbol{x})\rangle = 0$（$\forall \boldsymbol{x}$）ならば $f \equiv 0$。
ステップ 2：完備化。$(\mathcal{H}_k^0, \langle\cdot,\cdot\rangle_{\mathcal{H}_k^0})$ は内積空間（前ヒルベルト空間）であるから、その完備化（Completion）$\mathcal{H}_k$ を取る。完備化の要素はコーシー列の同値類として表される。$\mathcal{H}_k$ の要素は $\mathcal{X}$ 上の関数であることを示す必要があるが、Cauchy 列 $\{f_n\}$ に対して$|f_n(\boldsymbol{x}) - f_m(\boldsymbol{x})| \leq \sqrt{k(\boldsymbol{x},\boldsymbol{x})}\|f_n - f_m\|_{\mathcal{H}_k}$より点別コーシー列となるため極限 $f(\boldsymbol{x}) = \lim_n f_n(\boldsymbol{x})$ が存在し、$\mathcal{H}_k$ の要素が関数として well-defined である。
$\mathcal{H}_1$、$\mathcal{H}_2$ がともに再生核 $k$ を持つ RKHS とする。任意の $f_1 \in \mathcal{H}_1$、$\boldsymbol{x} \in \mathcal{X}$ に対して、$\{k(\cdot,\boldsymbol{x}_i)\}$ の線形結合で $f_1$ を近似し、内積の等化条件 $\langle f, g\rangle_{\mathcal{H}_1} = \langle f, g\rangle_{\mathcal{H}_2}$（$\forall f, g \in \mathcal{H}_k^0$）から $\mathcal{H}_1$ と $\mathcal{H}_2$ は等距離同型であることが示される。$\mathcal{X}$ 上の関数として一致するため $\mathcal{H}_1 = \mathcal{H}_2$。$\square$
RKHS $\mathcal{H}_k$ の要素は次の性質を持つ：
$\mathcal{H}_k$ の Cauchy 列 $\{f_n\}$（$\|f_n - f\|_{\mathcal{H}_k} \to 0$）は$k(\boldsymbol{x},\boldsymbol{x}) \leq \kappa$（$\kappa < \infty$：カーネルの上界）のとき一様収束する：
\[\sup_{\boldsymbol{x} \in \mathcal{X}} |f_n(\boldsymbol{x}) - f(\boldsymbol{x})|\leq \sqrt{\kappa}\|f_n - f\|_{\mathcal{H}_k} \to 0\]$k(\boldsymbol{x},\boldsymbol{x})$ が有界でない場合（例：多項式カーネルで $\mathcal{X}$ が非有界）は一様収束ではなく点別収束のみが保証される。$k$ が連続かつ $\mathcal{X}$ がコンパクトのとき$k(\boldsymbol{x},\boldsymbol{x})$ は有界であり、一様収束が保証される。
正定値カーネル $k_1$、$k_2$ に対して、和カーネル $k = k_1 + k_2$ の RKHS は
\[\mathcal{H}_{k_1+k_2}= \mathcal{H}_{k_1} + \mathcal{H}_{k_2}= \{f_1 + f_2 : f_1 \in \mathcal{H}_{k_1},\; f_2 \in \mathcal{H}_{k_2}\}\]であり、ノルムは
\[\|f\|_{\mathcal{H}_{k_1+k_2}}^2= \min_{f = f_1 + f_2,\; f_j \in \mathcal{H}_{k_j}}\left(\|f_1\|_{\mathcal{H}_{k_1}}^2 + \|f_2\|_{\mathcal{H}_{k_2}}^2\right)\]と表される（加法的 RKHS の性質）。この構造は加法モデル $f = f_1 + f_2$（各成分が異なる RKHS に属する）の正則化に応用される。特に $\mathcal{H}_{k_1} \cap \mathcal{H}_{k_2} = \{0\}$ のとき$\mathcal{H}_{k_1+k_2} = \mathcal{H}_{k_1} \oplus \mathcal{H}_{k_2}$（直交直和）となる。
$\mathcal{X} = \mathbb{R}$（一変量）の場合、ソボレフ空間 $W^{m,2}(\mathbb{R})$（$m$ 階微分が $L^2$ に属する関数空間）は適切な内積のもとで RKHS となる。そのノルムは
\[\|f\|_{W^{m,2}}^2= \sum_{j=0}^m \int_{\mathbb{R}} \left(\frac{d^j f}{dx^j}\right)^2\, dx\]と表される。微分作用素との関係から、高次のソボレフノルムを持つ RKHS は「より滑らかな関数クラス」に対応する。平滑化スプラインの RKHS は$\|f\|_{\mathcal{H}}^2 = \int (f''(x))^2\,dx$（二階微分の $L^2$ ノルム）であり、再生核は三次スプラインのグリーン関数として表される。
多変量の場合（$\mathcal{X} \subseteq \mathbb{R}^d$）、等方的ソボレフ空間 $W^{s,2}(\mathbb{R}^d)$（Sobolev 空間、平滑度パラメータ $s > d/2$）の再生核はフーリエ変換を用いて
\[k(\boldsymbol{x},\boldsymbol{x}')= \int_{\mathbb{R}^d} \frac{e^{i\boldsymbol{\omega}^\top(\boldsymbol{x}-\boldsymbol{x}')}}{(1 + \|\boldsymbol{\omega}\|^2)^s}\,d\boldsymbol{\omega}\]と表され（Matérn カーネルと密接に関連）、$s > d/2$ が $k \in L^2$ の条件を与える。
RKHS $\mathcal{H}_k$ と $L^2(\mathcal{X},\nu)$ の間の中間的な関数空間として、積分作用素 $T_k: L^2 \to L^2$ の分数冪を用いた補間空間が定義される：
\[\mathcal{H}_k^{(s)} = T_k^s(L^2) = \left\{f = \sum_j c_j\varphi_j : \sum_j \frac{c_j^2}{\lambda_j^{2s}} < \infty\right\}\quad (s > 0)\]$s = 1/2$ のとき $\mathcal{H}_k^{(1/2)} = \mathcal{H}_k$（RKHS）、$s = 0$ のとき $\mathcal{H}_k^{(0)} = L^2$ に対応する。$s$ が大きいほど滑らかさが増し、以下の連続埋め込みが成立する：
\[\cdots \subset \mathcal{H}_k^{(1)} \subset \mathcal{H}_k^{(1/2)} = \mathcal{H}_k\subset \mathcal{H}_k^{(s)} \subset \cdots \subset L^2\]統計的収束率の解析では真の回帰関数 $f^*$ が$\mathcal{H}_k^{(s)}$（$s > 0$）に属するという仮定（ソースコンディション）のもとで、カーネルリッジ回帰の最適収束率が $s$ と固有値減衰速度 $\beta$ の関数として決定される。
$\mathcal{H}_k$ の閉部分空間 $\mathcal{V} \subset \mathcal{H}_k$ への直交射影$P_{\mathcal{V}}: \mathcal{H}_k \to \mathcal{V}$ はヒルベルト空間の射影定理により一意に存在する。特に $\mathcal{V} = \mathrm{span}\{k(\cdot,\boldsymbol{x}_1),\ldots,k(\cdot,\boldsymbol{x}_n)\}$への射影は、係数 $\boldsymbol{\alpha} = K^{-1}\boldsymbol{f}$（$\boldsymbol{f} = (f(\boldsymbol{x}_1),\ldots,f(\boldsymbol{x}_n))^\top$）を用いて
\[(P_{\mathcal{V}}f)(\boldsymbol{x})= \boldsymbol{k}(\boldsymbol{x})^\top K^{-1} \boldsymbol{f}= \sum_{i=1}^n [K^{-1}\boldsymbol{f}]_i k(\boldsymbol{x}_i,\boldsymbol{x})\]と表される（$\boldsymbol{k}(\boldsymbol{x}) = (k(\boldsymbol{x}_1,\boldsymbol{x}),\ldots,k(\boldsymbol{x}_n,\boldsymbol{x}))^\top$、$K_{ij} = k(\boldsymbol{x}_i,\boldsymbol{x}_j)$）。これはカーネル補間（Kernel Interpolation）に対応し、観測点 $\boldsymbol{x}_i$ でのノード補間 $(P_{\mathcal{V}}f)(\boldsymbol{x}_i) = f(\boldsymbol{x}_i)$ が保証される。
入力空間 $\mathcal{X}_1 \times \mathcal{X}_2$ 上の積カーネル$k((\boldsymbol{x}_1,\boldsymbol{x}_2),(\boldsymbol{x}_1',\boldsymbol{x}_2')) = k_1(\boldsymbol{x}_1,\boldsymbol{x}_1') k_2(\boldsymbol{x}_2,\boldsymbol{x}_2')$に対応する RKHS は$\mathcal{H}_{k_1} \otimes \mathcal{H}_{k_2}$（テンソル積 RKHS）として構成される：
\[\mathcal{H}_{k_1 \cdot k_2}= \overline{\mathrm{span}}\{f_1 \otimes f_2 : f_j \in \mathcal{H}_{k_j}\}\]ここで $(f_1 \otimes f_2)(\boldsymbol{x}_1,\boldsymbol{x}_2) = f_1(\boldsymbol{x}_1)f_2(\boldsymbol{x}_2)$。テンソル積 RKHS のノルムは$\|f_1 \otimes f_2\|_{\mathcal{H}_{k_1 \cdot k_2}} = \|f_1\|_{\mathcal{H}_{k_1}}\|f_2\|_{\mathcal{H}_{k_2}}$。多変量カーネルの構成（ARD カーネル等）はテンソル積 RKHS として自然に理解される。
確率分布 $P$ 上のカーネル平均埋め込み（前節）$\mu_P = \int k(\cdot,\boldsymbol{x})\,dP(\boldsymbol{x}) \in \mathcal{H}_k$（$k(\boldsymbol{x},\boldsymbol{x}) \in L^1(P)$ のとき $\mathcal{H}_k$ 値の Bochner 積分として定義）について、RKHS における演算として整理する。共分散作用素（Covariance Operator）$C_{PP}: \mathcal{H}_k \to \mathcal{H}_k$ を
\[C_{PP} = \int (k(\cdot,\boldsymbol{x}) - \mu_P)\otimes(k(\cdot,\boldsymbol{x}) - \mu_P)\,dP(\boldsymbol{x})\]と定義する（$f \otimes g: h \mapsto \langle g, h\rangle_{\mathcal{H}_k} f$）。$C_{PP}$ は正半定値な自己共役作用素であり、$\langle f, C_{PP} g\rangle_{\mathcal{H}_k}= \mathrm{Cov}_P(f(\boldsymbol{X}), g(\boldsymbol{X}))$（$\boldsymbol{X} \sim P$）が成立する。二分布 $P$、$Q$ の交差共分散作用素$C_{PQ}: \mathcal{H}_{k_y} \to \mathcal{H}_{k_x}$ は$\langle f, C_{PQ} g\rangle_{\mathcal{H}_{k_x}} = \mathrm{Cov}_{(X,Y)\sim P\times Q}(f(\boldsymbol{X}), g(\boldsymbol{Y}))$として定義され、カーネル CCA の作用素理論的定式化を与える。
前節の表現定理をより一般的な形で再述する。
定理（一般化表現定理；Schölkopf–Herbrich–Smola, 2001）：$\mathcal{H}_k$ を RKHS、$\Omega: [0,\infty) \to \mathbb{R}$ を単調非減少関数、$\mathcal{L}: \mathbb{R}^n \to \mathbb{R}$ を任意の関数とする。正則化問題
\[\min_{f \in \mathcal{H}_k}\mathcal{L}(f(\boldsymbol{x}_1), \ldots, f(\boldsymbol{x}_n))+ \Omega(\|f\|_{\mathcal{H}_k}^2)\]の解（存在すれば）は$\hat{f}(\boldsymbol{x}) = \sum_{i=1}^n \alpha_i k(\boldsymbol{x}_i, \boldsymbol{x})$の形を取る。
証明（詳細）：任意の $f \in \mathcal{H}_k$ を部分空間$\mathcal{V}_n = \mathrm{span}\{k(\cdot,\boldsymbol{x}_i)\}_{i=1}^n$ への射影 $f_{\parallel}$とその直交補空間 $\mathcal{V}_n^\perp$ への射影 $f_\perp$ に分解する：$f = f_{\parallel} + f_\perp$、$\langle f_\parallel, f_\perp\rangle_{\mathcal{H}_k} = 0$。再生性より$f(\boldsymbol{x}_i) = \langle f, k(\cdot,\boldsymbol{x}_i)\rangle_{\mathcal{H}_k}= \langle f_\parallel, k(\cdot,\boldsymbol{x}_i)\rangle_{\mathcal{H}_k}= f_\parallel(\boldsymbol{x}_i)$が成立するから、$\mathcal{L}(f(\boldsymbol{x}_1),\ldots,f(\boldsymbol{x}_n))$ は $f_\perp$ に依存しない。一方 $\|f\|_{\mathcal{H}_k}^2 = \|f_\parallel\|_{\mathcal{H}_k}^2 + \|f_\perp\|_{\mathcal{H}_k}^2\geq \|f_\parallel\|_{\mathcal{H}_k}^2$であり、$\Omega$ の単調非減少性より$\Omega(\|f\|^2) \geq \Omega(\|f_\parallel\|^2)$。したがって $f_\perp \neq 0$ のときは $f_\perp = 0$ とした $f_\parallel$ の方が目的関数値が小さく、最適解は $\mathcal{V}_n$ の元となる。$\square$
表現定理は以下の制約付き問題にも適用できる：
\[\min_{f \in \mathcal{H}_k,\; \|f\|_{\mathcal{H}_k} \leq B}\mathcal{L}(f(\boldsymbol{x}_1), \ldots, f(\boldsymbol{x}_n))\]最適解は $\|f_\parallel\|_{\mathcal{H}_k} \leq B$ の制約のもとで $\mathcal{V}_n$ に属することが同様に示される。SVM（サポートベクターマシン）の双対問題はこの特殊ケースとして導出され、サポートベクターが $\alpha_i \neq 0$ の点（アクティブな制約に対応する $\boldsymbol{x}_i$）に対応する。
共分散カーネル $k$ を持つガウス過程$f \sim \mathcal{GP}(0,k)$ と RKHS $\mathcal{H}_k$ の間には深い双対的関係（Cameron–Martin 空間）が存在する。
$\mathcal{GP}(0,k)$ のサンプルパス $f(\cdot,\omega)$ は一般に $\mathcal{H}_k$ に属さない（$P$-a.s. で $f \notin \mathcal{H}_k$）。これはカーネルリッジ回帰とガウス過程回帰の本質的な違いの一つである：カーネルリッジ回帰は $\mathcal{H}_k$ の元（決定論的な関数）を推定するのに対し、ガウス過程は $\mathcal{H}_k$ より「大きな」空間（$\mathcal{H}_k^{(s)}$、$s < 1/2$）にサンプルパスを持つ確率測度として解釈される。
しかし GP の事後平均は RKHS の元として表現される。観測 $\boldsymbol{y} = (y_1,\ldots,y_n)^\top$（$y_i = f(\boldsymbol{x}_i) + \varepsilon_i$、$\varepsilon_i \sim \mathcal{N}(0,\sigma^2)$）のもとで GP の事後分布は
\[f \mid \boldsymbol{y} \sim \mathcal{GP}(\hat{m}, \hat{k})\]\[\hat{m}(\boldsymbol{x}) = \boldsymbol{k}(\boldsymbol{x})^\top(K + \sigma^2 I)^{-1}\boldsymbol{y}\in \mathcal{H}_k,\quad\hat{k}(\boldsymbol{x},\boldsymbol{x}') = k(\boldsymbol{x},\boldsymbol{x}') - \boldsymbol{k}(\boldsymbol{x})^\top(K+\sigma^2 I)^{-1}\boldsymbol{k}(\boldsymbol{x}')\]となり、事後平均 $\hat{m}$ はカーネルリッジ回帰の解$\hat{f}^{\mathrm{KRR}} = \boldsymbol{k}(\boldsymbol{x})^\top(K+\sigma^2 I)^{-1}\boldsymbol{y}$と完全に一致する。この対応を通じてカーネルリッジ回帰のハイパーパラメータ選択（周辺尤度最大化）が正当化される。
確率測度 $\mu_0 = \mathcal{GP}(0,k)$（ゼロ平均 GP）に対して、平均関数 $m \in \mathcal{H}_k$ を持つ GP $\mu_m = \mathcal{GP}(m,k)$ との関係は Radon–Nikodym 導関数（測度の絶対連続性）で記述される：
\[\frac{d\mu_m}{d\mu_0}(f)= \exp\!\left(\langle m, f\rangle_{\mathcal{H}_k} - \frac{1}{2}\|m\|_{\mathcal{H}_k}^2\right)\]この Cameron–Martin の公式は $m \in \mathcal{H}_k$ のとき $\mu_m \ll \mu_0$（絶対連続）であり、$m \notin \mathcal{H}_k$ のとき $\mu_m \perp \mu_0$（直交）であることを示す。RKHS $\mathcal{H}_k$ が GP の「有効な」平均関数のクラスを決定するという深い構造的関係を表している。
RKHS $\mathcal{H}_k$ が $C(\mathcal{X})$（連続関数空間）または $L^2(\mathcal{X},\nu)$ において稠密であるかどうかは、カーネルの普遍性（Universality）と呼ばれる概念で記述される。
カーネル $k$ が$c_0$-普遍的（$c_0$-Universal）であるとは、$\mathcal{H}_k$ が $C(\mathcal{X})$（コンパクト $\mathcal{X}$、一様ノルム）において稠密であることをいう。普遍性は特徴的性質（前節）より強い条件であり、RBF カーネル（$\sigma > 0$）は $\mathbb{R}^d$ のコンパクト部分集合上で普遍的である。多項式カーネル（固定次数 $d$）は普遍的でない（$d$ 次未満の多項式しか近似できない）。
より弱い意味として、$\mathcal{H}_k$ が $L^2(\mathcal{X},\nu)$ において稠密であることを$L^2$-普遍性と呼ぶ。カーネルが特徴的 $\Leftrightarrow$ $\mathcal{H}_k$ が $L^2(\mathcal{X},\nu)$ で稠密という等価関係が成立する（Steinwart, 2001）。
$n$ 点 $X_n = \{\boldsymbol{x}_1,\ldots,\boldsymbol{x}_n\} \subset \mathcal{X}$ での観測値$f(\boldsymbol{x}_i)$ から $f(\boldsymbol{x})$ を予測する最悪ケース誤差（Worst-Case Error）は
\[e(X_n, \boldsymbol{x})= \sup_{\|f\|_{\mathcal{H}_k} \leq 1}|f(\boldsymbol{x}) - s_{X_n}(f)(\boldsymbol{x})|= \sqrt{k(\boldsymbol{x},\boldsymbol{x}) - \boldsymbol{k}(\boldsymbol{x})^\top K^{-1} \boldsymbol{k}(\boldsymbol{x})}\]と閉形式で表される（$s_{X_n}(f)$ は $f$ の $n$ 点補間）。これはガウス過程の事後標準偏差（不確実性）と一致し、「ベイズ的な不確実性とミニマックス最悪ケース誤差の一致」という重要な関係を示す。最悪ケース誤差を最小化する点集合の選択が最適設計（Optimal Design）問題であり、逐次点選択（能動学習）の基礎となる。
カーネルの特徴写像 $\phi: \mathcal{X} \to \mathbb{R}^m$（$m < \infty$）が有限次元のとき、$\mathcal{H}_k = \mathrm{span}\{\phi_1,\ldots,\phi_m\}$（$m$ 次元 RKHS）であり、$k(\boldsymbol{x},\boldsymbol{x}') = \phi(\boldsymbol{x})^\top \phi(\boldsymbol{x}')$ の形を取る。線形カーネル・固定次数多項式カーネル・ランダム特徴量近似が有限次元 RKHS の例である。この場合 RKHS ノルムは $\|f\|_{\mathcal{H}_k}^2 = \boldsymbol{w}^\top(\Phi\Phi^\top)^{-1}\boldsymbol{w}$（$\boldsymbol{w}$ は線形係数ベクトル、$\Phi$ は特徴行列）として表され、カーネルリッジ回帰は通常の Ridge 回帰に帰着する。
実際の数値計算では RKHS の要素はグラム行列 $K$ を通じて表現される。主要な数値的課題と対処法を示す。
RKHS は評価汎関数の有界性という単純な公理から出発し、Riesz 表現定理を通じて再生核 $k$ の存在と一意性を導出する。Moore–Aronszajn 定理は「正定値カーネル $\leftrightarrow$ RKHS」の完全な双対対応を確立し、有限線形結合の完備化という構成的な手順で RKHS を与える。RKHS のノルム $\|f\|_{\mathcal{H}_k}^2 = \sum_j c_j^2/\lambda_j$（Mercer 展開を用いた表現）は小固有値方向への複雑度ペナルティとして機能し、スペクトル正則化の統一的な枠組みを提供する。表現定理は無限次元最適化を $n$ 次元有限問題に帰着させ、加法的 RKHS・テンソル積 RKHS・部分空間への射影・共分散作用素など豊富な代数的構造が機械学習の様々な手法（カーネル CCA・ガウス過程・能動学習等）に応用される。ガウス過程との双対性（Cameron–Martin 空間）はカーネルリッジ回帰と GP 回帰の事後平均の一致という形で現れ、RKHS ノルムによる正則化をベイズ的事前分布として解釈する基盤を与える。普遍性・最悪ケース誤差・補間空間による収束率解析はカーネル選択の理論的指針を提供し、統計的学習理論・関数解析・確率論を統合する再生核ヒルベルト空間の中心的役割を示している。
Mathematics is the language with which God has written the universe.