カーネル関数（Kernel Function）と特徴写像（Feature Map）は入力空間の非線形構造を線形代数の枠組みで扱うための数学的機構であり、サポートベクターマシン・カーネル回帰・カーネル PCA・カーネル CCA など広範な機械学習手法の理論的基盤をなす。再生核ヒルベルト空間（RKHS）の理論を通じて、無限次元特徴空間での内積計算を有限次元のカーネル行列評価に帰着させるカーネルトリックが本節の中心的概念である。
入力空間 $\mathcal{X}$（集合、測度論的可測空間）、特徴空間 $\mathcal{F}$（ヒルベルト空間、内積 $\langle\cdot,\cdot\rangle_{\mathcal{F}}$）、特徴写像 $\phi: \mathcal{X} \to \mathcal{F}$ を考える。$n$ 個の入力点 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_n \in \mathcal{X}$ が与えられているとする。以降では $\mathcal{X} \subseteq \mathbb{R}^d$ の場合を主に扱うが、理論は文字列・グラフ・確率分布など任意の入力空間に適用できる。
関数 $k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ が正定値カーネル（Positive Definite Kernel、対称正定値核）であるとは、以下の二条件を満たすことをいう：
グラム行列（Gram Matrix）$K \in \mathbb{R}^{n \times n}$（$K_{ij} = k(\boldsymbol{x}_i, \boldsymbol{x}_j)$）の正半定値性（$K \succeq 0$）は正定値カーネルの行列的特徴づけである。全ての入力点において $K \succ 0$（正定値）となるカーネルを狭義正定値カーネルと呼ぶ。カーネル関数はしばしば「類似度関数」として直観的に解釈され、$k(\boldsymbol{x}, \boldsymbol{x}')$ が大きいほど $\boldsymbol{x}$ と $\boldsymbol{x}'$ が特徴空間で「近い」ことを意味する。
正定値カーネル $k$ が与えられたとき、あるヒルベルト空間 $\mathcal{F}$ と特徴写像 $\phi: \mathcal{X} \to \mathcal{F}$ が存在して
\[k(\boldsymbol{x}, \boldsymbol{x}')= \langle \phi(\boldsymbol{x}), \phi(\boldsymbol{x}') \rangle_{\mathcal{F}}\]が成立する（Moore–Aronszajn 定理、後述）。逆に任意の特徴写像 $\phi$ に対して$k(\boldsymbol{x}, \boldsymbol{x}') = \langle\phi(\boldsymbol{x}), \phi(\boldsymbol{x}')\rangle_{\mathcal{F}}$は正定値カーネルを定義する（内積の正半定値性より）。カーネルトリックの本質は、$\phi(\boldsymbol{x})$ を陽に計算せずとも内積 $\langle\phi(\boldsymbol{x}),\phi(\boldsymbol{x}')\rangle$ を$k(\boldsymbol{x},\boldsymbol{x}')$ の評価で代替できることにある。
$\mathcal{X}$ 上の実数値関数の集合 $\mathcal{H}$ が内積 $\langle\cdot,\cdot\rangle_{\mathcal{H}}$ を持つヒルベルト空間であって、任意の $\boldsymbol{x} \in \mathcal{X}$ に対して評価汎関数$L_{\boldsymbol{x}}: f \mapsto f(\boldsymbol{x})$ が有界線形汎関数となるとき、$\mathcal{H}$ を再生核ヒルベルト空間（Reproducing Kernel Hilbert Space, RKHS）と呼ぶ。
Riesz 表現定理より、各 $\boldsymbol{x} \in \mathcal{X}$ に対して$L_{\boldsymbol{x}}(f) = f(\boldsymbol{x}) = \langle f, k(\cdot, \boldsymbol{x})\rangle_{\mathcal{H}}$を満たす元 $k(\cdot, \boldsymbol{x}) \in \mathcal{H}$ が一意に存在する。この関係
\[f(\boldsymbol{x}) = \langle f, k(\cdot, \boldsymbol{x})\rangle_{\mathcal{H}}\quad \forall f \in \mathcal{H},\; \boldsymbol{x} \in \mathcal{X}\]を再生性（Reproducing Property）と呼ぶ。再生核 $k$ は $\mathcal{H}$ 上の正定値カーネルであり、特に $k(\boldsymbol{x}, \boldsymbol{x}') = \langle k(\cdot, \boldsymbol{x}), k(\cdot, \boldsymbol{x}')\rangle_{\mathcal{H}}$が成立する。特徴写像は $\phi: \boldsymbol{x} \mapsto k(\cdot, \boldsymbol{x})$（RKHS への正準埋め込み）として与えられる。
Moore–Aronszajn 定理（1950）：対称正定値カーネル $k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ と一対一対応する RKHS $\mathcal{H}_k$ が一意に存在する。
構成の概略：$k(\cdot, \boldsymbol{x})$（$\boldsymbol{x} \in \mathcal{X}$）の有限線形結合$f = \sum_{i=1}^n \alpha_i k(\cdot, \boldsymbol{x}_i)$ からなる前ヒルベルト空間を
\[\left\langle \sum_i \alpha_i k(\cdot, \boldsymbol{x}_i),\,\sum_j \beta_j k(\cdot, \boldsymbol{x}'_j) \right\rangle_{\mathcal{H}_k}= \sum_i \sum_j \alpha_i \beta_j k(\boldsymbol{x}_i, \boldsymbol{x}'_j)\]によって内積を定義し、その完備化が $\mathcal{H}_k$ となる。この内積は $k$ の正定値性より well-defined であり、再生性 $f(\boldsymbol{x}) = \langle f, k(\cdot,\boldsymbol{x})\rangle_{\mathcal{H}_k}$ が成立する。
Moore–Aronszajn 定理は「カーネル $\leftrightarrow$ RKHS」の完全な一対一対応を与え、カーネル法の統一的な数学的基盤となる。RKHS の要素 $f$ はカーネルによって暗黙的に定義される関数空間の元であり、$\|f\|_{\mathcal{H}_k}^2 = \langle f, f\rangle_{\mathcal{H}_k}$ がその複雑度を測る。
$\mathcal{X}$ がコンパクト集合であり $k$ が連続正定値カーネルのとき、Mercer の定理（1909）は $k$ の固有展開を保証する。$L^2(\mathcal{X}, \nu)$ 上の積分作用素$(T_k f)(\boldsymbol{x}) = \int k(\boldsymbol{x}, \boldsymbol{x}') f(\boldsymbol{x}')\, d\nu(\boldsymbol{x}')$は自己共役な正コンパクト作用素であり、正規直交固有関数 $\{\varphi_j\}_{j=1}^\infty$ と非負固有値 $\{\lambda_j\}_{j=1}^\infty$（$\lambda_1 \geq \lambda_2 \geq \cdots \geq 0$）を持つ：
\[k(\boldsymbol{x}, \boldsymbol{x}')= \sum_{j=1}^\infty \lambda_j \varphi_j(\boldsymbol{x})\varphi_j(\boldsymbol{x}')\]この展開は $\mathcal{X} \times \mathcal{X}$ 上で絶対収束かつ一様収束する。対応する特徴写像は
\[\phi(\boldsymbol{x})= (\sqrt{\lambda_1}\varphi_1(\boldsymbol{x}),\, \sqrt{\lambda_2}\varphi_2(\boldsymbol{x}),\, \ldots)\in \ell^2\]であり、$k(\boldsymbol{x},\boldsymbol{x}') = \langle\phi(\boldsymbol{x}),\phi(\boldsymbol{x}')\rangle_{\ell^2}$が成立する。Mercer の定理は一般に無限次元の特徴写像を与えるが、カーネル評価一回で内積を計算できるカーネルトリックにより無限次元であることが計算上の問題とならない。
多項式カーネル（Polynomial Kernel）は
\[k(\boldsymbol{x}, \boldsymbol{x}')= (\boldsymbol{x}^\top \boldsymbol{x}' + c)^d,\quad c \geq 0,\; d \in \mathbb{Z}_{>0}\]と定義される。$d = 1$、$c = 0$ が線形カーネル（内積）に対応する。特徴写像は次数 $\leq d$ の全単項式（モノミアル）を含み、次元数は $\binom{p+d}{d}$（$\boldsymbol{x} \in \mathbb{R}^p$）に達する。例として $p=2$、$d=2$、$c=0$ では
\[k(\boldsymbol{x},\boldsymbol{x}')= (x_1 x_1' + x_2 x_2')^2= (x_1^2)(x_1'^2) + 2(x_1 x_2)(x_1' x_2') + (x_2^2)(x_2'^2)\]であり、特徴写像 $\phi(\boldsymbol{x}) = (x_1^2, \sqrt{2}x_1 x_2, x_2^2)^\top \in \mathbb{R}^3$に対応する内積として表現される。$c > 0$ とすることで次数 $< d$ の項も含まれる。正規化多項式カーネル$k(\boldsymbol{x},\boldsymbol{x}') = (\boldsymbol{x}^\top\boldsymbol{x}'/(\|\boldsymbol{x}\|\|\boldsymbol{x}'\|) + c)^d$は入力の長さへの依存を除去する。
動径基底関数カーネル（Radial Basis Function Kernel、RBF カーネル、ガウスカーネル）は
\[k(\boldsymbol{x}, \boldsymbol{x}')= \exp\!\left(-\frac{\|\boldsymbol{x} - \boldsymbol{x}'\|^2}{2\sigma^2}\right)= \exp\!\left(-\gamma\|\boldsymbol{x} - \boldsymbol{x}'\|^2\right),\quad \gamma = \frac{1}{2\sigma^2} > 0\]と定義される（$\sigma > 0$：バンド幅、$\gamma > 0$：スケールパラメータ）。RBF カーネルが無限次元の特徴写像に対応することは Mercer 展開から確認できる。具体的には Taylor 展開
\[\exp(-\gamma\|\boldsymbol{x}-\boldsymbol{x}'\|^2)= \exp(-\gamma\|\boldsymbol{x}\|^2)\exp(-\gamma\|\boldsymbol{x}'\|^2)\exp(2\gamma\boldsymbol{x}^\top\boldsymbol{x}')= \exp(-\gamma\|\boldsymbol{x}\|^2)\exp(-\gamma\|\boldsymbol{x}'\|^2)\sum_{n=0}^\infty \frac{(2\gamma)^n}{n!}(\boldsymbol{x}^\top\boldsymbol{x}')^n\]より、すべての次数の多項式特徴を含む無限次元特徴写像となる。$\sigma \to 0$ で完全補間（過学習）、$\sigma \to \infty$ で定数カーネル（過平滑化）に収束する。バンド幅 $\sigma$（または $\gamma$）は交差検証により選択する。
Matérn カーネルは滑らかさパラメータ $\nu > 0$ を持つカーネル族であり、ガウス過程回帰で広く用いられる：
\[k_\nu(\boldsymbol{x}, \boldsymbol{x}')= \frac{2^{1-\nu}}{\Gamma(\nu)}\left(\frac{\sqrt{2\nu}\|\boldsymbol{x}-\boldsymbol{x}'\|}{\ell}\right)^\nu K_\nu\!\left(\frac{\sqrt{2\nu}\|\boldsymbol{x}-\boldsymbol{x}'\|}{\ell}\right)\]ここで $K_\nu$ は第二種変形ベッセル関数、$\ell > 0$ は長さスケールである。特殊ケースとして、$\nu = 1/2$ で指数カーネル$k(\boldsymbol{x},\boldsymbol{x}') = \exp(-\|\boldsymbol{x}-\boldsymbol{x}'\|/\ell)$、$\nu = 3/2$ で$k(\boldsymbol{x},\boldsymbol{x}') = (1 + \frac{\sqrt{3}\|\boldsymbol{x}-\boldsymbol{x}'\|}{\ell})\exp(-\frac{\sqrt{3}\|\boldsymbol{x}-\boldsymbol{x}'\|}{\ell})$、$\nu = 5/2$ で$k(\boldsymbol{x},\boldsymbol{x}') = (1 + \frac{\sqrt{5}\|\boldsymbol{x}-\boldsymbol{x}'\|}{\ell} + \frac{5\|\boldsymbol{x}-\boldsymbol{x}'\|^2}{3\ell^2})\exp(-\frac{\sqrt{5}\|\boldsymbol{x}-\boldsymbol{x}'\|}{\ell})$が得られ、$\nu \to \infty$ で RBF カーネルに収束する。RKHS の要素は $\nu > 1/2 \cdot (p+1)$ のとき $\lceil\nu\rceil - 1$ 回連続微分可能であり、$\nu$ が対応する関数クラスの滑らかさを直接制御する。
カーネルが $\boldsymbol{x} - \boldsymbol{x}'$ のみの関数である場合（$k(\boldsymbol{x},\boldsymbol{x}') = k(\boldsymbol{x}-\boldsymbol{x}')$）を定常カーネル（Stationary Kernel）と呼ぶ。RBF・Matérn・指数カーネルは定常カーネルの例である。定常カーネルはフーリエ変換によって完全に特徴づけられる（Bochner の定理：定常カーネルが正定値 $\Leftrightarrow$ そのフーリエ変換が非負測度）。周期カーネル$k(\boldsymbol{x},\boldsymbol{x}') = \exp(-2\sin^2(\pi|\boldsymbol{x}-\boldsymbol{x}'|/T)/\sigma^2)$は周期 $T$ の関数のモデリングに用いられ、定常カーネルとの積・和により複合カーネルが構成できる。
正定値カーネルの集合は以下の演算で閉じており、新しいカーネルが構成できる：
カーネルは $\mathcal{X}$ が非ベクトル空間の場合にも定義できる。
内積 $\langle\phi(\boldsymbol{x}),\phi(\boldsymbol{x}')\rangle_{\mathcal{F}}$ をカーネル評価 $k(\boldsymbol{x},\boldsymbol{x}')$ で置き換えることをカーネルトリックと呼ぶ。これにより以下が実現される：
カーネルトリックが適用可能な条件は、アルゴリズムが入力データを内積 $\langle\boldsymbol{x}_i, \boldsymbol{x}_j\rangle$ の形でのみ参照することであり、これを「カーネル化可能」（Kernelizable）と呼ぶ。カーネル行列 $K \in \mathbb{R}^{n \times n}$ への置き換えにより内積をすべてカーネル評価に変換できる。
カーネル法の理論的中核として、表現定理（Representer Theorem；Kimeldorf–Wahba, 1971；Schölkopf–Herbrich–Smola, 2001）を示す。
定理：$\Omega: [0,\infty) \to \mathbb{R}$ を単調非減少関数、$\mathcal{L}: (\mathcal{X} \times \mathbb{R}^2)^n \to \mathbb{R}$ を任意の損失関数とする。RKHS $\mathcal{H}_k$ 上の正則化経験リスク最小化問題
\[\hat{f} = \arg\min_{f \in \mathcal{H}_k}\left[\mathcal{L}\!\left((\boldsymbol{x}_1, y_1, f(\boldsymbol{x}_1)), \ldots, (\boldsymbol{x}_n, y_n, f(\boldsymbol{x}_n))\right)+ \Omega(\|f\|_{\mathcal{H}_k}^2)\right]\]の解は有限次元表現
\[\hat{f}(\boldsymbol{x}) = \sum_{i=1}^n \alpha_i k(\boldsymbol{x}_i, \boldsymbol{x})\]を持つ。すなわち無限次元の RKHS 上の最適化が$n$ 次元のパラメータ $\boldsymbol{\alpha} = (\alpha_1, \ldots, \alpha_n)^\top$ の最適化に帰着する。
証明の概略：任意の $f \in \mathcal{H}_k$ を$f = f_{\parallel} + f_{\perp}$（$f_{\parallel}$ は$\mathrm{span}\{k(\cdot,\boldsymbol{x}_i)\}_{i=1}^n$ への射影、$f_{\perp}$ はその直交補空間への射影）に分解する。再生性より $f(\boldsymbol{x}_i) = f_{\parallel}(\boldsymbol{x}_i)$（$\forall i$）が成立するため、損失は $f_{\perp}$ に依存しない。一方 $\|f\|_{\mathcal{H}_k}^2 = \|f_{\parallel}\|_{\mathcal{H}_k}^2 + \|f_{\perp}\|_{\mathcal{H}_k}^2 \geq \|f_{\parallel}\|_{\mathcal{H}_k}^2$であるから、$\Omega$ の単調性より $f_{\perp} = 0$ が最適。$\square$
表現定理を適用すると、$\hat{f}(\boldsymbol{x}) = \boldsymbol{\alpha}^\top \boldsymbol{k}(\boldsymbol{x})$（$\boldsymbol{k}(\boldsymbol{x}) = (k(\boldsymbol{x}_1,\boldsymbol{x}),\ldots,k(\boldsymbol{x}_n,\boldsymbol{x}))^\top$）として目的関数が $\boldsymbol{\alpha}$ の有限次元関数になる。例えばカーネルリッジ回帰では
\[\min_{\boldsymbol{\alpha} \in \mathbb{R}^n}\|\boldsymbol{y} - K\boldsymbol{\alpha}\|^2 + \lambda\boldsymbol{\alpha}^\top K\boldsymbol{\alpha}\quad \Rightarrow \quad\hat{\boldsymbol{\alpha}} = (K + \lambda I)^{-1}\boldsymbol{y}\]と閉形式解が得られる。
確率分布 $P$ の RKHS $\mathcal{H}_k$ への平均埋め込み（Kernel Mean Embedding；Smola et al., 2007）は
\[\mu_P = \mathbb{E}_{\boldsymbol{x} \sim P}[k(\cdot, \boldsymbol{x})]= \int_{\mathcal{X}} k(\cdot, \boldsymbol{x})\, dP(\boldsymbol{x}) \in \mathcal{H}_k\]と定義される。再生性より$\langle f, \mu_P\rangle_{\mathcal{H}_k} = \mathbb{E}_P[f(\boldsymbol{x})]$が成立し、$\mu_P$ は分布 $P$ のすべての期待値情報を（$\mathcal{H}_k$ の要素として）符号化する。カーネルが特徴的（Characteristic）であるとは、写像 $P \mapsto \mu_P$ が単射（異なる分布が異なる埋め込みに対応）であることをいう。RBF カーネルは $\mathbb{R}^d$ 上で特徴的であることが知られている。
二分布 $P$、$Q$ の差異を測る統計量として最大平均不一致（Maximum Mean Discrepancy, MMD；Gretton et al., 2012）は
\[\mathrm{MMD}^2(P, Q; \mathcal{H}_k)= \|\mu_P - \mu_Q\|_{\mathcal{H}_k}^2= \mathbb{E}_{P,P}[k(\boldsymbol{x},\boldsymbol{x}')]- 2\mathbb{E}_{P,Q}[k(\boldsymbol{x},\boldsymbol{y})]+ \mathbb{E}_{Q,Q}[k(\boldsymbol{y},\boldsymbol{y}')]\]と定義される。特徴的カーネルのもとで$\mathrm{MMD}(P,Q) = 0 \Leftrightarrow P = Q$（分布の等値性の検定に使用可能）。標本 $\boldsymbol{x}_1,\ldots,\boldsymbol{x}_m \sim P$、$\boldsymbol{y}_1,\ldots,\boldsymbol{y}_n \sim Q$ に基づく不偏推定量は
\[\widehat{\mathrm{MMD}}^2_u(P,Q)= \frac{1}{m(m-1)}\sum_{i \neq j} k(\boldsymbol{x}_i,\boldsymbol{x}_j)- \frac{2}{mn}\sum_{i,j} k(\boldsymbol{x}_i,\boldsymbol{y}_j)+ \frac{1}{n(n-1)}\sum_{i \neq j} k(\boldsymbol{y}_i,\boldsymbol{y}_j)\]と表され、$H_0 : P = Q$ のもとで適切に正規化された統計量は漸近正規分布に従う。MMD は二標本検定（Two-Sample Test）・ドメイン適応・敵対的生成ネットワーク（MMD-GAN）の損失関数として広く用いられる。
カーネル行列 $K \in \mathbb{R}^{n \times n}$ の計算・保存・逆行列計算のコストはそれぞれ $O(n^2)$・$O(n^2)$・$O(n^3)$ であり、大規模データ（$n \sim 10^5$ 以上）での適用が困難となる。ランダム特徴量（Random Features；Rahimi–Recht, 2007）は定常カーネルを有限次元の特徴ベクトルで近似する手法である。
Bochner の定理より、連続定常カーネル $k(\boldsymbol{x}-\boldsymbol{x}')$ のフーリエ変換 $p(\boldsymbol{\omega})$（非負測度、$\int p(\boldsymbol{\omega})d\boldsymbol{\omega} = k(\boldsymbol{0})$）を用いて
\[k(\boldsymbol{x}-\boldsymbol{x}')= \int_{\mathbb{R}^d} p(\boldsymbol{\omega}) e^{i\boldsymbol{\omega}^\top(\boldsymbol{x}-\boldsymbol{x}')}\, d\boldsymbol{\omega}= \mathbb{E}_{\boldsymbol{\omega} \sim p}[\cos(\boldsymbol{\omega}^\top\boldsymbol{x} + b)\cos(\boldsymbol{\omega}^\top\boldsymbol{x}' + b)]\]が成立する（$b \sim \mathrm{Uniform}([0, 2\pi])$）。$D$ 個のランダムサンプル $\boldsymbol{\omega}_1,\ldots,\boldsymbol{\omega}_D \overset{\text{i.i.d.}}{\sim} p$ を用いてランダム特徴マップ
\[\hat{\phi}(\boldsymbol{x})= \frac{1}{\sqrt{D}}\bigl(\cos(\boldsymbol{\omega}_1^\top\boldsymbol{x}+b_1),\ldots,\cos(\boldsymbol{\omega}_D^\top\boldsymbol{x}+b_D)\bigr)^\top\in \mathbb{R}^D\]を構成すると、$\hat{\phi}(\boldsymbol{x})^\top\hat{\phi}(\boldsymbol{x}')$ は$k(\boldsymbol{x},\boldsymbol{x}')$ の不偏推定量となり、Hoeffding の不等式より$|\hat{\phi}(\boldsymbol{x})^\top\hat{\phi}(\boldsymbol{x}') - k(\boldsymbol{x},\boldsymbol{x}')| \leq \varepsilon$が確率 $1-\delta$ 以上で成立するには $D = O(\varepsilon^{-2}\log(1/\delta))$ で十分である。ランダム特徴量を用いると各観測の特徴ベクトルが $O(Dd)$ で計算でき、カーネル行列の構築が $O(nDd)$、カーネルリッジ回帰が $O(nD^2 + D^3)$ に削減される。RBF カーネルでは $p(\boldsymbol{\omega}) = \mathcal{N}(\boldsymbol{0}, \sigma^{-2}I)$、ラプラスカーネルでは $p(\boldsymbol{\omega}) = \mathrm{Cauchy}$ 分布となる。より分散の小さい近似として Quasi-Monte Carlo ランダム特徴量・Structured Random Features（ORF）が提案されている。
カーネルの選択はカーネル法の最も重要なハイパーパラメータ設計である。実用的な指針を以下に示す。
RKHS $\mathcal{H}_k$ のノルムで正則化した仮説クラス$\mathcal{F}_B = \{f \in \mathcal{H}_k : \|f\|_{\mathcal{H}_k} \leq B\}$の Rademacher 複雑度は
\[\mathfrak{R}_n(\mathcal{F}_B)= \mathbb{E}\!\left[\sup_{f \in \mathcal{F}_B}\frac{1}{n}\sum_{i=1}^n \sigma_i f(\boldsymbol{x}_i)\right]\leq \frac{B}{n}\mathbb{E}\!\left[\sqrt{\sum_{i=1}^n k(\boldsymbol{x}_i,\boldsymbol{x}_i)}\right]\leq \frac{B\sqrt{\kappa}}{\sqrt{n}}\]と上から抑えられる（$\kappa = \sup_{\boldsymbol{x}} k(\boldsymbol{x},\boldsymbol{x})$：カーネルの最大値）。再生性と Cauchy–Schwarz 不等式から導かれるこの上界は、確率 $1-\delta$ で
\[R(\hat{f}) \leq R_n(\hat{f}) + \frac{2B\sqrt{\kappa}}{\sqrt{n}} + \sqrt{\frac{\log(1/\delta)}{2n}}\]という汎化誤差上界を与える（$R_n$ は経験リスク）。この上界は特徴空間の次元（有限か無限かを問わず）に依存せず、RKHS ノルム $\|f\|_{\mathcal{H}_k} \leq B$ とカーネルの最大値 $\kappa$ のみに依存する点が重要である。VC次元ベースの上界（次元に依存）と対比して、カーネル法が高次元・無限次元設定でも統計的に有効である理論的根拠をなす。
正定値カーネルは対称性と正定値性により特徴づけられ、Moore–Aronszajn 定理によって各カーネルに一意な RKHS が対応する。再生性 $f(\boldsymbol{x}) = \langle f, k(\cdot,\boldsymbol{x})\rangle_{\mathcal{H}_k}$ は評価汎関数の有界性として捉えられ、Mercer の定理による固有展開は無限次元特徴写像の明示的構成を与える。カーネルトリックは $\langle\phi(\boldsymbol{x}),\phi(\boldsymbol{x}')\rangle = k(\boldsymbol{x},\boldsymbol{x}')$の置き換えにより高次元・無限次元特徴空間での計算を回避し、表現定理は無限次元最適化問題を $n$ 次元の有限問題に帰着させる。RBF・多項式・Matérn などの標準カーネルと演算による構成規則が豊富なカーネル族を形成し、文字列・グラフ・確率分布などへの拡張が自然に行える。平均埋め込みと MMD はカーネルを通じた分布の比較・二標本検定の枠組みを与え、ランダム特徴量はカーネル法の計算的スケーラビリティを大規模設定に拡張する。Rademacher 複雑度による汎化誤差上界は特徴次元によらずRKHS ノルムとカーネル最大値のみに依存し、カーネル法の統計的有効性の理論的基盤をなす。
Mathematics is the language with which God has written the universe.