表現定理（Representer Theorem）は再生核ヒルベルト空間（RKHS）上の正則化最適化問題の解が、訓練点でのカーネル関数の有限線形結合として表現されることを保証する定理である。無限次元の関数空間上の最適化を有限次元のパラメータ最適化に帰着させることで、カーネルリッジ回帰・サポートベクターマシン・ガウス過程・カーネル主成分分析など広範なカーネル法の理論的基盤を提供する。
$\mathcal{X}$ を入力空間、$\mathcal{Y}$ を出力空間、$k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ を正定値カーネル、$\mathcal{H}_k$ を対応する RKHS（内積 $\langle\cdot,\cdot\rangle_{\mathcal{H}_k}$）とする。訓練データ $\mathcal{D}_n = \{(\boldsymbol{x}_i, y_i)\}_{i=1}^n$（$\boldsymbol{x}_i \in \mathcal{X}$、$y_i \in \mathcal{Y}$）、グラム行列 $K \in \mathbb{R}^{n \times n}$（$K_{ij} = k(\boldsymbol{x}_i, \boldsymbol{x}_j)$）、カーネルベクトル $\boldsymbol{k}(\boldsymbol{x}) = (k(\boldsymbol{x}_1,\boldsymbol{x}),\ldots,k(\boldsymbol{x}_n,\boldsymbol{x}))^\top \in \mathbb{R}^n$を定義する。部分空間 $\mathcal{V}_n = \mathrm{span}\{k(\cdot,\boldsymbol{x}_1),\ldots,k(\cdot,\boldsymbol{x}_n)\} \subset \mathcal{H}_k$を訓練点が生成する有限次元部分空間とする。
定理（Kimeldorf–Wahba）：$\Omega: [0,\infty) \to \mathbb{R}$ を単調非減少関数、$\mathcal{L}: (\mathcal{X} \times \mathcal{Y} \times \mathbb{R})^n \to \mathbb{R} \cup \{+\infty\}$を任意の損失汎関数とする。正則化問題
\[\hat{f} = \arg\min_{f \in \mathcal{H}_k}\left[\mathcal{L}\bigl((\boldsymbol{x}_1, y_1, f(\boldsymbol{x}_1)), \ldots, (\boldsymbol{x}_n, y_n, f(\boldsymbol{x}_n))\bigr)+ \Omega\!\left(\|f\|_{\mathcal{H}_k}^2\right)\right]\]の解（存在すれば）は
\[\hat{f}(\boldsymbol{x}) = \sum_{i=1}^n \alpha_i k(\boldsymbol{x}_i, \boldsymbol{x})\]という形を持つ。すなわち $\hat{f} \in \mathcal{V}_n$。
仮定の弱さに注意する：$\mathcal{L}$ は任意の関数でよく（凸性・微分可能性不要）、$\Omega$ は単調非減少であればよい（狭義増加不要）。正則化項の具体的な形（例：$\lambda\|f\|^2$）は定理の成立に必要でなく、RKHS ノルムの単調関数であれば十分である。
任意の $f \in \mathcal{H}_k$ を $\mathcal{V}_n$ への直交射影と直交補空間の成分に分解する：
\[f = f_{\parallel} + f_{\perp},\quad f_{\parallel} \in \mathcal{V}_n,\quad f_{\perp} \in \mathcal{V}_n^\perp,\quad \langle f_{\parallel}, f_{\perp}\rangle_{\mathcal{H}_k} = 0\]ステップ 1：損失の $f_\perp$ 独立性。任意の $i = 1,\ldots,n$ に対して、再生性より
\[f(\boldsymbol{x}_i)= \langle f, k(\cdot,\boldsymbol{x}_i)\rangle_{\mathcal{H}_k}= \langle f_\parallel + f_\perp, k(\cdot,\boldsymbol{x}_i)\rangle_{\mathcal{H}_k}= \langle f_\parallel, k(\cdot,\boldsymbol{x}_i)\rangle_{\mathcal{H}_k}+ \underbrace{\langle f_\perp, k(\cdot,\boldsymbol{x}_i)\rangle_{\mathcal{H}_k}}_{= 0}= f_\parallel(\boldsymbol{x}_i)\]$f_\perp \perp \mathcal{V}_n$ かつ $k(\cdot,\boldsymbol{x}_i) \in \mathcal{V}_n$ より$\langle f_\perp, k(\cdot,\boldsymbol{x}_i)\rangle_{\mathcal{H}_k} = 0$。したがって $f(\boldsymbol{x}_i) = f_\parallel(\boldsymbol{x}_i)$ が成立し、損失 $\mathcal{L}$ は $f_\perp$ に依存しない。
ステップ 2：正則化項の不等式。ピタゴラスの定理（ヒルベルト空間における直交分解）より
\[\|f\|_{\mathcal{H}_k}^2= \|f_\parallel\|_{\mathcal{H}_k}^2 + \|f_\perp\|_{\mathcal{H}_k}^2\geq \|f_\parallel\|_{\mathcal{H}_k}^2\]$\Omega$ の単調非減少性より$\Omega(\|f\|_{\mathcal{H}_k}^2) \geq \Omega(\|f_\parallel\|_{\mathcal{H}_k}^2)$。
ステップ 3：目的関数の比較。ステップ 1・2 から
\[\mathcal{L}(\ldots, f(\boldsymbol{x}_i), \ldots) + \Omega(\|f\|^2)\geq \mathcal{L}(\ldots, f_\parallel(\boldsymbol{x}_i), \ldots) + \Omega(\|f_\parallel\|^2)\]が成立する。等号は $f_\perp = 0$（$\Omega$ が狭義増加のとき必ず達成）または $\Omega$ が $\|f_\parallel\|^2$ と $\|f\|^2$ の間で定数の場合に限り成立。いずれの場合も最小値を達成する解 $\hat{f}$ は $\mathcal{V}_n$ の元として表現できる：$\hat{f} = f_\parallel = \sum_{i=1}^n \alpha_i k(\cdot,\boldsymbol{x}_i)$。$\square$
表現定理は解の形を保証するが一意性は保証しない。$\hat{f} \in \mathcal{V}_n$ の範囲で目的関数の最小化を行うとき、係数ベクトル $\boldsymbol{\alpha} = (\alpha_1,\ldots,\alpha_n)^\top$ に関する有限次元最適化問題
\[\min_{\boldsymbol{\alpha} \in \mathbb{R}^n}\mathcal{L}\bigl(y_1, (K\boldsymbol{\alpha})_1, \ldots, y_n, (K\boldsymbol{\alpha})_n\bigr)+ \Omega(\boldsymbol{\alpha}^\top K \boldsymbol{\alpha})\]が残る（$\hat{f}(\boldsymbol{x}_i) = \sum_j \alpha_j k(\boldsymbol{x}_j,\boldsymbol{x}_i) = (K\boldsymbol{\alpha})_i$、$\|\hat{f}\|_{\mathcal{H}_k}^2 = \boldsymbol{\alpha}^\top K\boldsymbol{\alpha}$ を用いた）。$\mathcal{L}$ が $\boldsymbol{\alpha}^\top K\boldsymbol{\alpha}$ について狭義凸なとき $\boldsymbol{\alpha}$ は一意であるが、$K$ が特異（半正定値）のとき $\boldsymbol{\alpha}$ は一意でなく $\hat{f}$ のみが一意となる。
Kimeldorf–Wahba の定理を、線形等式制約・不等式制約・複数の正則化項を含む形に一般化する。
定理（一般化表現定理）：$g: \mathcal{X}^n \times \mathbb{R}^n \times \mathbb{R} \to \mathbb{R}$ を$\|f\|_{\mathcal{H}_k}$ について単調非減少な関数とする。$h_1,\ldots,h_M \in \mathcal{H}_k$ を追加の「ヌル空間」基底関数とし、問題
\[\min_{f \in \mathcal{H}_k}g\bigl(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_n, f(\boldsymbol{x}_1), \ldots, f(\boldsymbol{x}_n), \|f\|_{\mathcal{H}_k}\bigr)\]の解は
\[\hat{f}(\boldsymbol{x})= \sum_{i=1}^n \alpha_i k(\boldsymbol{x}_i, \boldsymbol{x})+ \sum_{m=1}^M \beta_m h_m(\boldsymbol{x})\]の形を取る（$h_m$ が $g$ に対する「ヌル空間」成分、すなわち正則化項に現れない成分）。
例として平滑化スプラインの問題$\min_f \sum_i (y_i - f(x_i))^2 + \lambda\int (f''(x))^2\,dx$では正則化項 $\int (f'')^2\,dx$ がゼロとなる多項式（一次以下）がヌル空間を構成し、解は $\hat{f}(x) = \sum_i \alpha_i k(x_i,x) + \beta_0 + \beta_1 x$の形を取る（自然三次スプラインと一致）。
制約付き最適化
\[\min_{f \in \mathcal{H}_k} \mathcal{L}(f(\boldsymbol{x}_1),\ldots,f(\boldsymbol{x}_n))\quad \text{s.t.} \quad \|f\|_{\mathcal{H}_k} \leq B\]においても解は $\mathcal{V}_n$ に属する。証明は上記と同様であり、$\|f\|^2 \leq B^2$ の制約のもとで$f = f_\parallel + f_\perp$ と分解すると$\|f_\parallel\|^2 \leq \|f\|^2 \leq B^2$（制約を満たす）かつ損失は $f_\parallel$ と一致するため $f_\perp = 0$ が最適。SVM の双対問題はこの構造を利用しており、サポートベクター（$\alpha_i \neq 0$ の点）のみが解の表現に寄与する。
出力 $y \in \mathbb{R}^q$（$q > 1$）の場合、ベクトル値 RKHS（Vector-Valued RKHS, vv-RKHS）上の表現定理が成立する。作用素値カーネル（Operator-Valued Kernel）$K: \mathcal{X} \times \mathcal{X} \to \mathcal{L}(\mathbb{R}^q, \mathbb{R}^q)$に対して、解 $\hat{f}: \mathcal{X} \to \mathbb{R}^q$ は
\[\hat{f}(\boldsymbol{x})= \sum_{i=1}^n K(\boldsymbol{x}_i, \boldsymbol{x}) \boldsymbol{c}_i,\quad \boldsymbol{c}_i \in \mathbb{R}^q\]の形を取る。多出力ガウス過程・多タスク学習・多変量カーネルリッジ回帰が vv-RKHS 上の正則化問題として定式化される。スカラー値カーネルを対角に配置した$K(\boldsymbol{x},\boldsymbol{x}') = k(\boldsymbol{x},\boldsymbol{x}')I_q$ の特殊ケースは各出力が独立に推定される分離型（Decoupled）多出力モデルに対応する。
$\mathcal{L}(f) = \frac{1}{n}\|\boldsymbol{y} - \boldsymbol{f}\|^2$（二乗損失）、$\Omega(\|f\|^2) = \lambda\|f\|^2$ のとき：
\[\hat{f} = \arg\min_{f \in \mathcal{H}_k}\frac{1}{n}\sum_{i=1}^n (y_i - f(\boldsymbol{x}_i))^2 + \lambda\|f\|_{\mathcal{H}_k}^2\]表現定理より $\hat{f}(\boldsymbol{x}) = \sum_i \alpha_i k(\boldsymbol{x}_i,\boldsymbol{x})$ と置くと、$\boldsymbol{f} = K\boldsymbol{\alpha}$、$\|\hat{f}\|^2 = \boldsymbol{\alpha}^\top K\boldsymbol{\alpha}$ より
\[\min_{\boldsymbol{\alpha} \in \mathbb{R}^n}\frac{1}{n}\|\boldsymbol{y} - K\boldsymbol{\alpha}\|^2 + \lambda\boldsymbol{\alpha}^\top K\boldsymbol{\alpha}\]一階条件 $-\frac{2}{n}K(\boldsymbol{y} - K\boldsymbol{\alpha}) + 2\lambda K\boldsymbol{\alpha} = 0$ より
\[\hat{\boldsymbol{\alpha}} = \left(\frac{1}{n}K + \lambda I\right)^{-1}\frac{1}{n}\boldsymbol{y}= (K + n\lambda I)^{-1}\boldsymbol{y}\]予測は $\hat{f}(\boldsymbol{x}) = \boldsymbol{k}(\boldsymbol{x})^\top(K + n\lambda I)^{-1}\boldsymbol{y}$と閉形式で得られる。Mercer 展開 $\hat{f} = \sum_j \frac{\lambda_j}{\lambda_j + n\lambda}\langle\boldsymbol{y},\varphi_j\rangle_{L^2}\varphi_j$はスペクトル縮小の構造を示す。
二値分類（$y_i \in \{-1,+1\}$）のソフトマージン SVM は$\mathcal{L}(f) = \frac{1}{n}\sum_i [1 - y_i f(\boldsymbol{x}_i)]_+$（ヒンジ損失）、$\Omega(\|f\|^2) = \lambda\|f\|^2$ として定式化される。表現定理より $\hat{f}(\boldsymbol{x}) = \sum_i \alpha_i k(\boldsymbol{x}_i,\boldsymbol{x})$ と置くと主問題は
\[\min_{\boldsymbol{\alpha} \in \mathbb{R}^n}\frac{1}{n}\sum_{i=1}^n [1 - y_i (K\boldsymbol{\alpha})_i]_+ + \lambda\boldsymbol{\alpha}^\top K\boldsymbol{\alpha}\]Lagrange 双対問題（前節）を導くと
\[\max_{\boldsymbol{\mu}}\sum_i \mu_i - \frac{1}{4n\lambda}\sum_{i,j}\mu_i\mu_j y_i y_j k(\boldsymbol{x}_i,\boldsymbol{x}_j)\quad\text{s.t.}\quad0 \leq \mu_i \leq \frac{1}{n}\]が得られ（$\alpha_i = \frac{\mu_i y_i}{2n\lambda}$）、KKT 相補性条件$\mu_i[1 - y_i\hat{f}(\boldsymbol{x}_i)]_+ = 0$ よりマージン内部の点（$y_i\hat{f}(\boldsymbol{x}_i) > 1$）では $\mu_i = 0$（$\alpha_i = 0$）、マージン上・外の点のみが $\alpha_i \neq 0$（サポートベクター）として解に寄与する。この疎な表現は表現定理の帰結であり、予測の計算量をサポートベクター数 $n_s \ll n$ に削減する。
KPCA は訓練データの RKHS における散布行列の固有値問題であり、表現定理の精神は以下のように現れる。中心化 RKHS 元 $\tilde{\phi}(\boldsymbol{x}_i) = k(\cdot,\boldsymbol{x}_i) - \frac{1}{n}\sum_j k(\cdot,\boldsymbol{x}_j)$の散布行列の固有方程式$\frac{1}{n}\sum_i \tilde{\phi}(\boldsymbol{x}_i)\langle\tilde{\phi}(\boldsymbol{x}_i),v\rangle = \lambda v$において、固有関数 $v \in \mathcal{H}_k$ は$v = \sum_i \alpha_i \tilde{\phi}(\boldsymbol{x}_i)$（$\mathcal{V}_n$ の元）として表現される。代入すると中心化グラム行列 $\tilde{K}$ の固有値問題に帰着し、新点 $\boldsymbol{x}$ の第 $k$ 主成分スコアは
\[z_k(\boldsymbol{x})= \langle v_k, \tilde{\phi}(\boldsymbol{x})\rangle_{\mathcal{H}_k}= \sum_i \alpha_{ki} \tilde{k}(\boldsymbol{x}_i, \boldsymbol{x})\]として計算される（$\tilde{k}$ は中心化カーネル）。
カーネル CCA（前節）は二つの RKHS $\mathcal{H}_{k_x}$、$\mathcal{H}_{k_y}$ 上での相関最大化問題として定式化される。表現定理の適用により正準関数 $f \in \mathcal{H}_{k_x}$、$g \in \mathcal{H}_{k_y}$ は$f(\boldsymbol{x}) = \sum_i \alpha_i k_x(\boldsymbol{x}_i,\boldsymbol{x})$、$g(\boldsymbol{y}) = \sum_i \beta_i k_y(\boldsymbol{y}_i,\boldsymbol{y})$ と表現され、$n \times n$ の行列問題に帰着する。
特徴写像 $\phi: \mathcal{X} \to \mathbb{R}^m$（$m < \infty$）に対応する有限次元 RKHS $\mathcal{H}_k = \{\boldsymbol{w}^\top\phi(\cdot) : \boldsymbol{w} \in \mathbb{R}^m\}$（$\|f\|_{\mathcal{H}_k}^2 = \|\boldsymbol{w}\|^2$）の場合、表現定理は「主」と「双対」の等価を与える。
主問題：
\[\min_{\boldsymbol{w} \in \mathbb{R}^m}\mathcal{L}(\boldsymbol{w}^\top\phi(\boldsymbol{x}_1),\ldots,\boldsymbol{w}^\top\phi(\boldsymbol{x}_n))+ \lambda\|\boldsymbol{w}\|^2\]双対問題（表現定理の帰結）：
\[\min_{\boldsymbol{\alpha} \in \mathbb{R}^n}\mathcal{L}((K\boldsymbol{\alpha})_1,\ldots,(K\boldsymbol{\alpha})_n)+ \lambda\boldsymbol{\alpha}^\top K\boldsymbol{\alpha}\]両問題は最適値が等しく（$\boldsymbol{w}^* = \Phi^\top\boldsymbol{\alpha}^*$、$\Phi_{ij} = \phi(\boldsymbol{x}_i)_j$）、$m \leq n$ のとき主問題が効率的（$O(m)$ パラメータ）、$m > n$（または $m = \infty$）のとき双対問題が効率的（$O(n)$ パラメータ）である。カーネルトリックによる双対化の利点はこの非対称性にある。
$\Omega$ が単調非減少でない場合、解が $\mathcal{V}_n$ に収まるとは限らない。例えば正則化項が $\Omega(\|f\|^2) = -\|f\|^2$（バリアンスの最大化）の場合、$f_\perp$ を増やすことで目的関数が減少するため解は $\mathcal{V}_n$ の外に出る。実用的な正則化項（$\ell_2$ ノルム・核ノルム・エントロピーペナルティ等）は単調非減少であるため問題とならない。
表現定理は訓練点 $\{\boldsymbol{x}_i\}_{i=1}^n$ のみを参照した表現を与えるため、新点 $\boldsymbol{x}$ への汎化は暗黙的に$k(\boldsymbol{x},\boldsymbol{x}_i)$（カーネルによる類似度）を通じて行われる。$n$ が小さい場合、$\mathcal{V}_n$ は $\mathcal{H}_k$ の非常に小さな部分空間であり、表現の質はカーネルの選択と訓練点の分布に依存する。この意味で表現定理は「最適解の形」を与えるが、その解の汎化性能を保証するものではない。
半パラメトリックモデル（ノンパラメトリック＋線形成分）では、$f(\boldsymbol{x}) = g(\boldsymbol{x}) + \boldsymbol{x}^\top\boldsymbol{\beta}$（$g \in \mathcal{H}_k$、$\boldsymbol{\beta} \in \mathbb{R}^p$）の形のモデルを考える。$g$ に関しては表現定理が適用できるが、$\boldsymbol{\beta}$ はパラメトリックな有限次元パラメータとして別途推定される。同時最適化問題は
\[\min_{g \in \mathcal{H}_k, \boldsymbol{\beta} \in \mathbb{R}^p}\sum_i (y_i - g(\boldsymbol{x}_i) - \boldsymbol{x}_i^\top\boldsymbol{\beta})^2+ \lambda\|g\|_{\mathcal{H}_k}^2\]として定式化され、$g$ の部分に表現定理を適用すると$g(\boldsymbol{x}) = \sum_i \alpha_i k(\boldsymbol{x}_i,\boldsymbol{x})$ となり、$\boldsymbol{\alpha}$ と $\boldsymbol{\beta}$ の有限次元連立方程式として解かれる。これは加法的 RKHS（前節）の特殊ケースに対応する。
表現定理により問題は $\boldsymbol{\alpha} \in \mathbb{R}^n$ の最適化に帰着し、データはカーネル行列 $K$ を通じてのみ参照される。実装上の含意として：
SVM の例が示すように、一部のカーネル法では最適解が疎な表現$\hat{f} = \sum_{i \in S} \alpha_i k(\boldsymbol{x}_i,\boldsymbol{x})$（$|S| \ll n$）を持つ。この疎性は以下の機構から生じる：
能動学習（Active Learning）の観点では、解の表現に重要な訓練点（ラベルなし点のカーネル評価から推定）を優先的に選択することで、必要な訓練点数を削減できる。最悪ケース誤差（前節）の最大の点を次の観測点として選ぶ戦略は、表現定理と最悪ケース誤差の理論を組み合わせたものである。
ガウス過程事前分布 $f \sim \mathcal{GP}(0,k)$ と独立ガウス観測ノイズ $y_i = f(\boldsymbol{x}_i) + \varepsilon_i$（$\varepsilon_i \sim \mathcal{N}(0,\sigma^2)$）のもとでの MAP 推定量
\[\hat{f}^{\mathrm{MAP}}= \arg\max_{f} p(f \mid \boldsymbol{y})= \arg\min_{f}\left[\frac{1}{2\sigma^2}\sum_i(y_i-f(\boldsymbol{x}_i))^2 + \frac{1}{2}\|f\|_{\mathcal{H}_k}^2\right]\]は $\lambda = \sigma^2/n$ のカーネルリッジ回帰に一致し、表現定理の解 $\hat{f}(\boldsymbol{x}) = \boldsymbol{k}(\boldsymbol{x})^\top(K+\sigma^2 I)^{-1}\boldsymbol{y}$が GP の事後平均にも等しい（前節）。この三つの一致——表現定理の解・KRR の解・GP 事後平均——はカーネル法とベイズ統計の深い対応の核心をなす。
表現定理の係数 $\boldsymbol{\alpha}$ は、ベイズの観点では「事前分布（ゼロ平均 GP）に対して $n$ 点の観測を条件付けたときの事後分布の平均関数の係数」として解釈される。新点 $\boldsymbol{x}$ への予測$\hat{f}(\boldsymbol{x}) = \boldsymbol{k}(\boldsymbol{x})^\top\boldsymbol{\alpha}$は「現在の観測点との類似度（$\boldsymbol{k}(\boldsymbol{x})$）」と「各観測の寄与（$\boldsymbol{\alpha}$）」の内積として表現され、類似した訓練点の情報が強く伝播する構造になっている。
表現定理は「損失の訓練点依存性」と「RKHS ノルムの単調性」という二つの基本的な性質から、無限次元の関数空間上の最適化問題の解が有限次元の訓練点でのカーネル関数の線形結合$\hat{f}(\boldsymbol{x}) = \sum_{i=1}^n \alpha_i k(\boldsymbol{x}_i,\boldsymbol{x})$として表現されることを保証する。証明の核心は直交分解 $f = f_\parallel + f_\perp$（$f_\parallel \in \mathcal{V}_n$、$f_\perp \perp \mathcal{V}_n$）と再生性による点別値の保存 $f(\boldsymbol{x}_i) = f_\parallel(\boldsymbol{x}_i)$ にある。カーネルリッジ回帰・SVM・KPCA・カーネル CCA は表現定理によってそれぞれ閉形式解・双対問題・固有値問題・行列問題に帰着し、カーネルトリックと組み合わせることで高次元・無限次元特徴空間での計算が有限次元のグラム行列演算として実現される。一般化表現定理はヌル空間・制約付き問題・ベクトル値出力への拡張を提供し、半パラメトリックモデル・多出力回帰・構造化出力予測へと適用範囲が広がる。MAP 推定としての解釈を通じて GP 事後平均との同一性が成立し、カーネル法・正則化理論・ベイズ統計を結ぶ統計的学習理論の中核的な定理として位置づけられる。
Mathematics is the language with which God has written the universe.