kernel family
カーネル関数の族 $\mathcal{K}$ とは,パラメータ空間 $\Theta$ 上で定義されたパラメータ $\theta$ によって特徴づけられるカーネル関数の集合である.すなわち,\[\mathcal{K} = \{K_\theta : \theta \in \Theta\}\]と表現され,各 $\theta \in \Theta$ に対して $K_\theta$ は実数全体 $\mathbb{R}$ を定義域とする実数値関数であり,以下の条件をすべて満たすものである.
カーネル関数の族は,個別のカーネル関数とは本質的に異なる数学的対象である.カーネル関数が単一の具体的な関数であるのに対し,カーネル関数の族はパラメータによってインデックス付けられた関数の集合体である.この違いは,数学的扱いと実用的応用の両面において重要な意味を持つ.
個別のカーネル関数は,特定の統計的性質や計算特性を持つ固定された関数である.例えば,標準ガウシアンカーネル\[K(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}\]は,平均0,分散1の正規分布に対応する特定の関数である.これに対し,ガウシアンカーネル族\[\mathcal{K}_{\mathrm{Gauss}} = \left\{\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{x^2}{2\sigma^2}} : \sigma > 0 \right\}\]は,分散パラメータ $\sigma^2$ によって特徴づけられる無数のガウシアン関数を含む集合である.
カーネル関数の族における第5条件は,個別のカーネル関数の定義には存在しない重要な要素である.この条件により,パラメータが連続的に変化したとき,対応するカーネル関数も適切に変化することが保証される.これは,パラメータ推定や最適化アルゴリズムにおいて,目的関数の連続性や微分可能性を確保するために不可欠である.
族の概念は,統計学におけるモデル選択問題に直接関連する.データに対して最適なカーネル関数を選択する際,実際には族 $\mathcal{K}$ の中から適切なパラメータ $\theta^*$ を選択し,対応するカーネル関数 $K_{\theta^*}$ を決定することになる.この選択過程では,クロスバリデーション,情報量規準,ベイズ的手法などが用いられ,族全体の構造を活用した体系的なアプローチが可能となる.
機械学習の文脈では,カーネル関数の族は再生核ヒルベルト空間[RKHS]の族を誘導する.各パラメータ $\theta$ に対応するカーネル関数 $K_\theta$ は,特定のRKHS $\mathcal{H}_\theta$ を定義し,族 $\mathcal{K}$ は RKHS の族 $\{\mathcal{H}_\theta : \theta \in \Theta\}$ に対応する.この対応関係により,関数空間の性質をパラメータを通じて制御することが可能になり,学習問題の複雑さや汎化性能を調整できる.
パラメータ空間 $\Theta$ の構造も重要な要素である.一次元パラメータの場合[例：$\Theta = (0, \infty)$ でのスケールパラメータ]から,多次元パラメータの場合（例：$\Theta = (0, \infty) \times \mathbb{R}$ でのスケールと位置パラメータ）まで様々である.高次元パラメータ空間では,パラメータ間の相互作用や制約条件を考慮する必要があり,最適化問題の複雑さが増大する.
計算的観点では,族の各メンバーが共通の計算構造を持つことが重要である.例えば,多項式カーネル族では,すべてのメンバーが多項式として表現され,効率的な数値計算アルゴリズムを共有できる.一方,異なる関数形を持つカーネル関数を混在させた族では,統一的な計算手法の適用が困難になる場合がある.
理論的解析においては,族全体での一様な性質[一様収束性,一様有界性など]が重要な役割を果たす.これらの性質により,パラメータに依存しない理論的保証を得ることができ,統計的一致性や学習理論における汎化誤差の上界などを導出できる.
カーネル関数の族の概念は,ノンパラメトリック統計学からパラメトリック統計学への橋渡しとしても機能する.族のパラメータ次元を固定することで,有限次元のパラメトリック問題として扱うことができ,同時に族の豊富さにより,ノンパラメトリック手法の柔軟性も保持される.
Mathematics is the language with which God has written the universe.