トランスフォーマーにおける Self-Attention 機構は、系列長 $n$ に対して $O(n^2)$ の計算量とメモリを要する。この計算的ボトルネックを克服するための本質的な視点の一つが、アテンションを「カーネル法」として再解釈することである。すなわち、ソフトマックスによる非線形重み付けを、ある特徴写像における内積として表現し、行列積の結合法則を利用することで計算順序を再編成する。この再構成は、単なる高速化手法にとどまらず、アテンションの本質を「カーネル回帰」として捉え直す理論的枠組みを与える。
標準的な Scaled Dot-Product Attention において、各出力ベクトル $o_i$ は次のように与えられる。
\[o_i = \frac{\sum_{j=1}^{n} \exp\left(\frac{q_i^T k_j}{\sqrt{d_k}}\right) v_j}{\sum_{j=1}^{n} \exp\left(\frac{q_i^T k_j}{\sqrt{d_k}}\right)}\]この式は、クエリ $q_i$ に対する重み付き平均として解釈できる。ここで重みは
\[\alpha_{ij} = \frac{\exp\left(\frac{q_i^T k_j}{\sqrt{d_k}}\right)}{\sum_{l=1}^{n} \exp\left(\frac{q_i^T k_l}{\sqrt{d_k}}\right)}\]であり、これはソフトマックス関数による正規化確率分布である。ここで、非正規化重み
\[\mathcal{K}(q_i, k_j) = \exp\left(\frac{q_i^T k_j}{\sqrt{d_k}}\right)\]をカーネル関数とみなすと、アテンションは「カーネル重み付き平均」として再解釈される。この時点では依然として $n^2$ 個の相互作用の計算が必要である。
カーネル関数 $\mathcal{K}(q, k)$ が、ある特徴写像 $\phi : \mathbb{R}^{d_k} \to \mathbb{R}^{D}$ を用いて
\[\mathcal{K}(q, k) = \phi(q)^T \phi(k)\]と分解できると仮定する。このとき、分子は次のように変形される。
\[\sum_{j=1}^{n} \left(\phi(q_i)^T \phi(k_j)\right) v_j = \phi(q_i)^T \left( \sum_{j=1}^{n} \phi(k_j) v_j^T \right)\]同様に分母は
\[\sum_{j=1}^{n} \phi(q_i)^T \phi(k_j) = \phi(q_i)^T \left( \sum_{j=1}^{n} \phi(k_j) \right)\]となる。したがって、出力は次の形に書き換えられる。
\[o_i = \frac{\phi(q_i)^T S}{\phi(q_i)^T z}\]ここで
\[S = \sum_{j=1}^{n} \phi(k_j) v_j^T, \quad z = \sum_{j=1}^{n} \phi(k_j)\]である。この変形の本質は、$j$ に関する総和を先に計算できる点にある。すなわち、$S$ と $z$ はすべてのクエリに共通であり、一度の $O(nD)$ 計算で得られる。その後、各クエリに対しては $O(D)$ の計算で応答できるため、全体計算量は $O(nD)$、すなわち $D$ を固定すれば $O(n)$ に削減される。
ソフトマックスに対応する指数カーネル $\exp(q^T k)$ は、有限次元の特徴写像による厳密な分解を持たない。これは、このカーネルが無限次元の再生核ヒルベルト空間に対応するためである。したがって、実用上は近似が必要となる。
ランダム特徴法では、カーネルを期待値として表現する。
\[\exp(q^T k) = \mathbb{E}_{\omega} \left[ \exp(\omega^T q) \exp(\omega^T k) \right]\]この期待値を有限個のサンプルで近似することで、特徴写像を構成する。代表的な形式は以下である。
\[\phi(x) = \frac{1}{\sqrt{M}} \left[ \exp(\omega_1^T x), \dots, \exp(\omega_M^T x) \right]^T\]ここで $\omega_i \sim \mathcal{N}(0, I)$ である。さらに数値安定性のために、しばしば次の正規化項が導入される。
\[\phi(x) = \frac{\exp(-\|x\|^2 / 2)}{\sqrt{M}} \left[ \exp(\omega_1^T x), \dots, \exp(\omega_M^T x) \right]^T\]この構成により、内積 $\phi(q)^T \phi(k)$ が $\exp(q^T k)$ の不偏推定量となる。重要なのは、$\phi(x)$ の各成分が正値であることであり、これにより分母の数値安定性が保証される。
ソフトマックスは本来、指数関数によるスケーリングと正規化を同時に行うが、カーネル近似ではこれが分離されるため、数値的問題が生じうる。特に分母
\[\phi(q_i)^T z\]が小さくなると不安定になる。このため、実装上は $\epsilon$ を加えるなどの正則化が必要となる。また、スケーリング因子 $\sqrt{d_k}$ に対応する正規化も適切に組み込む必要がある。
集約行列 $S$ は、逐次的に更新可能である。
\[S_t = S_{t-1} + \phi(k_t) v_t^T, \quad z_t = z_{t-1} + \phi(k_t)\]この更新則は、トランスフォーマーを再帰的モデルとして解釈する道を開く。すなわち、$S_t$ は過去情報の圧縮表現であり、固定サイズのメモリとして機能する。この構造は、線形トランスフォーマーや RWKV のようなモデルにおいて明示的に利用されている。
この観点では、アテンションは単なる重み付き平均ではなく、「キーに対応する値を格納し、クエリによって取り出す」連想メモリの一種とみなされる。
以上の議論から、アテンションは次の形式のカーネル回帰と等価である。
\[o_i = \frac{\sum_{j} \mathcal{K}(q_i, k_j) v_j}{\sum_{j} \mathcal{K}(q_i, k_j)}\]これは、クエリ $q_i$ を入力とし、訓練データ $(k_j, v_j)$ に基づいて出力を推定する非パラメトリック回帰である。したがって、トランスフォーマーは「学習された特徴写像 $\phi$ に基づくカーネル回帰器」として解釈できる。
アテンションのカーネル的解釈は、計算量削減という実用的利点に加え、その本質をカーネル回帰として捉える理論的枠組みを提供する。特徴写像による分解と計算順序の変換により、二次計算を線形計算へと還元することが可能となる。この視点は、長文処理の効率化のみならず、トランスフォーマーの記憶機構や汎化能力を理解する上でも極めて重要である。
Mathematics is the language with which God has written the universe.