正準相関分析（Canonical Correlation Analysis, CCA）は二組の多変量データ $\boldsymbol{x} \in \mathbb{R}^p$ と $\boldsymbol{y} \in \mathbb{R}^q$の間の線形関係を、相関を最大化する投影方向の対（正準変量対）を通じて定量化する多変量統計手法である。Hotelling（1936）によって提案され、二組の変数群の共分散構造の解析・次元削減・多変量回帰・表現学習の理論的基盤を提供する。
$p$ 次元確率ベクトル $\boldsymbol{x} \in \mathbb{R}^p$ と$q$ 次元確率ベクトル $\boldsymbol{y} \in \mathbb{R}^q$ の同時分布を考える。$r = \min(p, q)$ とする。同時共分散行列を
\[\Sigma= \mathrm{Cov}\!\begin{pmatrix}\boldsymbol{x}\\\boldsymbol{y}\end{pmatrix}= \begin{pmatrix}\Sigma_{xx} & \Sigma_{xy}\\ \Sigma_{yx} & \Sigma_{yy}\end{pmatrix}\]と分割表記する（$\Sigma_{xx} \in \mathbb{S}^p_{++}$、$\Sigma_{yy} \in \mathbb{S}^q_{++}$、$\Sigma_{xy} = \Sigma_{yx}^\top \in \mathbb{R}^{p \times q}$）。i.i.d. 標本 $\{(\boldsymbol{x}_i, \boldsymbol{y}_i)\}_{i=1}^n$ が与えられており、それぞれ中心化済み（$\mathbb{E}[\boldsymbol{x}] = \boldsymbol{0}$、$\mathbb{E}[\boldsymbol{y}] = \boldsymbol{0}$）とする。標本共分散行列の分割を $S_{xx}$、$S_{yy}$、$S_{xy}$ とする。
単位分散を持つ線形結合$u = \boldsymbol{a}^\top \boldsymbol{x}$（$\mathrm{Var}(u) = 1$）と$v = \boldsymbol{b}^\top \boldsymbol{y}$（$\mathrm{Var}(v) = 1$）の相関を最大化する係数対 $(\boldsymbol{a}, \boldsymbol{b})$ を求める問題：
\[\max_{\boldsymbol{a} \in \mathbb{R}^p,\, \boldsymbol{b} \in \mathbb{R}^q}\mathrm{Corr}(\boldsymbol{a}^\top\boldsymbol{x},\, \boldsymbol{b}^\top\boldsymbol{y})= \frac{\boldsymbol{a}^\top\Sigma_{xy}\boldsymbol{b}} {\sqrt{\boldsymbol{a}^\top\Sigma_{xx}\boldsymbol{a}\cdot\boldsymbol{b}^\top\Sigma_{yy}\boldsymbol{b}} }\]分散の正規化制約 $\boldsymbol{a}^\top\Sigma_{xx}\boldsymbol{a} = 1$、$\boldsymbol{b}^\top\Sigma_{yy}\boldsymbol{b} = 1$ のもとでの等価な問題は
\[\max_{\boldsymbol{a}, \boldsymbol{b}}\boldsymbol{a}^\top\Sigma_{xy}\boldsymbol{b}\quad\text{s.t.}\quad\boldsymbol{a}^\top\Sigma_{xx}\boldsymbol{a} = 1,\;\boldsymbol{b}^\top\Sigma_{yy}\boldsymbol{b} = 1\]と書ける。最適値 $\rho_1 = \max \boldsymbol{a}^\top\Sigma_{xy}\boldsymbol{b}$ を第一正準相関係数（First Canonical Correlation）、対応する係数ベクトル対 $(\boldsymbol{a}_1, \boldsymbol{b}_1)$ を第一正準係数（First Canonical Weights）、$u_1 = \boldsymbol{a}_1^\top\boldsymbol{x}$、$v_1 = \boldsymbol{b}_1^\top\boldsymbol{y}$ を第一正準変量対（First Pair of Canonical Variates）と呼ぶ。
第 $k$ 正準変量対（$k = 2, \ldots, r$）は先の $k-1$ 対の正準変量と無相関であるという制約のもとで相関を最大化する：
\[\max_{\boldsymbol{a}, \boldsymbol{b}}\boldsymbol{a}^\top\Sigma_{xy}\boldsymbol{b}\quad\text{s.t.}\quad\boldsymbol{a}^\top\Sigma_{xx}\boldsymbol{a} = 1,\;\boldsymbol{b}^\top\Sigma_{yy}\boldsymbol{b} = 1,\;\mathrm{Cov}(u_k, u_j) = \mathrm{Cov}(v_k, v_j) = 0\; (j < k)\]これにより $r = \min(p,q)$ 個の正準相関係数$\rho_1 \geq \rho_2 \geq \cdots \geq \rho_r \geq 0$ と対応する正準係数対 $\{(\boldsymbol{a}_k, \boldsymbol{b}_k)\}_{k=1}^r$ が定まる。
ラグランジュ関数$\mathcal{L} = \boldsymbol{a}^\top\Sigma_{xy}\boldsymbol{b}- \frac{\rho}{2}(\boldsymbol{a}^\top\Sigma_{xx}\boldsymbol{a} - 1)- \frac{\rho}{2}(\boldsymbol{b}^\top\Sigma_{yy}\boldsymbol{b} - 1)$の停留条件は
\[\Sigma_{xy}\boldsymbol{b} = \rho\,\Sigma_{xx}\boldsymbol{a},\qquad\Sigma_{yx}\boldsymbol{a} = \rho\,\Sigma_{yy}\boldsymbol{b}\]と書ける。第一式に左から $\Sigma_{xx}^{-1}$、第二式に左から $\Sigma_{yy}^{-1}$ を乗じて代入すると、$\boldsymbol{a}$ に関する一般化固有値問題
\[\Sigma_{xx}^{-1}\Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx}\boldsymbol{a}= \rho^2\boldsymbol{a}\]が得られる。固有値 $\rho^2$（正準相関係数の二乗）と固有ベクトル $\boldsymbol{a}$（$\boldsymbol{x}$ 側正準係数）が求まり、対応する $\boldsymbol{b}$ は$\boldsymbol{b} = \frac{1}{\rho}\Sigma_{yy}^{-1}\Sigma_{yx}\boldsymbol{a}$ で得られる。同様に $\boldsymbol{b}$ に関する固有値問題は
\[\Sigma_{yy}^{-1}\Sigma_{yx}\Sigma_{xx}^{-1}\Sigma_{xy}\boldsymbol{b}= \rho^2\boldsymbol{b}\]であり、両問題の固有値は同一（$\rho_k^2$、$k=1,\ldots,r$）で固有ベクトルが対応する正準係数を与える。
球面化変換 $\tilde{\boldsymbol{a}} = \Sigma_{xx}^{1/2}\boldsymbol{a}$、$\tilde{\boldsymbol{b}} = \Sigma_{yy}^{1/2}\boldsymbol{b}$ のもとで最大化問題は
\[\max_{\|\tilde{\boldsymbol{a}}\|=1,\,\|\tilde{\boldsymbol{b}}\|=1}\tilde{\boldsymbol{a}}^\top\underbrace{\Sigma_{xx}^{-1/2}\Sigma_{xy}\Sigma_{yy}^{-1/2}}_{\equiv M}\tilde{\boldsymbol{b}}\]に変換される。$M \in \mathbb{R}^{p \times q}$ の SVD$M = U D V^\top$（$D = \mathrm{diag}(\rho_1,\ldots,\rho_r)$）を計算すると、
\[\tilde{\boldsymbol{a}}_k = \boldsymbol{u}_k,\quad\tilde{\boldsymbol{b}}_k = \boldsymbol{v}_k,\quad\rho_k = d_k\]すなわち正準相関係数は $M$ の特異値、正準係数は$\boldsymbol{a}_k = \Sigma_{xx}^{-1/2}\boldsymbol{u}_k$、$\boldsymbol{b}_k = \Sigma_{yy}^{-1/2}\boldsymbol{v}_k$として得られる。この SVD による定式化は数値的に安定であり、$M$ の計算に必要な $\Sigma_{xx}^{-1/2}$・$\Sigma_{yy}^{-1/2}$ は各共分散行列の固有値分解から $O(p^3)$・$O(q^3)$ で求まる。
正準変量は以下の直交性・無相関性を満たす：
\[\mathrm{Cov}(u_k, u_\ell) = \boldsymbol{a}_k^\top\Sigma_{xx}\boldsymbol{a}_\ell = \delta_{k\ell},\qquad\mathrm{Cov}(v_k, v_\ell) = \boldsymbol{b}_k^\top\Sigma_{yy}\boldsymbol{b}_\ell = \delta_{k\ell}\]\[\mathrm{Cov}(u_k, v_\ell) = \boldsymbol{a}_k^\top\Sigma_{xy}\boldsymbol{b}_\ell = \rho_k\delta_{k\ell}\]すなわち同一の組 $(u_k, v_k)$ の相関は $\rho_k$ であり、異なる組 $(u_k, v_\ell)$（$k \neq \ell$）の相関はゼロである。正準変量行列を $U = [\boldsymbol{a}_1,\ldots,\boldsymbol{a}_r]^\top X^\top$、$V = [\boldsymbol{b}_1,\ldots,\boldsymbol{b}_r]^\top Y^\top$ とすると、$\mathrm{Cov}(U, V) = \mathrm{diag}(\rho_1,\ldots,\rho_r)$ が成立する。
正準相関係数 $\{\rho_k\}$ は $\boldsymbol{x}$ と $\boldsymbol{y}$ の非退化な線形変換に対して不変である：$\boldsymbol{x}' = A\boldsymbol{x}$（$A \in \mathbb{R}^{p \times p}$ 正則）、$\boldsymbol{y}' = B\boldsymbol{y}$（$B \in \mathbb{R}^{q \times q}$ 正則）としても$\rho_k(\boldsymbol{x}', \boldsymbol{y}') = \rho_k(\boldsymbol{x}, \boldsymbol{y})$。この性質はスケール・回転に対するロバスト性を意味し、測定単位の違いに依存しない解析を可能にする。
母共分散行列 $\Sigma_{xx}$、$\Sigma_{yy}$、$\Sigma_{xy}$ を標本共分散行列 $S_{xx}$、$S_{yy}$、$S_{xy}$ で置き換えた標本正準相関係数 $\hat{\rho}_k$ を求める。具体的な計算手順は以下の通りである。
計算量は $O(np\min(p,q) + p^3 + q^3)$。$n \leq p$ または $n \leq q$ のとき $S_{xx}$ または $S_{yy}$ が正則でなくなり標準的な CCA が適用不可能となる（正則化が必要：後述）。
$(\boldsymbol{x}^\top, \boldsymbol{y}^\top)^\top \sim \mathcal{N}(\boldsymbol{0}, \Sigma)$ を仮定するとき、$\Sigma$ の MLE は標本共分散行列 $\hat{\Sigma}$ であり（前節と同様）、標本正準相関係数は $\hat{\Sigma}$ に基づく MLE として解釈できる。大標本（$n \to \infty$、$p$・$q$ 固定）において$\hat{\rho}_k \xrightarrow{P} \rho_k$（一致性）が成立し、漸近分布は以下のように求まる。
Bartlett（1938）の近似：$H_0 : \rho_{k+1} = \cdots = \rho_r = 0$（最初の $k$ 個の正準相関のみが非ゼロ）を検定する尤度比統計量
\[\chi^2_k = -\left(n - 1 - \frac{p+q+1}{2}\right)\sum_{j=k+1}^r \log(1 - \hat{\rho}_j^2)\xrightarrow{d} \chi^2((p-k)(q-k))\]が漸近的に $\chi^2$ 分布に従う。$k=0$ から順に検定を行い初めて有意でなくなった $k$ を正準次元として採用する。
正準係数行列 $A = [\boldsymbol{a}_1,\ldots,\boldsymbol{a}_r]$、$B = [\boldsymbol{b}_1,\ldots,\boldsymbol{b}_r]$ を用いると、クロス共分散行列の正準展開
\[\Sigma_{xy}= \Sigma_{xx} A \mathrm{diag}(\rho_1,\ldots,\rho_r) B^\top \Sigma_{yy}\]が成立する。各項 $\rho_k \Sigma_{xx}\boldsymbol{a}_k \boldsymbol{b}_k^\top \Sigma_{yy}$は $\boldsymbol{x}$ と $\boldsymbol{y}$ の共分散の第 $k$ 成分への寄与を表し、$\rho_k^2$ がその寄与の強さを定量化する。$\sum_{k=1}^r \rho_k^2$ は $\Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx}\Sigma_{xx}^{-1}$のトレース（総正準共分散の二乗和）であり、二変数群の線形依存性の全体的な強さを表す。
正準相関係数 $\rho_k$ は二変数群間の相関の強さを測るが、各正準変量が元の変数群の分散をどの程度説明するかは別の問題である。冗長性指標（Redundancy Index；Stewart–Love, 1968）は$\boldsymbol{y}$ の正準変量 $v_k$ によって説明される $\boldsymbol{x}$ の総分散の割合として
\[R_k^2(\boldsymbol{x} \mid v_k)= \frac{1}{p}\mathrm{tr}(\Sigma_{xx}^{-1}\mathrm{Cov}(\boldsymbol{x}, v_k)\mathrm{Cov}(v_k, \boldsymbol{x}))= \frac{\rho_k^2}{p}\sum_{j=1}^p \lambda_{jk}^2\]と定義される（$\lambda_{jk} = \mathrm{Corr}(x_j, u_k)$：正準構造係数）。高い $\rho_k$ でも元変数群の説明率が低い場合があり、冗長性指標は正準相関係数を補完する解釈指標として重要である。
$n \leq p$ または $n \leq q$ のとき（高次元設定）、標本共分散行列が特異となり CCA が適用不可能となる。また $n$ が十分大きくても $p$・$q$ が大きい場合、標本正準相関係数は真の値に対して上方バイアスを持つ（標本の過適合：$\hat{\rho}_k \geq \rho_k$）。
Vinod（1976）・Leurgans et al.（1993）の正則化 CCAは共分散行列に Ridge 型の正則化を加える：
\[\hat{\Sigma}_{xx}^\lambda = S_{xx} + \lambda_x I_p,\qquad\hat{\Sigma}_{yy}^\mu = S_{yy} + \mu_y I_q\]とし、正則化行列を用いて正準相関を計算する。$\lambda_x$・$\mu_y \geq 0$ は正則化係数であり、$\lambda_x = \mu_y = 0$ が通常の CCA に対応する。正規化行列が正定値となるため $n \leq p$・$n \leq q$ でも適用可能。$\lambda_x$・$\mu_y$ は交差検証により選択する。
スパース CCA（Witten–Tibshirani–Hastie, 2009）は係数ベクトル $\boldsymbol{a}$・$\boldsymbol{b}$ のスパース性を課した凸最適化問題として定式化される：
\[\max_{\boldsymbol{a}, \boldsymbol{b}}\boldsymbol{a}^\top S_{xy} \boldsymbol{b}\quad\text{s.t.}\quad\|\boldsymbol{a}\|_2 \leq 1,\; \|\boldsymbol{b}\|_2 \leq 1,\;\|\boldsymbol{a}\|_1 \leq c_x,\; \|\boldsymbol{b}\|_1 \leq c_y\]$\ell_1$ 制約 $\|\boldsymbol{a}\|_1 \leq c_x$、$\|\boldsymbol{b}\|_1 \leq c_y$ が係数ベクトルのスパース性を誘導し、$\boldsymbol{a}$ を固定して $\boldsymbol{b}$ を更新（ソフト閾値処理）、$\boldsymbol{b}$ を固定して $\boldsymbol{a}$ を更新する交互最適化により解かれる。高次元遺伝子発現・神経画像データ解析において解釈可能な正準係数が得られる。
非線形関係を捉えるための拡張として、カーネル CCA（Kernel CCA；Akaho, 2001；Bach–Jordan, 2002）はRKHS $\mathcal{H}_x$・$\mathcal{H}_y$ への写像$\phi_x: \mathbb{R}^p \to \mathcal{H}_x$、$\phi_y: \mathbb{R}^q \to \mathcal{H}_y$ のもとで CCA を実行する。表現定理（Representer Theorem）により解は有限次元表現を持ち、カーネル行列 $K_x \in \mathbb{R}^{n \times n}$（$K_{x,ij} = k_x(\boldsymbol{x}_i, \boldsymbol{x}_j)$）、$K_y \in \mathbb{R}^{n \times n}$ を用いた一般化固有値問題
\[\begin{pmatrix} 0 & K_x K_y \\ K_y K_x & 0 \end{pmatrix}\begin{pmatrix} \boldsymbol{\alpha} \\ \boldsymbol{\beta} \end{pmatrix}= \rho\begin{pmatrix} K_x^2 + \kappa I & 0 \\ 0 & K_y^2 + \kappa I \end{pmatrix}\begin{pmatrix} \boldsymbol{\alpha} \\ \boldsymbol{\beta} \end{pmatrix}\]として定式化される（$\kappa > 0$：正則化係数）。正準変量スコアは$u(\boldsymbol{x}) = \sum_i \alpha_i k_x(\boldsymbol{x}_i, \boldsymbol{x})$、$v(\boldsymbol{y}) = \sum_i \beta_i k_y(\boldsymbol{y}_i, \boldsymbol{y})$ として得られる。計算量は $O(n^3)$ であり、大規模データには不完全コレスキー分解による近似が用いられる。
深層 CCA（Deep CCA；Andrew et al., 2013）はニューラルネットワークによる非線形写像$f: \mathbb{R}^p \to \mathbb{R}^q$、$g: \mathbb{R}^q \to \mathbb{R}^q$ を CCA と組み合わせる：
\[\max_{f, g}\sum_{k=1}^q \rho_k\!\left(f(\boldsymbol{x}), g(\boldsymbol{y})\right)\]深層 CCA の損失は正則化された総正準相関係数の和であり、逆伝播法（Back-Propagation）で最適化される。マルチビュー表現学習（音声・テキスト・画像などの複数モダリティのアライメント）に広く応用されている。Soft Decorrelation・SplitAE・DCCA-NOI など様々な変種が提案されており、自己教師あり学習との接続（BarlowTwins・VICReg）も研究されている。
$\boldsymbol{y}$ を $\boldsymbol{x}$ に回帰する多変量回帰$\boldsymbol{y} = B\boldsymbol{x} + \boldsymbol{\varepsilon}$ の係数行列 MLE は$\hat{B} = S_{yx}S_{xx}^{-1}$ であり、予測値の共分散行列は $\hat{B}S_{xx}\hat{B}^\top = S_{yx}S_{xx}^{-1}S_{xy}$。CCA と多変量回帰の関係は以下のように整理される：
\[\rho_k^2= k\text{-th eigenvalue of }S_{xx}^{-1}S_{xy}S_{yy}^{-1}S_{yx}= k\text{-th eigenvalue of }S_{yy}^{-1}S_{yx}S_{xx}^{-1}S_{xy}\]$\sum_k \rho_k^2 = \mathrm{tr}(S_{xx}^{-1}S_{xy}S_{yy}^{-1}S_{yx})$は行列相関係数（RV 係数、前節との接続）の類似物である。
CCA・PCA・LDA は同一の枠組みで記述できる。いずれも一般化固有値問題$A\boldsymbol{w} = \lambda B\boldsymbol{w}$（$A, B$ は適切な散布行列）を解くが、その目的と行列の設定が異なる：
| 手法 | 最大化する量 | 行列 $A$ | 行列 $B$ | 制約 |
|---|---|---|---|---|
| PCA | $\boldsymbol{w}^\top S_{xx}\boldsymbol{w}$ | $S_{xx}$ | $I$ | $\boldsymbol{w}^\top\boldsymbol{w} = 1$ |
| LDA | $\boldsymbol{w}^\top S_B\boldsymbol{w} / \boldsymbol{w}^\top S_W\boldsymbol{w}$ | $S_B$ | $S_W$ | $\boldsymbol{w}^\top S_W\boldsymbol{w} = 1$ |
| CCA（$\boldsymbol{x}$ 側） | $\boldsymbol{a}^\top S_{xy}\boldsymbol{b}$ | $S_{xx}^{-1}S_{xy}S_{yy}^{-1}S_{yx}$ | $I$ | $\boldsymbol{a}^\top S_{xx}\boldsymbol{a} = 1$ |
$H_0 : \Sigma_{xy} = 0$（$\boldsymbol{x}$ と $\boldsymbol{y}$ の間に線形関係なし）を検定するWilks の $\Lambda$ 統計量は
\[\Lambda= \prod_{k=1}^r (1 - \hat{\rho}_k^2)= \frac{|\hat{\Sigma}|}{|\hat{\Sigma}_{xx}||\hat{\Sigma}_{yy}|}\]として定義される。Bartlett（1938）の近似により
\[\chi^2 = -\left(n - 1 - \frac{p+q+1}{2}\right)\log\Lambda\xrightarrow{d} \chi^2(pq)\]が漸近的に成立する。独立性の検定として Wilks の $\Lambda$ は積の形をしており、各 $\hat{\rho}_k^2$ が独立性からの逸脱を部分的に捉える。
正準次元（有意な正準相関の数）は逐次尤度比検定で決定する：$k = 0, 1, \ldots$ に対して$H_0^{(k)} : \rho_{k+1} = \cdots = \rho_r = 0$ を検定し、初めて棄却されない $k$ を正準次元として採用する。Bartlett の近似では各 $k$ に対する統計量
\[\chi^2_k = -\left(n - 1 - \frac{p+q+1}{2}\right)\sum_{j=k+1}^r\log(1-\hat{\rho}_j^2)\xrightarrow{d} \chi^2((p-k)(q-k))\]を用いる。多重検定の観点からボンフェローニ補正$\alpha' = \alpha / r$（$r = \min(p,q)$）を適用することが推奨される。
正準相関分析は二変数群 $\boldsymbol{x}$・$\boldsymbol{y}$ 間の線形依存構造を相関最大化射影対（正準変量対）として抽出する多変量統計手法であり、その数学的核心はクロス共分散行列の球面化後の SVD$M = \Sigma_{xx}^{-1/2}\Sigma_{xy}\Sigma_{yy}^{-1/2} = UDV^\top$に集約される。正準相関係数 $\rho_k = d_k$ は線形変換に対して不変であり、対応する正準変量対は互いに直交かつ異なる組間で無相関である。標本 CCA は MLE として定式化され、Bartlett の $\chi^2$ 近似により正準次元の逐次検定が可能である。高次元・小標本設定では Ridge 正則化（RCCA）とスパース化（スパース CCA）により推定の安定性と解釈可能性が向上する。カーネル CCA は RKHS での写像を通じて非線形関係を捉え、深層 CCA はニューラルネットワークによる非線形多モーダル表現学習へと拡張される。PCA・LDA との統一的理解は一般化固有値問題$A\boldsymbol{w} = \lambda B\boldsymbol{w}$ の枠組みで与えられ、多変量統計解析の体系的な理解を提供する。
Mathematics is the language with which God has written the universe.