多変量正規分布は、一変量正規分布を多次元に拡張した分布族であり、平均ベクトルと分散共分散行列によって完全に特徴づけられる。線形変換に関する閉性や条件付き分布の正規性など豊かな構造を持ち、多変量解析の理論的基盤をなす。
$p$ 次元確率ベクトル $\boldsymbol{X} \in \mathbb{R}^p$ が平均ベクトル $\boldsymbol{\mu} \in \mathbb{R}^p$、分散共分散行列 $\Sigma \in \mathbb{R}^{p \times p}$（正定値対称行列）をもつ多変量正規分布に従うとき、
\[\boldsymbol{X} \sim \mathcal{N}_p(\boldsymbol{\mu}, \Sigma)\]
と表す。確率密度関数は
\[f(\boldsymbol{x}) = \frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\!\left(-\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu})^\top \Sigma^{-1}(\boldsymbol{x} - \boldsymbol{\mu})\right)\]
で与えられる。指数部の二次形式 $(\boldsymbol{x} - \boldsymbol{\mu})^\top \Sigma^{-1}(\boldsymbol{x} - \boldsymbol{\mu})$ はマハラノビス距離の二乗であり、等高線は $\boldsymbol{\mu}$ を中心とする楕円体をなす。
\[E[\boldsymbol{X}] = \boldsymbol{\mu}, \quad \text{Var}(\boldsymbol{X}) = \Sigma\]
$\Sigma$ の $(i,j)$ 成分は $\text{Cov}(X_i, X_j)$ であり、対角成分は各成分の分散 $\text{Var}(X_i)$ を与える。
$\boldsymbol{X} \sim \mathcal{N}_p(\boldsymbol{\mu}, \Sigma)$ の特性関数は
\[\varphi(\boldsymbol{t}) = E[e^{i\boldsymbol{t}^\top \boldsymbol{X}}] = \exp\!\left(i\boldsymbol{t}^\top \boldsymbol{\mu} - \frac{1}{2}\boldsymbol{t}^\top \Sigma \boldsymbol{t}\right)\]
で与えられる。特性関数は分布を一意に定め、線形変換の分布導出にも有用である。
$A \in \mathbb{R}^{q \times p}$、$\boldsymbol{b} \in \mathbb{R}^q$ に対して、
\[\boldsymbol{Y} = A\boldsymbol{X} + \boldsymbol{b} \sim \mathcal{N}_q(A\boldsymbol{\mu} + \boldsymbol{b},\ A\Sigma A^\top)\]
が成立する。多変量正規分布は線形変換に関して閉じており、任意の線形結合もまた正規分布に従う。特に $\boldsymbol{c} \in \mathbb{R}^p$ に対して
\[\boldsymbol{c}^\top \boldsymbol{X} \sim \mathcal{N}(\boldsymbol{c}^\top \boldsymbol{\mu},\ \boldsymbol{c}^\top \Sigma \boldsymbol{c})\]
が成立する。
$\boldsymbol{X}$ を
\[\boldsymbol{X} = \begin{pmatrix} \boldsymbol{X}_1 \\ \boldsymbol{X}_2 \end{pmatrix}, \quad \boldsymbol{\mu} = \begin{pmatrix} \boldsymbol{\mu}_1 \\ \boldsymbol{\mu}_2 \end{pmatrix}, \quad \Sigma = \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}\]
と分割する。$\boldsymbol{X}_1 \in \mathbb{R}^{p_1}$、$\boldsymbol{X}_2 \in \mathbb{R}^{p_2}$（$p_1 + p_2 = p$）とする。
各部分ベクトルの周辺分布は
\[\boldsymbol{X}_1 \sim \mathcal{N}_{p_1}(\boldsymbol{\mu}_1, \Sigma_{11}), \quad \boldsymbol{X}_2 \sim \mathcal{N}_{p_2}(\boldsymbol{\mu}_2, \Sigma_{22})\]
となる。多変量正規分布の周辺分布はまた正規分布であり、平均と分散共分散行列の対応するブロックで与えられる。
$\boldsymbol{X}_2 = \boldsymbol{x}_2$ を条件とする $\boldsymbol{X}_1$ の条件付き分布は
\[\boldsymbol{X}_1 \mid \boldsymbol{X}_2 = \boldsymbol{x}_2 \sim \mathcal{N}_{p_1}\!\left(\boldsymbol{\mu}_{1|2},\ \Sigma_{11|2}\right)\]
であり、条件付き平均と条件付き分散共分散行列は
\[\boldsymbol{\mu}_{1|2} = \boldsymbol{\mu}_1 + \Sigma_{12}\Sigma_{22}^{-1}(\boldsymbol{x}_2 - \boldsymbol{\mu}_2)\]
\[\Sigma_{11|2} = \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\]
で与えられる。$\Sigma_{11|2}$ はシューア補行列と呼ばれ、$\boldsymbol{X}_2$ の情報による $\boldsymbol{X}_1$ の不確実性の減少を表す。条件付き平均は $\boldsymbol{x}_2$ の線形関数であり、これは多変量正規分布における線形回帰の構造を反映している。
一般の分布では無相関は独立を含意しないが、多変量正規分布においては同値となる：
\[\boldsymbol{X}_1 \perp \boldsymbol{X}_2 \iff \Sigma_{12} = O\]
これは多変量正規分布の重要な特性であり、$\Sigma_{12} = O$ のとき同時密度が周辺密度の積に分解されることから従う。
$\boldsymbol{X} \sim \mathcal{N}_p(\boldsymbol{\mu}, \Sigma)$ のとき、マハラノビス距離の二乗は
\[(\boldsymbol{X} - \boldsymbol{\mu})^\top \Sigma^{-1}(\boldsymbol{X} - \boldsymbol{\mu}) \sim \chi^2(p)\]
に従う。これは $\Sigma^{-1/2}(\boldsymbol{X} - \boldsymbol{\mu}) \sim \mathcal{N}_p(\boldsymbol{0}, I_p)$ に変換することで確認できる。
$\boldsymbol{X} \sim \mathcal{N}_p(\boldsymbol{0}, \Sigma)$ のとき、対称行列 $A$ に対する二次形式 $\boldsymbol{X}^\top A \boldsymbol{X}$ が $\chi^2$ 分布に従うための必要十分条件は $A\Sigma$ が冪等行列（$(A\Sigma)^2 = A\Sigma$）であることである。このとき自由度は $\text{rank}(A\Sigma)$ となる。
$\boldsymbol{X}_1, \dots, \boldsymbol{X}_n \sim \mathcal{N}_p(\boldsymbol{\mu}, \Sigma)$ のとき、標本平均
\[\bar{\boldsymbol{X}} = \frac{1}{n}\sum_{i=1}^n \boldsymbol{X}_i \sim \mathcal{N}_p\!\left(\boldsymbol{\mu},\ \frac{\Sigma}{n}\right)\]
が成立する。標本分散共分散行列
\[S = \frac{1}{n-1}\sum_{i=1}^n (\boldsymbol{X}_i - \bar{\boldsymbol{X}})(\boldsymbol{X}_i - \bar{\boldsymbol{X}})^\top\]
に対しては
\[(n-1)S \sim W_p(n-1, \Sigma)\]
が成立する。ここで $W_p(n-1, \Sigma)$ はウィシャート分布であり、多変量正規分布における $\chi^2$ 分布の多次元拡張である。また $\bar{\boldsymbol{X}}$ と $S$ は独立である。
$\Sigma$ が正定値でなく半正定値の場合、密度関数は存在しないが特性関数による定義は依然として有効である。$\text{rank}(\Sigma) = r < p$ のとき、$\boldsymbol{X}$ は $r$ 次元の部分空間に台を持つ退化した分布となる。線形変換 $A\boldsymbol{X}$ の分散共分散行列 $A\Sigma A^\top$ が半正定値となる場合もこの枠組みで扱われる。
多変量正規分布は平均ベクトルと分散共分散行列によって完全に特徴づけられ、線形変換・周辺化・条件付けのいずれに対しても正規性が保たれる。無相関と独立の同値性、マハラノビス距離のχ²分布への帰着、条件付き分布の線形構造は多変量解析全般の基盤をなす。標本平均と標本分散共分散行列の独立性およびウィシャート分布への帰着は、多変量推測統計における検定・推定の理論的出発点となる。
Mathematics is the language with which God has written the universe.