分散と標準偏差

分散および標準偏差は、確率変数のばらつきの程度を測る基本的な統計量である。期待値が分布の中心(位置)を表すのに対し、分散はその周囲への散らばりを定量化する役割を持つ。測度論的には、分散は $L^2$ 空間における二次モーメントに基づく量である。

分散の定義

確率空間 $(\Omega, \mathcal{F}, P)$ 上の確率変数 $X$ に対して、$\mathbb{E}[X^2] < \infty$(すなわち $X \in L^2$)と仮定する。このとき期待値を $\mu = \mathbb{E}[X]$ とすると、分散は

\[ \mathrm{Var}(X) = \mathbb{E}[(X - \mu)^2] \]

によって定義される。これは、平均からの偏差の二乗の期待値であり、ばらつきの「二次的な大きさ」を測る量である。

別表現(モーメント表示)

分散は次の形に書き換えられる。

\[ \mathrm{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \]

これは二次モーメントと一次モーメントから構成されるため、計算上極めて重要である。

離散型・連続型の場合

離散型:

\[ \mathrm{Var}(X) = \sum_x (x - \mu)^2 p(x) \]

連続型:

\[ \mathrm{Var}(X) = \int_{-\infty}^{\infty} (x - \mu)^2 f(x)\,dx \]

標準偏差

標準偏差は分散の平方根として定義される。

\[ \sigma = \sqrt{\mathrm{Var}(X)} \]

標準偏差は元の確率変数と同じ単位(次元)を持つため、実際のデータ解析において解釈が容易である。

基本性質

非負性

\[ \mathrm{Var}(X) \ge 0 \]

であり、$\mathrm{Var}(X)=0$ は $X$ がほとんど確実に定数であることと同値である。

定数の加法に対する不変性

\[ \mathrm{Var}(X + c) = \mathrm{Var}(X) \]

スカラー倍

\[ \mathrm{Var}(aX) = a^2 \mathrm{Var}(X) \]

和の分散と共分散

一般に、

\[ \mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\mathrm{Cov}(X,Y) \]

が成立する。特に独立な場合には $\mathrm{Cov}(X,Y)=0$ となり、分散は加法的になる。

分散は共分散の特別な場合

共分散は二つの確率変数 $X, Y$ の同時的なばらつきを測る量として

\[ \mathrm{Cov}(X,Y) = \mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])] \]

で定義される。

このとき、同一の確率変数をとれば

\[ \mathrm{Cov}(X,X) = \mathbb{E}[(X-\mathbb{E}[X])^2] = \mathrm{Var}(X) \]

が成立する。したがって、

分散とは、共分散の対角成分(自己共分散)に他ならない。

分散の分解(全分散の法則)

条件付き期待値に関して、

\[ \mathrm{Var}(X) = \mathbb{E}[\mathrm{Var}(X \mid Y)] + \mathrm{Var}(\mathbb{E}[X \mid Y]) \]

が成立する。これは「内部のばらつき」と「平均のばらつき」に分解する公式である。

$L^2$ 空間における幾何学的解釈

$L^2(\Omega)$ において内積を

\[ \langle X,Y \rangle = \mathbb{E}[XY] \]

と定義すると、分散は

\[ \mathrm{Var}(X) = \|X - \mathbb{E}[X]\|_2^2 \]

と表される。すなわち、分散は「定数関数の空間への射影からの距離の二乗」である。なお、ここで、\[\| \cdot \|_2^2\;=\;\left( \mathbb{E}[\,|\cdot|^2\,] \right)\]とは$L^2$ ノルム(平方平均)をとり、それを二乗したものを意味している。

不等式との関係

チェビシェフの不等式

\[ P(|X-\mu|\ge \varepsilon) \le \frac{\mathrm{Var}(X)}{\varepsilon^2} \]

分散の最小化性

任意の定数 $a$ に対して

\[ \mathbb{E}[(X-a)^2] \]

を最小にするのは $a=\mathbb{E}[X]$ である。これは平均が二乗誤差の意味で最適な代表値であることを示す。

標準偏差の性質

\[ \mathrm{SD}(aX) = |a|\,\mathrm{SD}(X) \]

が成立し、スケール変換に対して線形的に振る舞う。

まとめ

分散は確率変数のばらつきを測る基本量であり、$L^2$ 空間における距離として解釈される重要な概念である。標準偏差はその平方根として直観的な尺度を与える。これらは共分散・相関係数・不等式・極限定理と結びつき、確率論および統計学の理論的基盤を構成する中心的概念である。

Mathematics is the language with which God has written the universe.





















数理統計学 機械学習