正規分布(ガウス分布)

正規分布(ガウス分布)は、連続型確率分布の中で最も重要かつ基本的な分布であり、多くの自然現象や誤差のモデルとして現れる。その重要性は中心極限定理によって理論的に裏付けられている。

定義

平均 $\mu \in \mathbb{R}$、分散 $\sigma^2 > 0$ をパラメータとする正規分布は、確率密度関数

\[f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\]

によって定義される。このとき $X \sim \mathcal{N}(\mu,\sigma^2)$ と書く。

標準正規分布

特に、$\mu = 0$, $\sigma^2 = 1$ の場合を標準正規分布と呼び、

\[Z \sim \mathcal{N}(0,1)\]

と表す。

標準化

任意の正規分布に従う確率変数 $X$ は、

\[Z = \frac{X - \mu}{\sigma}\]

によって標準正規分布に変換できる。

期待値と分散

\[\mathbb{E}[X] = \mu, \quad \mathrm{Var}(X) = \sigma^2\]

モーメント母関数

\[M_X(t) = \exp\left(\mu t + \frac{1}{2}\sigma^2 t^2\right)\]

特性関数

\[\varphi_X(t) = \exp\left(i\mu t - \frac{1}{2}\sigma^2 t^2\right)\]

基本性質

対称性

正規分布は平均 $\mu$ を中心として対称である。

再生性(閉性)

独立な正規分布に従う確率変数 $X \sim \mathcal{N}(\mu_1,\sigma_1^2)$,$Y \sim \mathcal{N}(\mu_2,\sigma_2^2)$ に対して、

\[X + Y \sim \mathcal{N}(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)\]

が成立する。

線形変換

$X \sim \mathcal{N}(\mu,\sigma^2)$ に対して、

\[aX + b \sim \mathcal{N}(a\mu + b, a^2\sigma^2)\]

が成立する。

中心極限定理との関係

独立同分布な確率変数列 $X_1, \dots, X_n$ に対して、

\[\frac{1}{\sqrt{n}} \sum_{i=1}^{n} \frac{X_i - \mu}{\sigma}\Rightarrow \mathcal{N}(0,1)\]

が成立する。この定理により、多くの分布が極限的に正規分布に近づく。

確率の計算

正規分布の累積分布関数は初等関数で表現できないため、数値表や数値計算が用いられる。標準正規分布の分布関数を

\[\Phi(x) = P(Z \leq x)\]

と書く。

応用

正規分布は、測定誤差、自然現象、金融データなど多くの分野で現れる。また、統計的推論(検定や信頼区間)において中心的な役割を果たす。

正規分布の導出

平均 $\mu \in \mathbb{R}$、分散 $\sigma^2 > 0$ をもつ確率分布のうち、独立同分布な確率変数の和に対して同じ分布族に閉じている(安定性を持つ)ものは、必然的に正規分布となり、その確率密度関数は、\[f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\]の形に限られることを導出する。

確率空間 $(\Omega、 \mathcal{F}、 P)$ 上の確率変数 $X$ を考える。

その特性関数を、\[\varphi(t) = \mathbb{E}[e^{itX}]\]とする。

以下を仮定する。

  1. $X、 Y$ は独立同分布とする。
  2. 和 $X+Y$ は同じ分布族に属する(ただし分散は加法的に増加)。
    すなわち、\[\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) = 2\sigma^2\]
  3. 分布族はスケーリングで閉じている。ある定数 $a$ に対して、$aX$ の分布も同じ族に属する。

独立性より、\[\varphi_{X+Y}(t)=\mathbb{E}[e^{it(X+Y)}]=\mathbb{E}[e^{itX}]\mathbb{E}[e^{itY}]=(\varphi(t))^2\]

任意の確率変数 $X$ に対して、\[\varphi_{aX}(t)=\mathbb{E}[e^{it(aX)}]=\mathbb{E}[e^{i(at)X}]=\varphi(at)\]次に、分散とスケーリングの対応を考える。\[\mathrm{Var}(aX) = a^2 \mathrm{Var}(X)\]

よって、\[\mathrm{Var}(X+Y) = 2\sigma^2\]を満たすためには、\[X+Y \sim \sqrt{2} X\]と同じ分布型である必要がある。

したがって、\[\varphi_{X+Y}(t) = \varphi_{\sqrt{2}X}(t)\]

すなわち、\[(\varphi(t))^2 = \varphi(\sqrt{2}t)\]

次に、対数変換を考える。\[\varphi(t) = \exp(\psi(t))\]とおくと、\[\exp(2\psi(t)) = \exp(\psi(\sqrt{2}t))\]

よって、\[\psi(\sqrt{2}t) = 2\psi(t)\]

特性関数の性質より、\[\varphi(0)=1 \Rightarrow \psi(0)=0\]

また、\[\varphi'(0) = i\mathbb{E}[X] = i\mu\Rightarrow \psi'(0) = i\mu\]

さらに、\[\varphi''(0) = -\mathbb{E}[X^2]\Rightarrow \psi''(0) = -\sigma^2\]

したがって、\[\psi(t)=\psi(0) + \psi'(0)t + \frac{1}{2}\psi''(0)t^2 + o(t^2)=i\mu t - \frac{1}{2}\sigma^2 t^2 + o(t^2)\]

左辺:\[\psi(\sqrt{2}t)=i\mu \sqrt{2}t - \frac{1}{2}\sigma^2 (2t^2) + o(t^2)=i\mu \sqrt{2}t - \sigma^2 t^2 + o(t^2)\]

右辺:\[2\psi(t)=2i\mu t - \sigma^2 t^2 + o(t^2)\]

比較すると、一次項について、\[i\mu \sqrt{2}t = 2i\mu t\]

は一般に成立しないため、\[\mu = 0\]

でなければならない。

したがって、\[\psi(t) = -\frac{1}{2}\sigma^2 t^2 + o(t^2)\]

関数方程式\[\psi(\sqrt{2}t) = 2\psi(t)\]

を満たすには、高次項はすべて消える必要があるため、\[\psi(t) = -\frac{1}{2}\sigma^2 t^2\]

確率変数 $Y = X + \mu$ を考えると、\[\varphi_Y(t)=\mathbb{E}[e^{it(X+\mu)}]=e^{i\mu t}\varphi_X(t)\]

したがって、\[\varphi(t)=\exp\left(i\mu t - \frac{1}{2}\sigma^2 t^2\right)\]

確率密度関数は、\[f(x)=\frac{1}{2\pi}\int_{-\infty}^{\infty}e^{-itx}\varphi(t)\,dt\]\[=\frac{1}{2\pi}\int\exp\left(-itx + i\mu t - \frac{1}{2}\sigma^2 t^2\right) dt\]

指数を整理すると、\[=\frac{1}{2\pi}\int\exp\left(-\frac{1}{2}\sigma^2 t^2 + it(\mu-x)\right) dt\]

平方完成:\[=\frac{1}{2\pi}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\int\exp\left(-\frac{1}{2}\sigma^2 u^2\right) du\]

ガウス積分:\[\int_{-\infty}^{\infty}\exp\left(-\frac{1}{2}\sigma^2 u^2\right) du=\sqrt{\frac{2\pi}{\sigma^2}}\]

以上より、安定性(独立和に対する閉性)を満たす確率分布は正規分布に限られ、その確率密度関数は、\[f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\]で与えられる。

まとめ

正規分布は対称性と解析的な扱いやすさを持つ基本的分布であり、中心極限定理によりその普遍性が保証される。確率論および統計学の理論と応用の双方において中核的な位置を占める。

Mathematics is the language with which God has written the universe.





















数理統計学 機械学習