Theorem：
$X_1, X_2, \dots, X_n$ が母平均 $\mu$, 母分散 $\sigma^2$ の正規分布\[X_i \sim \mathcal{N}(\mu, \sigma^2), \quad i=1,2,\dots,n\]からの独立標本であるとする.このとき, 標本分散\[S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2\]は次の性質を満たす.\[\frac{(n-1)S^2}{\sigma^2} \sim \chi^2_{\,n-1}.\]
この定理は正規母集団を仮定した場合に限り成立する.幾何的には,標準化したベクトル\[Z = \frac{X - \mu}{\sigma}\]を平均ゼロの超平面[次元 $n-1$]に射影した二乗ノルムが自由度 $n-1$ のカイ二乗分布に従うことに対応する.
この結果は t分布の導出や信頼区間の構成において基本的な役割を果たす.
母分散 $\sigma^2$ の正規母集団からの独立標本を標準化する.\[Z_i = \frac{X_i - \mu}{\sigma} \sim \mathcal{N}(0,1), \quad i=1,\dots,n.\]標本平均も標準化され,\[\overline Z = \frac{1}{n} \sum_{i=1}^n Z_i = \frac{\overline X - \mu}{\sigma}.\]となる.\[\sum_{i=1}^{n} (Z_i - \overline Z)^2 = \sum_{i=1}^{n} \big(Z_i^2 - 2 Z_i \overline Z + \overline Z^2\big)= \sum_{i=1}^{n} Z_i^2 - 2 \overline Z \sum_{i=1}^{n} Z_i + \sum_{i=1}^{n} \overline Z^2.\]ここで,\[\sum_{i=1}^{n} Z_i = n \overline Z, \quad \sum_{i=1}^{n} \overline Z^2 = n \overline Z^2\]なので,\[\sum_{i=1}^{n} (Z_i - \overline Z)^2 = \sum_{i=1}^{n} Z_i^2 - 2 n \overline Z^2 + n \overline Z^2= \sum_{i=1}^{n} Z_i^2 - n \overline Z^2.\]従って,標本分散の分子は,\[\sum_{i=1}^{n} (X_i - \overline X)^2 = \sigma^2 \sum_{i=1}^{n} (Z_i - \overline Z)^2 = \sigma^2 \left(\sum_{i=1}^{n} Z_i^2 - n \overline Z^2 \right)\]と表せる.
ベクトル\[Z = (Z_1, \dots, Z_n)^\top \in \mathbb{R}^n\]を考えると,標本分散の二乗和は\[\|Z - \overline Z \mathbf 1\|^2 = \sum_{i=1}^{n} (Z_i - \overline Z)^2\]に対応する.ここで $\mathbf 1 = (1,\dots,1)^\top$.
ここで,\[S^2 := \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline X)^2\]と定義すると,上の結果から,\[\frac{(n-1)S^2}{\sigma^2} = \sum_{i=1}^{n} (Z_i - \overline Z)^2 \sim \chi^2_{n-1}.\]この結果は正規母集団であることが必要である.非正規母集団では標本分散はカイ二乗分布に従わない.
また,自由度 $n-1$ は,平均 $\overline X$ を推定することで失われる1次元の自由度を反映している.
Mathematics is the language with which God has written the universe.