モーメント法(method of moments)は、母集団の理論モーメントと標本モーメントを一致させることにより母数を推定する方法である。古典的かつ直観的な推定法であり、多くの分布に対して簡便に適用できる。
確率変数 $X$ の $k$ 次モーメントは
\[\mu_k' = \mathbb{E}[X^k]\]
で定義される。
標本 $X_1, \dots, X_n$ に対して、
\[m_k = \frac{1}{n} \sum_{i=1}^{n} X_i^k\]
を標本モーメントという。
母数を $\theta = (\theta_1, \dots, \theta_p)$ とし、母モーメントが
\[\mu_k' = \mu_k'(\theta)\]
で表されるとする。このとき、最初の $p$ 個のモーメントについて
\[m_k = \mu_k'(\theta), \quad k = 1, \dots, p\]
を満たすように方程式を立て、それを解くことで推定量を得る。
$X \sim \mathcal{N}(\mu, \sigma^2)$ とする。
母モーメントは
\[\mu_1' = \mu, \quad \mu_2' = \mu^2 + \sigma^2\]
である。
これを標本モーメントと一致させると、
\[m_1 = \mu, \quad m_2 = \mu^2 + \sigma^2\]
より、
\[\hat{\mu} = \bar{X}, \quad \hat{\sigma}^2 = m_2 - m_1^2\]
が得られる。
$X \sim \mathrm{Exp}(\lambda)$ とすると、
\[\mathbb{E}[X] = \frac{1}{\lambda}\]
であるため、
\[\bar{X} = \frac{1}{\lambda}\]
より、
\[\hat{\lambda} = \frac{1}{\bar{X}}\]
が得られる。
モーメント法は簡便である一方、最尤推定法(MLE)はより一般的に効率的な推定量を与えることが多い。ただし、最尤推定が困難な場合にはモーメント法が有用である。
モーメント法は一般化され、モーメント条件
\[\mathbb{E}[g(X,\theta)] = 0\]
を用いる一般化モーメント法(GMM)へと発展する。これは計量経済学などで広く用いられる。
モーメント法は、理論モーメントと標本モーメントを一致させることで母数を推定する基本的手法である。計算が容易で直観的であるが、効率性の観点では他の手法に劣る場合もある。
Mathematics is the language with which God has written the universe.