推定量の望ましい性質(不偏性・一致性・有効性)

推定量とは、標本に基づいて母数を推定するための統計量である。良い推定量を評価するためには、その統計的性質を理解することが重要であり、特に不偏性、一致性、有効性(効率性)が基本的な評価基準となる。

不偏性(unbiasedness)

定義

母数 $\theta$ を推定する推定量 $T$ が

\[\mathbb{E}[T] = \theta\]

を満たすとき、$T$ は不偏であるという。

解釈

不偏性は、推定量の平均値が真の母数に一致することを意味する。すなわち、長期的に見て系統的な偏りが存在しない。

標本平均は母平均の不偏推定量である:

\[\mathbb{E}[\bar{X}] = \mu\]

一方、標本分散

\[\frac{1}{n} \sum_{i=1}^{n}(X_i - \bar{X})^2\]

は不偏ではなく、代わりに

\[S^2 = \frac{1}{n-1} \sum_{i=1}^{n}(X_i - \bar{X})^2\]

が不偏推定量となる。

一致性(consistency)

定義

推定量列 $T_n$ が母数 $\theta$ に対して

\[T_n \xrightarrow{P} \theta\]

を満たすとき、$T_n$ は一致であるという。

解釈

一致性は、標本サイズ $n$ が増加するにつれて、推定量が真の母数に近づくことを意味する。

標本平均は大数の法則により一致推定量である:

\[\bar{X} \xrightarrow{P} \mu\]

有効性(効率性, efficiency)

定義

同じ母数 $\theta$ の不偏推定量の中で、分散が最小であるものを最も有効(効率的)という。

クラメール・ラオの下界

任意の不偏推定量 $T$ に対して、

\[\mathrm{Var}(T) \geq \frac{1}{I(\theta)}\]

が成立する。ここで $I(\theta)$ はフィッシャー情報量である。

この下界を達成する推定量は効率的であるという。

解釈

効率性は、推定量のばらつきの小ささを評価する概念であり、より精度の高い推定を意味する。

性質間の関係

これらの性質は互いに独立ではないが、同時に満たされることが望ましい。

補足:漸近有効性

推定量が漸近的にクラメール・ラオ下界を達成する場合、漸近有効であるという。この性質は大標本理論において重要である。

まとめ

推定量の評価には、不偏性、一致性、有効性という三つの基本概念が用いられる。不偏性は平均的な正確さ、一致性は漸近的な正確さ、有効性はばらつきの小ささを表す。これらを総合的に考慮することが、良い推定量の設計において重要である。

Mathematics is the language with which God has written the universe.





















モーメント法 最尤推定法(MLE) クラメール・ラオの下界と情報量 ベイズ推定 信頼区間の概念