フィッシャー情報行列

$\theta$ を母数とし,$X$ を確率密度関数 $f(x| \theta)$ によって表される確率関数とします.

このとき,$\theta$ の尤度関数 $L(\theta | x)$ は,\[L(\theta | x)=f(x | \theta)\]と定義されます.

そして,対数尤度関数を微分したもの[スコア関数]を考えると,\[V(x;\theta)=\frac{\partial }{\partial \theta} \ln L(\theta | x) \]となります.

このとき,フィッシャー情報量 $\mathcal{I}_{X}(\theta)$ はスコア関数の2次のモーメントとして定義されます.

フィッシャー情報量[Fisher information]

フィッシャー情報量とは,確率変数 $X$ が母数 $\theta$ に関して持つ情報量を表すもので,\[ \begin{eqnarray} \mathcal{I}_{X}(\theta) &=& E[V(x;\theta)^{2}|\theta]\\ &=& E[(\frac{\partial}{\partial \theta}\ln L(\theta|x))^{2}|\theta] \end{eqnarray}\]と定義されます.

Vita brevis, ars longa. Omnia vincit Amor.





















C*環 機械学習 2010年代 代数的確率空間 チェビシェフの不等式 マルコフの不等式