正規方程式

${\bf y}$ を従属変数,${\bf X}$ を独立変数,${\bf \beta}$ を回帰係数,${\bf u}$ を誤差項としたとき,\[{\bf y}={\bf X}{\bf \beta}+{\bf u}\]という関係が成り立っているとします.

このとき,誤差項 ${\bf u}$ の2乗和を最小化するのが最小二乗法と呼ばれる統計的手法です.

\[\begin{eqnarray}|{\bf u}|^{2}&=&({\bf y}-{\bf X\beta})'({\bf y}-{\bf X\beta})\\&=&{\bf y'y}-2{\bf \beta X'y}+{\bf \beta'(X'X)\beta}\end{eqnarray}\]となるので,\[\frac{\partial {\bf u}}{\partial {\bf \beta}}=-2{\bf X'y}+2{\bf X'X\beta}=0\]つまり,\[{\bf X'X\beta}={\bf X'y}\]となります.

この式は正規方程式と呼ばれます.

正規方程式を解くと,\[\hat{{\bf \beta}}=({\bf X'X})^{-1}{\bf X'y}\]が得られます.


Mathematics is the language with which God has written the universe.





















亜群 - 正規方程式 - 予測誤差 - 代数 - ガウス分布の導出