正規方程式

${\bf y}$ を従属変数，${\bf X}$ を独立変数，${\bf \beta}$ を回帰係数，${\bf u}$ を誤差項としたとき，\[{\bf y}={\bf X}{\bf \beta}+{\bf u}\]という関係が成り立っているとします．

このとき，誤差項 ${\bf u}$ の2乗和を最小化するのが最小二乗法と呼ばれる統計的手法です．

\[\begin{eqnarray}|{\bf u}|^{2}&=&({\bf y}-{\bf X\beta})'({\bf y}-{\bf X\beta})\\&=&{\bf y'y}-2{\bf \beta X'y}+{\bf \beta'(X'X)\beta}\end{eqnarray}\]となるので，\[\frac{\partial {\bf u}}{\partial {\bf \beta}}=-2{\bf X'y}+2{\bf X'X\beta}=0\]つまり，\[{\bf X'X\beta}={\bf X'y}\]となります．

この式は正規方程式と呼ばれます．

正規方程式を解くと，\[\hat{{\bf \beta}}=({\bf X'X})^{-1}{\bf X'y}\]が得られます．

Mathematics is the language with which God has written the universe.