正規方程式

${\bf y}$ を従属変数,${\bf X}$ を独立変数,${\bf \beta}$ を回帰係数,${\bf u}$ を誤差項としたとき,\[{\bf y}={\bf X}{\bf \beta}+{\bf u}\]という関係が成り立っているとします.

このとき,誤差項 ${\bf u}$ の2乗和を最小化するのが最小二乗法と呼ばれる統計的手法です.

\[\begin{eqnarray}|{\bf u}|^{2}&=&({\bf y}-{\bf X\beta})'({\bf y}-{\bf X\beta})\\&=&{\bf y'y}-2{\bf \beta X'y}+{\bf \beta'(X'X)\beta}\end{eqnarray}\]となるので,\[\frac{\partial {\bf u}}{\partial {\bf \beta}}=-2{\bf X'y}+2{\bf X'X\beta}=0\]つまり,\[{\bf X'X\beta}={\bf X'y}\]となります.

この式は正規方程式と呼ばれます.

正規方程式を解くと,\[\hat{{\bf \beta}}=({\bf X'X})^{-1}{\bf X'y}\]が得られます.

Vita brevis, ars longa. Omnia vincit Amor.





















確率測度の拡張 予測誤差 代数 ガウス分布の導出 ガウスの積分公式 周期2Lのフーリエ級数