デザイン行列

デザイン行列 $X$ は具体的には次のような形をしている.\[X =\begin{pmatrix}1 & x_{11} & x_{12} & \cdots & x_{1p} \\1 & x_{21} & x_{22} & \cdots & x_{2p} \\\vdots & \vdots & \vdots & & \vdots \\1 & x_{n1} & x_{n2} & \cdots & x_{np}\end{pmatrix}\]

ここで,

• 行は観測 $i = 1, \dots, n$
• 列は説明変数 $j = 0, \dots, p$
• 先頭列は切片のためすべて $1$

最小二乗法による推定量は次のように書ける.\[\hat{\boldsymbol{\beta}} = (X^\top X)^{-1} X^\top \mathbf{y}\]

さらに重要なのは, デザイン行列は単なるデータの並びではなく,「どのようなモデルを仮定するか」を決定する構造である点である.

例えば,

• 線形モデル：$[1, x]$
• 多項式回帰：$[1, x, x^2, x^3]$
• 相互作用項：$x_1 x_2$
• 三角関数展開：$\sin x, \cos x$

などはすべて列の設計として実装される.

したがってデザイン行列とは,

• 観測データの行列表現であり
• 同時に仮定する関数空間を規定し,
• 推定計算 $\hat{\boldsymbol{\beta}}$ の基盤となる構造

である.

Mathematics is the language with which God has written the universe.