仮説検定は、標本データに基づいて母集団に関する仮説の妥当性を評価するための統計的手法である。その基本構造は、帰無仮説と対立仮説の設定、および検定統計量と棄却域の決定から成る。
帰無仮説（null hypothesis）を
\[H_0 : \theta = \theta_0\]
のように定める。これは通常、「差がない」「効果がない」といった基準的な仮説である。
対立仮説（alternative hypothesis）は、帰無仮説に対抗する仮説であり、
\[H_1 : \theta \neq \theta_0 \quad （両側検定）\]
あるいは
\[H_1 : \theta > \theta_0 \quad （片側検定）\]
\[H_1 : \theta < \theta_0 \quad （片側検定）\]
のように定義される。
標本に基づく統計量 $T(X_1,\dots,X_n)$ を用いて、帰無仮説のもとでの分布を考える。
例えば、正規母集団においては、
\[Z = \frac{\bar{X} - \theta_0}{\sigma/\sqrt{n}}\]
や
\[T = \frac{\bar{X} - \theta_0}{S/\sqrt{n}}\]
が用いられる。
有意水準 $\alpha$ を定め、帰無仮説のもとでの分布に基づいて棄却域を決定する。
例えば、両側検定では、
\[|Z| > z_{\alpha/2}\]
となる領域を棄却域とする。
「棄却しない」は「受容する」とは異なり、単に十分な証拠がないことを意味する。
p値は、帰無仮説のもとで観測された統計量以上に極端な値が得られる確率である。
\[p = P(\text{観測値以上に極端な値} \mid H_0)\]
この値が有意水準 $\alpha$ 未満であれば、帰無仮説を棄却する。
検出力（power）は、対立仮説が真のときに帰無仮説を棄却する確率である：
\[\text{Power} = 1 - \beta\]
仮説検定は、帰無仮説と対立仮説の設定、検定統計量の構成、棄却域の決定という枠組みに基づいて行われる。有意水準により誤りの制御がなされ、p値を用いて判断が行われる。統計的推論の基本的手法として広く用いられている。
Mathematics is the language with which God has written the universe.