順序統計量は、標本を大きさ順に並べたときの各順位の値を確率変数として扱うものであり、分布の形状や位置に関する情報を抽出するための重要な統計量である。
独立同分布な確率変数列 $X_1, X_2, \dots, X_n$ に対して、それらを昇順に並べ替えたものを
\[X_{(1)} \leq X_{(2)} \leq \cdots \leq X_{(n)}\]
とする。このとき、$X_{(k)}$ を第 $k$ 順序統計量という。
母集団の累積分布関数を $F(x)$、確率密度関数を $f(x)$ とすると、第 $k$ 順序統計量の確率密度関数は
\[f_{X_{(k)}}(x) = \frac{n!}{(k-1)!(n-k)!}[F(x)]^{k-1} [1 - F(x)]^{n-k} f(x)\]
で与えられる。
$X_{(k)} \leq x$ となるためには、少なくとも $k$ 個の標本が $x$ 以下である必要がある。この確率は二項分布に基づいて表現され、その微分により密度関数が得られる。
\[f_{X_{(1)}}(x) = n [1 - F(x)]^{n-1} f(x)\]
\[f_{X_{(n)}}(x) = n [F(x)]^{n-1} f(x)\]
$X_i \sim \mathrm{Uniform}(0,1)$ のとき、第 $k$ 順序統計量はベータ分布に従う：
\[X_{(k)} \sim \mathrm{Beta}(k, n-k+1)\]
一様分布の場合には、
\[\mathbb{E}[X_{(k)}] = \frac{k}{n+1}\]
が成立する。
順序統計量の同時密度関数は
\[f_{X_{(1)},\dots,X_{(n)}}(x_1,\dots,x_n)= n! \, f(x_1) f(x_2) \cdots f(x_n)\]
ただし $x_1 \leq x_2 \leq \cdots \leq x_n$ のときであり、それ以外では 0 である。
順序統計量は標本を順序付けることで得られる統計量であり、その分布は母集団分布に依存して決定される。特に一様分布との関係によりベータ分布が現れるなど、他の分布との関連も重要である。
Mathematics is the language with which God has written the universe.