Theorem：Probability Integral Transform
確率変数 $X$ の累積分布関数を $F_X$ とする.$F_X$ が連続かつ単調増加であると仮定すると,\[U := F_X(X)\]と定義したとき, $U$ は区間 $[0,1]$ 上の一様分布に従う.\[\forall\, u\in[0,1],\qquad P(U\le u)=u.\]
仮定より, $F_X$ は単調増加で逆写像 $F_X^{-1}$ が存在する.任意の $u\in[0,1]$ について,$U$ の分布関数を直接計算する.
まず, $F_X$ が単調増加であるため,任意の実数 $x$ に対して,\[ x \le F_X^{-1}(u) \quad\Longrightarrow\quad F_X(x) \le F_X\bigl(F_X^{-1}(u)\bigr)=u. \]
従って,集合含意として,\[ \{x:\; x\le F_X^{-1}(u)\} \subseteq \{x:\; F_X(x)\le u\} \, .\]
従って,確率として,\[ P\bigl(X\le F_X^{-1}(u)\bigr) \le P\bigl(F_X(X)\le u\bigr). \]逆向きの包含も成り立つ.もし, $F_X(x)\le u$ ならば, $x$ は $F_X^{-1}(u)$ より大きくなり得ない.より正確には，$F_X^{-1}(u)$ は "$F_X(t)\ge u$ となる最小の $t$"[厳密逆関数を仮定している場合は等価点]であるから,\[ F_X(x)\le u \quad\Longrightarrow\quad x\le F_X^{-1}(u). \]
よって集合として等号が成り立ち.確率についても,\[ P\bigl(F_X(X)\le u\bigr) = P\bigl(X\le F_X^{-1}(u)\bigr). \]
最後に右辺は累積分布関数の定義により,\[ P\bigl(X\le F_X^{-1}(u)\bigr) = F_X\bigl(F_X^{-1}(u)\bigr) = u, \]となる.よって,$U\sim\mathrm{Uniform}(0,1)$ である.
さらに, $X$ が確率密度関数 $f_X$ を持つ[すなわち, $F_X$ は $C^1$ で $f_X=F_X'$）と仮定する.このとき, $U=F_X(X)$ の確率密度 $f_U$ を求める.まず, $F_X$ は厳密に単調増加で逆関数 $F_X^{-1}$ があり,$x=F_X^{-1}(u)$ と置けば,\[ u=F_X(x). \]
両辺を $x$ で微分すると,\[ \frac{\mathrm{d}u}{\mathrm{d}x}=F_X'(x)=f_X(x). \]
従って,逆関数の微分則により,\[\frac{\mathrm{d}x}{\mathrm{d}u}=\frac{1}{f_X(x)}.\]
変数変換の公式を用いると,$U$ の密度は,\[\begin{align*}f_U(u)&= f_X\bigl(F_X^{-1}(u)\bigr)\cdot\left|\frac{\mathrm{d}}{\mathrm{d}u}F_X^{-1}(u)\right| \\&= f_X(x)\cdot\frac{1}{f_X(x)} \\&=1,\end{align*}\]
任意の $u\in(0,1)$ について成り立つ.端点での扱いに注意すれば，$U$ の分布は一様である.
確率積分変換定理の直感を理解するために, 次のように考える.連続確率変数 $X$ の累積分布関数を $F_X$ とする.$F_X$ はある点 $x$ に対して, 下から $x$ までの確率 を返す.つまり,\[F_X(x) = P(X \le x)\]である.
ここで, $U = F_X(X)$ と定義すると, $U$ は常に $0$ から $1$ の間の値をとる.直感的には, "Xの値が下からどの程度の位置にあるか" を表す指標と考えられる.例えば,
重要な点は, $X$ の元の分布の形がどんなに偏っていても, $U$ は常に $[0,1]$ 上で均等に分布すること.これが一様分布になるという意味である.言い換えると, 確率積分変換によって, 個々の値の分布の形に関係なく, その順位[パーセンタイル]だけに変換すると一様になる.
この直感をグラフで表すと,
結論として, 確率積分変換は値の大小の順序[順位]だけを取り出して一様化する変換と理解できる.
Mathematics is the language with which God has written the universe.