Definition：joint probability distribution
同時確率分布は,複数の確率変数が同時に特定の値をとる確率を記述する分布である.たとえば、2つの確率変数 $X$ と $Y$ が存在するとき,その同時確率分布は,任意の $x, y$ に対して、$P(X = x, Y = y)$ で表される確率の関数である.連続型の場合は確率密度関数 $f_{X,Y}(x,y)$ で表され,離散型の場合は確率質量関数 $p_{X,Y}(x,y)$ となる.
同時確率分布は以下の性質を満たす.
具体例として,離散型の同時確率分布を考える.2つの確率変数 $X, Y$ はそれぞれ0または1の値をとるとする.このとき,同時確率分布が以下のように定まっているとする.\[\begin{array}{c|c|c}X & Y & P(X,Y) \\\hline 0 & 0 & 0.1 \\0 & 1 & 0.3 \\1 & 0 & 0.2 \\1 & 1 & 0.4 \\\end{array}\]この表は、$X=0$ かつ $Y=0$ のときの確率が0.1であることを示し,その他の組み合わせも同様である.全ての確率を足すと,\[0.1 + 0.3 + 0.2 + 0.4 = 1\]となり,同時確率分布の性質を満たしている.
この同時確率分布を使うことにより,$X$ または $Y$ のいずれかの値に関する確率を求めることができる.例えば,$X=1$ となる確率は,$Y$ の値にかかわらず $X=1$ である場合の確率の和を計算する.\[P(X=1) = P(X=1, Y=0) + P(X=1, Y=1) = 0.2 + 0.4 = 0.6\]同様に,$Y=0$ となる確率は,\[P(Y=0) = P(X=0, Y=0) + P(X=1, Y=0) = 0.1 + 0.2 = 0.3\]である.
また,同時確率分布から,条件付き確率や独立性の検証も可能である,例えば,$X$ と $Y$ が独立であるとは,任意の $x, y$ に対して,\[P(X=x, Y=y) = P(X=x) P(Y=y)\]が成立することである.この例の場合,\[P(X=0) = 0.1 + 0.3 = 0.4, \quad P(Y=1) = 0.3 + 0.4 = 0.7\]であるが,例えば,\[P(X=0, Y=1) = 0.3 \neq 0.4 \times 0.7 = 0.28\]であるため、$X$ と $Y$ は独立ではない.
Mathematics is the language with which God has written the universe.