離散型確率分布

離散型確率分布は、確率変数が高々可算個の値をとる場合に、その分布を記述する枠組みである。離散型確率変数は確率質量関数によって完全に特徴づけられ、和によって確率が計算される点に特徴がある。

定義

確率空間 $(\Omega, \mathcal{F}, P)$ 上の確率変数 $X : \Omega \to \mathbb{R}$ が離散型であるとは、その像集合

\[\mathcal{X} = \{x_1, x_2, \dots\}\]

が有限または可算無限集合であることをいう。

このとき、各値 $x \in \mathcal{X}$ に対して

\[p(x) = P(X = x)\]

と定義される関数 $p : \mathcal{X} \to [0,1]$ を確率質量関数(probability mass function, pmf)という。

確率質量関数の性質

確率質量関数は次の条件を満たす。

  • $p(x) \geq 0$
  • $\sum_{x \in \mathcal{X}} p(x) = 1$

また、任意の部分集合 $A \subseteq \mathcal{X}$ に対して、

\[P(X \in A) = \sum_{x \in A} p(x)\]

が成立する。

分布関数

離散型確率変数の累積分布関数は

\[F_X(x) = P(X \leq x) = \sum_{t \leq x} p(t)\]

によって与えられる。この関数は階段関数となり、不連続点におけるジャンプの大きさが $p(x)$ に一致する。

期待値と分散

離散型確率変数の期待値は

\[\mathbb{E}[X] = \sum_{x \in \mathcal{X}} x\,p(x)\]

によって定義される。

分散は

\[\mathrm{Var}(X) = \sum_{x \in \mathcal{X}} (x - \mu)^2 p(x), \quad \mu = \mathbb{E}[X]\]

で与えられる。

代表的な離散分布

ベルヌーイ分布

確率 $p \in [0,1]$ に対して、

\[P(X=1)=p,\quad P(X=0)=1-p\]

で定義される分布であり、成功・失敗の二値試行を表す。

二項分布

独立なベルヌーイ試行を $n$ 回行ったときの成功回数を表す。

\[P(X=k)=\binom{n}{k} p^k (1-p)^{n-k}, \quad k=0,1,\dots,n\]

ポアソン分布

一定時間内に発生する事象の回数をモデル化する。

\[P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!}, \quad k=0,1,2,\dots\]

幾何分布

最初の成功までの試行回数を表す。

\[P(X=k)=(1-p)^{k-1}p, \quad k=1,2,\dots\]

モーメント母関数

離散型確率変数に対して、モーメント母関数(Moment Generating Function, MGF)は

\[M_X(t)=\mathbb{E}[e^{tX}]=\sum_{x} e^{tx} p(x)\]

として定義される。

モーメント母関数は、一言で言うと「確率分布のすべての特徴(平均や分散など)を、一つの関数の中にギュッと詰め込んだもの」。この関数を微分して特定の値を代入するだけで、複雑な積分計算をせずに平均や分散を導き出すことができる。モーメント母関数の形が同じなら、それは同じ確率分布であることを意味する。これを利用して、複数の確率変数を足し合わせたときにどんな分布になるかを簡単に特定できる。

指数の期待値という形で、すべてのモーメントを無限級数の係数として生成(Generate)する関数がモーメント母関数である。

モーメント母関数はオールラウンダーであり、身長や体重のような「連続的な値」にも、サイコロのような「飛び飛びの値」にも使える。

確率生成関数

非負整数値をとる確率変数に対しては、確率生成関数(Probability Generating Function, PGF)

\[G_X(s)=\mathbb{E}[s^X]=\sum_{k=0}^{\infty} s^k P(X=k)\]

が定義される。

この関数を $n$ 回微分して $s=0$ を代入し、$n!$ で割ることで、特定の値をとる確率 $P(X=n)$ が求まる。つまり、関数の中に確率分布そのものが封じ込められている。

モーメント母関数は微分によって「平均や分散(統計量)」を取り出すための全分布共通ツールであるのに対し、確率生成関数は微分によって「その値をとる確率」を直接取り出すための離散型分布専用ツールであるということができる。

まとめ

離散型確率分布は、可算集合上で定義される確率質量関数によって特徴づけられ、和による確率計算が可能である。期待値や分散、生成関数といった解析的道具により、その性質を体系的に理解することができる。これは統計モデリングや確率過程の基礎を構成する重要な概念である。

Mathematics is the language with which God has written the universe.





















数理統計学 機械学習