マルコフ連鎖

マルコフ性 Markov property

現在の状態 $X_{n}$ が与えられたとき,過去のいかなる情報\[(X_{0},X_{1},X_{2},\cdots ,X_{n-1}) \]も,$X_{n+1}$ を予測するためには無関係であるという性質.

現在の状態を $X_{n}$ と表し,\[(X_{0},X_{1},X_{2},\cdots ,X_{n-1}) \]によって過去の情報を表した.このように,$X$ が取りうる値のことを状態空間という.

また,

$P(X_{n+1} \mid X_{n})$ のことを遷移確率[transition probability]という.

遷移確率行列 transition matrix

遷移確率を並べた行列のことを遷移確率行列という.

遷移確率行列は行列の $(i,j)$ 成分を $i$ から $j$ へと遷移する確率としたもの.

遷移確率行列は確率が満たすべき性質より,

を満たす.

ある時刻で状態 $i$ にあったものが,次の時刻には状態 $j$ に移る確率を $p_{ij}$ と表すとする.このとき,\[\begin{pmatrix} p_{11}&p_{12}\\p_{21}&p_{22}\end{pmatrix}\]という遷移確率行列においては,\[p_{11}+p_{12}=1,p_{21}+p_{22}=1 \]となる.

マルコフ連鎖 Markov chain

現在の状態 $X_{n}$ が遷移確率行列 $p(i,j)$ を有する離散時間のマルコフ連鎖であるとは,任意の状態,\[(i,j,i_{n-1},i_{n-2},\cdots ,i_{0}) \]が与えられたとき,\[P(X_{n+1}=j \mid X_{n}=i,X_{n-1}=i_{n-1},X_{n-2}=i_{n-2},\cdots ,X_{0}=i_{0})=p(i,j) \]となることをいう.

マルコフというのは,アンドレイ・アンドレエヴィチ・マルコフ[Андрей Андреевич Марков,Andrey Andreyevich Markov;1856/6/14-1922/7/20]のこと.

Mathematics is the language with which God has written the universe.





















マルコフ連鎖 イェンセンの不等式 相加・相乗平均の不等式 Ehlerの不等式 Juliaのインストール いろいろな平均