遷移行列と Markov 連鎖

行列 $P=(P(x,y))_{x,y\in S}$ が遷移行列（確率行列）であるとは、$P(x,y)\ge0$ かつ各行の和が $\sum_yP(x,y)=1$ であることをいう。$S$ 値の確率変数列 $(X_n)_{n\ge0}$ が初期分布 $\mu$、遷移行列 $P$ の Markov 連鎖であるとは、$P(X_0=x)=\mu(x)$ で、すべての $n$ と $x_0,\dots,x_n,y\in S$（左辺の条件の確率が正のもの）について

が成り立つことをいう。