馬可夫鏈的簡介 (第 3 頁)

　1│2│3│4│5　

馬可夫鏈的簡介（第 3 頁）

姜祖恕

首頁 | 搜尋

．原載於數學傳播第九卷第三期
．作者當時任職於中研院數學所
‧對外搜尋關鍵字

三、一些簡單的性質

在以上的討論中我們不難發現馬可夫鏈和 p(x,y) 有很大的關係。我們不妨稱 p(x,y) 為轉換機率（由 x 轉換成 y），事實上一個馬可夫鏈完全由 p(x,y) 和起始分佈決定。起始分布就是上面所有例子中的 X₀ 的分佈。為什麼起始分布如此重要呢？我們想想看 p(x,y) 只是一種條件機率，一假設已知第n步是x則第n+1是y的機率。但如何確定第 n 步是不是 x？這又牽涉到第 n-1 步是什麼狀態的問題。如此反推回去則我們必須知道這個馬可夫鏈最開始是什麼了！所以這就是為什麼起始分布重要的原因！反過來說，一旦起始分布知道了，再加上轉換機率也固定了，那麼這個馬可夫鏈也就完全決定。

在一個狀態空間 S 含有 n 個元素的馬可夫鏈來說，起始分布只是隨便一個機率分布，我們經常用 T₀ 表示。轉換機率 p(x,y) 又稱為轉換矩陣，因為 p(x,y) 可以用一個 n x n 的矩陣表示。這個矩陣又滿足什麼條件呢？第一： $p(x,y) \geq 0$ ，第二， $y \in S$ ，對每一個 $x \in S$ 來說 $\sum p(x,y)=1$ ，也就是說此矩陣中每個元素皆是正數(可以是 0 )同時每一列加起來是 1。在以後討論中我們只看起始分佈及轉換矩陣，至於原來的馬可夫鏈從何而來我們就不去管了！有時候 p(x,y) 也稱為一步轉換，因為他是表示第n步與第n+1步的關係。現在我們可以定義何謂n步轉換。假設在狀態 x_j 時經過 n 次轉換才轉換至x_k，也就是說

$\begin{displaymath}x_{j} \rightarrow x_{j,1} \rightarrow x_{j,2} \rightarrow x_{... ...arrow \cdots \cdots \\ \rightarrow x_{j,n-1} \rightarrow x_{k}\end{displaymath}$

如果這種轉換是經由以上的過程，則其機率很顯然是 $p(j,j_1) p(j_1,j_2) \cdots p(j_{n-1},k)$ 。若我們把所有的可能過程加起來則得到第 r 步在 x_j 但第 r+n 步在 x_k 的機率，我們用 P⁽ⁿ⁾_j,k 表示。因此，當 n=1 時，我們得到 p⁽¹⁾ (j,k)=p(j,k)，當 n=2 時， $p^{(2)}_{j,k}=\sum_{\nu \in S}p_{j \nu}p_{\nu k}$ ，若用歸納法，可得以下之公式

$\begin{displaymath} P^{(n+1)}_{j,k}=\sum_{\nu \in S}p^{n}_{j,\nu}p_{\nu,k} \quad... ...d P^{(m+n)}_{j,k}=\sum_{\nu \in S}p^{m}_{j,\nu}p^{(n)}_{\nu,k} \end{displaymath}$

和 n 步轉換有關的一個觀念是抵達時間。我們簡單敘述如下：

設 $A \leq S$ 為狀態空間的一個子集合。設 X₀,X₁ … 為一馬可夫鏈，則抵達 A 的時間定義為：

$\begin{displaymath} T_A=\min\{n>0,X_n \in A\} \end{displaymath}$

也就是說 T_A 是這個馬可夫鏈第一次抵達 A 的時間。請注意此地 T_A 的定義中，n 是大於零的數，也就是說 T_A > 0。即使一開始在 A 中 $(X_0 \in A)$ 但 T_A 還是大於 0。我們證明下面這個簡單的定理。

定理1：

$P^{(n)}(x,y)=\sum^{n}_{m=1}P_{x}(T_{y}=m)P^{(m-n)}(y,y)$ 。（此處 P_x 是表示馬可夫鏈是從 x 開始，也就是說 $X_0 \equiv x$ ）。

證明：

$\begin{eqnarray*} & &P^{(n)}(x,y)\\ &=&P_x(X_n=y)\\ &=&\sum^{n}_{m=1}P_x(T_y=m... ...-1} \neq y, X_m=y) \\ &=&\sum^{n}_{m=1}P_x(T_y=m)P^{(n-m)}(y,y) \end{eqnarray*}$

此證明最後一個式子是由馬可夫鏈的定義所得出的。

這個定理的意思是可以這樣解釋的：等式右邊中 P_x(T_y=m)P^n-m(y,y) 是從 x 開始，第一次抵達y的時間是m，接著在n-m步中由y再回到y的機率。顯然的是如果我們把這些機率對不同的m加起來，會得到在n步中由x到y的機率。

　1│2│3│4│5　


	（若有指正、疑問……，可以在此留言或寫信給我們。）

EpisteMath (c) 2000 中央研究院數學所、台大數學系
各網頁文章內容之著作權為原著作人所有

編輯：吳俊融 ∕ 校對：黃怡碧 ∕ 繪圖：黃照洋

最後修改日期：5/31/2002