####本節書摘來自華章出版社《深度學習導論及案例分析》一書中的第2章，第2.9節，作者李玉鑑 張婷，更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。
從理論上說，前面提到的機率圖模型都可以看作是對馬爾可夫鍊（markov chain，mc）的推廣和發展。是以，馬爾可夫鍊實際上是一種非常經典又相對簡單的機率圖模型，但它側重于刻畫一個在時間上離散的随機過程。其特點在于，随機變量在下一時刻的取值狀态隻依賴于目前狀态，與之前的狀态無關。
一個随機變量序列x1，…，xn稱為馬爾可夫鍊，如果它們滿足馬爾可夫性質：
在馬爾可夫鍊中，在随機變量xi之前的随機變量條件獨立于xi之後的所有随機變量，即
而且，其機率分布p（x1，…，xn）可分解為
馬爾可夫鍊可以用如圖2.13所示的貝葉斯網絡來模組化，該網絡表達的機率分布為
其中xi的唯一父節點是xi-1。
馬爾可夫鍊也可以用如圖2.14所示的馬爾可夫網絡來模組化，該網絡表達的機率分布為：
其中極大團是ci={xi，xi+1}（i=1，…，n-1），因子ψci=p（xi+1xi）（i=2，…，n-1）且ψc1=p（x1）p（x2x1）。
馬爾可夫鍊還可以用如圖2.15所示的因子圖（factor graph）來模組化，該因子圖表達的機率分布為
pm（x1，…，xn）=∏ni=1fi（nb（fi））=p（x1）∏ni=2p（xixi-1）（2.94）
其中，因子f1（nb（f1））=p（x1），且fi（nb（fi））=p（xixi-1）（i=2，…，n）。因子圖是由變量節點和因子節點這兩類不交節點構成的無向二分機率圖（undirected bipartite graph），更多的内容詳見參考文獻［109］。
馬爾可夫鍊最重要的特點是具有“無記憶性（memorylessness）”，或者稱為時間鄰域馬爾可夫性（temporal neighborhood markov property），簡稱馬爾可夫性。設Ω是狀态空間。如果用pkij（i，j∈Ω）表示一個馬爾可夫鍊在第k個時刻從第i個狀态轉變到第j個狀态的轉移機率，那麼pkij可以定義如下：
其中，pr表示機率函數。
如果對所有時刻k≥0，pkij具有相同的值pij（即轉移機率并不随着時間而改變），那麼馬爾可夫鍊稱為齊次的（homogeneous），且矩陣p=（pij）i，j∈Ω稱為齊次馬爾可夫鍊的轉移矩陣（transition matrix）。
設初始分布μ0是x0的機率分布。如果令μ0=（μ0i）i∈Ω且μ0i=pr（x0=i），那麼xk的分布μk是μk=μ0pk。當一個分布π=（πi）i∈Ω滿足π=πp時稱為穩态分布（stationary distribution）。如果馬爾可夫鍊在時刻k達到穩态分布，那麼所有後續狀态都将進入穩态分布，即n∈n，μk+n=π。一個分布π關于馬爾可夫鍊穩态的充分條件是滿足細緻平衡（detailed balance）條件，即：
可以證明，如果狀态空間是有限的，那麼一個不可約（irreducible）且非周期（aperiodic）的馬爾可夫鍊具有唯一穩态分布。不可約是指從任意狀态出發經過有限次轉移都能夠到達任意其他狀态，其形式化定義如下：
非周期是指任意狀态都不存在重複周期，也就是說不能周期性地轉移到它自己，其形式化定義如下：
其中gcd表示最大公約數。
假設α=（αi）i∈Ω和β=（βi）i∈Ω是有限狀态空間Ω上的兩個分布。如果把它們的距離定義為：
那麼對一個有限狀态空間上的不可約、非周期馬爾可夫鍊來說，從任意初始分布μ0出發反複經過其轉移矩陣p的作用都可以收斂到唯一的穩态分布π，即：