一 随機過程Stochastic process
随機過程：存在一個過程 { X n , n > 0 } \left \{ X_{n},n> 0 \right \} {Xn,n>0}，對于任意時刻 n n n而言， X n X_{n} Xn是一個随機變量，則稱該過程為一個随機過程。
簡而言之，就是一個時刻，一個随機變量。
二 離散時間馬爾科夫模組化
馬爾可夫鍊（Markov chain），又稱離散時間馬爾可夫鍊（discrete-time Markov chain），簡稱為DTMC。
随機過程，狀态空間是離散的，時間是離散的（一次一次；一分鐘一分鐘；一天又一天等）。
在DTMC中，本次狀态僅僅由前一狀态所影響，與之前的狀态無關（也就是說，先前的活動通過作用于前一狀态而影響本次狀态）。這一性質叫做馬爾可夫性。
需要界定幾個概念：
1.狀态空間：随機過程中随機變量能夠取到的值，所組成的樣本空間。
2.轉移機率：在不同時刻，從某一狀态轉移到另一狀态的機率值。與時刻有關。
p i j ( n ) p_{ij}\left ( n \right ) pij(n)：在時刻n，從狀态 i i i轉移到狀态 j j j的機率。
那麼把所有時刻的寫出來，就會有一個狀态轉移矩陣。
注：若DTMC不依賴于時間，即狀态轉移機率與時刻t無關，那麼稱為齊次homogenuous 的DTMC。即有：
且有：機率轉移矩陣，從本狀态轉移到下一狀态的所有可能性為1。
注意：寫狀态轉移機率時，兩端要特别當心，中間的基本一樣，隻和下标有關，兩端要當心。
3.穩态時：每種狀态的機率變成了一個穩定的值，也就是收斂了，與時刻無關。隻與轉移機率矩陣 P P P有關，與初始機率 π ( 0 ) \pi(0) π(0)的分布無關。>>>也是說，隻要定義了轉移機率，模型就已經确定下來了，與初始狀态是什麼樣的并沒有關系。
通常用 π \pi π來表示，即隻跟本狀态 j j j有關，與前一狀态 i i i無關了。
具體例子可看: 馬爾科夫鍊定理.
後續有空再繼續整理：