一 随机过程Stochastic process
随机过程：存在一个过程 { X n , n > 0 } \left \{ X_{n},n> 0 \right \} {Xn,n>0}，对于任意时刻 n n n而言， X n X_{n} Xn是一个随机变量，则称该过程为一个随机过程。
简而言之，就是一个时刻，一个随机变量。
二 离散时间马尔科夫建模
马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），简称为DTMC。
随机过程，状态空间是离散的，时间是离散的（一次一次；一分钟一分钟；一天又一天等）。
在DTMC中，本次状态仅仅由前一状态所影响，与之前的状态无关（也就是说，先前的活动通过作用于前一状态而影响本次状态）。这一性质叫做马尔可夫性。
需要界定几个概念：
1.状态空间：随机过程中随机变量能够取到的值，所组成的样本空间。
2.转移概率：在不同时刻，从某一状态转移到另一状态的概率值。与时刻有关。
p i j ( n ) p_{ij}\left ( n \right ) pij(n)：在时刻n，从状态 i i i转移到状态 j j j的概率。
那么把所有时刻的写出来，就会有一个状态转移矩阵。
注：若DTMC不依赖于时间，即状态转移概率与时刻t无关，那么称为齐次homogenuous 的DTMC。即有：
且有：概率转移矩阵，从本状态转移到下一状态的所有可能性为1。
注意：写状态转移概率时，两端要特别当心，中间的基本一样，只和下标有关，两端要当心。
3.稳态时：每种状态的概率变成了一个稳定的值，也就是收敛了，与时刻无关。只与转移概率矩阵 P P P有关，与初始概率 π ( 0 ) \pi(0) π(0)的分布无关。>>>也是说，只要定义了转移概率，模型就已经确定下来了，与初始状态是什么样的并没有关系。
通常用 π \pi π来表示，即只跟本状态 j j j有关，与前一状态 i i i无关了。
具体例子可看: 马尔科夫链定理.
后续有空再继续整理：