聯合熵和條件熵
聯合熵
聯合集 X Y 上, 對聯合自資訊 的平均值稱為聯合熵:
當有 n 個随機變量 , 有
資訊熵與熱熵的關系
資訊熵的概念是借助于熱熵的概念而産生的。
1.資訊熵與熱熵含義相似
2.資訊熵與熱熵的差別:
1)資訊熵的不增原理;2)熱熵不減原理。
3．熱熵的減少等于資訊熵的增加。
條件熵
聯合集 上, 條件自資訊的平均值定義為條件 熵：
推廣：
注意：
注意： 表示已知變量 後, 對變量 尚存在的平均不确定性（存在疑義）。
定義：一個平穩的時域離散随機過程的熵速率 (entropy rate) 定義為
具有記憶性的信源的熵速率定義為
Example 6. 兩個二進制随機變量 和 , 其聯合分布為 p(X=Y=0)=p(X= 0, Y=1)=p(X=Y=1)=1 / 3 . 計算 H(X), H(Y),, , and H(X, Y) .
Solution:
各類熵的關系
- 條件熵不大于資訊熵
熵的不增原理:
-
聯合熵不大于個資訊熵的和，即
僅當各 互相獨立時, 等号成立。
四、離散無記憶信源的序列熵
馬爾可夫信源的特點：無後效性。
發出單個符号的信源
- 指信源每次隻發出一個符号代表一個消息;
發出符号序列的信源
- 指信源每次發出一組含二個以上符号的符号序列代表一個消息。
- 當信源無記憶時
信源的序列熵
- 若又滿足平穩特性, 即與序号 l 無關時:
- 信源的序列熵
- 平均每個符号(消息)熵(符号熵) 為
例: 有一個無記憶信源随機變量 , 等機率分布,若以 單個符号出現為一事件, 則此時的信源熵:
即用 1 比特就可表示該事件。
即用2比特才能表示該事件。
- 如果以兩個符号出現 ( 的序列)為一事件, 則随機序 列 , 信源的序列熵
- 信源的符号熵
離散有記憶信源的序列熵
- 對于有記憶信源,就不像無記憶信源那樣簡單, 它必須 引入條件熵的概念, 而且隻能在某些特殊情況下才能 得到一些有價值的結論。
- 對于由兩個符号組成的聯合信源, 有下列結論:
- 目前後符号無依存關系時,有下列推論:
- 若信源輸出一個L長序列,則信源的序列熵為
- 平均每個符号的熵為：
- 若當信源退化為無記憶時:若進一步又滿足平穩性時
平穩有記憶N次擴充源的熵
設 為離散平穩有記憶信源, 的 次擴充源記為 ,
根據熵的可加性,得
根據平穩性和熵的不增原理,得,
僅當無記憶信源時等式成立。
對于 的 次擴充源, 定義平均符号熵為:
信源 的極限符号熵定義為：
極限符号熵簡稱符号熵, 也稱熵率。