資訊論知識基礎

第0章：機率論基礎

第一章：引論

通信系統模型

通信系統的基本任務要求

• 可靠：要使信源發出的消息經過傳輸後，盡可能準确的、不失真或限定失真地再現在接收端。
• 有效：用盡可能短的時間和盡可能少的裝置來傳輸最大的消息。

資訊、消息和信号

• 資訊：一個抽象的概念，可以定量的描述。資訊、物質和能量是構成一切系統的三大要素。
• 消息：是資訊的載體，相對具體的概念，如語言、文字、數字、圖像。
• 信号：表示資訊的實體量，電信号的幅度、頻率、相位等。

信源的分類

• 連續信源：是指發出在時間和幅度上都是連續分布的連續消息的信源，如圖像、圖形等都是連續消息。
• 離散信源：是指發出在時間和幅度上都是離散分布的離散消息的信源，如文字、數字、資料等符号都是離散消息。

資訊論的基本任務

• 設計有效且可靠的通信系統。

資訊論的局限性

香農資訊論适用于能夠進行定量描述的資訊，對難于進行定量描述的資訊是無能為力的。

第二章：熵及其性質

自資訊 I(xi)

1. 自資訊應當滿足的性質

• 非負性
• 機率越大的事，其自資訊越小。
• 機率為1，自資訊為0，機率為0，自資訊為無窮大。
• 兩個獨立事件的聯合資訊量等于它們分别的資訊量之和。

1. 自資訊的公式及意義。

離散信源的資訊熵H(X)

自資訊的數學期望為信源的平均資訊量。