深度學習導論及案例分析》一2.3資訊論的基本概念

#### 本節書摘來自華章出版社《深度學習導論及案例分析》一書中的第2章，第2.3節，作者李玉鑑 張婷，更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。

一般認為，資訊論開始于1948年香農（claude elwood shannon）發表的論文《通信的數學原理》［96］。熵（entropy）是資訊論的一個基本概念。