《深度學習導論及案例分析》一第2章預 備 知 識2.1矩陣運算

#### 本節書摘來自華章出版社《深度學習導論及案例分析》一書中的第2章，第2.1節，作者李玉鑑 張婷，更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。

深度學習的理論和模型涉及較多的預備知識，包括矩陣運算、機率論、資訊論、圖模型、馬爾可夫鍊蒙特卡羅方法，等等。本章主要對這些預備知識進行梳理和介紹，特别是機率有向圖模型（或稱貝葉斯網絡）、機率無向圖模型（或稱馬爾可夫網絡）和部分有向無圈圖模型（或稱鍊圖模型）的有關知識，對了解受限玻耳茲曼機、深層信念網絡和深層玻耳茲曼機的模型結構非常重要。而且，本章将專門讨論玻耳茲曼機模型，其學習算法涉及馬爾可夫鍊、吉布斯采樣和變分方法，有助于掌握受限玻耳茲曼機、深層信念網絡和深層玻耳茲曼機的核心内容。此外，本章還将針對前饋神經網絡建立一個通用反向傳播算法，有助于推導和了解其他各種深層網絡的具體反向傳播算法。最後，簡要介紹人工神經網絡的通用逼近定理。

雖然本書假定讀者已經掌握了基本的線性代數和高等數學知識，但為了友善了解，本節首先總結一些常用的矩陣運算及偏導公式。