關于深度學習的一些基本概念

這僅僅是我閱讀《關于深度學習的綜述與讨論》這篇論文時所做的随筆，僅供自己梳理知識，是以寫的很亂。

機器學習，是一門通過計算模型和算法從資料中心學習規律的一門學問，當今廣義的人工智能領域最核心的技術之一。機器學習領域最亮眼的一個分支——深度學習。深度學習的基礎是人工神經網絡（artificial neural networks,ANN）。深度學習現在已經用來泛指各種基于多層網絡機構的機器學習模型。最常用于各種監督模式識别問題，比如圖像識别、自然語言識别等。深度神經網絡包含輸入層、多個隐含層以及輸出層。

模式識别——對資料的分類

機器學習——學習資料中的各種規律尤其是分類規律，而深度學習是機器學習中最新發展起來的一類方法的總稱。其深度展現在對特征的多次變換上。常用的深度學習模型為多層神經網絡，神經網絡的每一層都将輸入非線性映射，通過多層非線性映射的堆疊，可以在深層神經網絡中計算出非常抽象的特征來幫助分類。

20世紀80年代中期，反向傳播，即BP（back-propagation）算法被應用于訓練神經網絡，解決了多層感覺器無法訓練的問題，使神經網絡具有了非線性标示能力。

神經網絡也存在很多局限：

一、多層感覺器雖然具有極強的非線性表示能力，但是也是以導緻參數解空間中存在大量的局部極值，使用梯度下降法進行訓練很容易産生一個并不好的局部極小值。

二、神經網絡理論上可以有很多層，但是多層神經網絡速度很慢

2006年提出的深度置信網絡（DBN）及限制性玻爾茲曼機（RBM），很好解決這一問。在深度學習的應用中，自編碼機與限制性玻爾茲曼機常常用于參數的預訓練。

卷積神經網絡（CNN），最常用于圖像領域的監督學習問題，比如圖像識别、計算機視覺等。包含卷積層、降采樣層、全連接配接層與輸出層。

遞歸神經網絡（RNN），主要對序列型資料進行模組化，例如語音識别、語言翻譯、自然語言了解、音樂合成等序列資料。

深度學習的參數求解本質上是一個優化問題。常用的優化方法大體上可以按照收斂性分為一階優化與二階優化算法。

想要獲得較好的優化結果：1、神經網絡結構的設計2、優化算法3、初始化方法