//2019.09.10
神經網絡入門與學習
1、神經網絡的發展主要得益于三個方面的進步：(1)2進制的創新能力的發展(2)軟硬體能力的發展;(3)人的成本效益的下降。
2、神經網絡的成熟應用目前主要展現在分類識别上，具體來說可以分類到三個方面：
(1)圖像識别：主要用于人臉識别和自動駕駛；
(2)語音識别：主要用于語音助手等；
(3)文本識别：主要用于字型識别和新聞文本推送等。
圖1
3、神經網絡的結構主要包括四個方面：
(1)網絡結構
(2)激勵函數
(3)損失函數
(4)梯度下降
4、神經網絡的網絡結構主要如下所示：輸入層，隐含層，輸出層，并且隐含層的層數是可以設定的。最為簡單的單層神經網絡結構如下圖所示：
圖2
5、對于神經網絡裡面搭建的每一個神經元，主要包括兩個先後的資料處理和轉換，第一步是線性化：将前一層的所有輸出資料利用線性化的方法轉換為一個整體的數或者結果，第二步是将其線性化的結果經過神經網絡網絡結構最重要的組成——激勵函數的處理，使其産生非線性的轉換，然後傳到下一層神經元，一層一層循環，最終輸出預測結果。
圖3
6、神經網絡裡面的激勵函數的作用是為神經網絡提供規模化的非線性能力，其主要有以下幾個函數形式：
(1)sigmoid函數(處處可導)
(2)tanh函數(處處可導)
(3)ReLU函數(綜合性能優良，普适性較高，目前最為常用的激勵函數)
7、損失函數主要是神經網絡所預測值與實際值的內插補點平均，其越小越好，整體的神經網絡的訓練目的就是使得其訓練的損失函數最小，一般為了友善利用梯度下降法求取損失函數最小值，是以一般都需要采用凸函數，友善進行梯度下降法運算。另外，神經網絡每一層之間的計算為了算法的一緻性，一般都會統一為向量化運算的形式
8、神經網絡的訓練過程主要是利用反向傳播的原理來進行的網絡梯度下降尋優，對于給定的初始值W,b,g(x)等,利用梯度下降法的原理來進行損失函數求最小值，然後在不斷地梯度下降中同時調節每一層的參數（此為一次調節），最終找到最好的模型參數。
圖
9、神經網絡的基本結構和核心元件組成，對于神經網絡的整體過程主要包括兩個方面：資料預測訓練和超參數調整，利用的方法是網絡梯度下降法。