深度學習（二）~常用神經網絡結構

• 常用神經網絡結構
• • 1. 前饋網絡
  • • (1) 全連接配接神經網絡(FNN)
    • (2)卷積神經網絡(CNN)
  • 2. 記憶網絡
  • • (1) 循環神經網絡(RNN)
    • (2) LSTM
    • (3) GRU
  • 3. 圖網絡

常用神經網絡結構

1. 前饋網絡

特點： 每一層神經元接收前一層神經元的輸出，相當于有向無環圖

實作方式：前饋網絡包括全連接配接前饋網絡和卷積神經網絡

(1) 全連接配接神經網絡(FNN)

**特點：**每一層是全連接配接層—即每一層的每個神經元與上一層所有神經元都有連接配接；

作用：

**a. ** 多個全連接配接層可以從不同角度提取特征；

**b. ** 全連接配接層作為輸出層有分類和數值預測的功能；也經常用于卷積神經網絡。

**缺點：**權重多，計算量大。

**應用：**所有的神經網絡均可以利用

(2)卷積神經網絡(CNN)

【卷積神經網絡的層級結構】

資料輸入層

卷積層： 每個神經元看做一個濾波器(filter)，每個濾波器隻關注一個特征，比如垂直邊緣，水準邊緣，顔色，紋理等等，這些所有神經元加起來就好比就是整張圖像的特征提取器集合　　

ReLU激勵層： 非線性映射

池化層： 池化層夾在連續的卷積層中間， 用于壓縮資料和參數的量如壓縮圖像，減小過拟合

全連接配接層： 對空間排列的特征化成一維的向量

優點： 共享卷積核，對高維資料處理無壓力

缺點： 難解釋（我們并不知道沒個卷積層到底提取到的是什麼特征，而且神經網絡本身就是一種難以解釋的“黑箱模型”）

應用： 人臉識别、圖像識别

2. 記憶網絡

**特點：**對前期學習的資訊有記憶功能，可用有向循環圖或無向圖表示

**實作方式：**記憶網絡包括循環神經網絡、玻爾茲曼機、受限玻爾茲曼機等

**應用：**常用于文本填充、時間序列、語音識别等序列資料

(1) 循環神經網絡(RNN)

RNN的訓練算法為：BPTT

【BPTT的基本原理】

a. 前向計算每個神經元的輸出值；

b. 反向計算每個神經元的誤差項值；

c. 計算每個權重的梯度。

d. 最後再用随機梯度下降算法更新權重

(2) LSTM

與傳統的循環神經網絡相比，LSTM采用三門機制，輸入門、遺忘門以及輸出門和一個内部記憶單元。

輸入門： 決定從目前步驟添加哪些資訊

遺忘門： 控制前一步記憶單元中的資訊有多大程度被遺忘掉

輸出門： 決定下一個隐藏狀态應該是什麼

(3) GRU

GRU是在LSTM上進行簡化而得到的，隻有兩個門，分别為更新門和重置門

重置門： 候選隐含狀态使用了重置門來控制過去有多少資訊被遺忘

更新門： 控制過去的隐含狀态在目前時刻的重要性

3. 圖網絡

特點： 可有向可無向，前饋網絡與記憶網絡的輸入為向量或向量序列，圖網絡的輸入為圖結構資料如知識圖譜、社交網絡、分子網絡等

實作方式： 圖網絡包括圖卷積網絡、圖注意力網絡、消息傳遞神經網絡

**總結：**每一種神經網絡各有優點，在具體的場景中，根據不用的應用選擇不同的網絡，也可能會同時用到三種網絡搭建更複雜的網絡。