深度學習筆記-卷積神經網絡基礎

組成

一個簡單的卷積神經網絡是由各種層按照順序排列組成的，網絡中每個層使用一個可微分的函數将資料從一層傳遞到下一層，通常卷積神經網絡主要由五種類型的層組成：卷積層、批正則化層、非線性映射層、池化層、全連接配接層等。通過将這些層疊加起來，就可以建構出一個完整的卷積神經網絡，最後在根據任務的不同定義不同的函數。

卷積運算

卷積運算是卷積神經網絡中最基本的組成部分，計算過程就是元素乘積求和。卷積運算可采用合适的卷積核（過濾器、濾波器，英文為fliter）實作垂直邊緣的檢測。本身卷積核就好像一個孔徑大小一緻的過濾器一樣，篩選出不能通過去的物質。是以卷積核本身就有特征，可以是垂直檢測，也可以是水準邊緣檢測，通過修改卷積核中的參數，可以做到任意角度的邊緣檢測。

卷積運算有兩個缺點：

1.随着卷積的次數不斷增加，圖像的尺寸會越來越小；

2.圖像中處于角落的像素在運算時候由于參與運算的次數隻有一次，是以該像素将會丢失。

為了解決上述的兩個問題，在原來像素的基礎在外圍添加像素層數，不僅可以增加圖像的尺寸還可以增加邊緣像素參與運算的次數。其中填充的層數稱為padding。NXn尺寸的圖像乘以f*f卷積核的運算，得到（n-f+1）X（n-f+1）的新圖像。Padding的中文意思就是填充。

6.過濾器一般都是設計成奇數的，有兩點原因：1.這樣的話padding取值是對稱的；2.過濾器有一個中心參數。

7.步長S的定義就是說過濾器在移動過程中是每兩步移動一下，包括水準移動和垂直移動。也就是說每連續移動兩步就會輸出一個資料，這樣的例子中步長就是2。

8.N:定義為圖像的尺寸邊長；f:定義為過濾器的尺寸邊長；p:定義為增加的層數；s:步長，最後得到的圖像尺寸的計算公式為：（）*（）

7.圖像在計算機中就是由很多很多像素組成的，每個像素對應一個數，是以圖像可以當做一個矩陣，在處理過程中其實就是對它的像素進行處理，比如進行矩陣運算。

8.卷積運算不僅可以應用在平面(二維)圖像上，也就是黑白圖，隻有兩種顔色，也可以運用在三維的圖像上，所謂的三維圖像其實就是RGB、彩色圖像，它是由三通道的顔色組成的，是以我們可以将一張彩色圖看成由三張圖疊加而成的，分别是紅綠藍三張圖。

9.在卷積運算中，彩色圖是要跟一個三維的過濾器進行乘積的，這個三維過濾器其實就是為了對應彩色圖中紅綠藍三個通道的。

11.輸出圖像的通道數等于過濾器的數量。

12.在進行卷積運算之後得到的最後圖像進行輸出，将高乘以寬再乘以通道數記得到所有特征，将這些特征排列成一列輸出，也就是列向量，然後在輸入到softmax填充函數中。

13.在進行多次卷積運算中，圖像的尺寸會逐漸減小，通道數會逐漸增加。一個經典的卷積神經網絡通常有三層，一個是卷積層，一個是池化層，最後是全連接配接層。

14.池化層其中含有最大池化層，它與卷積層的差別在于卷積運算的不同，輸出圖像的尺寸計算公式是一樣的，池化層選取過濾器内含有特征的值，比如最大值，平均值，分别代表着池化層中的最大池化層和平均池化層。

15.卷積運算過程中的參數不僅包含了過濾器中的參數，還包含了一個輸出的矩陣存在的偏差，這個偏差也是一個參數。

9.典型神經網絡有LeNet-5、AlexNet、VGG-16。