天天看點

第四章第四節 池化層

回憶一下,在“二維卷積層”一節裡介紹的圖像物體邊緣檢測應用中,我們構造卷積核進而精确地找到了像素變化的位置。設任意二維數組X的i行j列的元素為X[i, j]。如果我們構造的卷積核輸出Y[i, j]=1,那麼說明輸入中X[i, j]和X[i, j + 1]數值不一樣。這可能意味着物體邊緣通過這倆個元素之間。但實際圖像裡,我們感興趣的物體不會總出現再固定位置:即使我們連續拍攝同一個物體也極有可能出現像素位置上的偏移。這會導緻同一個邊緣對應的輸出可能出現在卷積輸出Y中的不同位置,進而對後面的模式識别造成不便。

在本節中我們介紹池化(pooling)層,它的提出是為了緩解卷積層對位置的過渡敏感性。

4.4.1 二維最大池化層和平均池化層

同卷積層一樣,池化層每次對輸入資料的一個固定形狀視窗(又稱池化視窗)中的元素計算輸出。不同于卷積層裡計算輸入和核的互相關性,池化層直接計算池化視窗内元素的最大值或者平均值。該運算也分别叫做最大池化或平均池化。在二維最大池化中,池化視窗從輸入數組的最左上方開始,按從左往右、從上往下的順序,依次在輸入數組上滑動。當池化視窗滑動到某一位置時,視窗中的輸入子數組的最大值即輸出數組中相應位置的元素。

第四章第四節 池化層

                                                                            圖4.6:池化視窗形狀為2X2的最大池化

圖4.6:池化視窗形狀為2X2的最大池化,陰影部分為第一個輸出元素及其計算所使用的輸入元素。輸出數組的高和寬分别為2,其中的4個元素由取最大值元素max得出:

第四章第四節 池化層

 二維平均池化的工作原理與二維最大池化類似,但将最大運算符替換成平均運算符。池化視窗形狀為

第四章第四節 池化層

的池化層稱為

第四章第四節 池化層

池化層,其中的池化運算叫做

第四章第四節 池化層

池化。

讓我們再次回到本節開始提到的物體邊緣檢測的例子。現在我們将卷積層的輸出作為

第四章第四節 池化層

最大化的輸入。設該卷積層的輸入是X、池化層輸出為Y。無論是X[i, j]和X[i, j+1]值不同,還是X[i, j+1]和X[i, j+2]值不同,池化層輸出均有Y[i, j]=1。也就是說,使用

第四章第四節 池化層

最大池化層時,隻要卷積層識别的模式在高和寬上移動不超過一個元素,我們依然可以将它檢測出來。

下面把池化層的前向計算實作在pool2d的函數裡。它跟“二維卷積層”一節裡corr2d函數非常類似,唯一的差別在計算輸出Y上。

第四章第四節 池化層

我們可以構造圖4.6中的輸入數組X來驗證二維最大池化層的輸出。

第四章第四節 池化層

同時我們實驗一下平均池化層。

第四章第四節 池化層

4.4.2 填充和步幅

同卷積層一樣,池化層也可以在輸入的高和寬兩側的填充并調整視窗的移動步幅來改變輸出形狀。池化層填充和步幅與卷積層填充和步幅的工作機制一樣。我們将通過nn子產品裡的二維最大池化層MaxPool2D來示範池化層填充和步幅的工作機制。我們先構造一個形狀為(1,1,4,4)的輸入資料,前兩個次元分别是批量和通道。

第四章第四節 池化層

預設情況下,MaxPool2D執行個體裡步幅和池化視窗形狀相同。下面使用形狀為(3,3)的池化視窗,預設獲得形狀為(3,3)的步幅。

第四章第四節 池化層

我們可以手動指定步幅和填充。

第四章第四節 池化層

當然,我們也可以指定非正方形的池化視窗,并分别指定高和寬上的填充和步幅。

第四章第四節 池化層

4.4.3 多通道

在處理多通道輸入資料時,池化層對每個輸入通道分别池化,而不是像卷積層那樣将各通道的輸入按通道相加。這意味着池化層的輸出通道數與輸入通道數相等。下面将數組X和X+1在通道維上連結來構造通道數為2的輸入。

第四章第四節 池化層

池化後,我們發現輸出通道數仍然是2。

第四章第四節 池化層

繼續閱讀