建構神經網絡
學習目标
掌握用Pytorch建構神經網絡的基本流程.
掌握用Pytorch建構神經網絡的實作過程.
關于torch.nn:
使用Pytorch來建構神經網絡, 主要的工具都在torch.nn包中.
nn依賴于autograd來定義模型, 并對其自動求導
建構神經網絡的典型流程:
定義一個擁有可學習參數的神經網絡
周遊訓練資料集
處理輸入資料使其流經神經網絡
計算損失值
将網絡參數的梯度進行反向傳播
以一定的規則更新網絡的權重
定義一個Pytorch實作的神經網絡:
# 導入若幹工具包
import torch
import torch.nn as nn
import torch.nn.functional as F
# 定義一個簡單的網絡類
class Net(nn.Module):
def __init__(self):
# 定義初始化函數
super(Net, self).__init__()
# 定義第一層卷積神經網絡, 輸入通道次元=1, 輸出通道次元=6, 卷積核大小3*3
self.conv1 = nn.Conv2d(1, 6, 3)
# 定義第二層卷積神經網絡, 輸入通道次元=6, 輸出通道次元=16, 卷積核大小3*3
self.conv2 = nn.Conv2d(6, 16, 3)
# 定義三層全連接配接網絡，輸入圖像大小，120自己指定，16 * 6 * 6根據輸入的張量推導
self.fc1 = nn.Linear(16 * 6 * 6, 120)
self.fc2 = nn.Linear(120, 84) # 120同上，84，自己指定
self.fc3 = nn.Linear(84, 10) #84同上，最後10個分類
def forward(self, x):
# 前向邏輯
# 在(2, 2)的池化視窗下執行最大池化操作
x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
x = F.max_pool2d(F.relu(self.conv2(x)), 2)
x = x.view(-1, self.num_flat_features(x)) # 重新設定成二維，然後放到fc1中，平滑處理
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
def num_flat_features(self, x):
# 經過卷積的張量x
# 計算size, 除了第0個次元上的batch_size，次元扁平化
size = x.size()[1:]
num_features = 1
for s in size:
num_features *= s
return num_features
# 執行個體化類
net = Net()
# 列印類
print(net)
# 模型中所有的可訓練參數, 可以通過net.parameters()來獲得
params = list(net.parameters())
print(len(params))
# 列印params第0個參數的size
print(params[0].size())
步長（1,1）
輸入次元：576，輸出次元120
…
…
Net(
(conv1): Conv2d(1, 6, kernel_size=(3, 3), stride=(1, 1))
(conv2): Conv2d(6, 16, kernel_size=(3, 3), stride=(1, 1))
(fc1): Linear(in_features=576, out_features=120, bias=True)
(fc2): Linear(in_features=120, out_features=84, bias=True)
(fc3): Linear(in_features=84, out_features=10, bias=True)
)
10 # 長度是10， self.fc3 = nn.Linear(84, 10)
torch.Size([6, 1, 3, 3]) # 對應(conv1): Conv2d(1, 6, kernel_size=(3, 3)
假設圖像的輸入尺寸為32 * 32:
input = torch.randn(1, 1, 32, 32)
out = net(input)
print(out)
print(out.size())
輸出結果，1行10列
tensor([[ 0.1242, 0.1194, -0.0584, -0.1140, 0.0661, 0.0191,
-0.0966, 0.0480, 0.0775, -0.0451]], grad_fn=<AddmmBackward>)
torch.Size([1,10])
有了輸出張量後, 就可以執行梯度歸零和反向傳播的操作了
net.zero_grad()
out.backward(torch.randn(1, 10))
torch.nn建構的神經網絡隻支援mini-batches的輸入, 不支援單一樣本的輸入.
比如: nn.Conv2d 需要一個4D Tensor, 形狀為(nSamples, nChannels,
Height, Width). 如果你的輸入隻有單一樣本形式, 則需要執行
input.unsqueeze(0), 主動将3D Tensor擴充成4D Tensor
torch.nn.Linear()函數了解
class torch.nn.Linear（in_features，out_features，bias = True）
從init函數中可以看出Linear中包含四個屬性：
1）in_features: 上層神經元個數【每個輸入樣本的大小】
2）out_features： 本層神經元個數【每個輸出樣本的大小】
3）weight：權重，形狀[out_features , in_features]
4）bias: 偏置，形狀[out_features]。網絡層是否有偏置，預設存在，且次元為[out_features ]；若bias=False,則該網絡層無偏置，圖層不會學習附加偏差。
Pytorch的nn.Conv2d（）詳解
《DEEP LEARNING》 P203
in_channels
輸入的四維張量[N, C, H, W]中的C了，即輸入張量的channels數。這個形參是确定權重等可學習參數的shape所必需的。
out_channels
期望的四維輸出張量的channels數
kernel_size
卷積核的大小，般我們會使用5x5、3x3這種左右兩個數相同的卷積核，是以這種情況隻需要寫kernel_size = 5這樣的就行了。如果左右兩個數不同，比如3x5的卷積核，那麼寫作kernel_size = (3, 5)，注意需要寫一個tuple，而不能寫一個清單（list）。
stride = 1
卷積核在圖像視窗上每次平移的間隔，即所謂的步長。同Tensorflow
padding = 0
Pytorch與Tensorflow在卷積層實作上最大的差别就在于padding上。
Padding即所謂的圖像填充，後面的int型常數代表填充的多少（行數、列數），預設為0。
這裡的填充包括圖像的上下左右。以padding = 1為例，若原始圖像大小為32x32，那麼padding後的圖像大小就變成了34x34，而不是33x33。
Pytorch不同于Tensorflow的地方在于，Tensorflow提供的是padding的模式，比如same、valid Reference，且不同模式對應了不同的輸出圖像尺寸計算公式。而Pytorch則需要手動輸入padding的數量，當然，Pytorch這種實作好處就在于輸出圖像尺寸計算公式是唯一的。
大多數情況下的kernel_size、padding左右兩數均相同，且不采用空洞卷積（dilation預設為1），是以隻需要記這種在深度學習課程裡學過的公式就好了。
O = （I - K + 2P）/ S +1
o 為output的size
i 為input的size
k 為kernal的size
p 為padding的取值
dilation = 1
這個參數決定了是否采用空洞卷積，預設為1（不采用）。從中文上來講，這個參數的意義從卷積核上的一個參數到另一個參數需要走過的距離，那當然預設是1了，畢竟不可能兩個不同的參數占同一個地方吧（為0）。
groups = 1
決定了是否采用分組卷積解釋
bias = True
是否要添加偏置參數作為可學習參數的一個，預設為True。
padding_mode = ‘zeros’
padding的模式，預設采用零填充。
DEEPLEARNING深度學習