学习目标：
损失函数
损失函数的输入是一个输入的pair: (output, target), 然后计算出一个数值来评估output和target之间的差距大小.
在torch.nn中有若干不同的损失函数可供使用, 比如nn.MSELoss就是通过计算均方差损失来评估输入和目标值之间的差距.
反向传播(backpropagation)
在Pytorch中执行反向传播非常简便, 全部的操作就是loss.backward().
在执行反向传播之前, 要先将梯度清零, 否则梯度会在不同的批次数据之间被累加。
更新网络参数 torch.optim
学习内容：
损失函数
1、应用nn.MSELoss计算损失的一个例子，承上
input = torch.randn(1, 1, 32, 32)
output = net(input)
# 1行10列的一维向量
target = torch.randn(10)
# 改变target的形状为二维张量, 为了和output匹配
target = target.view(1, -1)
criterion = nn.MSELoss()
loss = criterion(output, target) # 成对出现
print('loss', loss)
target：
tensor([ 0.1960, 0.4792, -0.2190, 0.0378, -2.2306, 0.8693, 0.3163, -0.8885,
-0.4302, -2.1175])
2、 关于方向传播的链条
如果我们跟踪loss反向传播的方向, 使用.grad_fn属性打印, 将可以看到一张完整的计算图如下:
input -> conv2d -> relu -> maxpool2d -> conv2d -> relu -> maxpool2d
-> view -> linear -> relu -> linear -> relu -> linear
-> MSELoss
-> loss
当调用loss.backward()时, 整张计算图将对loss进行自动求导, 所有属性
requires_grad=True的Tensors都将参与梯度求导的运算, 并将梯度累加到
Tensors中的.grad属性中.
print(loss.grad_fn) # MSELoss 他的上一层如下
print(loss.grad_fn.next_functions[0][0]) # Linear 他的上一层如下
print(loss.grad_fn.next_functions[0][0].next_functions[0][0]) # ReLU
<MseLossBackward object at 0x000001F7E0A54788> #
<AddmmBackward object at 0x000001F7DCE9EA08> # 全连接线性层
<AccumulateGrad object at 0x000001F7E0A54788> # relu
3、 掌握条件语句
4、 掌握循环语句
反向传播☆
# 先将梯度清零
net.zero_grad()
print('conv1.bias.grad before backward')
# 未对梯度grad进行赋值，未求导，0
print(net.conv1.bias.grad)
# Pytorch中执行一次反向传播的代码，更新grad中的值
loss.backward()
print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)
conv1.bias.grad before backward
None
conv1.bias.grad after backward
tensor([-0.0019, -0.0098, 0.0037, 0.0020, 0.0046, 0.0019])
更新网络参数 torch.optim
- 更新参数最简单的算法就是SGD(随机梯度下降).
-
具体的算法公式表达式为:
weight = weight - learning_rate * gradient
传统的Python代码来实现SGD
learning_rate = 0.01
for f in net.parameters():
f.data.sub_(f.grad.data * learning_rate)
使用Pytorch官方推荐的标准代码
# 首先导入优化器的包, optim中包含若干常用的优化算法, 比如SGD, Adam等
import torch.optim as optim
# 通过optim创建优化器对象，学习率0.01
optimizer = optim.SGD(net.parameters(), lr=0.01)
# 将优化器执行梯度清零的操作
optimizer.zero_grad()
output = net(input)
loss = criterion(output, target)
# 对损失值执行反向传播的操作，即计算python 的 f.grad
loss.backward()
# 参数的更新通过一行标准代码来执行
optimizer.step() # ==f.data.sub_(f.grad.data * learning_rate)
必备代码：
optimizer.zero_grad()
loss.backward()
optimizer.step()
学习时间：
抽出来的时间。
学习产出：
