簡 介： 測試了在AI Stuio中 使用LeNet在MNIST資料集實作圖像分類 示例。基于可以搭建其他網絡程式。 關鍵詞
- 作者 : PaddlePaddle
- 日期 : 2021.12
- 摘要 : 本示例教程示範如何在MNIST資料集上用LeNet進行圖像分類。
§
01 環境配置
本教程基于Paddle 2.2 編寫，如果你的環境不是本版本，請先參考官網安裝 Paddle 2.2。
import paddle
print(paddle.__version__) 2.2.1 02 資料加載
手寫數字的
MNIST
資料集，包含
60,000
個用于訓練的示例和
10,000
個用于測試的示例。這些數字已經過尺寸标準化并位于圖像中心，圖像是固定大小
(28x28
像素
)
，其值為
到
1
。該資料集的官方位址為：
http://yann.lecun.com/exdb/mnist
。
一、加載mnist資料集合
我們使用飛槳架構自帶的
paddle.vision.datasets.MNIST
完成
mnist
資料集的加載。
from paddle.vision.transforms import Compose, Normalize
transform = Compose([Normalize(mean=[127.5],
std=[127.5],
data_format='CHW')])
print('download training data and load training data')
train_dataset = paddle.vision.datasets.MNIST(mode='train', transform=transform)
test_dataset = paddle.vision.datasets.MNIST(mode='test', transform=transform)
print('load finished') download training data and load training data
Cache file /home/aistudio/.cache/paddle/dataset/mnist/train-images-idx3-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-images-idx3-ubyte.gz
Begin to download
item 8/8 [============================>.] - ETA: 0s - 4ms/item
Download finished
Cache file /home/aistudio/.cache/paddle/dataset/mnist/train-labels-idx1-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-labels-idx1-ubyte.gz
Begin to download
Download finished
item 95/403 [======>.......................] - ETA: 0s - 2ms/item
Cache file /home/aistudio/.cache/paddle/dataset/mnist/t10k-images-idx3-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/t10k-images-idx3-ubyte.gz
Begin to download
item 2/2 [===========================>..] - ETA: 0s - 2ms/item
Download finished
Cache file /home/aistudio/.cache/paddle/dataset/mnist/t10k-labels-idx1-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/t10k-labels-idx1-ubyte.gz
Begin to download
Download finished
load finished 二、檢視資料圖像
取訓練集中的一條資料看一下。
import numpy as np
import matplotlib.pyplot as plt
train_data0, train_label_0 = train_dataset[0][0],train_dataset[0][1]
train_data0 = train_data0.reshape([28,28])
plt.figure(figsize=(2,2))
plt.imshow(train_data0, cmap=plt.cm.binary)
print('train_data0 label is: ' + str(train_label_0)) train_data0 label is: [5] /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/cbook/__init__.py:2349: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' is deprecated, and in 3.8 it will stop working
if isinstance(obj, collections.Iterator):
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/cbook/__init__.py:2366: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' is deprecated, and in 3.8 it will stop working
return list(data) if isinstance(data, collections.MappingView) else data
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/numpy/lib/type_check.py:546: DeprecationWarning: np.asscalar(a) is deprecated since NumPy v1.16, use a.item() instead
'a.item() instead', DeprecationWarning, stacklevel=1) 
▲ 圖2.2.1 訓練結合中的圖檔
03 建立網絡
一、利用SubClass組網
用
paddle.nn
下的
API
，如
Conv2D
、
MaxPool2D
Linear
LeNet
的建構。
import paddle
import paddle.nn.functional as F
class LeNet(paddle.nn.Layer):
def __init__(self):
super(LeNet, self).__init__()
self.conv1 = paddle.nn.Conv2D(in_channels=1, out_channels=6, kernel_size=5, stride=1, padding=2)
self.max_pool1 = paddle.nn.MaxPool2D(kernel_size=2, stride=2)
self.conv2 = paddle.nn.Conv2D(in_channels=6, out_channels=16, kernel_size=5, stride=1)
self.max_pool2 = paddle.nn.MaxPool2D(kernel_size=2, stride=2)
self.linear1 = paddle.nn.Linear(in_features=16*5*5, out_features=120)
self.linear2 = paddle.nn.Linear(in_features=120, out_features=84)
self.linear3 = paddle.nn.Linear(in_features=84, out_features=10)
def forward(self, x):
x = self.conv1(x)
x = F.relu(x)
x = self.max_pool1(x)
x = self.conv2(x)
x = F.relu(x)
x = self.max_pool2(x)
x = paddle.flatten(x, start_axis=1,stop_axis=-1)
x = self.linear1(x)
x = F.relu(x)
x = self.linear2(x)
x = F.relu(x)
x = self.linear3(x)
return x 二、網絡結構可視化
print(model.summary()) Layer (type) Input Shape Output Shape Param #
===========================================================================
Conv2D-11 [[64, 1, 28, 28]] [64, 6, 28, 28] 156
MaxPool2D-11 [[64, 6, 28, 28]] [64, 6, 14, 14] 0
Conv2D-12 [[64, 6, 14, 14]] [64, 16, 10, 10] 2,416
MaxPool2D-12 [[64, 16, 10, 10]] [64, 16, 5, 5] 0
Linear-16 [[64, 400]] [64, 120] 48,120
Linear-17 [[64, 120]] [64, 84] 10,164
Linear-18 [[64, 84]] [64, 10] 850
===========================================================================
Total params: 61,706
Trainable params: 61,706
Non-trainable params: 0
Input size (MB): 0.19
Forward/backward pass size (MB): 3.95
Params size (MB): 0.24
Estimated Total Size (MB): 4.38
{'total_params': 61706, 'trainable_params': 61706} 04 網絡訓練
一、基于高層API
通過
paddle
提供的
Model
建構執行個體，使用封裝好的訓練與測試接口，快速完成模型訓練與測試。
▲ 圖4.1.1 Paddle 高層API
1、使用Model.fit完成模型訓練
方式1：基于高層API，完成模型的訓練與預測
from paddle.metric import Accuracy
model = paddle.Model(LeNet()) # 用Model封裝模型
optim = paddle.optimizer.Adam(learning_rate=0.001, parameters=model.parameters())
model.prepare(
optim,
paddle.nn.CrossEntropyLoss(),
Accuracy()
) model.fit(train_dataset,
epochs=2,
batch_size=64,
verbose=1
) ▲ 圖4.1.1 訓練兩個周期
運作時長
:42.963
秒結束時間
:2021-12-12 23:08:16
2、使用Model.evaluate進行模型預測
model.evaluate(test_dataset, batch_size=64, verbose=1) ▲ 圖4.1.2 預測模型
{'loss': [0.0013720806], 'acc': 0.9848} 以上就是方式一，可以快速、高效的完成網絡模型訓練與預測。
上述訓練過程是在普通CPU的模式下進行的。
3、模型的存儲與擷取
（1）存儲模型參數
model.save('./work/lenet') （2）建立新的模型
newmodel = paddle.Model(LeNet())
newmodel.prepare(optim, paddle.nn.CrossEntropyLoss(), Accuracy())
newmodel.evaluate(test_dataset, batch_size=64, verbose=1) 如果沒有調用存儲的資訊，評估的結果為：
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 157/157 [==============================] - loss: 4.2389 - acc: 0.0717 - 8ms/step
Eval samples: 10000
{'loss': [4.238896], 'acc': 0.0717} 調用參數之後，評估結果：
newmodel.load('./work/lenet') Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 157/157 [==============================] - loss: 2.5223e-04 - acc: 0.9883 - 8ms/step
Eval samples: 10000
{'loss': [0.00025222846], 'acc': 0.9883}
運作時長:1.246秒結束時間:2021-12-13 23:25:45 二、基于基礎API
方式2：基于基礎API，完成模型的訓練與預測
1、模型訓練
組網後，開始對模型進行訓練，先建構train_loader，加載訓練資料，然後定義train函數，設定好損失函數後，按batch加載資料，完成模型的訓練。
import paddle.nn.functional as F
train_loader = paddle.io.DataLoader(train_dataset, batch_size=64, shuffle=True)
def train(model):
model.train()
epochs = 2
optim = paddle.optimizer.Adam(learning_rate=0.001, parameters=model.parameters())
# 用Adam作為優化函數
for epoch in range(epochs):
for batch_id, data in enumerate(train_loader()):
x_data = data[0]
y_data = data[1]
predicts = model(x_data)
loss = F.cross_entropy(predicts, y_data)
# 計算損失
acc = paddle.metric.accuracy(predicts, y_data)
loss.backward()
if batch_id % 300 == 0:
print("epoch: {}, batch_id: {}, loss is: {}, acc is: {}".format(epoch, batch_id, loss.numpy(), acc.numpy()))
optim.step()
optim.clear_grad()
model = LeNet()
train(model) ▲ 圖4.2.1 訓練過程和花費時間
以上就是方式二，通過底層
API
，可以清楚的看到訓練和測試中的每一步過程。但是，這種方式比較複雜。是以，我們提供了訓練方式一，使用高層
API
來完成模型的訓練與預測。對比底層
API
，高層
API
能夠更加快速、高效的完成模型的訓練與測試。
二、模型儲存與重載
對于Layer型的模型進行儲存，使用 paddle.save、paddle.load。進行
▲ 圖4.2.2 模型儲存與重載
▲ 圖4.2.3 儲存的方法
（1）save
參數存儲時，先擷取目标對象（Layer或者Optimzier）的state_dict，然後将state_dict存儲至磁盤，示例如下（接前述示例）:
paddle.save(layer.state_dict(), "linear_net.pdparams")
paddle.save(adam.state_dict(), "adam.pdopt") （2）load
參數載入時，先從磁盤載入儲存的state_dict，然後通過set_state_dict方法配置到目标對象中，示例如下（接前述示例）：
layer_state_dict = paddle.load("linear_net.pdparams")
opt_state_dict = paddle.load("adam.pdopt")
layer.set_state_dict(layer_state_dict)
adam.set_state_dict(opt_state_dict) 三、切換環境訓練
1、切換到至尊GPU環境
▲ 圖4.2.2 切換到至尊版本環境訓練
2、基于進階API訓練
▲ 圖4.3.2 切換到至尊版本環境訓練
運作時長:17.55秒結束時間:2021-12-12 23:18:21 3、基于基本API訓練
▲ 圖4.3.3 訓練過程
:16.917
:2021-12-12 23:19:40
▲ 圖4.3.4 在進階版本下訓練
▲ 圖4.3.5 在進階版本下訓練
※ 總 結 ※
測試了在AI Stuio中
■ 相關文獻連結:
□
● 相關圖表連結: