（聯邦學習筆記，資料來源于b站小土堆）

訓練模闆

1、準備資料集

2、擷取資料集長度，可以用來輔助計算精确度

3、加載資料集（DataLoader）

4、搭建網絡模型（一般單獨一個python檔案）

5、建立網絡模型（執行個體化）

6、定義損失函數、優化器

7、設定訓練網絡的一些參數（如訓練次數、輪數等等）

8、模型訓練

具體代碼實作如下（簡單示例）：

1、準備資料集

train_data = torchvision.datasets.CIFAR10("../data",train=True,transform=torchvision.transforms.ToTensor(),download=True)
test_data = torchvision.datasets.CIFAR10("../data",train=False,transform=torchvision.transforms.ToTensor(),download=True)

2、擷取資料集長度

#擷取資料集長度，可以判斷整體的測試精度
train_data_len = len(train_data)
test_data_len = len(test_data)
print("訓練資料集長度：{}".format(test_data_len))
print("測試資料集長度:{}".format(train_data_len))

3、加載資料集（DataLoader）

#加載資料集
train_dataloader = DataLoader(train_data,batch_size=64)
test_dataloader = DataLoader(test_data,batch_size=64)

4、搭建網絡模型（一般單獨一個python檔案）

import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear


class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.conv1 = Conv2d(3,32,5,1,2)
        self.maxpool1 = MaxPool2d(2)
        self.conv2 = Conv2d(32,32,5,1,2)
        self.maxpool2 = MaxPool2d(2)
        self.conv3 = Conv2d(32,64,5,1,2)
        self.maxpool3 = MaxPool2d(2)
        self.flatten = Flatten()
        self.linear1 = Linear(1024,64)
        self.linear2 = Linear(64,10)

    def forward(self,x):
        x = self.conv1(x)
        x = self.maxpool1(x)
        x = self.conv2(x)
        x = self.maxpool2(x)
        x = self.conv3(x)
        x = self.maxpool3(x)
        x = self.flatten(x)
        x = self.linear1(x)
        x = self.linear2(x)
        return x

5、建立網絡模型（執行個體化）

#建立模型
model = MyModel()

6、定義損失函數、優化器

#定義損失函數
loss_fn = nn.CrossEntropyLoss()


#定義優化器
#reaning_rate = 0.01
#1e-2 = 1 x (10)^(-2) = 1/100 = 0.01
reaning_rate = 1e-2
optimer = torch.optim.SGD(model.parameters(),lr=reaning_rate)

7、設定訓練網絡的一些參數（如訓練次數、輪數等等）

#設定訓練網絡模型的一些參數
#記錄訓練的次數
total_train_step = 0
#記錄測試的次數
total_test_step = 0
#訓練的輪數
epoch = 10

#添加tensorboard來繪圖
writer = SummaryWriter("../logs_train")

8、模型訓練

#訓練模型
for i in range(epoch):
    print("-------------第 {} 輪訓練開始--------------".format(i+1))

    #訓練開始
    for data in train_dataloader:
        imgs,targets = data
        outputs = model(imgs)
        loss = loss_fn(outputs,targets)
        #優化器優化模型
        #清空梯度
        optimer.zero_grad()
        #反向傳播
        loss.backward()
        #更新梯度
        optimer.step()

        total_train_step = total_train_step + 1
        if total_train_step % 100 == 0:
            print("訓練次數:{},Loss:{}".format(total_train_step,loss.item()))
            writer.add_scalar("train_loss",loss.item(),total_train_step)

    #測試步驟開始
    #在with裡的代碼沒有梯度，不記梯度
    total_test_loss = 0
    #記錄正确率
    total_accuracy = 0
    with torch.no_grad():
        for data in test_dataloader:
            imgs,targets =data
            outputs = model(imgs)
            loss = loss_fn(outputs,targets)
            total_test_loss = total_test_loss + loss
            #outputs.argmax()可以判斷輸出和目标是否一緻，sum()求和，可以知道總共正确的個數
            accuracy = (outputs.argmax(1) == targets).sum()
            total_accuracy = total_accuracy + accuracy
    print("整體測試集上的Loss：{}".format(total_test_loss))
    print("整體測試集上的正确率：{}".format(total_accuracy/test_data_len))
    writer.add_scalar("test_loss",total_test_loss.item(),total_test_step)
    writer.add_scalar("test_acc",total_accuracy/test_data_len,total_test_step)
    total_test_step = total_test_step + 1

    #儲存模型
    #torch.save(model.state_dict(),"model_{}.pth".format(i))
    torch.save(model,"model_{}.pth".format(i))
    print("第 {} 輪模型已儲存！".format(i+1))

writer.close()

完整代碼：

模型單獨一個py檔案

import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear


class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.conv1 = Conv2d(3,32,5,1,2)
        self.maxpool1 = MaxPool2d(2)
        self.conv2 = Conv2d(32,32,5,1,2)
        self.maxpool2 = MaxPool2d(2)
        self.conv3 = Conv2d(32,64,5,1,2)
        self.maxpool3 = MaxPool2d(2)
        self.flatten = Flatten()
        self.linear1 = Linear(1024,64)
        self.linear2 = Linear(64,10)

    def forward(self,x):
        x = self.conv1(x)
        x = self.maxpool1(x)
        x = self.conv2(x)
        x = self.maxpool2(x)
        x = self.conv3(x)
        x = self.maxpool3(x)
        x = self.flatten(x)
        x = self.linear1(x)
        x = self.linear2(x)
        return x



#測試模型

if __name__=='__main__':
    mymodel = MyModel()
    #資料是64張圖檔，3通道，大小32x32
    inputs = torch.ones((64,3,32,32))
    outputs = mymodel(inputs)
    #outputs.shape=torch.Size([64,10])，傳回的是64行資料，每行有10個資料，每個資料代表該圖檔屬于該類（10個類别）的機率
    print(outputs.shape)

模型訓練單獨一個py檔案：

import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
from model import *
from torch import nn

#準備資料集


train_data = torchvision.datasets.CIFAR10("../data",train=True,transform=torchvision.transforms.ToTensor(),download=True)
test_data = torchvision.datasets.CIFAR10("../data",train=False,transform=torchvision.transforms.ToTensor(),download=True)

#擷取資料集長度，可以判斷整體的測試精度
train_data_len = len(train_data)
test_data_len = len(test_data)
print("訓練資料集長度：{}".format(test_data_len))
print("測試資料集長度:{}".format(train_data_len))

#加載資料集
train_dataloader = DataLoader(train_data,batch_size=64)
test_dataloader = DataLoader(test_data,batch_size=64)

#建立模型
model = MyModel()

#定義損失函數
loss_fn = nn.CrossEntropyLoss()


#定義優化器
#reaning_rate = 0.01
#1e-2 = 1 x (10)^(-2) = 1/100 = 0.01
reaning_rate = 1e-2
optimer = torch.optim.SGD(model.parameters(),lr=reaning_rate)

#設定訓練網絡模型的一些參數
#記錄訓練的次數
total_train_step = 0
#記錄測試的次數
total_test_step = 0
#訓練的輪數
epoch = 10

#添加tensorboard來繪圖
writer = SummaryWriter("../logs_train")

#訓練模型
for i in range(epoch):
    print("-------------第 {} 輪訓練開始--------------".format(i+1))

    #訓練開始
    for data in train_dataloader:
        imgs,targets = data
        outputs = model(imgs)
        loss = loss_fn(outputs,targets)
        #優化器優化模型
        #清空梯度
        optimer.zero_grad()
        #反向傳播
        loss.backward()
        #更新梯度
        optimer.step()

        total_train_step = total_train_step + 1
        if total_train_step % 100 == 0:
            print("訓練次數:{},Loss:{}".format(total_train_step,loss.item()))
            writer.add_scalar("train_loss",loss.item(),total_train_step)

    #測試步驟開始
    #在with裡的代碼沒有梯度，不記梯度
    total_test_loss = 0
    #記錄正确率
    total_accuracy = 0
    with torch.no_grad():
        for data in test_dataloader:
            imgs,targets =data
            outputs = model(imgs)
            loss = loss_fn(outputs,targets)
            total_test_loss = total_test_loss + loss
            #outputs.argmax()可以判斷輸出和目标是否一緻，sum()求和，可以知道總共正确的個數
            accuracy = (outputs.argmax(1) == targets).sum()
            total_accuracy = total_accuracy + accuracy
    print("整體測試集上的Loss：{}".format(total_test_loss))
    print("整體測試集上的正确率：{}".format(total_accuracy/test_data_len))
    writer.add_scalar("test_loss",total_test_loss.item(),total_test_step)
    writer.add_scalar("test_acc",total_accuracy/test_data_len,total_test_step)
    total_test_step = total_test_step + 1

    #儲存模型
    #torch.save(model.state_dict(),"model_{}.pth".format(i))
    torch.save(model,"model_{}.pth".format(i))
    print("第 {} 輪模型已儲存！".format(i+1))

writer.close()

（如有不同意見，歡迎留下評論，我見到了會第一時間回複）

完整的模型訓練套路（pytorch）訓練模闆

訓練模闆

繼續閱讀

PyTorch自動混合精度訓練(AMP)手冊PyTorch自動混合精度訓練(AMP)手冊

PyTorch的自動混合精度（AMP）

Pytorch自動混合精度(AMP)介紹與使用Pytorch自動混合精度(AMP)介紹與使用

關于半精度fp16的混合訓練fp16fp16&fp32混合精度訓練

pytorch 基于 apex.amp 的混合精度訓練：原理介紹與實作

9、TORCH.UTILS.MODEL_ZOO

梯度累加及torch實作1. 什麼是梯度累加2. 梯度累加的過程3. 實驗4. 參考

torch.nn.Upsample實作上采樣

深度學習的一些小記錄裡面有一部分是摘錄

LabelImg的安裝與使用（Anaconda環境）Labellmg的安裝

pytorch：List中包含Tensor的grad資料怎麼辦？

Pytorch機器學習（九）—— YOLO中對于錨框，預測框，産生候選區域及對候選區域進行标注詳解 Pytorch機器學習（九）—— YOLO中錨框，預測框，産生候選區域及對候選區域進行标注詳解前言一、基本概念二、代碼講解總結

CogView: Mastering Text-to-Image Generation via Transformers翻譯摘要1.介紹2.方法3.Finetuning

【深度學習】損失函數記錄0. 前言1. 正文參考文獻

深度學習之卷積01 卷積02 填充Padding03 步幅Stride04 卷積核的選擇05 多通道卷積參考

【Torch】最簡潔logging使用指南