模型訓練測試之三：yolov5 模型訓練及windows部署（一）

1、項目背景

本想寫項目，但被說了，是以，沒了。

本項目基于Pytorch版本的yolov5實作xxxx識别。

2、網絡結構介紹

​ Pytorch版本的yolov5的模型介紹，估計網上一大堆，要想看源碼或者原始模型介紹，可自行百度。如果需要pdf版本（自己不想找），私信我即可。

3、模型訓練

​ 源碼下載下傳：https://github.com/ultralytics/yolov5.git

3.1 源碼目錄主要部分介紹：

• 環境配置

  conda activate yolov5
  pip install -r requirements.txt
             

  如果anaconda官方源安裝速度較慢，可指定源進行安裝，如

  pip install -r requirements.txt  -i https://pypi.doubanio.com 豆瓣源
             

• data檔案夾（建立自己的訓練檔案）

  

• datasets檔案夾（建立自己的訓練資料集）

  

3.2 資料集準備

​ 舉例：

• 準備10000張圖檔，及對應的xml檔案，存放于 images裡面即可；
• 使用convert_data.py，将其放在項目根目錄下，運作對資料集進行處理，生成滿足yolov5訓練的格式，

  # -*- coding: utf-8 -*-
  import xml.etree.ElementTree as ET
  from tqdm import tqdm
  import os
  from os import getcwd
  
  # 重點是下面這塊代碼，即将box = [xmin, ymin, xmax, ymax] -> [x_center, y_center, width, height]
  def convert(size, box):
      dw = 1. / (size[0])
      dh = 1. / (size[1])
      x = (box[0] + box[1]) / 2.0 - 1 # 求中心點坐标x, y
      y = (box[2] + box[3]) / 2.0 - 1
      w = box[1] - box[0] # 求寬度，高度
      h = box[3] - box[2]
      x = x * dw
      w = w * dw
      y = y * dh
      h = h * dh
      return x, y, w, h
  
  def convert_annotation(image_id, project_name):
      # 自己可選擇是否添加異常處理，此處注釋
      # try:
      # 打開對應圖檔xml檔案
      in_file = open('datasets/{}/images/{}.xml'.format(project_name, image_id), encoding='utf-8')
  	# 建立對應圖檔txt檔案
      out_file = open('datasets/{}/labels/{}.txt'.format(project_name, image_id), 'w', encoding='utf-8')
      tree = ET.parse(in_file) # 解析xml
      root = tree.getroot()
      size = root.find('size')
      w = int(size.find('width').text) # 擷取高寬
      h = int(size.find('height').text)
      # 讀取xml中各個object的bbox資訊
      for obj in root.iter('object'):
          difficult = obj.find('difficult').text
          cls = obj.find('name').text
          if cls not in classes or int(difficult) == 1:
              continue
          cls_id = classes.index(cls)
          xmlbox = obj.find('bndbox')
          b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
               float(xmlbox.find('ymax').text))
          b1, b2, b3, b4 = b
          # 标注越界修正
          if b2 > w:
              b2 = w
          if b4 > h:
              b4 = h
          b = (b1, b2, b3, b4) # 得到某一個object的bbox資訊
          bb = convert((w, h), b) # 進行轉換
          out_file.write(str(cls_id) + " " +
                         " ".join([str(a) for a in bb]) + '\n')
      # except Exception as e:
      #     print(e, image_id)
  
  
  if __name__ == '__main__':
  
      # 自定義修改
      project_names = {"coco_xxxx_ocr": ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D', 'E', 'F' , 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z'],}
      
      project_name = 'coco_xxxx_ocr'
      sets = ['train', 'val']
  
      # 擷取images裡的所有圖檔的序号
      image_ids = [v.split('.')[0]
                   for v in os.listdir('datasets/{}/images/'.format(project_name)) if v.endswith('.xml')]
      import random
      random.shuffle(image_ids) # 打亂資料集
      split_num = int(0.95 * len(image_ids)) # 劃分資料集
      classes = project_names[project_name] # 擷取對應資料集的标簽清單
  	# 建立轉換之後的txt檔案存放路徑labels
      if not os.path.exists('datasets/{}/labels/'.format(project_name)):
          os.makedirs('datasets/{}/labels/'.format(project_name))
  	# 建立train2017.txt
      list_file = open('datasets/{}/train2017.txt'.format(project_name), 'w')
      for image_id in tqdm(image_ids[:split_num]):
          # 此處是對所有類型圖檔機型智能化區分，有bmp、jpg
          if os.path.exists('datasets/{}/images/{}.bmp'.format(project_name, image_id)):
              list_file.write('datasets/{}/images/{}.bmp\n'.format(project_name, image_id))
          elif os.path.exists('datasets/{}/images/{}.jpg'.format(project_name, image_id)):
              list_file.write('datasets/{}/images/{}.jpg\n'.format(project_name, image_id))
          # 轉換
          convert_annotation(image_id, project_name)
      list_file.close()
  	# 建立val2017.txt
      list_file = open('datasets/{}/val2017.txt'.format(project_name), 'w')
      for image_id in tqdm(image_ids[split_num:]):
          if os.path.exists('datasets/{}/images/{}.bmp'.format(project_name, image_id)):
              list_file.write('datasets/{}/images/{}.bmp\n'.format(project_name, image_id))
          elif os.path.exists('datasets/{}/images/{}.jpg'.format(project_name, image_id)):
              list_file.write('datasets/{}/images/{}.jpg\n'.format(project_name, image_id))
          convert_annotation(image_id, project_name)
      list_file.close()
  
  
             

  完成資料轉換，即在同名資料集下，

  1）自動生成labels檔案夾，裡面包含對應圖檔的txt檔案。如下：

  

2）train2017.txt、val2017.txt、test2017.txt

​ 如下所示，每一行為每一張圖檔的路徑，可絕對，可相對，建議絕對 該py檔案，其實滿足所有yolo系列的資料集處理。

• 開始訓練

訓練報錯處理1：

OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized. OMP: Hi.......

在train.py檔案開頭添加幾行代碼，如下，即可解決
import os
os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE' 
           

• 模型測試1（單張圖檔）

python detect.py --weights ..\runs\train_xxxx_ocr\exp6\weights\best.pt --source ..\test\xxxxxxxxxxx.jpg
           

• 模型測試2（批量測試，生成對應txt）

  test.py 檔案裡

  

  --task 測試檔案中的任務選項，有train、val、test，對應yaml檔案中的三個有train2017.txt\val2017.txt\test2017.txt路徑，如果沒有txt檔案，根據你的測試圖檔路徑建立，然後在yaml檔案中進行修改
  --data 和訓練代碼中的類似，--data .\data\coco_xxxx_ocr.yaml
  --weights 訓練出來的模型路ing ..\runs\train_xxxx_ocr\exp6\weights\best.pt 
  --batch_size 測試批次大小，取決于自己的電腦組態
  --imgsz 測試圖檔resize大小，和訓練時比對一緻即可
  --device 0，1，2，3..... 或者cpu
  --save-txt 是否對應圖檔結果儲存txt檔案
  
  
  python test.py --weights ..\runs\train_xxxx_ocr\exp6\weights\best.pt --data .\data\coco_xxxx_ocr.yaml