天天看點
傳回

YOLOv3訓練自己的資料

1.  下載下傳預訓練權重檔案

YOLOv3使用在Imagenet上預訓練好的模型參數（檔案名稱： darknet53.conv.74，大小76MB）基礎上繼續訓練。

darknet53.conv.74下載下傳連結：  https://pjreddie.com/media/files/darknet53.conv.74，下載下傳完成後放在darknet主目錄。

也可以直接在darknet目錄下通過wget指令下載下傳：

wget https://pjreddie.com/media/files/darknet53.conv.74

2.  準備打标工具并對自己的圖檔資料打标

打标工具推薦使用 labelImg，下載下傳位址：https://github.com/tzutalin/labelImg 或 http://download.csdn.net/download/dcrmg/9974195

labelImg使用很簡單，在圖檔的物體上畫框然後給一個标簽就可以了，打标結果的儲存格式是xml檔案。

例如對于train1.jpg，打标結果儲存為train1.xml

3.  xml标簽檔案格式轉換

YOLO訓練的标簽檔案是txt格式，需要把第2步中的xml檔案轉換。

  •  1） 在darknet主目錄下建立4個檔案夾： trainImage、validateImage、trainImageXML 和 validateImageXML，并分别存放第2步中的訓練集圖檔、驗證集圖檔、訓練集xml标簽和驗證集xml标簽
  •  2） 借助createID.py生成訓練集和驗證集的圖檔名稱清單trainImageId.txt和validateImageId.txt。

     createID.py 代碼：

# -*- coding: utf-8 -*-
import os;
import shutil;
 
def listname(path,idtxtpath):
    filelist = os.listdir(path);  # 該檔案夾下所有的檔案（包括檔案夾）
    filelist.sort()
    f = open(idtxtpath, 'w');
    for files in filelist:  # 周遊所有檔案
        Olddir = os.path.join(path, files);  # 原來的檔案路徑
        if os.path.isdir(Olddir):  # 如果是檔案夾則跳過
            continue;
        f.write(files);
        f.write('\n');
    f.close();
 
savepath = os.getcwd()
imgidtxttrainpath = savepath+"/trainImageId.txt"
imgidtxtvalpath = savepath + "/validateImageId.txt"
listname(savepath + "/trainImage",imgidtxttrainpath)
listname(savepath + "/validateImage",imgidtxtvalpath)
print "trainImageId.txt && validateImageId.txt have been created!"

  3） 借助trans.py生成訓練集和驗證集的完整路徑清單并完成标簽xml檔案到txt檔案的轉換

  trans.py代碼：

import xml.etree.ElementTree as ET
import pickle
import string
import os
import shutil
from os import listdir, getcwd
from os.path import join
import cv2
 
sets=[('2012', 'train')]
 
classes = ["class1","class2","class3","class4"]
 
def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)
 
def convert_annotation(image_id,flag,savepath):
 
    if flag == 0:
        in_file = open(savepath+'/trainImageXML/%s.xml' % (os.path.splitext(image_id)[0]))
        out_file = open(savepath+'/trainImage/%s.txt' % (os.path.splitext(image_id)[0]), 'w')
        tree = ET.parse(in_file)
        root = tree.getroot()
        size = root.find('size')
 
        img = cv2.imread('./trainImage/'+str(image_id))
        h = img.shape[0]
        w = img.shape[1]
 
    elif flag == 1:
        in_file = open(savepath+'/validateImageXML/%s.xml' % (os.path.splitext(image_id)[0]))
        out_file = open(savepath+'/validateImage/%s.txt' % (os.path.splitext(image_id)[0]), 'w')
 
        tree = ET.parse(in_file)
        root = tree.getroot()
        size = root.find('size')
 
        img = cv2.imread('./validateImage/' + str(image_id))
        h = img.shape[0]
        w = img.shape[1]
 
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
 
wd = getcwd()
 
for year, image_set in sets:
    savepath = os.getcwd();
    idtxt = savepath + "/validateImageId.txt";
    pathtxt = savepath + "/validateImagePath.txt";
    image_ids = open(idtxt).read().strip().split()
    list_file = open(pathtxt, 'w')
    s = '\xef\xbb\xbf'
    for image_id in image_ids:
        nPos = image_id.find(s)
        if nPos >= 0:
            image_id = image_id[3:]
        list_file.write('%s/validateImage/%s\n' % (wd, image_id))
        print(image_id)
        convert_annotation(image_id, 1, savepath)
    list_file.close()
 
    idtxt = savepath + "/trainImageId.txt";
    pathtxt = savepath + "/trainImagePath.txt" ;
    image_ids = open(idtxt).read().strip().split()
    list_file = open(pathtxt, 'w')
    s = '\xef\xbb\xbf'
    for image_id in image_ids:
        nPos = image_id.find(s)
        if nPos >= 0:
           image_id = image_id[3:]
        list_file.write('%s/trainImage/%s\n'%(wd,image_id))
        print(image_id)
        convert_annotation(image_id,0,savepath)
    list_file.close()

注意： 需要根據自己的類别更改trans.py檔案第12行的classes，有幾個類别寫幾個。

執行之後在darknet主目錄下生成trainImagePath.txt、validateImagePath.txt和所有的txt标注檔案。

4. 修改配置檔案

  •   1） 修改data/voc.names 檔案

     把 voc.names檔案内容改成自己的分類，例如有3個分類class_1,class_2,class_3,則voc.names内容改為：

      class_1

      class_2

      class_3

  •   2) 修改cfg/voc.data檔案

  根據自己的實際情況做以下修改：

   classes = N       #（N為自己的分類數量，如有10類不同的對象，N = 10）

   train = /home/XXX/darknet/trainImagePath.txt    # 訓練集完整路徑清單

   valid = /home/XXX/darknet/validateImagePath.txt   # 測試集完整路徑清單

   names = data/voc.names    # 類别檔案

   backup = backup     #（訓練結果儲存在darknet/backup/目錄下）

  •    3） 修改cfg/yolov3-voc.cfg 檔案

   1. classes = N （N為自己的分類數）

   2. 修改每一個[yolo]層（一共有3處）之前的filters為 3*(classes+1+4)，如有3個分類，則修改 filters = 24

   3. (可選) 修改訓練的最大疊代次數， max_batches = N

5. YOLOv3訓練 

./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74

訓練完成後結果檔案 ‘yolov3-voc_final.weights’ 儲存在 backup檔案中。

6. 自訓練模型測試 

./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_final.weights 01.jpg
Darknet YOLO YOLOV3 訓練
上一篇: win10+pytorch+yolov3 訓練爬取資料寫在前頭編譯運作拓展錯誤彙總小結
下一篇: 使用yolov3訓練的資料集

繼續閱讀