YOLO-Fastest训练自己的数据
继续yolo-fastest的学习,上一篇已经基本跑通了yolo-fastest,接下来开始训练,本次代码依旧是:https://github.com/dog-qiuqiu/Yolo-Fastest
吐槽一句,这个代码里面怎么啥都有,感觉好乱啊!刚开始看的时候一脸懵逼,反复确认才明白没下载错代码。
然后作者官方Readme只要简简单单的一两句话介绍训练,估计是要逼死小白!
一、配置环境
1.win10
2.cuda10.2+cudnn
3.opencv451
4.vs2015
5.cmake
二、数据集制作
(1)制作工具
labelImg(这个就不展开说了),标注完成后获得一大堆标注文件(xml格式)。
(2)数据格式转换
上一步中,获得的数据是满足voc数据要求的,但是对于yolo系列,需要做一些处理。
1)新建mydata文件夹,在该文件下继续新建data文件夹,data文件下继续新建Annotations、images、ImageSets(里面再建Main文件夹)、labels。如图
继续新建脚本文件makedata.py文件
import os
import random
trainval_percent = 0.2 #可自行进行调节
train_percent = 1
xmlfilepath = 'Annotations'
txtsavepath = 'ImageSets\Main'
total_xml = os.listdir(xmlfilepath)
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
#ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
#fval = open('ImageSets/Main/val.txt', 'w')
for i in list:
name = total_xml[i][:-4] + '\n'
if i in trainval:
#ftrainval.write(name)
if i in train:
ftest.write(name)
#else:
#fval.write(name)
else:
ftrain.write(name)
#ftrainval.close()
ftrain.close()
#fval.close()
ftest.close()
继续新建脚本voc_label.py,这个脚本文件和data文件夹同级。
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
sets = ['train', 'test']
classes = ['QR'] #自己训练的类别
def convert(size, box):
dw = 1. / size[0]
dh = 1. / size[1]
x = (box[0] + box[1]) / 2.0
y = (box[2] + box[3]) / 2.0
w = box[1] - box[0]
h = box[3] - box[2]
x = x * dw
w = w * dw
y = y * dh
h = h * dh
return (x, y, w, h)
def convert_annotation(image_id):
in_file = open('data/Annotations/%s.xml' % (image_id))
out_file = open('data/labels/%s.txt' % (image_id), 'w')
tree = ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
difficult = obj.find('difficult').text
cls = obj.find('name').text
if cls not in classes or int(difficult) == 1:
continue
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
float(xmlbox.find('ymax').text))
bb = convert((w, h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
wd = getcwd()
for image_set in sets:
if not os.path.exists('data/labels/'):
os.makedirs('data/labels/')
image_ids = open('data/ImageSets/Main/%s.txt' % (image_set)).read().strip().split()
list_file = open('data/%s.txt' % (image_set), 'w')
for image_id in image_ids:
list_file.write('data/images/%s.jpg\n' % (image_id))
convert_annotation(image_id)
list_file.close()
注意:1.修改一下自己的训练类别,我的只有一个类别QR
2.倒数第三行,图像格式需要对应
依次运行上面两个脚本,既可获得满足yolo的数据格式。
第一个数值是类别编号,后面四个值分别是左上点和右下点的归一化后的坐标。
三、yolo-fastest准备工作
(1).复制数据集
将上面获得的data文件夹直接复制到Yolo-Fastest-master\build\darknet\x64文件下。
(2).修改配置文件
在Yolo-Fastest-master\build\darknet\x64\cfg文件夹下找到yolo-fastest-1.1.cfg(也可以是其他的,后面对应修改就行)。
1.修改batch和subdivisions参数。
[net]
batch=16
subdivisions=8
width=320
height=320
channels=3
2.filters参数,只需要修改两处的,千万别全改了!
########修改858行和926行
########filters=(cls_num+5)*3
[convolutional]
size=1
stride=1
pad=1
filters=18
activation=linear
(3).新建.data和.names文件。
在Yolo-Fastest-master\build\darknet\x64\data文件夹中新建data和names文件。
我的是QR.data和QR.names。data文件如下
classes= 1
train = data/train.txt
valid = data/test.txt
#valid = data/coco_val_5k.list
names = data/QR.names
backup = backup/
只要找到你的train.txt和test.txt文件就行。这两个txt文件实际上也是图像的引索路径。
names文件里面换成自己的类别就行
四、训练yolo-fastest
(1)生成预训练模型
Yolo-Fastest-master\build\darknet\x64文件夹下新建pretrained_model文件夹,之后在该文件夹下会生成预训练模型。新建一个QR.bat文件,写入如下指令后双击既可(话说这样子运行指令感觉还不错)
darknet partial cfg\yolo-fastest-1.1.cfg cfg\yolo-fastest-1.1.weights pretrained_model\yolo-fastest-1.1.conv.109 109
pause
会在上述文件夹生成预训练权重文件(这文件真的是太小了,简直amazing)
(2)正式训练
继续在Yolo-Fastest-master\build\darknet\x64文件夹下新建QRtrain.bat文件,并写入
darknet detector train data\QR.data cfg\yolo-fastest-1.1.cfg pretrained_model\yolo-fastest-1.1.conv.109 backup\
pause
双击QRtrain.bat既可开始训练,如图
多说一句,旁边那个记录loss的图像,只有loss下降到了18后才会有数值,但是刚开始loss值很大,不会有动静,不要以为是模型有问题,等着loss下降既可。在backup中会生成权重文件。
接下来测试一下
darknet.exe detector test ./data/QR.data ./cfg/yolo-fastest-1.1.cfg ./backup/yolo-fastest-1_last.weights ./data/QR-00064.jpg
效果有点不好说,但是据说移动端会很快,所以接下来继续想着部署了。
看完了点个赞呗!