盲专网 - 一种基于MobilenetV3的小麦头快速检测方法

专利申请流程有哪些步骤？

申请

申请号：指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。

申请日：提出专利申请之日。

2021-05-10

申请公布

申请公布指发明专利申请经初步审查合格后，自申请日（或优先权日）起18个月期满时的公布或根据申请人的请求提前进行的公布。

申请公布号：专利申请过程中，在尚未取得专利授权之前，国家专利局《专利公报》公开专利时的编号。

申请公布日：申请公开的日期，即在专利公报上予以公开的日期。

2021-09-17

授权

授权指对发明专利申请经实质审查没有发现驳回理由，授予发明专利权；或对实用新型或外观设计专利申请经初步审查没有发现驳回理由，授予实用新型专利权或外观设计专利权。

2022-11-11

预估到期

发明专利权的期限为二十年，实用新型专利权期限为十年，外观设计专利权期限为十五年，均自申请日起计算。专利届满后法律终止保护。

2041-05-10

基本信息

有效性	有效专利	专利类型	发明专利
申请号	CN202110503290.1	申请日	2021-05-10
公开/公告号	CN113327227B	公开/公告日	2022-11-11
授权日	2022-11-11	预估到期日	2041-05-10
申请年	2021年	公开/公告年	2022年
缴费截止日
分类号	G06T7/00 、G06V10/44 、G06V10/762 、G06V10/82 、G06N3/04 、G06N3/08	主分类号	G06T7/00
是否联合申请	独立申请	文献类型号	B
独权数量	1	从权数量	0
权利要求数量	1	非专利引证数量	1
引用专利数量	1	被引证专利数量	0
非专利引证	1、2020.09.17Yao L 等.Three Stream 3D CNN with SEBlock for Micro-Expression Recognition. 《2020 International Conference onComputer Engineering and Application》.2020,夏雪等.基于轻量级无锚点深度卷积神经网络的树上苹果检测模型《.智慧农业(中英文)》.2020,(第01期),Liu W 等.Face recognition based onlightweight convolutional neuralnetworks《.Information》.2021,第12卷(第5期),;
引用专利	WO2020181685A	被引证专利
专利权维持	1	专利申请国编码	CN
专利事件		事务标签	公开、实质审查、授权

申请人信息

申请人	桂林理工大学	第一申请人	桂林理工大学
专利权人	桂林理工大学	当前专利权人	桂林理工大学
发明人	董明刚、魏雪影	第一发明人	董明刚
地址	广西壮族自治区桂林市建干路12号	邮编	541004
申请人数量	1	发明人数量	2
申请人所在省	广西壮族自治区	申请人所在市	广西壮族自治区桂林市

代理人信息

代理机构

专利代理机构是经省专利管理局审核，国家知识产权局批准设立，可以接受委托人的委托，在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。

代理人

专利代理师是代理他人进行专利申请和办理其他专利事务，取得一定资格的人。

摘要

本发明公开了一种基于MobilenetV3的快速小麦头检测方法。通过收集并处理Kaggle竞赛网站上公布的小麦头图片和相关标签文件获得全球小麦头检测数据集(GWHD)。以YOLOv3网络为基础，使用MobilenetV3_large代替Darknet53作为主干网络，并将自底向上的信息通道和注意力机制引入检测分支，形成Wheat‑YOLO网络。利用K‑means++算法对目标候选框重新聚类，同时根据数据集中目标分布情况对候选框进行线性缩放，将得到的锚框应用到各尺度网络层，并在GWHD数据集上进行训练和检测。本发明在检测精度提高的情况下极大的提升了网络的检测速度，为真实场景下的小麦头检测提供了良好的解决方案。

摘要附图

法律状态

序号	法律状态公告日	法律状态	法律状态信息
1	2022-11-11	授权
2	2021-09-17	实质审查的生效	IPC(主分类): G06T 7/00 专利申请号: 202110503290.1 申请日: 2021.05.10
3	2021-08-31	公开

权利要求

权利要求书是申请文件最核心的部分，是申请人向国家申请保护他的发明创造及划定保护范围的文件。

1.一种基于MobilenetV3的小麦头快速检测方法，其特征在于，具体步骤如下：
(1)通过收集并处理Kaggle网站上公布的小麦头图片和相关标签获得GWHD数据集；
(2)搭建Wheat_YOLO网络模型；
(3)使用处理好的GWHD数据集对模型进行训练；
(4)保存最优模型用于真实场景下的小麦头检测中；
所述步骤(1)中获取全球小麦头检测数据集的具体步骤如下：
(1.1)从Kaggle竞赛网站上下载Global Wheat Detection数据集并进行处理得到数据集a0；
(1.2)利用图像增强技术对数据集a0中的样本进行扩充得到数据集a1；
(1.3)将数据集a1按照一定比例进行划分，仿照VOC2007的格式处理获得；
所述步骤(2)中搭建Wheat_YOLO网络模型的具体步骤如下：
(2.1)搭建Wheat_YOLO的特征提取网络MobileNetV3‑Large；
(2.2)在检测分支中通过DownSample操作增加一条自底向上的信息通道，并在每个concat操作后增加SE block，同时使用深度可分离卷积替换普通卷积搭建Wheat_YOLO的检测网络；
(2.3)设置二元交叉熵损失函数作为网络的置信度和分类损失函数，平方差损失函数作为网络的回归损失函数，三者相加得到网络的损失函数model_loss；
(2.4)将特征提取网络、检测网络和损失函数结合得到小麦头检测网络模型model；
所述步骤(3)中使用GWHD数据集训练Wheat_YOLO网络模型的具体步骤如下：
(3.1)根据训练集中目标编号从包含所有目标所有信息的txt文件中提取所需信息得到train.txt文件；
(3.2)根据验证集中目标编号从包含所有目标所有信息的txt文件中提取所需信息得到val.txt文件；
(3.3)使用融合了线性尺度缩放的K‑ means ++算法对训练验证集中的所有目标执行聚类操作获得所需的anchor box；
(3.4)定义输入网络的图片的宽高、计数变量m、n和e并赋值；
(3.5)使用model加载MobilenetV3_large预训练权重；
(3.6)冻结训练模型前227层；
(3.7)设置Adam作为网络的优化函数，批训练数量epoch为200，初始学习率lr为0.001，批大小batch‑size为8；
(3.8)进行模型训练并更新网络参数和计数变量；
(3.9)若n＝2，则更新学习率，重置n；
(3.10)当若m＝10，则执行步骤3.11，否则执行步骤3.8；
(3.11)当若m＝10或e＝200，则执行步骤3.14，否则执行步骤3.12；
(3.12)若则重新设置学习率；
(3.13)对所有网络层进行训练并更新网络参数和计数变量，执行步骤3.9；
(3.14)保存模型权重last
1.h5，模型训练结束；
所述步骤(4)中保存最优模型用于真实场景下的小麦头检测具体步骤如下：
(4.1)采集并处理原始数据使其符合输入要求；
(4.2)加载最优模型对输入网络中的图片进行预测；
(4.2)获得各检测目标的类别名、置信度分数和对应的目标框坐标信息，并展示在图片上，检测结束。

说明书

技术领域

[0001] 本发明属于特征提取和目标检测技术领域，提供了一种基于MobilenetV3的小麦头快速检测方法。

背景技术

[0002] 随着计算机视觉相关技术的不断发展，目标检测已被应用到不同对象的检测中，其中小麦头检测就是重要的应用之一。传统的小麦头检测算法需要通过手工设计特征来实现，对于形态多样性、光照多样性和背景多样性的变化没有很好的鲁棒性，在实际检测任务中很难取得较好效果。近年来，随着GPU性能的提高和大规模数据集的出现，多种多样的基于深度学习的目标检测算法被提出，其中最具代表性的是两阶段目标检测器和一阶段目标检测器。R‑CNN、Fast R‑CNN、Faster R‑CNN等算法就是将目标检测分为两个阶段，即先对图像提取候选框，然后基于候选区域做二次修正得到检测点结果；SSD、YOLOV3、YOLOv4等算法则是直接对图像进行计算生成检测结果。两阶段目标检测器虽然位置信息较为精确，对小目标的检测较好，但由于组成部分较多，整体流程较长，检测速度较慢，不能满足实时应用场景；一阶段目标检测器结构简单，计算高效，同时具有良好的检测精度，在实时目标检测领域中具有较高的研究和应用价值，所以在本次改进中选用一阶段目标检测器。SSD检测速度较快，但对小目标的识别效果一般，YOLOv4检测性能虽高于YOLOv3，但对于设备的要求较高，因此本发明选择以YOLOv3为基础进行改进，得到用于小麦头检测的网络模型。

[0003] YOLOv3作为当前较优的目标检测算法，在保持速度优势的前提下，提升了检测精度，尤其是加强了对中小物体的识别能力。它采用借鉴ResNet思想的Darknet‑53作为特征提取的主干网络，通过在网络中加入残差模块，缓解了深层次网络带来的梯度消失问题。其次，采用了多尺度检测，选择了三个不同尺度的特征图进行对象检测，可以检测到更加细粒度的特征。虽然YOLOv3算法在一些数据集上取得了较好的效果，但在实际的小麦头检测任务中，依然存在计算复杂度高、参数量大的问题，很难在计算力和内存受限的设备上运行，并且背景复杂的小麦头在检测过程中容易产生漏检现象，从而导致平均准确率较低。

[0004] MobileNetV3网络：

[0005] MobileNetV3使用了特殊的bneck结构，它综合了四个特点：分别是MobileNetV2的具有线性瓶颈的逆残差结构，MobileNetV1的深度可分离卷积，基于Squeeze and Excitation结构的轻量级注意力模型(SE)和h‑swish激活函数。与Darknet53相比，MobileNetV3检测精度略低，但由于具有较少的参数量和计算量，能够极大提升网络的速度，为实时性要求较高的检测任务提供了良好的解决方案。MobileNetV3有两个版本，MobileNetV3‑Small与MobileNetV3‑Large，分别适用于计算和存储要求低和高的版本。

[0006] 通道注意力模块：

[0007] SE block(通道注意力模块)主要包括两部分，第一部分是压缩(Squeeze)操作，将各通道的全局空间特征作为该通道的表示，形成一个通道描述符；第二部分是激发(Excitation)操作，学习对各通道的依赖程度，并根据依赖程度的不同对特征图进行调整，调整后的特征图就是SE block的输出。SE block在增加极少计算量的情况下调整了每个通道的权重，极大的提升了网络的性能。

[0008] K‑means++算法：

[0009] K‑means++是为解决K‑means算法中的初始值选取不当导致效果变差的问题提出来的。该算法在选取K个聚类中心时，首先随机选取一个聚类中心，然后计算其他目标与聚类中心的距离，距离最大的那个点有更大概率被选为下一个聚类中心，重复多次直到K个聚类中心被选出来。此算法使得群中各个目标之间距离越来越小，群间距离越来越大，改善了分类结果的最终误差，提高了网络的平均准确率。

发明内容

[0010] 发明目的：针对YOLOv3网络在背景复杂的小麦头检测中存在的计算复杂度高、参数量大、检测率低的问题，本发明提出了一种在平均准确度提高的情况下检测速度大大提升的一种基于MobilenetV3的小麦头快速检测方法。

[0011] 本发明思路：通过收集并处理Kaggle竞赛网站上公布的小麦头图片和相关标签文件获得全球小麦头检测数据集(GWHD)。以YOLOv3网络为基础，使用MobilenetV3_large代替Darknet53作为主干网络，并将自底向上的信息通道和注意力机制引入检测分支，形成Wheat‑YOLO网络。利用K‑means++算法对目标候选框重新聚类，同时根据数据集中目标分布情况对候选框进行线性缩放，将得到的满足需求的锚框应用到各尺度网络层，并在GWHD数据集上进行训练和检测，保存最优模型用于真实场景下的小麦头检测中。

[0012] 进一步的，所述步骤(1)中获取全球小麦头检测数据集的具体步骤如下：

[0013] (1.1)从Kaggle竞赛网站上下载Global Wheat Detection数据集并进行处理得到数据集a0；

[0014] (1.2)利用图像增强技术对数据集a0中的样本进行扩充得到数据集a1；

[0015] (1.3)将数据集a1按照一定比例进行划分，仿照VOC2007的格式处理获得进一步的，所述步骤(2)中搭建Wheat_YOLO网络模型的具体步骤如下：

[0016] (2.1)搭建Wheat_YOLO的特征提取网络MobileNetV3‑Large；

[0017] (2.2)在检测分支中通过DownSample操作增加一条自底向上的信息通道，并在每个concat操作后增加SE block，同时使用深度可分离卷积替换普通卷积搭建Wheat_YOLO的检测网络；

[0018] (2.3)设置二元交叉熵损失函数作为网络的置信度和分类损失函数，平方差损失函数作为网络的回归损失函数，三者相加得到网络的损失函数model_loss。

[0019] (2.4)将特征提取网络、检测网络和损失函数结合得到小麦头检测网络模型model。

[0020] 进一步的，所述步骤(3)中使用GWHD数据集训练Wheat_YOLO网络模型的具体步骤如下：

[0021] (3.1)根据训练集中目标编号从包含所有目标所有信息的txt文件中提取所需信息得到train.txt文件；

[0022] (3.2)根据验证集中目标编号从包含所有目标所有信息的txt文件中提取所需信息得到val.txt文件；

[0023] (3.3)使用融合了线性尺度缩放的Kmean++算法对训练验证集中的所有目标执行聚类操作获得所需的anchor box；

[0024] (3.4)定义输入网络的图片的宽高、计数变量m、n和e并赋值；

[0025] (3.5)使用model加载MobilenetV3_large预训练权重；

[0026] (3.6)冻结训练模型前227层；

[0027] (3.7)设置Adam作为网络的优化函数，批训练数量epoch为200，初始学习率lr为0.001，批大小batch‑size为8；

[0028] (3.8)进行模型训练并更新网络参数和计数变量；

[0029] (3.9)若n＝2，则更新学习率，重置n；

[0030] (3.10)当若m＝10，则执行步骤3.11，否则执行步骤3.8；

[0031] (3.11)当若m＝10或e＝200，则执行步骤3.14，否则执行步骤3.12；

[0032] (3.12)若则重新设置学习率；

[0033] (3.13)对所有网络层进行训练并更新网络参数和计数变量，执行步骤3.9；

[0034] (3.14)保存模型权重last1.h5，模型训练结束。

[0035] 进一步的，所述步骤(4)中保存最优模型用于真实场景下的小麦头检测具体步骤如下：

[0036] (4.1)采集并处理原始数据使其符合输入要求；

[0037] (4.2)加载最优模型对输入网络中的图片进行预测；

[0038] (4.2)获得各检测目标的类别名、置信度分数和对应的目标框坐标信息，并展示在图片上，检测结束。

实施方案

[0044] 下面结合附图和具体实施方式，进一步阐明本发明。

[0045] 如图1‑5所示，本发明包括如下步骤：

[0046] 步骤一：如附图2，获取GWHD数据集步骤101从步骤201到步骤204：

[0047] 步骤201：从Kaggle竞赛网站上下载Global Wheat Detection数据集，从数据集中的csv文件中提取目标的编号信息获得wheat_number.txt，提取坐标信息和类别名获得wheat_all.txt，得到数据集a0；

[0048] 步骤202：利用数据增强技术将数据集a0中的图片进行翻转，大小在0.25到2之间进行缩放，宽高在0.5到1.5之间扭曲，色调hue为0.1，亮度和饱和度增强为原图的1.5倍，同时使用数据抖动方式进行样本的扩充，得到包含6746张图片和295538个目标框的数据集a1；

[0049] 步骤203：按照8:1:1的比例将数据集a1划分为训练集、验证集和测试集，得到train_num.txt、val_num.txt和test_num.txt文件；

[0050] 步骤204：仿照VOC2007的格式调整数据集a1得到GWHD数据集，其中中等目标占数据集的68％左右。

[0051] 步骤二：如附图3，搭建Wheat_YOLO网络模型步骤102从步骤301到步骤305：

[0052] 步骤301：使用Relu函数和h‑swish函数作为激活函数，利用SE block、逆残差结构和深度可分离卷积搭建17个bneck结构，实现主干网络MobileNetV3‑Large；

[0053] 步骤302：通过DownSample操作在检测分支中增加一条自底向上的信息通道，采用concat操作进行横向特征融合；

[0054] 步骤303：在concat操作后增加一个SE block，使用深度可分离卷积替换普通卷积并增加残差结构，实现Wheat_YOLO的检测网络；

[0055] 步骤304：设置二元交叉熵损失函数作为网络的置信度和分类损失函数，平方差损失函数作为网络的回归损失函数，得到网络的损失函数model_loss；

[0056] 步骤305：将主干网络、检测网络和损失函数结合得到小麦头检测网络模型model。

[0057] 步骤三：如附图4，使用GWHD数据集训练Wheat_YOLO网络模型步骤103从步骤401到步骤414：

[0058] 步骤401：根据训练集中各样本编号从wheat_all.txt文件中提取样本的(xmin,ymin,xmax,ymax)和所属类别编号得到train.txt文件；

[0059] 步骤402：根据验证集中各样本编号从wheat_all.txt文件中提取样本的(xmin,ymin,xmax,ymax)和所属类别编号得到val.txt文件；

[0060] 步骤403：使用融合了线性尺度缩放的Kmean++算法对训练验证集中的所有目标执行聚类操作获得9个anchor box，每个特征层分别对应3个anchor box；

[0061] 步骤404：定义输入网络图片宽w和高h、计数变量m、n(表示检测指标无改善的训练轮数)和e以及val_loss减少量Δg，并赋值w＝416，h＝416，m＝0，n＝0，e＝0；

[0062] 步骤405：model加载MobilenetV3_large预训练权重，冻结前227层；

[0063] 步骤406：设置Adam作为网络的优化函数，批训练数量epoch为200，初始学习率lr为0.001，批大小batch‑size为8；

[0064] 步骤407：进行模型训练并更新权值，e＝e+1；

[0065] 步骤408：若Δg<＝0，则m＝m+1，n＝n+1，执行步骤409，否则执行步骤409；

[0066] 步骤409：若n＝2，则lr＝lr*0.5，n＝0，执行步骤410，否则执行步骤410；

[0067] 步骤410：当若m＝10，则执行步骤411，否则执行步骤407；

[0068] 步骤411：当若m＝10或e＝200，则执行步骤414，否则执行步骤412；

[0069] 步骤412：若则lr＝0.0001，否则执行步骤413；

[0070] 步骤413：对所有网络层进行训练并更新权值，e＝e+1，执行步骤408；

[0071] 步骤414：保存模型权重last1.h5，模型训练结束。

[0072] 步骤四：如附图5，保存最优模型用于真实场景下的小麦头检测步骤105从步骤501到步骤504：

[0073] 步骤501：采集并处理原始数据得到416×416×3的输入数据；

[0074] 步骤502：对输入数据进行归一化处理；

[0075] 步骤503：加载最优模型对输入网络中的图片进行预测；

[0076] 步骤504：获得各检测目标的类别名、置信度分数和对应的目标框坐标信息，并展示在图片上，检测结束。

[0077] 为了更好的说明本方法的有效性，通过对GHWD数据集进行测试，使用YOLOv3网络与Wheat_YOLO进行了对比，结果如表1所示：与YOLOv3相比，Wheat_YOLO网络的平均准确度提高5.15％，检测速度提升65.8％

[0078] 表1 YOLOv3和Wheat_YOLO结果对比表

[0079]

[0080] 以上所述仅为本发明的实施例子而已，并不用于限制本发明。凡在本发明的原则之内，所作的等同替换，均应包含在本发明的保护范围之内。本发明未作详细阐述的内容属于本专业领域技术人员公知的已有技术。

附图说明

[0039] 图1为本发明的总体流程图；

[0040] 图2为图1中获取GWHD数据集的流程图；

[0041] 图3为图1中搭建Wheat_YOLO网络模型的流程图；

[0042] 图4为图1中使用GWHD数据集训练Wheat_YOLO网络模型的流程图；

[0043] 图5为图1中加载最优模型用于真实场景下的小麦头检测的流程图。

首页 > 专利 > 桂林理工大学 > 一种基于MobilenetV3的小麦头快速检测方法专利详情

一种基于MobilenetV3的小麦头快速检测方法 0 0

技术领域

背景技术

发明内容

实施方案

附图说明