首页 > 专利 > 杭州电子科技大学 > 一种基于特征增强的隧道裂缝快速检测方法专利详情

一种基于特征增强的隧道裂缝快速检测方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2021-03-09
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2021-06-25
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-03-08
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2041-03-09
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202110259286.5 申请日 2021-03-09
公开/公告号 CN112926669B 公开/公告日 2022-03-08
授权日 2022-03-08 预估到期日 2041-03-09
申请年 2021年 公开/公告年 2022年
缴费截止日
分类号 G06V10/774G06N3/04 主分类号 G06V10/774
是否联合申请 独立申请 文献类型号 B
独权数量 2 从权数量 1
权利要求数量 3 非专利引证数量 0
引用专利数量 3 被引证专利数量 0
非专利引证
引用专利 CN111597932A、CN110378252A、KR101896406B1 被引证专利
专利权维持 1 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 姜明、何利飞、张旻、李鹏飞 第一发明人 姜明
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 4
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于特征增强的隧道裂缝快速检测方法。本发明步骤:(1)使用特征提取模块、特征融合模块和注意力机制模块,构建初始卷积神经网络LFDNet;(2)在MSCOCO数据集上对初始卷积神经网络LFDNet进行预训练得到基础检测模型;(3)收集多种场景下的隧道裂缝图片,标注所有收集的裂缝图片中的裂缝,从而形成一个专门的隧道裂缝数据集;使用隧道裂缝数据集对基础检测模型进行训练得到最终的裂缝检测网络LFDNet;(4)将测试裂缝图片输入最终的裂缝检测网络LFDNet,检测出该裂缝图片中是否存在裂缝以及裂缝的位置信息。本发明能够较为快速、准确的检测出隧道内的裂缝,可用性强。
  • 摘要附图
    一种基于特征增强的隧道裂缝快速检测方法
  • 说明书附图:图1
    一种基于特征增强的隧道裂缝快速检测方法
  • 说明书附图:图2
    一种基于特征增强的隧道裂缝快速检测方法
  • 说明书附图:图3
    一种基于特征增强的隧道裂缝快速检测方法
  • 说明书附图:图4
    一种基于特征增强的隧道裂缝快速检测方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-03-08 授权
2 2021-06-25 实质审查的生效 IPC(主分类): G06K 9/62 专利申请号: 202110259286.5 申请日: 2021.03.09
3 2021-06-08 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于特征增强的隧道裂缝快速检测方法,其特征在于包括如下步骤:
步骤(1)使用特征提取模块、特征融合模块和注意力机制模块,构建初始卷积神经网络LFDNet;
步骤(2)在MS COCO数据集上对初始卷积神经网络LFDNet进行预训练,得到基础检测模型;
步骤(3)收集多种场景下的隧道裂缝图片,标注所有收集的裂缝图片中的裂缝,从而形成一个专门的隧道裂缝数据集;收集的多种场景下的隧道裂缝图片包括:高对比度/低对比度、强光照/弱光照、图片有噪点污染/图片无噪点污染;
使用隧道裂缝数据集对步骤(2)中的基础检测模型进行进一步训练,得到最终的裂缝检测网络LFDNet;
步骤(4)将测试裂缝图片输入最终的裂缝检测网络LFDNet,检测出该裂缝图片中是否存在裂缝以及裂缝的位置信息;
步骤(1)所述构建初始卷积神经网络LFDNet,具体实现过程如下:
1.1构建特征提取模块,使用ResNet‑101作为主干网络用于提取隧道裂缝特征图信息,包括特征图1、特征图2、特征图3、特征图4和特征图5;
1.2构建特征融合模块:从特征图5开始,使用1*1的卷积核来降维深层特征图的通道,使得深层特征图和浅层特征图的通道数一致;然后对降维的深层特征图上采样放大到和浅层特征图的尺寸一致;最后利用矩阵multi操作将具有相同通道和尺寸的浅层特征图和深层特征图融合,得到融合特征图;具体的:特征图1是由卷积层1的输出,特征图尺寸最大,语义最浅;依次特征图2、特征图3、特征图4、是分别由卷积层2、卷积层3和卷积层4输出,而由卷积层5输出的特征图5尺寸最小,语义最强;将特征图5上采样到与特征图4相同的尺寸,然后与特征图4进行第1次融合得到融合特征图1,此时的融合特征图相比与原先的特征图4具有了更强的语义;再然后将融合特征图1上采样得到与特征图3相同的尺寸,进行第,2次融合得到融合特征图2,重复多次融合得到融合特征图1、融合特征图2、融合特征图3和融合特征图4;
1.3将步骤1.2得到的融合特征图1、融合特征图2、融合特征图3和融合特征图4送入注意力机制模块,提取不同维度信息,得到包含关键信息的特征图:
h*w*c
其中,输入融合特征图为X∈R ;首先通过横向卷积和纵向卷积操作,沿通道维度得到两个新的特征描述分别为:
hwc*1 1*hwc
Fc∈R ,Fl∈R ,
并通过矩阵multi操作融合新的特征描述:
Xnew=Fc×Fl
然后,通过一个标准的卷积激活函数ReLU对融合后新的特征描述进行激活,获得最终的注意力图A(x),整个注意力图提取过程描述如下所示:
其中:γ∈[0,1)。

2.根据权利要求1所述的一种基于特征增强的隧道裂缝快速检测方法,其特征在于所述步骤(2)具体实现过程如下:
2.1将步骤(1)构成的卷积神经网络LFDNet,设置多个步长的学习批次,批处理数设置为64;动量设为0.8,初始权值设置为0.01,每1000次学习后衰减为原来的1/10;
2.2网上下载MS COCO数据集,使用MS COCO数据集对卷积神经网络LFDNet进行训练,获得基础检测模型。

3.根据权利要求2所述的一种基于特征增强的隧道裂缝快速检测方法,其特征在于所述步骤(4)具体实现过程如下:
将测试图像输入到卷积神经网络检测模型LFDNet中,获得裂缝检测结果;若输入的隧道图片中包含裂缝,则能够得到图片中的裂缝位置等信息将测试裂缝图片输入最终的裂缝检测网络LFDNet,获得裂缝检测结果,若输入的测试裂缝图片中包含裂缝,则能够检测出该测试裂缝图片中裂缝的位置信息。
说明书

技术领域

[0001] 本发明属于人工智能和目标检测技术领域。涉及一种基于特征增强的隧道裂缝快速检测方法,具体是一种使用特征增强网络的隧道裂缝快速检测方法,

背景技术

[0002] 随着我国轨道交通的飞速发展,隧道的数目与日俱增,随之而来隧道病害也日益增多,尤其是隧道裂缝病害。这些裂缝如果不能够及时有效的修复,会对交通安全造成巨大隐患。裂缝作为隧道病害的一种,影响着轨道交通的运营安全,因此对隧道裂缝的有效检测十分重要。隧道裂缝图像普遍存在着低对比度、光照不均匀、噪声污染严重等问题。目前在对隧道情况进行检测时,大部分还是使用传统的人工检测方法。人工的方法效率低、误差大,而且对交通有较大的影响,检测人员的人身安全也不能完全保证。借助于人工智能的发展,使用卷积神经网络进行目标检测,也已经得到了广泛的应用。

发明内容

[0003] 本发明的目的是针对人工检测隧道病害的不足,提供一种基于特征增强的隧道裂缝快速检测方法,一种使用基于人工智能领域的特征增强卷积神经网络,进行隧道裂缝检测任务。
[0004] 本发明解决其技术问题所采用的技术方案如下:
[0005] 步骤(1)使用特征提取模块、特征融合模块和注意力机制模块,构建初始卷积神经网络LFDNet;
[0006] 步骤(2)在MS COCO数据集上对初始卷积神经网络LFDNet进行预训练,得到基础检测模型;
[0007] 步骤(3)收集多种场景下的隧道裂缝图片,标注所有收集的裂缝图片中的裂缝,从而形成一个专门的隧道裂缝数据集;收集的多种场景下的隧道裂缝图片包括:高对比度/低对比度、强光照/弱光照、图片有噪点污染/图片无噪点污染;
[0008] 使用隧道裂缝数据集对步骤(2)中的基础检测模型进行进一步训练,得到最终的裂缝检测网络LFDNet;
[0009] 步骤(4)将测试裂缝图片输入最终的裂缝检测网络LFDNet,检测出该裂缝图片中是否存在裂缝以及裂缝的位置信息。
[0010] 针对网络LFDNet的训练:先在MS COCO数据集上进行预训练,得到含有基础目标检测能力的预训练网络模型。然后通过收集多种场景下的裂缝图片,标注所有收集的裂缝图片中的裂缝,从而形成一个专门的隧道裂缝数据集。最后将预训练网络模型,进一步在隧道裂缝数据集上进一步训练,得到最终的裂缝检测网络LFDNet进行裂缝检测测试。
[0011] 本发明优点如下:
[0012] 本发明方法具有更好的鲁棒性能检测各种场景下的隧道裂缝;而且本发明使用人工智能领域的目标检测技术,能够节省人工,提高效率,减少误差,而且对交通影响也小。
[0013] 本发明采集了多种场景下的隧道裂缝整体特征,而且通过特征融合和注意力机制的增强方式,能够较为快熟、准确的检测出隧道内的裂缝,可用性强。
[0014] 本发明建立在目标检测技术基础上的隧道裂缝检测,具有一定先进性,卷积神经网络可以自己学习目标整体特征,而且通过多个样本的学习,就能够较为准确的检测出隧道裂缝,适用性较强。

实施方案

[0019] 下面结合附图对本发明作进一步描述。
[0020] 本发明提供了一种基于特征增强卷积神经网络的裂缝检测网络LFDNet。该裂缝检测网络LFDNet包括三部分:特征提取模块、特征融合模块以及注意力机制模块。首先,特征提取模块通过基本卷积神经网络提取目标浅层特征信息、深层特征信息;然后特征融合模块将提取的特征信息中的浅层特征和深层特征融合,形成包含上下文信息的融合特征,用于解决浅层特征图中目标语义信息弱、检测精度低的问题;再然后注意力机制模块通过融合全局像素关联空间注意力,增强对关键目标信息贡献大的区域,来增强网络LFDNet对特定目标的检测能力。
[0021] 参照图1是本发明的整体实施方案流程图,一种基于特征增强的隧道裂缝快速检测方法,按照如下步骤进行:
[0022] 步骤(1)使用特征提取模块、特征融合模块和注意力机制模块,构建初始卷积神经网络LFDNet;
[0023] 步骤(2)在MS COCO数据集上对初始卷积神经网络LFDNet进行预训练,得到基础检测模型。
[0024] 步骤(3)收集多种场景下的隧道裂缝图片,标注所有收集的裂缝图片中的裂缝,从而形成一个专门的隧道裂缝数据集。收集的多种场景下的隧道裂缝图片包括:高对比度/低对比度、强光照/弱光照、图片有噪点污染/图片无噪点污染。使用隧道裂缝数据集对步骤(2)中的基础检测模型进行进一步训练,得到最终的裂缝检测网络LFDNet。
[0025] 步骤(4)将测试裂缝图片输入最终的裂缝检测网络LFDNet,检测出该裂缝图片中是否存在裂缝以及裂缝的位置信息。
[0026] 步骤(1)所述构建卷积神经网络LFDNet,具体实现过程如下:
[0027] 1.1构建特征提取模块,使用ResNet‑101作为主干网络用于提取隧道裂缝特征图信息;
[0028] 1.2提取到特征图(记为特征图1、特征图2、特征图3、特征图4和特征图5)之后。构建特征融合模块:从特征图5开始,使用1*1的卷积核来降维深层特征图的通道,使得深层特征图和浅层特征图的通道数一致;然后对降维的深层特征图上采样放大到和浅层特征图的尺寸一致;最后利用矩阵multi操作将具有相同通道和尺寸的浅层特征图和深层特征图融合,得到融合特征图。
[0029] 具体过程如图2所示:特征图1是由卷积层1的输出,特征图尺寸最大,语义最浅;依次特征图2、特征图3、特征图4、是分别由卷积层2、卷积层3和卷积层4输出,而由卷积层5输出的特征图5尺寸最小,语义最强。将特征图5上采样到与特征图4相同的尺寸,然后与特征图4进行第1次融合得到融合特征图1,此时的融合特征图相比与原先的特征图4具有了更强的语义。再然后将融合特征图1上采样得到与特征图3相同的尺寸,进行第,2次融合得到融合特征图2,重复多次融合得到融合特征图1、融合特征图2、融合特征图3和融合特征图4。
[0030] 1.3将步骤1.2得到的融合特征图1、融合特征图2、融合特征图3和融合特征图4送入注意力机制模块,提取不同维度信息,得到包含关键信息的特征图,具体流程如图3所示:
[0031] 其中,输入融合特征图为X∈Rh*w*c,首先,通过横向卷积和纵向卷积操作,沿通道维度得到两个新的特征描述分别为:
[0032] Fc∈Rhwc*1,Fl∈R1*hwc,
[0033] 并通过矩阵multi操作融合新的特征描述:
[0034] Xnew=Fc×Fl
[0035] 然后,通过一个标准的卷积激活函数ReLU对融合后新的特征描述进行激活,获得最终的注意力图A(x),整个注意力图提取过程描述如下所示:
[0036]
[0037] 其中:γ∈[0,1).
[0038] 进一步步骤1.3的操作可以描述为:首先,空间注意力机制通过计算不同维度(横向和纵向)的特征信息寻找隧道裂缝在图片中的位置;然后,通过卷积激活函数对特定区域进行注意力学习,得到包含特定区域上下文信息的注意力特征图。
[0039] 如图4所示,所述步骤(2)具体实现过程如下:
[0040] 2.1将步骤(1)构成的卷积神经网络LFDNet,设置多个步长的学习批次,批处理数设置为64。动量设为0.8,初始权值设置为0.01,每1000次学习后衰减为原来的1/10。
[0041] 2.2网上下载MS COCO数据集,使用MS COCO数据集对卷积神经网络LFDNet进行训练,获得基础检测模型。
[0042] 所述步骤(3)具体实现过程如下:
[0043] 3.1收集多种场景下的隧道裂缝图片,标注所有收集的裂缝图片中的裂缝,从而形成一个专门的隧道裂缝数据集。收集的多种场景下的隧道裂缝图片包括:高对比度/低对比度、强光照/弱光照、图片有噪点污染/图片无噪点污染。
[0044] 3.2使用隧道裂缝数据集对步骤(2)中的基础检测模型进行进一步训练,得到最终的裂缝检测网络LFDNet。
[0045] 所述步骤(4)具体实现过程如下:
[0046] 将测试图像输入到卷积神经网络检测模型LFDNet中,获得裂缝检测结果。若输入的隧道图片中包含裂缝,则能够得到图片中的裂缝位置等信息将测试裂缝图片输入最终的裂缝检测网络LFDNet,获得裂缝检测结果,若输入的测试裂缝图片中包含裂缝,则能够检测出该测试裂缝图片中裂缝的位置信息。

附图说明

[0015] 图1是本发明的整体实施方案流程图;
[0016] 图2是本发明的特征融合模块示意图;
[0017] 图3是本发明的注意力机制示意图;
[0018] 图4是本发明的LFDNet网络结构示意图;
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号