首页 > 专利 > 杭州电子科技大学 > 一种基于卷积神经网络的极端条件下的图像修复方法专利详情

一种基于卷积神经网络的极端条件下的图像修复方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-06-17
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-11-19
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-05-25
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-06-17
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910520242.6 申请日 2019-06-17
公开/公告号 CN110378845B 公开/公告日 2021-05-25
授权日 2021-05-25 预估到期日 2039-06-17
申请年 2019年 公开/公告年 2021年
缴费截止日
分类号 G06T5/00G06N3/04G06N3/08 主分类号 G06T5/00
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 3
权利要求数量 4 非专利引证数量 3
引用专利数量 2 被引证专利数量 0
非专利引证 1、任友俊; 2、徐昆良.机器视觉系统中低照度彩色图像自适应增强《.自动化技术与应用》.2015,第34卷(第12期),第38-41页.; 3、2018.12.13CN 109658383 A,2019.04.19Zhang Y , Sun L , Yan C , etal..Adaptive Residual Networks for High-Quality Image Restoration《.IEEETransactions on Image Processing》.2018,第1-14页. 张绍堂;
引用专利 US2018060649A、US2018359416A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 颜成钢、王瑞海、杨洪楠、王兴政、孙垚棋、张继勇、张勇东 第一发明人 颜成钢
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 7
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于卷积神经网络的极端条件下的图像修复方法。本发明包括如下步骤:步骤1:对获取到的短曝光图像进行预处理;步骤2:将预处理后的图像输入U‑Net卷积神经网络进行训练;步骤3:计算误差并进行迭代训练;步骤4:对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。本发明有效地解决低光下快速成像的问题,同时也为图像去噪、去模糊提供了一种新的可行方法。
  • 摘要附图
    一种基于卷积神经网络的极端条件下的图像修复方法
  • 说明书附图:图1
    一种基于卷积神经网络的极端条件下的图像修复方法
  • 说明书附图:图2
    一种基于卷积神经网络的极端条件下的图像修复方法
  • 说明书附图:图3
    一种基于卷积神经网络的极端条件下的图像修复方法
  • 说明书附图:图4
    一种基于卷积神经网络的极端条件下的图像修复方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-05-25 授权
2 2019-11-19 实质审查的生效 IPC(主分类): G06T 5/00 专利申请号: 201910520242.6 申请日: 2019.06.17
3 2019-10-25 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于包括如下步骤:
步骤1:对获取到的短曝光图像进行预处理;
1‑
1.对于获取到的.RAW图像阵列,先按R、G、B三色素对像素进行分类;由于.RAW图像阵列中R、G、B的数量比为1:2:1,因此,将像素阵列分为4个通道;此时每个通道的空间分辨率为原始图像的一半;
1‑
2.对像素灰度值进行“归零”处理,使图像中像素的灰度值与光照强度呈线性关系;
其具体过程为:
首先,将拍摄得到的图像进行检测,检测到该“归零”阈值为“512”;
其次,将图像中所有像素的灰度值减去该阈值;
最后,将图像中低于零的灰度值设置为零,高于零的灰度值保持不变;
步骤2:将预处理后的图像输入U‑Net卷积神经网络进行训练;
2‑
1.通过端对端的方式对U‑Net网络进行训练,以避免图像中噪声的放大和误差的累计;
2‑
2.在训练中,随机裁剪一个512×512的补丁用于训练,同时对裁剪的补丁随机进行翻转、旋转操作来增强训练数据;
步骤3:计算误差并进行迭代训练;
3‑
1.U‑Net网络的输出为12通道,并且每个通道的空间分辨率为原始输入图像的一半;
3‑
2.对U‑Net网络的输出进行亚像素卷积处理,以生成一幅与输入大小相同的图像;
3‑
3.以输入图像对应的长曝光图像作为参考图像,计算二者的L1范数损失函数;选择Adam算法作为网络的优化器;
步骤4:对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。

2.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于以.RAW数据作为输入,其形状为H×W×1,对输入数据进行打包,分为四个通道,打包后的形状为H/2×W/2×4;所述的图像阵列中的R、G、B像素等间隔均匀分布。

3.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于所述的U‑Net卷积神经网络由10个卷积层、4个池化层和4个上采样层组成;其输入的图像为选取的512×512的补丁,并且经过了随机翻转和旋转变换;即输入网络的图像形状为:512×512×4,其卷积实现过程如下:
①第一层卷积:对输入图像使用32个大小为3×3×4的卷积核进行卷积,输出为512×
512×32;
第一层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为256×256×32;
②第二层卷积:对输入图像使用64个大小为3×3×32的卷积核进行卷积,输出为256×
256×64;
第二层下池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为
128×128×64;
③第三层卷积:对输入图像使用128个大小为3×3×64的卷积核进行卷积,输出为128×128×128;
第三层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为64×
64×128;
④第四层卷积:对输入图像使用256个大小为3×3×128的卷积核进行卷积,输出为64×64×256;
第四层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为32×
32×256;
⑤第五层卷积:对输入图像使用512个大小为3×3×256的卷积核进行卷积,输出为32×32×512;
⑥第一层上采样:对卷积层的输出使用256个大小为2×2×512的模板进行上采样,其输出为64×64×256;将输出与第四层卷积的输出进行组合,其最终输出为64×64×512;
第六层卷积:对输入图像使用256个大小为3×3×512的卷积核进行卷积,输出为64×
64×256;
⑦第二层上采样:对卷积层的输出使用128个大小为2×2×256的模板进行上采样,其输出为128×128×128;将输出与第三层卷积的输出进行组合,其最终输出为128×128×
256;
第七层卷积:对输入图像使用128个大小为3×3×256的卷积核进行卷积,输出为128×
128×128;
⑧第三层上采样:对卷积层的输出使用64个大小为2×2×128的模板进行上采样,其输出为256×256×64;将输出与第二层卷积的输出进行组合,其最终输出为256×256×128;
第八层卷积:对输入图像使用64个大小为3×3×128的卷积核进行卷积,输出为256×
256×64;
⑨第四层上采样:对卷积层的输出使用32个大小为2×2×64的模板进行上采样,其输出为512×512×32;将输出与第一层卷积的输出进行组合,其最终输出为512×512×64;
第九层卷积:对输入图像使用32个大小为3×3×64的卷积核进行卷积,输出为512×
512×32;
⑩第十层卷积:对输入图像使用12个大小为3×3×32的卷积核进行卷积,输出为512×
512×12。

4.根据权利要求2所述的一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于将输入的四个通道经过多层特征提取后,最终输出为12通道。
说明书

技术领域

[0001] 本发明涉及图像修复领域,尤其涉及基于卷积神经网络在极端条件下对图像的修复方法。

背景技术

[0002] 在低照度环境下,成像系统采集到的视频图像由于环境照度较低,使得视频图像中有用信息和噪声混合在一起,导致目标特征不明显,清晰度不高,难于辨别,需要使用数字图像处理技术来降低噪声对人眼识别景物的影响。与此同时,在夜间城镇环境中,由于城市照明光的覆盖面较小,城市道路存在较多的光覆盖盲点。因此,给夜间视频检测带来了严重挑战。其主要表现为:一是图像呈现大量暗区,暗区内容模糊不清、细节丢失;二是在人工光源下,图像又出现部分高光区,使得图像整体亮度严重不均,图像质量严重下降。虽然高照度和长曝光时间可以提高成像质量,但其存在不可避免的缺陷。例如,在提高照度的同时也会放大噪声。在延长曝光时间的同时,也会由于相机抖动或物体运动而导致成像模糊。
[0003] 目前,许多关于图像去噪、去模糊和低光图像增强等技术相继提出,但这些技术通常的操作目标为较暗条件下捕获到的图像,即图像只携带有中等程度的噪声。相反,我们更感兴趣的是在极端低光条件下,如严重受限的光照和极短时间的曝光。在这种情况下,传统相机的处理方式已不再适用。
[0004] 得益于最近几年神经网络的兴起,许多研究人员将神经网络应用于图像去噪领域,而且取得了不错的效果,但大多数方法只针对于合成模糊图像或者是只适用于特定的噪声图像,并不能得到广泛的推广。发明内容:
[0005] 本发明提出了一种基于卷积神经网络的在极端条件下的图像修复方法。该方法能够直接建立模糊图像与清晰图像间的联系,可以快速的产生清晰图像,从而获取所需信息。
[0006] 具体来说,我们训练深度神经网络学习低光照条件下原始数据的图像处理技术,包括颜色转换、去马赛克、降噪和图形增强等。我们通过端对端的方式来进行模型训练,以避免图像处理中噪声的放大和误差的累计。
[0007] 传统的基于卷积神经网络的图像去噪方法,大多是在合成数据集上进行的实验,例如在清晰图像中加入高斯噪声或椒盐噪声以合成模糊图像用于实验。由于这类数据集不能很好地模拟真实场景中存在的噪声,所以训练出的模型也不能得到广泛的应用。因此,我们需重新建立一个数据集来进行模型训练。为了得到模糊图像更加完整的信息,我们选择原始的传感器数据(即.RAW格式的图片)来进行训练。这样可以有效地避免传统相机处理流水线导致的信息丢失。
[0008] 该数据集由原始的低照度、短曝光时间图像和相应的长曝光时间参考图像组成,值得注意的是,多张短曝光图像可以对应于相同的长曝光时间的参考图像,这样可以有效地增加训练模型的鲁棒性。
[0009] 我们的数据集包含了室内和室外图像。室外图像通常是在月光或街道照明条件下拍摄所得。在室外场景下,相机的照度一般在0.2lux和5lux之间。室内相机的照度则更暗,一般在0.03lux和0.3lux之间。短曝光图像的曝光时间设置为1/30秒到1/10秒。相应的参考图像的曝光时间需要延长100到300倍,即10到30秒。
[0010] 数据采集时,相机固定在三脚架上。为了避免由于镜面反射引起的干扰,我们使用无反射镜的相机进行拍摄。在每个场景中,首先拍摄长曝光参考图像。拍摄时,将光圈、感光度、焦点和焦距等调节为最优状态,以最大化的提高参考图像的质量。之后,使用远程控制程序将曝光时间进行缩短以进行短曝光图像拍摄。在整个拍摄过程中,我们要确保相机不会发生移动。
[0011] 在完成数据集采集后,我们的实验步骤如下:
[0012] 步骤1:对获取到的短曝光图像进行预处理;
[0013] 1‑1.对于获取到的.RAW图像阵列,先按R、G、B三色素对像素进行分类。由于.RAW图像阵列中R、G、B的数量比为1:2:1,因此,将像素阵列分为4个通道。此时每个通道的空间分辨率为原始图像的一半。
[0014] 1‑2.理想情况下,在暗光条件下获取到的图像中,黑色像素的灰度值应该为“0”,而实际情况中,在有外界干扰的情况下这一值是大于“0”的。因此,我们需对像素灰度值进行“归零”处理,其具体过程为:首先,将拍摄得到的图片输入程序中,检测到该“归零”阈值为“512”。其次,将图片中所有像素的灰度值减去该阈值。最后,将图像中低于零的灰度值设置为零,高于零的灰度值保持不变。经“归零”处理后,可使图像中像素的灰度值与光照强度呈线性关系,方便后续处理。
[0015] 步骤2:将预处理后的图像输入U‑Net卷积神经网络进行训练。
[0016] 2‑1.通过端对端的方式对U‑Net网络进行训练,以避免图像中噪声的放大和误差的累计。
[0017] 2‑2.在训练中,随机裁剪一个512×512的补丁用于训练,这样可以在保证网络训练质量的情况下极大的减少网络的训练时间。同时,我们对裁剪的补丁随机进行翻转、旋转等操作来增强训练数据。
[0018] 步骤3:计算误差并进行迭代训练。
[0019] 3‑1.U‑Net网络的输出为12通道,并且每个通道的空间分辨率为原始输入图像的一半。
[0020] 3‑2.对U‑Net网络的输出进行亚像素卷积处理,以生成一幅与输入大小相同的图像。
[0021] 3‑3.以输入图像对应的长曝光图像作为参考图像,计算二者的L1范数损失函数。考虑到Adam优化算法能够基于训练数据迭代的更新神经网络的权重,因此,我们选择Adam算法作为网络的优化器。
[0022] 步骤4:对训练模型进行评估。我们以图像的峰值信噪比(PSNR)和结构相似性(SSIM)作为最终结果的评判标准。
[0023] 本发明的有益效果:
[0024] 由于低光子数和低信噪比的原因,快速低光成像系统是一个艰巨的挑战。在本发明中,我们创建了一个低照度条件下的数据集,利用该数据集,我们提出了一种基于全卷积神经网络的模型结构,通过端到端训练,改善了传统处理低光图像的方法。该方法的提出,可以有效地解决低光下快速成像的问题,同时也为图像去噪、去模糊提供了一种新的可行方法。

附图说明

[0025] 图1是系统的整体流程图;
[0026] 图2是图像预处理阶段;
[0027] 图3是系统中使用的U‑Net卷积神经网络示意图;
[0028] 图4是系统中用到的亚像素卷积层示意图;具体实施方式:
[0029] 以下结合附图对本发明进行详细说明。
[0030] 图1是本发明的整体理流程图。系统以.RAW数据作为输入,其形状为H×W×1,对输入数据进行打包,分为四个通道,打包后的形状为H/2×W/2×4。打包过程的示意图如图2所示,其为Sonyα7S II相机拍摄得到的.RAW数据格式示意图,从图中可以清楚的看到图像阵列中的R、G、B像素等间隔均匀分布,而且其中R、G、B的数量比为1:2:1,为了使输入神经网络的图像形状一样,因此我们将.RAW图像阵列分为四个通道,每个通道的空间分辨率只有原始图像的一半。
[0031] 在将.RAW图像阵列分为四个通道后,我们需对每个通道进行“归零”处理,即减去“Black Level”,这样可以使像素的灰度值与光照呈线性关系,有助于模型的训练。
[0032] 图3为本发明中使用的U‑Net卷积神经网络示意图,其由10个卷积层、4个池化层和4个上采样层组成。其输入的图像为我们选取的512×512的补丁,并且经过了随机翻转和旋转变换。即输入网络的图像形状为:512×512×4,其卷积实现过程如下:
[0033] 1)第一层卷积:对输入图像使用32个大小为3×3×4的卷积核进行卷积,输出为512×512×32。
[0034] 第一层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为256×256×32。
[0035] 2)第二层卷积:对输入图像使用64个大小为3×3×32的卷积核进行卷积,输出为256×256×64。
[0036] 第二层下池化:对卷积层的输出使用大小为2×2的模板进行maxpooling,其的输出为128×128×64。
[0037] 3)第三层卷积:对输入图像使用128个大小为3×3×64的卷积核进行卷积,输出为128×128×128。
[0038] 第三层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其的输出为64×64×128。
[0039] 4)第四层卷积:对输入图像使用256个大小为3×3×128的卷积核进行卷积,输出为64×64×256。
[0040] 第四层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其的输出为32×32×256。
[0041] 5)第五层卷积:对输入图像使用512个大小为3×3×256的卷积核进行卷积,输出为32×32×512。
[0042] 6)第一层上采样:对卷积层的输出使用256个大小为2×2×512的模板进行上采样,其输出为64×64×256。将输出与第四层卷积的输出进行组合,其最终输出为64×64×512。
[0043] 第六层卷积:对输入图像使用256个大小为3×3×512的卷积核进行卷积,输出为64×64×256。
[0044] 7)第二层上采样:对卷积层的输出使用128个大小为2×2×256的模板进行上采样,其输出为128×128×128。将输出与第三层卷积的输出进行组合,其最终输出为128×128×256。
[0045] 第七层卷积:对输入图像使用128个大小为3×3×256的卷积核进行卷积,输出为128×128×128。
[0046] 8)第三层上采样:对卷积层的输出使用64个大小为2×2×128的模板进行上采样,其输出为256×256×64。将输出与第二层卷积的输出进行组合,其最终输出为256×256×128。
[0047] 第八层卷积:对输入图像使用64个大小为3×3×128的卷积核进行卷积,输出为256×256×64。
[0048] 9)第四层上采样:对卷积层的输出使用32个大小为2×2×64的模板进行上采样,其输出为512×512×32。将输出与第一层卷积的输出进行组合,其最终输出为512×512×64。
[0049] 第九层卷积:对输入图像使用32个大小为3×3×64的卷积核进行卷积,输出为512×512×32。
[0050] 10.第十层卷积:对输入图像使用12个大小为3×3×32的卷积核进行卷积,输出为512×512×12。
[0051] 以上即为U‑Net卷积神经网络的详细实现过程,从中我们可以看到,网络并没有改变输入图像的尺寸,只是将输入的四个通道经过多层特征提取后,最终输出为12通道。
[0052] 图4为亚像素卷积层示意图,其中图(a)为卷积示意图,即经过亚像素卷积层后,各通道像素按规律进行组合,其空间分辨率扩大一倍。图(b)为本发明中最后的输出结果,其输出为RGB图像。将输出结果与参考图像进行比较,并计算损失函数,通过优化器更新网络参数,并进行后续的迭代训练。
[0053] 对训练好的模型进行测试时,我们选用PSNR和SSIM作为评测标准,以进一步改善训练模型,达到最优化。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号