[0025] 图1是系统的整体流程图;
[0026] 图2是图像预处理阶段;
[0027] 图3是系统中使用的U‑Net卷积神经网络示意图;
[0028] 图4是系统中用到的亚像素卷积层示意图;具体实施方式:
[0029] 以下结合附图对本发明进行详细说明。
[0030] 图1是本发明的整体理流程图。系统以.RAW数据作为输入,其形状为H×W×1,对输入数据进行打包,分为四个通道,打包后的形状为H/2×W/2×4。打包过程的示意图如图2所示,其为Sonyα7S II相机拍摄得到的.RAW数据格式示意图,从图中可以清楚的看到图像阵列中的R、G、B像素等间隔均匀分布,而且其中R、G、B的数量比为1:2:1,为了使输入神经网络的图像形状一样,因此我们将.RAW图像阵列分为四个通道,每个通道的空间分辨率只有原始图像的一半。
[0031] 在将.RAW图像阵列分为四个通道后,我们需对每个通道进行“归零”处理,即减去“Black Level”,这样可以使像素的灰度值与光照呈线性关系,有助于模型的训练。
[0032] 图3为本发明中使用的U‑Net卷积神经网络示意图,其由10个卷积层、4个池化层和4个上采样层组成。其输入的图像为我们选取的512×512的补丁,并且经过了随机翻转和旋转变换。即输入网络的图像形状为:512×512×4,其卷积实现过程如下:
[0033] 1)第一层卷积:对输入图像使用32个大小为3×3×4的卷积核进行卷积,输出为512×512×32。
[0034] 第一层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为256×256×32。
[0035] 2)第二层卷积:对输入图像使用64个大小为3×3×32的卷积核进行卷积,输出为256×256×64。
[0036] 第二层下池化:对卷积层的输出使用大小为2×2的模板进行maxpooling,其的输出为128×128×64。
[0037] 3)第三层卷积:对输入图像使用128个大小为3×3×64的卷积核进行卷积,输出为128×128×128。
[0038] 第三层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其的输出为64×64×128。
[0039] 4)第四层卷积:对输入图像使用256个大小为3×3×128的卷积核进行卷积,输出为64×64×256。
[0040] 第四层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其的输出为32×32×256。
[0041] 5)第五层卷积:对输入图像使用512个大小为3×3×256的卷积核进行卷积,输出为32×32×512。
[0042] 6)第一层上采样:对卷积层的输出使用256个大小为2×2×512的模板进行上采样,其输出为64×64×256。将输出与第四层卷积的输出进行组合,其最终输出为64×64×512。
[0043] 第六层卷积:对输入图像使用256个大小为3×3×512的卷积核进行卷积,输出为64×64×256。
[0044] 7)第二层上采样:对卷积层的输出使用128个大小为2×2×256的模板进行上采样,其输出为128×128×128。将输出与第三层卷积的输出进行组合,其最终输出为128×128×256。
[0045] 第七层卷积:对输入图像使用128个大小为3×3×256的卷积核进行卷积,输出为128×128×128。
[0046] 8)第三层上采样:对卷积层的输出使用64个大小为2×2×128的模板进行上采样,其输出为256×256×64。将输出与第二层卷积的输出进行组合,其最终输出为256×256×128。
[0047] 第八层卷积:对输入图像使用64个大小为3×3×128的卷积核进行卷积,输出为256×256×64。
[0048] 9)第四层上采样:对卷积层的输出使用32个大小为2×2×64的模板进行上采样,其输出为512×512×32。将输出与第一层卷积的输出进行组合,其最终输出为512×512×64。
[0049] 第九层卷积:对输入图像使用32个大小为3×3×64的卷积核进行卷积,输出为512×512×32。
[0050] 10.第十层卷积:对输入图像使用12个大小为3×3×32的卷积核进行卷积,输出为512×512×12。
[0051] 以上即为U‑Net卷积神经网络的详细实现过程,从中我们可以看到,网络并没有改变输入图像的尺寸,只是将输入的四个通道经过多层特征提取后,最终输出为12通道。
[0052] 图4为亚像素卷积层示意图,其中图(a)为卷积示意图,即经过亚像素卷积层后,各通道像素按规律进行组合,其空间分辨率扩大一倍。图(b)为本发明中最后的输出结果,其输出为RGB图像。将输出结果与参考图像进行比较,并计算损失函数,通过优化器更新网络参数,并进行后续的迭代训练。
[0053] 对训练好的模型进行测试时,我们选用PSNR和SSIM作为评测标准,以进一步改善训练模型,达到最优化。