[0018] 本实施例给出一种基于层次化残差神经网络的图像超分辨率方法，涉及网络结构、图像预处理和实现细节等三个部分。该方法采用层次化残差学习策略和双域增强模块，构建层次化残差神经网络模型，将其用于学习低分辨率和高分辨率图像之间的复杂映射关系，然后利用训练好的网络模型从输入的低分辨率图像重建出高分辨率图像。
[0019] 图1是图像超分辨率重建模型的网络结构图，由特征提取层、特征映射层和特征融合层组成，其中特征提取层由卷积(Conv)模块构成，特征映射层由多个双域增强模块(DEM)级联构成，特征融合层由上采样(Upsample)模块和卷积 (Conv)模块构成。
[0020] 1)网络结构
[0021] 图像超分辨率重建模型采用了五种操作：正向离散余弦变换(DCT)、反向离散余弦变换(IDCT)、卷积(Conv)、拼接(Concat)和作为激活函数的指数线性单元(ELU)。其中，DCT和IDCT用于空间域和频域的相互转换。从图1可知，针对输入的低分辨率图像，所述图像超分辨率重建模型建立在层次化残差学习策略的基础上，首先利用尺寸为k1×k1的卷积模块提取特征，其次将提取的空间域特征和频域特征送入由多个双域增强模块构成的特征映射层，然后把映射特征与输入图像的残差送入由上采样和卷积模块构成的特征融合层，最后输出高分辨率图像，其中，层次化残差学习策略分别利用双域增强模块(DEM)、宽激活残差密集块(WRDB)和宽激活残差模块(WRB)实现外层、中层和内层网络残差学习，改善特征映射效果和超分辨率网络性能。
[0022] (1)双域增强模块(DEM)
[0023] 双域增强模块(DEM)由3个宽激活残差密集块(WRDB)、2个卷积模块 (Conv)、1个反向离散余弦变换(IDCT)和跳连接组成，其网络结构如图2(a) 所示。
[0024] 所述双域增强模块(DEM)首先利用两个级联的WRDB和单个WRDB分别对空域特征和频域特征进行映射，其次使用反向离散余弦变换(IDCT)将频域输出特征转换到空域并与空域输出特征拼接，然后通过卷积模块送入后一级双域增强模块(DEM)，最后利用外层网络残差学习改善网络性能和特征映射效果。
[0025] (2)宽激活残差密集块(WRDB)
[0026] 宽激活残差密集块(WRDB)由3个宽激活残差模块(WRB)、1个卷积模块和跳连接组成，其网络结构如图2(b)所示。
[0027] 该宽激活残差密集块(WRDB)利用前馈方式和密集块提取更多特征，采用尺寸为1×1的卷积模块保证输入特征通道数和输出特征通道数一致，从而改善中层网络残差学习效果。
[0028] (3)宽激活残差模块(WRB)：
[0029] 宽激活残差模块(WRB)由2个卷积模块(Conv)、1个指数线性单元(ELU) 和跳连接组成，其网络结构如图2(c)所示。
[0030] 所述宽激活残差模块(WRB)使用宽激活方式强化内层网络残差学习效果，利用指数线性激活函数(ELU)修正映射特征，实现特征信息提取。
[0031] 2)图像预处理
[0032] 采用数据扩充技术，例如翻转和旋转等操作，对训练图像进行预处理，从而增加训练数据样本容量和多样性，提高模型的泛化能力。
[0033] 3)实现细节
[0034] 对于输入低分辨率图像X，上述网络模型旨在通过学习映射函数 来重建超分辨率图像Y。采用超分辨率图像与基准图像之间的平均绝对误差最小化(即L1范数)构建损失函数，提出层次化残差学习策略改善网络的性能和收敛性。
[0035] 为了最小化损失函数，本实施例选用自适应矩估计(Adam)优化器训练网络模型，其中Adam参数配置如下：
[0036] β1＝0.9，β2＝0.999，eps＝1e‑08。
[0037] 在本实施例中，学习速率从lr＝0.0001开始，每30万次衰减一半，所有权重和偏差参数的初始化服从均匀分布θ～∪(‑k,k)；其中， cin是输入映射特征通道数。
[0038] 按照本实施例的基于层次化残差神经网络的图像超分辨率方法，对当今常用的5个公开数据集(Set5、Set14、BSD100和Urban100)，申请人分别开展放大倍数为2、3和4的测试实验，实验结果如下表所示。
[0039]
[0040] 从表中可以看出，本实施例的基于层次化残差神经网络的图像超分辨率方法，能够重建出更好的高分辨率图像，并且网络模型参数量较小和计算效率高。其中的双域增强模块可以有效挖掘空域和频域的互补信息，层次化残差学习策略改善了网络信号前向传播和反向传播，设计的灵活高效网络模型能够恢复出更多细微结构，提高了图像超分辨率重建效果。实验结果验证了层次化残差学习策略和双域增强模块的有效性和优越性。
