[0005] 本发明针对现有图像修复技术对已知图像区域特征提取的不足，提出了一种基于多特征融合网络的图像修复方法。首先，在生成网络中加入自适应长连接和多级短连接，不仅能够将浅层特征传递到深层，使得模型优化过程更加稳定，而且能够增加模型对特征及语义信息的提取及表达能力，使得生成的图像具有一致性的边界信息；然后，在解码阶段，采用亚像素层进行上采样，有效地降低棋盘效应和模糊现象。本发明采用由粗糙到精细(Rough‑to‑Fine)的网络架构，即生成网络由两个多特征融合网络构成。首先，待修复图像输入到粗糙多特征融合生成网络，得到初始的修复图像，该图像具有合理的结构信息，但缺乏精细的纹理；然后，将初始修复图像输入到精细多特征融合生成网络，在初始修复结果的基础上进一步填充精细的纹理信息；最后，本发明结合判别网络对生成网络进行对抗优化，使得生成网络能够产生更多的高频信息，从而提升修复图像的视觉效果。
[0006] 基于多特征融合网络的图像修复方法具体步骤包括：
[0007] 步骤(1).在通道维度级联具有缺失区域的图像Iin和掩码图像Im，获得网络的输入张量，公式为：
[0008] Tin＝fcat(Iin，Im)
[0009] 步骤(2).将张量Tin输入到多特征融合生成网络Ga，生成网络Ga由编码器和解码器构成。编码器由多层步长为2的卷积层构成，对输入张量进行多层特征提取，将其映射到高维度、高度抽象的潜在特征空间。解码器的结构和编码器的结构成对称分布，由多层上采样卷积层构成，将编码器输出的高级潜在特征向量映射到图像空间，同时将缺失区域填充得到修复后的图像。
[0010] 本发明设计一种新的多特征融合生成网络，通过自适应长连接将编码器层信息和对应的解码器层信息进行自适应融合；同时，本发明设计了多级下采样模块和多级上采样模块分别作为编码器和解码器的基本构成模块。
[0011] 初始粗糙修复图像的计算公式为：
[0012] Ia＝Ga(Tin)
[0013] 步骤(3).将初始修复图像Ia级联掩膜图像输入到多特征融合生成网络Gb进行细化。由于Ia图像的缺失区域已被生成网络Ga进行填充，填充的内容是基于图像中的已知信息生成的，因此，相比于Ga网络，Gb网络具有更大的感受野，从而能够更好地生成全局语义信息一致的像素信息。计算公式为：
[0014]
[0015] 步骤(4).将修复图像Iout和真实图像Ig分别输入到判别网络。对于每幅输入图像，判别网络对其进行特征提取，并生成大小为N×N的矩阵X，其元素Xi，j代表输入图像中的局部图像块。
[0016] 步骤(5).计算损失，并对生成网络及判别网络进行优化。本发明采用L1损失，确保初始图像修复Ia和细化修复图像Iout和真实图像Ig之间的像素级一致性，计算公式为：
[0017] Lre＝E[||Ia‑Ig||1+||Iout‑Ig||1]
[0018] 为了提高修复图像中结构信息的清晰度，采用多尺度SSIM损失，计算公式为：
[0019]
[0020] 其中，Dn(·)为采用平均池化对图像进行降采样，2n‑1为降采样倍数。本发明中采用N＝5，即5种不同尺度计算修复图像Ibout和真实图像Ig之间的SSIM损失。通过局部和全局结构相似度约束引导生成网络产生高视觉质量的图像。
[0021] 本发明采用基于最小二乘对抗损失，进一步提升生成图像中的高频信息，计算公式为：
[0022]
[0023] 其中，D(·)为判别器网络，G(·)为生成器网络。Pr为真实图像分布，Pf为待修复图像分布。常量1为真实图像标签，常量0为生成图像标签。最小二乘对抗损失能够提高训练过程的稳定性及生成网络的性能。
[0024] 以上三种损失函数通过加权得到整体损失函数，其公式为：
[0025] L＝λrLre+λdLd+λMS_SSIMLMS_SSIM
[0026] 其中，λr＝4，λd＝2和λMS_SSIM＝1分别为重建损失、对抗损失和结构损失的自适应权重。
[0027] 本发明网络架构由粗糙多特征融合生成网络、精细多特征融合生成网络及判别网络构成。多特征融合生成网络通过长、短跳跃连接，将多级别特征进行融合，能够提升模型对全局及局部语义信息、特征信息的提取及表达能力，从而提高模型修复图像的视觉质量。本发明采用多种损失函数，包括重建损失、结构损失及对抗损失，从多种不同角度优化生成网络的参数，使得模型能够生成满足人类视觉的修复图像。
