[0003] 本发明针对现有技术的不足，提出一种基于多级特征信道优化编码的图像轮廓检测方法。
[0004] 虽然NSCT变换在表征图像细节方面具有优越的性能，但其通常采取在尺度和方向上对分解结果进行某种加权方式下的优化编码，处理过程中加权参数的人为设定使得检测结果具有较大的不确定性。考虑到Gabor滤波器在感知图像目标尺度和方向时的有效性，因此本发明针对输入图像I(x,y)，首先计算Gabor滤波器对应的最优尺度mopt和方向θopt，并将获得的mopt和θopt作为NSCT变换的频率分离参数，改变了传统上需要对Gabor和NSCT遍历所有尺度和方向的冗余融合模式；另外本发明将NSCT得到的轮廓子图与I(x,y)进行特征增强融合，有助于高效准确获得I(x,y)的初级轮廓响应E(x,y)；接着将E(x,y)传入至由FSC‑32S、FSC‑16S、FSC‑8S网络单元构成的全卷积神经网络，利用特征编码器的卷积与池化模块实现网络参数的主动学习，通过特征解码器的反卷积与上采样模块得到与I(x,y)对应的图像轮廓掩模图，并与I(x,y)进行点乘操作，最终实现图像轮廓的准确检测。具体包括如下步骤：
[0005] 步骤1:获取输入图像I(x,y)的初级轮廓响应。首先计算输入图像I(x,y)的Gabor滤波器响应，结果记为 如式(1)～(4)所示。
[0006]
[0007]
[0008]
[0009]
[0010] 式中： 表示图像I(x,y)经过Gabor滤波器在尺度m，方向θ＝nπ/K上得到的Gabor特征信息；σx,σy分别表示Gabor小波基函数沿x轴和y轴的标准偏差；ω为高斯函数的复调制频率；以ψ(x,y)为母小波，通过对其进行尺度和旋转变换，得到Gabor滤波器ψm,n(x,y)；其中，u,v是ψm,n(x,y)的模板尺寸；m＝0,...,S‑1，n＝0,...,K‑1，S和K分别表示尺度数和方向数；α为ψ(x,y)的尺度因子，式中：α>1。
[0011] 基于相似度指标SSIM，计算Gabor滤波器对应的最优尺度mopt和方向θopt，如式(5)～(8)所示。
[0012]
[0013]
[0014]
[0015]
[0016] 其中 表示滤波器响应 与已知的轮廓标记图像Imark之间的相似度 ，当 取极大值时 ，获得最优尺度mo pt和方向θop t；
mark
和 分别表示 与I 之间在亮度、对比度和
mark
结构上的定量相似性度量；uGabor、umark分别表示图像 和I 的亮度均值，δGabor、δmark分mark mark
别表示图像 和I 的亮度标准差， 分别表示图像 和I 的亮度方差，
mark mark
δG,m代表图像 和I 的亮度协方差；I 图像的轮廓区域像素为1，其余像素为0；为了避免由于式(6)～(8)中的各项分母接近零值时所引起的系统不稳定，C1、C2和C3设置为某个正常数，小于滤波器响应 亮度均值的3％。
[0017] 将mopt和θopt作为NSCT的频率分离参数，NSCT对图像I(x,y)分解得到轮廓子图由于NSCT分解过程尺寸保持不变，因此将 与I(x,y)直接进行像素级的特征增强融合操作，最终获得输入图像I(x,y)的初级轮廓响应E(x,y)，如式(9)和(10)所示。
[0018]
[0019]
[0020] 式中， 表示尺度mopt和方向θopt参数条件下的非下采样轮廓波变换，表示对应的NSCT轮廓子图；t表示轮廓子图 的亮度均值；max表示取最大值函数，下同。
[0021] 步骤2：将步骤1获得的初级轮廓响应E(x,y)，传输至全卷积神经网络，获得分别由5 4 3
FCN‑32S、FCN‑16S、FCN‑8S网络单元训练得到的热图F ，F ，F 。全卷积神经网络分为特征编码器和特征解码器两部分，整个网络包含8个卷积块，5个最大池化层，5个上采样和2个卷积层。具体结构如下：
[0022] 1.特征编码器
[0023] 以VGG‑16作为基础网络进行全卷积神经网络的优化改造。为实现网络计算速度的提高，增强泛化能力，在卷积块(3×3、1×1、3×3)结构中，每两个3×3的卷积核中加入1×1卷积核；为加强学习图像特征的非线性和平移不变性，每层卷积模块后面加入最大池化层；同时E(x,y)经过池化层Max pool5处理后，尺寸变成I(x,y)的1/32，记为 表示经过FCN‑32S网络单元训练后输出的特征图；E(x,y)经过池化层Max pool4和卷积层1×1，尺寸变成I(x,y)的1/16，记为 表示经过FCN‑16S网络单元训练后输出的特征图；同理，E(x,y)经过池化层Max pool3和卷积层1×1，尺寸变成I(x,y)的1/8，记为 表示经过FCN‑8S网络单元训练后输出的特征图。其中每个池化层输出利用Relu激活函数实现稀疏编码功能。特征编码器包括如下十三层结构，其中步长stride均为1：
[0024] 第一层，卷积层CONV1‑1，通道个数8，卷积核大小3×3；CONV1‑2，通道个数8，卷积核大小为3×3；
[0025] 第二层，最大池化层Max pool1，池化区域大小为2×2；
[0026] 第三层，卷积层CONV2‑1，通道个数16，卷积核大小为3×3；CONV2‑2，通道个数16，卷积核大小为1×1；CONV2‑3，通道个数16，卷积核大小为3x3；
[0027] 第四层，最大池化层Max pool2，池化区域大小为2×2；
[0028] 第五层，卷积层CONV3‑1，通道个数32，卷积核大小为3×3；CONV3‑2,通道个数32，卷积核大小为1×1；CONV3‑3，通道个数32，卷积核大小为3×3；
[0029] 第六层，最大池化层Max pool3，池化区域大小为2×2；
[0030] 第七层，卷积层CONV4‑1，通道个数64，卷积核大小为3×3；CONV4‑2，通道个数64，卷积核大小为1×1；CONV4‑3，通道个数64，卷积核大小为3×3；
[0031] 第八层，最大池化层Max pool4，池化区域大小为2×2；
[0032] 第九层，卷积层CONV5‑1，通道个数128，卷积核大小为3×3；CONV5‑2，通道个数128，卷积核大小为1×1；CONV5‑3，通道个数128，卷积核大小为3×3；
[0033] 第十层，最大池化层Max pool5，池化区域大小为2×2；
[0034] 第十一层，卷积层CONV6，通道个数256，卷积核大小为1×1；
[0035] 第十二层，卷积层CONV7，通道个数256，卷积核大小为1×1；
[0036] 第十三层，卷积层CONV8，通道个数1，卷积核大小为1×1；
[0037] 2.特征解码器
[0038] 初级轮廓响应E(x,y)经过特征编码不断缩小为原来的1/8，1/16，1/32倍，获得的特征图分辨率低，因此加入特征解码器，对低分辨率的特征图进行双线性上采样操作。对于经过32倍下采样的图像 利用32倍双线性上采样得到与I(x,y)一样大小的热图，记为5
F ；在池化层Max pool4后加入调节特征图像通道个数的预测卷积层1×1，输出得到图像同时把32倍下采样的图像 进行两倍上采样，所得结果与 对应元素相加，再利
4
用16倍双线性上采样得到与I(x,y)一样大小的热图，记为F；在池化层Max pool3后加入调节特征图像通道个数的预测卷积层1×1，输出得到图像 同时把16倍下采样的图像进行两倍上采样，所得结果与 对应元素相加，再利用8倍双线性上采样得到与I(x,y)一
3
样大小的热图，记为F。
[0039] 步骤3：对步骤2获得的热图F5，F4，F3，利用max函数取各像素上的最大像素值，融合mark得到图像轮廓掩模图F，再经过Relu激活函数作用，与已知的轮廓标记图像I 进行损失运算，结果记为loss，并采用随机梯度下降，不断迭代更新各个网络层的参数，当loss值小于阀值ε时训练结束，ε设为训练图像样本像素总数的1～3％，获得训练后的全卷积神经网络。
[0040] 步骤4：将待检测图像经过步骤1～3所构建的Gabor滤波器，非下采样轮廓波变换以及训练后的全卷积神经网络，得到图像轮廓掩模图，与待检测图像进行点乘操作，最终获得图像轮廓检测结果。
[0041] 本发明具有的有益效果为：
[0042] 1、提出一种多级特征信道优化编码的初级轮廓响应新方法。由于NSCT变换能够模拟外膝体LGN在视觉信息处理中的频域分离作用，但在图像分解过程中加权参数的人为设定使得检测结果具有较大的不确定性。考虑到Gabor滤波器响应特性与人类的视觉系统类似，对光照、姿态具有一定的鲁棒性，有优质的空间局部性和方向选择性。因此本发明提出对每张图片都寻找基于Gabor滤波器响应的最优尺度和方向，然后将它们作为NSCT设定频率分离参数的直接依据；将NSCT得到的轮廓子图与原图像进行特征增强融合，有助于高效准确的获得初级轮廓响应。构建一种多级特征信道优化编码的初级轮廓响应新方法，获得低维且冗余度低的图像特征信道，对于缓解网络压力，降低卷积神经网络计算复杂度，提高网络的训练效率具有重要的应用前景。
[0043] 2、构建一种全卷积神经网络进行多尺度训练，对FCN‑32S、FCN‑16S、FCN‑8S在热图表达中的平滑性和精细性等特性进行充分互补。将网络分为特征编码器和特征解码器两部分，从端到端不需要对目标图像进行区域上的选择，特征编码器通过卷积和池化操作，不断主动学习特征参数，特征图按比例减小，特征解码器通过反卷积与上采样过程保证提取特征的二维特性，并且得到与原图像同一尺寸的热图来表示图像的主要轮廓，实现对每个像素预测，同时保留原图像的空间信息。
