[0017] 以下结合附图对本发明方法进行进一步描述。
[0018] 如图1所示，本发明的显著性检测方法，步骤如下：
[0019] 步骤(1)、构建显著性检测模型。
[0020] 显著性检测模型包括双流特征提取模块、多尺度特征池化模块、多尺度特征聚合模块、深度融合模块和显著性边界细化模块。
[0021] 步骤(2)、通过HHA算法处理RGB图像I的原始深度图像，获得深度图像D。
[0022] 步骤(3)、将RGB图像I及其深度图像D输入显著性检测模型中，通过双流特征提取模块中的RGB图像特征提取分支和深度图像特征提取分支分别提取多级RGB图像特征{Ii,i＝1,2,3,4}和深度图像特征{Di,i＝1,2,3,4}。
[0023] 步骤(4)、通过多尺度特征池化模块和多尺度特征聚合模块进一步提取深层次特征。同时利用深度融合模块逐级融合来自于特征提取分支、多尺度特征池化模块和多尺度特征聚合模块的特征。
[0024] 对于得到的多级RGB图像特征{Ii,i＝1,2,3,4}和深度图像特征{Di,i＝1,2,3,4}，按元素相加后得到初步融合特征{IDi,i＝2,3,4}。特别地，将融合特征ID4通过一个包含三个卷积层的卷积块后送入多尺度特征池化模块。
[0025] 如图2所示，多尺度特征池化模块包括四个子分支，用以获得输入特征数据的上下文信息，其中第一子分支采用了全局均值池化层，得到1×1的特征表示；第二子分支和第三个分支均采用自适应均值池化层，分别得到3×3和5×5的特征表示；第四子分支采用直接跳连的方式将输入特征连接到输出端。第一、第二和第三子分支利用1×1的卷积层进一步强化特征表达，同时保持特征尺寸和通道数不变。对于上述通过卷积学习得到的特征表示，进一步分别上采样到输入特征的大小，采取双线性插值的上采样策略。最后，通过通道级联的方式将四个子分支的特征进行组合，得到融合了多尺度池化的特征表示{MPj,j＝2×,4×,8×}。
[0026] 如图3所示，多尺度特征聚合模块包括四个子分支，其中第一子分支、第二子分支和第三子分支采用使用了常规的均值池化层，分别将相应的特征下采样到原尺寸的1/8、1/4、1/2，接着利用3×3的卷积层进一步强化特征表达，同时保持特征尺寸和通道数不变；第四子分支采用直接跳连的方式将输入特征连接到输出端。为得到与输入特征尺寸大小相同的特征表示，进一步使用双线性插值法分别将第一子分支、第二子分支和第三子分支获得的不同尺度的特征进行8倍、4倍、2倍的上采样，并连同第四子分支的跳连特征进行按元素相加的操作，在保持通道数不变的前提下实现多尺度特征的聚合。为降低上采样操作和按元素相加操作带来的混叠效应，采用一个卷积核为3×3、步长为1、填充为1的卷积层来进行处理，最终得到尺寸大小和通道数均与输入特征保持一致的多尺度聚合的特征表示{MAi,i＝1,2,3,4}。
[0027] 深度融合模块用于对来自于特征提取分支的特征{IDi,i＝2,3,4}、多尺度特征池化模块的特征{MPj,j＝2×,4×,8×}和多尺度特征聚合模块的特征{MAi,i＝1,2,3,4}进行融合，定义如下：
[0028]
[0029] 其中，Up(·)表示双线性插值上采样操作，C(·)表示卷积核为3×3的卷积操作。
[0030] 步骤(5)、显著性边界细化模块通过来自于RGB图像特征提取分支和深度图像特征提取分支的浅层特征进行边界约束，达到细化边界的目的；同时利用深度融合模块的输出特征进行全局约束，达到全局优化的目的。
[0031] 显著性边界细化模块将特征提取分支中包含丰富边缘信息的特征用于进行边缘约束，强化对边缘特征的学习，采用第二个卷积块的输出特征，即I2和D2，整个模块可以表示为如下的形式：
[0032] Edge＝C(I2+D2), (2)
[0033] 其中，C(·)表示卷积核为1×1、步长为1的卷积操作。采用HED方法提取相关RBGD数据集的边缘信息作为标准的边缘图像。在执行边缘约束时，以平衡交叉熵损失函数作为目标函数进行优化，有效地缓解样本不平衡的问题。
[0034] 通过ResNet50预训练模型初始化RGB图像特征提取分支和深度图像特征提取分支的权重参数，其他部分的权重则使用“msra”方法初始化。在模型训练阶段，以交叉熵损失函数作为目标函数进行优化，使用Adam优化算法，动量设为0.9，权重衰减率设为0.0001，基本‑5学习率设为5×10 ，批大小设为1。对于训练数据集，使用镜面反射和旋转技术实现数据的增广。
[0035] 显著性检测模型的输入是RGB图像I及其深度图像D。需要注意的是，这里的深度图像D区别于原始深度图像，指的是经过HHA算法处理之后的深度图像。RGB图像特征{Ii,i＝1,2,3,4}和深度图像特征{Di,i＝1,2,3,4}分别通过RGB图像特征提取分支和深度图像特征提取分支获得。对于得到的多级RGB图像特征和深度图像特征，按元素相加后得到初步融合特征{IDi,i＝2,3,4}。特别地，将融合特征ID4通过一个包含三个卷积层的卷积块后送入多尺度特征池化模块。
[0036] 多尺度特征池化模块通过多尺度的池化操作可以更好地获取全局上下文信息，从而有效地区分背景区域中的显著性目标。同时，多尺度特征池化模块摆脱了输入数据尺寸大小的约束，可以生成固定大小的特征表示，这样大大增强了网络结构的灵活性和普适性。多尺度特征池化模块包括四个子分支，用以获得输入特征数据的上下文信息，其中第一子分支采用了全局均值池化层，得到1×1的特征表示；第二子分支和第三个分支均采用自适应均值池化层，分别得到3×3和5×5的特征表示；第四子分支采用直接跳连的方式将输入特征连接到输出端。第一、第二和第三子分支利用1×1的卷积层进一步强化特征表达，同时保持特征尺寸和通道数不变。对于上述通过卷积学习得到的特征表示，进一步分别上采样到输入特征的大小，采取双线性插值的上采样策略。最后，通过通道级联的方式将四个子分支的特征进行组合，得到融合了多尺度池化的特征表示，可以更好地表达特征数据中所包含的全局上下文信息，从而更加有利于进行显著性区域的预测。
[0037] 多尺度特征聚合模块中的“多尺度”具有两层含义：一是该模块处理的特征数据是具有多尺度属性的；二是该模块内部处理特征数据的方式是多尺度的。由于多尺度特征聚合模块处理的部分特征数据间接来自于多尺度特征池化模块，因此其具有多尺度属性。与多尺度特征池化模块类似，多尺度特征聚合模块包括四个子分支，其中第一子分支、第二子分支和第三子分支采用使用了常规的均值池化层，分别将相应的特征下采样到原尺寸的1/8、1/4、1/2，接着利用3×3的卷积层进一步强化特征表达，同时保持特征尺寸和通道数不变。；第四子分支采用直接跳连的方式将输入特征连接到输出端。为得到与输入特征尺寸大小相同的特征表示，进一步使用双线性插值法分别将第一子分支、第二子分支和第三子分支获得的不同尺度的特征进行8倍、4倍、2倍的上采样，并连同第四子分支的跳连特征进行按元素相加的操作，在保持通道数不变的前提下实现多尺度特征的聚合。为降低上采样操作和按元素相加操作带来的混叠效应，采用一个卷积核为3×3、步长为1、填充为1的卷积层来进行处理，最终得到尺寸大小和通道数均与输入特征保持一致的多尺度聚合的特征表示。
[0038] 为了能够充分地融合RGB图像特征和深度图像特征以及较好地保留全局信息，本方法还引入了深度融合模块。深度融合模块用于对来自于特征提取分支的特征{IDi,i＝2,3,4}、多尺度特征池化模块的特征{MPj,j＝2×,4×,8×}和多尺度特征聚合模块的特征{MAi,i＝1,2,3,4}进行融合，定义如下：
[0039]
[0040] 其中，Up(·)表示双线性插值上采样操作，C(·)表示卷积核为3×3的卷积操作。需要注意的是，此处的卷积操作同样具有降低上采样所带来的混叠效应的作用。
[0041] 为了能够准确地定位显著性区域，获得边界清晰的显著性图，本方法引入了显著性边界细化模块。显著性边界细化模块将特征提取分支中包含丰富边缘信息的特征用于进行边缘约束，强化对边缘特征的学习，采用第二个卷积块的输出特征，即I2和D2，整个模块可以表示为如下的形式：
[0042] Edge＝C(I2+D2), (2)
[0043] 其中，C(·)表示卷积核为1×1、步长为1的卷积操作。同样，该卷积层具有降低按元素相加操作所带来的混叠效应的作用。鉴于目前已有的RGBD数据集中大多没有提供标定好的边缘图像，本方法采用HED方法提取相关RBGD数据集的边缘信息作为标准的边缘图像。在执行边缘约束时，以平衡交叉熵损失函数作为目标函数进行优化，有效地缓解样本不平衡的问题。最后，在边缘约束的协同下，利用交叉熵损失函数进行全局优化，以实现显著性图的预测工作。
