[0138] 现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
[0139] 同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0140] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
[0141] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0142] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0143] 图1为本申请图像处理方法一个实施例的流程图。如图1所示，该实施例方法包括：
[0144] 步骤110，对待处理的图像进行特征提取以生成图像的特征图。
[0145] 本实施例中的图像可以为未经过特征提取处理的图像，或者，可以为经过一次或多次特征提取得到的特征图等等，本申请不限制待处理的图像的具体形式。
[0146] 步骤120，确定特征图包括的多个特征点中每个特征点对应的特征权重。
[0147] 本实施例中的多个特征点可以是特征图中的全部特征点或部分特征点；为了实现特征点之间的信息传递，需要确定传递概率，即将一个特征点的信息全部或部分传递给其他特征点，而传递的比例由特征权重确定。
[0148] 在一个或多个可选的实施例中，图2为本申请图像处理方法一个可选示例中特征点之间传递信息的示意图。其中，如图2‑a所示：特征点之间仅具有单向传递，实现信息的收集(collect)，以中间的特征点为例，接收周围所有特征点向该特征点传递的特征信息；如图2‑b所示，特征点之间仅具有单向传递，实现信息的分发(distribute)，以中间的特征点为例，将传递该特征点的特征信息向外传递到所有特征点；如图2‑c所示，进行双向传递，即每个特征点不仅向外传递信息还接收所有特征点传递的信息，实现信息的双向传输(bi‑direction)，此时，特征权重包括向内接收权重和向外发送权重，将该向外传递信息的向内接收权重与该特征信息的乘积传递到所有特征点的同时，接收该向外发送权重与所有特征信息的乘积传递到该特征点。
[0149] 步骤130，将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图。
[0150] 其中，其他特征点是指特征图中除了该对应的特征点之外的特征点。
[0151] 每个特征点拥有各自的信息传递，用逐点的空间注意力机制(特征权重)表示，这些信息传递可以通过神经网络进行学习，具有很强的自适应能力。且在学习不同点之间的信息传递时，将特征点与特征点之间的相对位置关系考虑在内。
[0152] 基于本申请上述实施例提供的一种图像处理方法，对待处理的图像进行特征提取以生成图像的特征图；确定特征图包括的多个特征点中每个特征点对应的特征权重；将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图；通过特征点之间的信息传输，使上下文信息能得到更好的使用，使特征增强后的特征图中包含更多信息。
[0153] 在一个或多个可选的实施例中，本实施例方法还可以包括：基于特征增强后的特征图进行图像的场景分析处理或物体分割处理。
[0154] 本实施例中，每个特征点既能搜集其他点的信息帮助当前点的预测，同时也能分发当前点的信息帮助其他点的预测；本方案设计的逐点空间权重方案是自适应的学习调整且和位置关系有关，通过特征增强后的特征图，能更好地利用复杂场景的上下文信息来帮助场景解析或物体分割处理。
[0155] 在一个或多个可选的实施例中，本实施例方法还可以包括：根据场景分析处理结果或物体分割处理结果，进行机器人导航控制或车辆智能驾驶控制。
[0156] 通过利用复杂场景的上下文信息进行场景分析处理或物体分割处理，得到的场景分析处理结果或物体分割处理结果更准确，更接近人眼处理结果，应用到机器人导航控制或车辆智能驾驶控制中时，能达到接近人工控制的结果。
[0157] 在一个或多个可选的实施例中，特征图包括的特征点的特征权重包括向内接收权重和向外发送权重。
[0158] 向内接收权重表示特征点接收特征图包括的其他特征点的特征信息时的权重；向外发送权重表示特征点将特征信息向特征图包括的其他特征点传输时的权重。
[0159] 通过向内接收权重和向外发送权重实现了特征点中信息的双向传播，每个特征点既能搜集其他点的信息帮助当前点的预测，同时也能分发当前点的信息帮助其他点的预测。
[0160] 可选地，步骤120可以包括：
[0161] 对特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量；
[0162] 对特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量。
[0163] 由于特征图中包括多个特征点，每个特征点分别对应至少一个向内接收权重和向外发送权重，通过两个分支分别对特征图的进行处理，可获得特征图对应的包括的多特征点中每个特征点的向内接收权重的第一权重向量，和包括是多个特征点中每个特征点的向外发送权重的第二权重向量；通过分别获得两个权重向量，提高了处理效率，实现更快的信息传递。
[0164] 在一个或多个可选的实施例中，对特征图进行第一分支处理，获得包括多个特征点中每个特征点的向内接收权重的第一权重向量，包括：
[0165] 通过神经网络对特征图进行处理，获得第一中间权重向量；
[0166] 去除第一中间权重向量中的无效信息，获得第一权重向量。
[0167] 其中，无效信息表示第一中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
[0168] 本实施例中，为了获得每个特征点对应的全面的权重信息，需要获得该特征点的周围所有位置向该特征点传输信息的权重，但由于特征图中包括一些边缘的特征点，这些特征点的周围只有部分位置具有特征点，因此，通过神经网络的处理得到的第一中间权重向量中包括很多无意义的无效信息，这些无效信息由于仅具有一个传输端(特征点)，因此，是否传输这些信息对于特征传输没有影响或影响程度小于设定条件；将这些无效信息去除即可获得第一权重向量，该第一权重向量在保证信息全面的同时不包括无用信息，提高了信息传递的效率。
[0169] 可选地，通过神经网络对特征图进行处理，获得第一中间权重向量，包括：
[0170] 将特征图中每个特征点分别作为第一输入点，将第一输入点周围所有位置作为第一输入点对应的第一输出点；
[0171] 获得特征图中第一输入点与第一输入点对应的所有第一输出点之间的第一传递比例向量；
[0172] 基于第一传递比例向量获得第一中间权重向量。
[0173] 本实施例通过将特征图中的每个特征点作为输入点，为了获得更全面的特征信息传输路径，将该输入点周围的所有位置作为输出点，周围所有位置包括特征图中的多个特征点和第一输入点在空间位置上的多个相邻位置，多个特征点可以是特征图中的全部或部分特征点，例如：包括特征图中的所有特征点和输入点在空间位置上的8个相邻位置，这8个相邻位置基于将输入点作为中心的3×3的立方体确定，其中，特征点和8个相邻位置存在重合，重合的位置作为一个输出点，此时，会产生获得对应该输入点的所有第一传递比例向量，通过传递比例向量将输出点的信息按传递比例传输给输入点；通过本实施例可获得每两个特征点之间传递信息的传递比例。
[0174] 可选地，当在获得第一中间权重向量之前对特征图进行了降维处理，获得特征图对应的第一中间特征图时，通过神经网络对降维后的第一中间特征图进行处理，获得第一中间权重向量，包括：
[0175] 将第一中间特征图中每个第一中间特征点分别作为第一输入点，将第一输入点周围所有位置作为第一输入点对应的第一输出点；
[0176] 获得第一中间特征图中第一输入点与第一输入点对应的所有第一输出点之间的第一传递比例向量；
[0177] 基于第一传递比例向量获得第一中间权重向量。
[0178] 本实施例通过将降维后的第一中间特征图中的每个第一中间特征点作为输入点，将该输入点周围的所有位置作为输出点，其中，周围所有位置包括第一中间特征图中的多个特征点和第一输入点在空间位置上的多个相邻位置，多个特征点可以是第一中间特征图中的全部或部分第一中间特征点，例如：包括第一中间特征图中的所有第一中间特征点和输入点在空间位置上的8个相邻位置，这8个相邻位置基于将输入点作为中心的3×3的立方体确定，其中，特征点和8个相邻位置存在重合，重合的位置作为一个输出点；此时，会产生获得对应该输入点的所有第一传递比例向量，通过传递比例向量将输出点的信息按传递比例传输给输入点；通过本实施例可获得每两个第一中间特征点之间传递信息的传递比例。
[0179] 可选地，去除第一中间权重向量中的无效信息，获得第一权重向量，包括：
[0180] 从第一中间权重向量中识别到第一输出点包括的信息为空的第一传递比例向量；
[0181] 在第一中间权重向量中去除第一输出点包括的信息为空的第一传递比例向量，获得特征图的所有向内接收权重；
[0182] 基于所有向内接收权重确定第一权重向量。
[0183] 本实施例中，是以每个特征点作为第一输入点，因此，当该第一输入点周围位置没有特征点时，该位置的第一传递比例向量是无用的，即：零乘以任何数值都为零，与未传递信息是一样的，通过本实施例将这些无用的第一传递比例向量去除后得到所有向内接收权重，确定第一权重向量。本实施例使用了先学习大的中间权重向量然后进行选择性选取的操作，来达到考虑特征信息的相对位置信息。
[0184] 可选地，基于所有向内接收权重确定第一权重向量，包括：
[0185] 将向内接收权重按照对应的第一输出点的位置排列，获得第一权重向量。
[0186] 为了将向内接收权重与其对应的特征点的位置相匹配，本实施例将针对每个特征点获得的向内接收权重根据其对应的第一输出点的位置进行排列，以便后续信息传递。
[0187] 可选地，通过卷积网络对特征图进行处理，获得第一中间权重向量之前，还包括：
[0188] 通过卷积层对特征图进行降维处理，获得第一中间特征图；
[0189] 通过神经网络对特征图进行处理，获得第一中间权重向量，包括：
[0190] 通过神经网络对降维后的第一中间特征图进行处理，获得第一中间权重向量。
[0191] 为了提高处理速度，在对特征图进行处理之前，还可以对特征图进行降维处理，通过减少通道数来减少计算量。
[0192] 在一个或多个可选的实施例中，对特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量，包括：
[0193] 通过神经网络对特征图进行处理，获得第二中间权重向量；
[0194] 去除第二中间权重向量中的无效信息，获得第二权重向量。
[0195] 其中，无效信息表示第二中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
[0196] 本实施例中，为了获得每个特征点对应的全面的权重信息，需要获得该特征点向周围所有位置传输信息的权重，但由于特征图中包括一些边缘的特征点，这些特征点的周围只有部分位置具有特征点，因此，通过神经网络的处理得到的第二中间权重向量中包括很多无意义的无效信息，这些无效信息由于仅具有一个传输端(特征点)，因此，是否传输这些信息对于特征传输没有影响或影响程度小于设定条件；将这些无效信息去除即可获得第二权重向量，该第二权重向量在保证信息全面的同时不包括无用信息，提高了信息传递的效率。
[0197] 可选地，通过神经网络对特征图进行处理，获得第二中间权重向量，包括：
[0198] 将特征图中每个特征点分别作为第二输出点，将第二输入点周围所有位置作为第二输入点对应的第二输入点；
[0199] 获得特征图中第二输出点与第二输出点对应的所有第二输入点之间的第二传递比例向量；
[0200] 基于第二传递比例向量获得第二中间权重向量。
[0201] 本实施例通过将特征图中的每个特征点作为输出点，为了获得更全面的特征信息传输路径，将该输出点周围的所有位置作为输入点，周围所有位置包括特征图中的多个特征点和第二输出点在空间位置上的多个相邻位置，多个特征点可以是特征图中的全部或部分特征点，例如：包括特征图中的所有特征点和输出点在空间位置上的8个相邻位置，这8个相邻位置基于将输入点作为中心的3×3的立方体确定，其中，特征点和8个相邻位置存在重合，重合的位置作为一个输入点，此时，会产生获得对应该第二输出点的所有第一传递比例向量，通过传递比例向量将输入点的信息按传递比例传输给输出点；通过本实施例可获得每两个特征点之间传递信息的传递比例。
[0202] 可选地，通过神经网络对降维后的第二中间特征图进行处理，获得第二中间权重向量，包括：
[0203] 将第二中间特征图中每个第二中间特征点分别作为第二输出点，将第二输入点周围所有位置的第二中间特征点作为第二输入点对应的第二输入点；
[0204] 获得第二中间特征图中第二输出点与第二输出点对应的所有第二输入点之间的第二传递比例向量；
[0205] 基于第二传递比例向量获得第二中间权重向量。
[0206] 本实施例通过将降维后的第二中间特征图中的每个第二中间特征点作为输出点，周围所有位置包括第二中间特征图中的多个第二中间特征点和第二输入点在空间位置上的多个相邻位置，将该输出点周围的所有位置作为输入点，此时，会产生获得对应该输出点的所有第二传递比例向量，通过传递比例向量将输出点的信息按传递比例传输给输入点；通过本实施例可获得每两个第二中间特征点之间传递信息的传递比例。
[0207] 可选地，去除第二中间权重向量中的无效信息，获得第二权重向量，包括：
[0208] 从第二中间权重向量中识别到第二输出点包括的信息为空的第二传递比例向量；
[0209] 在第二中间权重向量中去除第二输出点包括的信息为空的第二传递比例向量，获得特征图的所有向外发送权重；
[0210] 基于所有向外发送权重确定第二权重向量。
[0211] 本实施例中，是以每个特征点作为第二输出点，因此，当该第二输出点周围位置没有特征点时，该位置的第二传递比例向量是无用的，即：零乘以任何数值都为零，与未传递信息是一样的，通过本实施例将这些无用的第二传递比例向量去除后得到所有向内接收权重，确定第二权重向量。本实施例使用了先学习大的中间权重向量然后进行选择性选取的操作，来达到考虑特征信息的相对位置信息。
[0212] 可选地，基于所有向外发送权重确定第二权重向量，包括：
[0213] 将向外发送权重按照对应的第二输入点的位置排列，获得第二权重向量。
[0214] 为了将向外发送权重与其对应的特征点的位置相匹配，本实施例将针对每个特征点获得的向外发送权重根据其对应的第二输出点的位置进行排列，以便后续信息传递。
[0215] 可选地，通过卷积网络对特征图进行处理，获得第二中间权重向量之前，还包括：
[0216] 通过卷积层对特征图进行降维处理，获得第二中间特征图；
[0217] 通过神经网络对特征图进行处理，获得第二中间权重向量，包括：
[0218] 通过神经网络对降维后的第二中间特征图进行处理，获得第二中间权重向量。
[0219] 为了提高处理速度，在对特征图进行处理之前，还可以对特征图进行降维处理，通过减少通道数来减少计算量。对于同一特征图可通过同一神经网络进行降维，可选地，特征图降维后的第一中间特征图和第二中间特征图可以相同或不同。
[0220] 在一个或多个可选的实施例中，步骤130可以包括：
[0221] 基于第一权重向量和特征图获得第一特征向量；基于第二权重向量和特征图获得第二特征向量；
[0222] 基于第一特征向量、第二特征向量和特征图获得特征增强后的特征图。
[0223] 本实施例中，通过第一权重向量和特征图获得了特征图中所有特征点接收的特征信息，通过第二权重向量和特征图获得了特征图中所有特征点向外发送的特征信息，即获得双向传输的特征信息，基于双向传输的特征信息和原始特征图即可获得包括更多信息的增强后的特征图。
[0224] 可选地，基于第一权重向量和特征图获得第一特征向量；基于第二权重向量和特征图获得第二特征向量，包括：
[0225] 将第一权重向量与特征图经过降维处理后的第一中间特征图进行矩阵乘法处理，获得第一特征向量；
[0226] 将第二权重向量与特征图经过降维处理后的第二中间特征图进行矩阵乘法处理，获得第二特征向量。
[0227] 或者，将第一权重向量与特征图进行矩阵乘法处理，获得第一特征向量；
[0228] 将第二权重向量与特征图进行矩阵乘法处理，获得第二特征向量。
[0229] 本实施例中，通过去除无效信息，获得的第一权重向量与降维后的第一中间特征图满足矩阵乘法的要求，此时通过矩阵乘法将第一中间特征图中的每个特征点与该特征点对应的权重相乘，进而实现按照权重向每个特征点传输特征信息；而第二特征向量实现从每个特征点向外按照对应权重传输特征信息。
[0230] 当权重向量与特征图进行矩阵乘法处理时，需要第一权重向量和第二权重向量与特征图之间满足矩阵乘法的要求，此时通过矩阵乘法将特征图中的每个特征点与该特征点对应的权重相乘，进而实现按照权重向每个特征点传输特征信息；而第二特征向量实现从每个特征点向外按照对应权重传输特征信息。
[0231] 可选地，基于第一特征向量、第二特征向量和特征图获得特征增强后的特征图，包括：
[0232] 将第一特征向量和第二特征向量在通道维度进行拼接，获得拼接特征向量；
[0233] 将拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图。
[0234] 通过拼接将第一特征向量和第二特征向量综合，获得双向传递的信息，再将双向传递的信息与特征图拼接，即可获得特征增强后的特征图，该特征增强后的特征图中不仅包括原特征图中每个特征点的特征信息，还包括每两个特征点之间双向传递的特征信息。
[0235] 可选地，将拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图之前，还包括：
[0236] 对拼接特征向量进行特征投影处理，获得处理后的拼接特征向量；
[0237] 将拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图，包括：
[0238] 将处理后的拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图。
[0239] 可选地，用一个神经网络进行处理(例如：一个卷积层和非线性激活层的级联)实现特征投影，通过特征投影将拼接特征向量与特征图在除了通道的其他维度上统一，可实现在维度通道上的拼接。
[0240] 图3为本申请图像处理方法另一个实施例的网络结构示意图。如图3所示，对于输入的图像特征，整体分为上下两支，一支是信息收集流，负责信息收集，另一只是信息分发流，负责信息分发。1)在每一支中，会先进行通道数减少的卷积操作，通过特征降维(reduction)主要为了节省计算量。
[0241] 2)降维特征图经过一个小型神经网络(通常是一些卷积层和非线性激活层的级联，这些属于卷积神经网络的基础模块)预测(adaption)出特征权重，得到2倍大小的特征权重(例如：如果特征图大小为H×W(高H，宽W)，那么每个点预测得到的特征权重数量为(2H‑1)×(2W‑1)，从而保证在考虑相对位置关系的情况下每个点都可以和全图所有点进行信息传播)。
[0242] 3)对特征权重使用收集或分发(每个点预测的(2H‑1)×(2W‑1)的权重中只有H*W个有效，其他的无效)的方式得到和输入特征一样大小紧实的有效权重，将其中的有效权重提取出来进行重新排列，得到紧凑的权重矩阵。
[0243] 4)将得到的权重矩阵和前面维度降低后的特征做矩阵乘积，来做信息传递。
[0244] 5)将上下两个分支得到的特征先拼接再做特征投影(feature projection，例如：用一个神经网络对得到的特征进行处理(最简便可以用一个卷积层和非线性激活层的级联))处理，得到全局特征。
[0245] 6)将得到的全局特征和最初始的输入特征拼接得到最后的输出特征表达；其中拼接可以是特征维度进行拼接。当然这里是做原始输入和新的全局特征的融合，拼接只是最简单的一种方式。也可以使用相加或者其他的融合方式。这个特征既包括了原始特征中的语义信息，还包括全局特征对应的全局上下文信息。
[0246] 获得的特征增强后的这个特征可以用来做场景解析，例如：直接输入到一个用小的卷积神经网络实现的分类器中对每个点进行分类。
[0247] 图4‑a为本申请图像处理方法另一个实施例中信息收集分支的权重向量的获取示意图。如图4‑a所示，对于生成的大的特征权重，在信息收集(collect)分支中，非紧凑权重特征对齐的中心点为目标特征点i，每个特征点预测的(2H‑1)×(2W‑1)的非紧凑特征权重可以展开为一个覆盖全图半透明矩形，矩形中心与该点对齐。这一步保证了可以在预测特征权重时候准确考虑特征点与特征点之间的相对位置关系，图4‑b为本申请图像处理方法另一个实施例中信息分发分支的权重向量的获取示意图。如图4‑b所示，而对于信息分发(distribute)的分支，对齐的中心点为信息出发点j。每个点预测的(2H‑1)×(2W‑1)的非紧凑特征权重可以展开为一个覆盖全图半透明矩形，该半透明矩形即为该掩码。重叠区域用虚线框示意，即为有效的权重特征。
[0248] 在一个或多个可选的实施例中，本实施例方法利用特征提取网络和特征增强网络实现；
[0249] 本实施例方法还可以包括：
[0250] 利用样本图像训练特征增强网络，或者，利用样本图像训练特征提取网络和特征增强网络。
[0251] 其中，样本图像具有标注处理结果，标注处理结果包括标注场景分析结果或标注物体分割结果。
[0252] 为了更好的实现图像任务的处理，需要在网络预测之前，对网络进行训练，本实施中涉及的特征提取网络可以是预先训练好的，或未进行训练的，当特征提取网络是预先训练好的，可以选择仅训练特征增强网络，或同时训练特征提取网络和特征增强网络；当特征提取网络未经过训练，将利用样本图像训练特征提取网络和特征增强网络。
[0253] 可选地，利用样本图像训练特征增强网络，包括：
[0254] 将样本图像输入特征提取网络和特征增强网络，获得预测处理结果；
[0255] 基于预测处理结果和标注处理结果，训练特征增强网络。
[0256] 此时，将特征增强网络连接到训练后的特征提取网络之后，基于获得的预测处理结果对特征增强网络进行训练。例如：将提出的逐点的空间权重模块(PSA，Point‑wise Spatial Attention，对应上述实施例提供的特征增强网络)嵌入到场景解析的框架中，图5为本申请图像处理方法中网络训练的一个示例性结构示意图。如图5所示，输入图像经过已有的场景解析模型(scene parsing model)，将输出的特征图送入PSA模块结构进行信息聚合(information aggregation)，得到最终的特征输入分类器做场景解析，基于预测的场景解析结果与标注处理结果获得主要损失函数(main loss)，基于主要损失训练特征增强网络。
[0257] 可选地，利用样本图像训练特征提取网络和特征增强网络，包括：
[0258] 将样本图像输入特征提取网络和特征增强网络，获得预测处理结果；
[0259] 基于预测处理结果和标注处理结果获得主要损失；
[0260] 基于主要损失训练特征提取网络和特征增强网络。
[0261] 由于特征提取网络和特征增强网络是顺序连接的，当获得的主要损失向特征增强网络反馈时，继续向前反馈，即可实现对特征提取网络进行训练或微调(当特征提取网络经过预先训练，此时可仅进行微调)，实现同时对特征提取网络和特征增强网络进行训练，保证了场景分析任务或物体分割任务的结果更准确。
[0262] 可选地，本实施例方法还可以包括：
[0263] 基于特征提取网络中的一个中间层输出的特征图，确定中间预测处理结果；
[0264] 基于中间预测处理结果和标注处理结果获得辅助损失；
[0265] 基于辅助损失调整所述特征提取网络的参数。
[0266] 当特征提取网络未经过训练，对该特征提取网络训练的过程中，还可以加入辅助损失，将提出的逐点的空间权重(PSA，Point‑wise Spatial Attention，对应上述实施例提供的特征增强网络)模块嵌入到场景解析的框架中，图6为本申请图像处理方法中网络训练的另一个示例性结构示意图。如图6所示，PSA模块可以作用在基于残差网络(ResNet)的全连接网络的最后特征表达处(如Stage 5)，这样会得到更好的信息整合，更好地利用场景的上下文信息。可选地，残差网络由5个阶段(stage)构成。输入图片经过4个阶段之后处理过程分为两支，在主分支中继续经过第5阶段得到特征图，然后输入PSA结构，最终的特征图输入分类器对每个点进行分类，获得主要损失(main loss)以训练残差网络和特征增强网络。在旁支中第4阶段的输出直接输入分类器做场景解析，旁支主要用于神经网络训练过程中以获得的辅助损失(auxiliary loss)辅助监督训练，获得，测试时候以主分支的场景解析结果为主。
[0267] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0268] 图7为本申请图像处理装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图7所示，该实施例的装置包括：
[0269] 特征提取单元71，用于对待处理的图像进行特征提取以生成图像的特征图。
[0270] 本实施例中的图像可以为未经过特征提取处理的图像，或者，可以为经过一次或多次特征提取得到的特征图等等，本申请不限制待处理的图像的具体形式。
[0271] 权重确定单元72，用于确定特征图包括的多个特征点中每个特征点对应的特征权重。
[0272] 本实施例中的多个特征点可以是特征图中的全部特征点或部分特征点；为了实现特征点之间的信息传递，需要确定传递概率，即将一个特征点的信息全部或部分传递给其他特征点，而传递的比例由特征权重确定。
[0273] 特征增强单元73，用于将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图。
[0274] 其中，其他特征点是指特征图中除了该对应的特征点之外的特征点。
[0275] 基于本申请上述实施例提供的一种图像处理装置，对待处理的图像进行特征提取以生成图像的特征图；确定特征图包括的多个特征点中每个特征点对应的特征权重；将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图；通过特征点之间的信息传输，使上下文信息能得到更好的使用，使特征增强后的特征图中包含更多信息。
[0276] 在一个或多个可选的实施例中，装置还包括：
[0277] 图像处理单元，用于基于特征增强后的特征图进行图像的场景分析处理或物体分割处理。
[0278] 本实施例中，每个特征点既能搜集其他点的信息帮助当前点的预测，同时也能分发当前点的信息帮助其他点的预测；本方案设计的逐点空间权重方案是自适应的学习调整且和位置关系有关，通过特征增强后的特征图，能更好地利用复杂场景的上下文信息来帮助场景解析或物体分割处理。
[0279] 可选地，本实施例装置还包括：
[0280] 结果应用单元，用于根据场景分析处理结果或物体分割处理结果，进行机器人导航控制或车辆智能驾驶控制。
[0281] 在一个或多个可选的实施例中，特征图包括的特征点的特征权重包括向内接收权重和向外发送权重；向内接收权重表示特征点接收特征图包括的其他特征点的特征信息时的权重；向外发送权重表示特征点将特征信息向特征图包括的其他特征点传输时的权重。
[0282] 通过向内接收权重和向外发送权重实现了特征点中信息的双向传播，每个特征点既能搜集其他点的信息帮助当前点的预测，同时也能分发当前点的信息帮助其他点的预测。
[0283] 可选地，权重确定单元72，包括：
[0284] 第一权重模块，用于对特征图进行第一分支处理，获得包括的多个特征点中每个特征点的向内接收权重的第一权重向量；
[0285] 第二权重模块，用于对特征图进行第二分支处理，获得包括的多个特征点中每个特征点的向外发送权重的第二权重向量。
[0286] 在一个或多个可选的实施例中，第一权重模块，包括：
[0287] 第一中间向量模块，用于通过神经网络对特征图进行处理，获得第一中间权重向量；
[0288] 第一信息去除模块，用于去除第一中间权重向量中的无效信息，获得第一权重向量。
[0289] 其中，无效信息表示第一中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
[0290] 本实施例中，为了获得每个特征点对应的全面的权重信息，需要获得该特征点的周围所有位置的特征点向该特征点传输信息的权重，但由于特征图中包括一些边缘的特征点，这些特征点的周围只有部分位置具有特征点，因此，通过神经网络的处理得到的第一中间权重向量中包括很多无意义的无效信息，这些无效信息由于仅具有一个传输端(特征点)，因此，是否传输这些信息对于特征传输没有影响或影响程度小于设定条件；将这些无效信息去除即可获得第一权重向量，该第一权重向量在保证信息全面的同时不包括无用信息，提高了信息传递的效率。
[0291] 可选地，第一中间向量模块，具体用于将特征图中每个所述特征点分别作为第一输入点，将第一输入点周围所有位置作为第一输入点对应的第一输出点，周围所有位置包括特征图中的多个特征点和第一输入点在空间位置上的多个相邻位置；获得特征图中第一输入点与第一输入点对应的所有第一输出点之间的第一传递比例向量；基于第一传递比例向量获得第一中间权重向量。
[0292] 可选地，第一信息去除模块，具体用于从第一中间权重向量中识别到第一输出点包括的信息为空的第一传递比例向量；在第一中间权重向量中去除第一输出点包括的信息为空的第一传递比例向量，获得特征图的所有向内接收权重；基于所有向内接收权重确定第一权重向量。
[0293] 可选地，第一信息去除模块在基于所有向内接收权重确定第一权重向量时，用于将向内接收权重按照对应的第一输出点的位置排列，获得第一权重向量。
[0294] 可选地，第一权重模块还包括：
[0295] 第一降维模块，用于通过卷积层对特征图进行降维处理，获得第一中间特征图；
[0296] 第一中间向量模块，具体用于通过神经网络对降维后的第一中间特征图进行处理，获得第一中间权重向量。
[0297] 在一个或多个可选的实施例中，第二权重模块，包括：
[0298] 第二中间向量模块，用于通过神经网络对特征图进行处理，获得第二中间权重向量；
[0299] 第二信息去除模块，用于去除第二中间权重向量中的无效信息，获得第二权重向量。
[0300] 其中，无效信息表示第二中间权重向量中对特征传输没有影响或影响程度小于设定条件的信息。
[0301] 本实施例中，为了获得每个特征点对应的全面的权重信息，需要获得该特征点向周围所有位置传输信息的权重，但由于特征图中包括一些边缘的特征点，这些特征点的周围只有部分位置具有特征点，因此，通过神经网络的处理得到的第二中间权重向量中包括很多无意义的无效信息，这些无效信息由于仅具有一个传输端(特征点)，因此，是否传输这些信息对于特征传输没有影响或影响程度小于设定条件；将这些无效信息去除即可获得第二权重向量，该第二权重向量在保证信息全面的同时不包括无用信息，提高了信息传递的效率。
[0302] 可选地，第二中间向量模块，具体用于将特征图中每个第二特征点分别作为第二输出点，将第二输入点周围所有位置作为第二输入点对应的第二输入点，周围所有位置包括特征图中的多个特征点和第二输出点在空间位置上的多个相邻位置；获得特征图中第二输出点与第二输出点对应的所有第二输入点之间的第二传递比例向量；基于第二传递比例向量获得第二中间权重向量。
[0303] 可选地，第二信息去除模块，具体用于从第二中间权重向量中识别到第二输出点包括的信息为空的第二传递比例向量；在第二中间权重向量中去除第二输出点包括的信息为空的第二传递比例向量，获得特征图的所有向外发送权重；基于所有向外发送权重确定第二权重向量。
[0304] 可选地，第二信息去除模块在基于所有向外发送权重确定第二权重向量时，用于将向外发送权重按照对应的第二输入点的位置排列，获得第二权重向量。
[0305] 可选地，第二权重模块还包括：
[0306] 第二降维模块，用于通过卷积层对特征图进行降维处理，获得第二中间特征图；
[0307] 第二中间向量模块，具体用于通过神经网络对降维后的第二中间特征图进行处理，获得第二中间权重向量。
[0308] 在一个或多个可选的实施例中，特征增强单元，包括：
[0309] 特征向量模块，用于基于第一权重向量和特征图获得第一特征向量；基于第二权重向量和特征图获得第二特征向量；
[0310] 增强特征图模块，用于基于第一特征向量、第二特征向量和特征图获得特征增强后的特征图。
[0311] 本实施例中，通过第一权重向量和特征图获得了特征图中所有特征点接收的特征信息，通过第二权重向量和特征图获得了特征图中所有特征点向外发送的特征信息，即获得双向传输的特征信息，基于双向传输的特征信息和原始特征图即可获得包括更多信息的增强后的特征图。
[0312] 可选地，特征向量模块，具体用于将第一权重向量与特征图或特征图经过降维处理后的第一中间特征图进行矩阵乘法处理，获得第一特征向量；将第二权重向量与特征图或特征图经过降维处理后的第二中间特征图进行矩阵乘法处理，获得第二特征向量。
[0313] 可选地，增强特征图模块，具体用于将第一特征向量和第二特征向量在通道维度进行拼接，获得拼接特征向量；将拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图。
[0314] 可选地，特征增强单元还包括：
[0315] 特征投影模块，用于对拼接特征向量进行特征投影处理，获得处理后的拼接特征向量；
[0316] 增强特征图模块，用于将处理后的拼接特征向量与特征图在通道维度进行拼接，获得特征增强后的特征图。
[0317] 在一个或多个可选的实施例中，本实施例装置利用特征提取网络和特征增强网络实现；
[0318] 本实施例装置还可以包括：
[0319] 训练单元，用于利用样本图像训练特征增强网络，或者，利用样本图像训练特征提取网络和特征增强网络。
[0320] 其中，样本图像具有标注处理结果，标注处理结果包括标注场景分析结果或标注物体分割结果。
[0321] 为了更好的实现图像任务的处理，需要在网络预测之前，对网络进行训练，本实施中涉及的特征提取网络可以是预先训练好的，或未进行训练的，当特征提取网络是预先训练好的，可以选择仅训练特征增强网络，或同时训练特征提取网络和特征增强网络；当特征提取网络未经过训练，将利用样本图像训练特征提取网络和特征增强网络。
[0322] 可选地，训练单元，具体用于将样本图像输入特征提取网络和特征增强网络，获得预测处理结果；基于预测处理结果和标注处理结果，训练特征增强网络。
[0323] 可选地，训练单元，具体用于将样本图像输入特征提取网络和特征增强网络，获得预测处理结果；基于预测处理结果和标注处理结果获得主要损失；基于主要损失训练特征提取网络和特征增强网络。
[0324] 可选地，训练单元，还用于基于特征提取网络中的一个中间层输出的特征图，确定中间预测处理结果；基于中间预测处理结果和标注处理结果获得辅助损失；基于辅助损失调整特征提取网络的参数。
[0325] 本申请实施例提供的图像处理装置任一实施例的工作过程以及设置方式均可以参照本申请上述相应方法实施例的具体描述，限于篇幅，在此不再赘述。
[0326] 根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的图像处理装置。可选地，该电子设备可以为车载电子设备。
[0327] 根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
[0328] 以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述图像处理方法的操作。
[0329] 根据本申请实施例的另一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述图像处理方法的操作。
[0330] 根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述图像处理方法的指令。
[0331] 本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图8，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备800的结构示意图：如图8所示，电子设备800包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)801，和/或一个或多个专用处理器，专用处理器可作为加速单元813，可包括但不限于图像处理器(GPU)、FPGA、DSP以及其它的ASIC芯片之类专用处理器等，处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。通信部812可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
[0332] 处理器可与只读存储器802和/或随机访问存储器803中通信以执行可执行指令，通过总线804与通信部812相连、并经通信部812与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，对待处理的图像进行特征提取以生成图像的特征图；确定特征图包括的多个特征点中每个特征点对应的特征权重；将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图。
[0333] 此外，在RAM 803中，还可存储有装置操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。在有RAM803的情况下，ROM802为可选模块。RAM803存储可执行指令，或在运行时向ROM802中写入可执行指令，可执行指令使中央处理单元801执行上述通信方法对应的操作。输入/输出(I/O)接口805也连接至总线804。通信部812可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
[0334] 以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0335] 需要说明的，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元813和CPU801可分离设置或者可将加速单元813集成在CPU801上，通信部可分离设置，也可集成设置在CPU801或加速单元813上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
[0336] 特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，对待处理的图像进行特征提取以生成图像的特征图；确定特征图包括的多个特征点中每个特征点对应的特征权重；将特征权重对应的特征点的特征信息分别传输给特征图包括的多个其他特征点，获得特征增强后的特征图。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能的操作。
[0337] 可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
[0338] 本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。
