[0108] 为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0109] 目前，真实场景数据集中包含的视差图真值数据较少，比如，真实场景数据集可以为KITTI数据集、Middlebury数据集等；而合成数据集呈包含的视差真值数据较多，比如，合成数据集可以为Scene Flow Datasets数据集等。
[0110] 神经网络的训练需要大量包含标签的数据，即需要使用大量包含视差真值的训练数据对双目立体匹配网络进行训练，因此，可以选择合成数据集对双目立体匹配网络进行训练。但是，由于合成数据集中包含的数据是合成的数据，不是在真实场景中采集得到的数据，使得通过合成数据集训练的双目立体匹配网络在确定真实场景图像对应的视差图时，得到的视差图的准确度较低。为了解决上述问题，本公开实施例提供了双目立体匹配网络训练方法。
[0111] 为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种双目立体匹配网络训练方法进行详细介绍。
[0112] 参见图1所示，为本公开实施例所提供的一种双目立体匹配网络训练方法的流程示意图，包括S101‑S103，其中：
[0113] S101，获取双目图像训练样本以及参考图像样本；其中，双目图像训练样本包括左目图像训练样本和右目图像训练样本；
[0114] S102，基于参考图像样本，对双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，目标双目图像训练样本的色彩与参考图像样本的色彩相匹配；
[0115] S103，利用目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
[0116] 上述方法中，通过基于参考图像样本对双目图像训练样本进行色彩转换，降低双目图像训练样本与参考图像样本之间的色彩差异，由于参考图像训练样本可以为目标域的图像，双目图像训练样本可以为源域的图像，使得基于色彩转换后的目标双目图像训练样本对双目立体匹配网络进行训练后，得到的训练后的双目立体匹配网络可以较准确的生成目标域对应的图像的视差图，提升了双目立体匹配网络的域自适应能力，即提高双目立体匹配网络的泛化能力。
[0117] 下述对S101‑S103进行详细说明。
[0118] 针对S101：
[0119] 这里，双目图像训练样本可以为合成数据集中的至少一对合成双目图像，每对合成双目图像中包括左目合成图像以及右目合成图像，即双目图像训练样本包括左目图像训练样本和右目图像训练样本，合成数据集对应的域可以为源域。其中，合成双目图像可以为通过智能设备(比如，电脑、手机等设备)合成的双目图像；参考图像样本可以为真实场景数据集中的图像，即该图像为在真实场景中采集到的图像，真实场景数据集对应的域可以为目标域，双目图像训练样本与参照图像样本为不同数据域中的图像。
[0120] 针对S102：
[0121] 本公开实施例中，可以基于参考图像样本对双目图像训练样本进行色彩转换，生成与参考图像样本的色彩相匹配的目标双目图像训练样本。
[0122] 示例性的，基于参考图像样本，对双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，可以包括：
[0123] 将参考图像样本和双目图像训练样本从红绿蓝RGB图像转换为LAB图像，得到中间参考图像样本以及中间双目图像训练样本；
[0124] 基于中间参考图像样本以及中间双目图像训练样本，生成转换后的目标双目图像训练样本。
[0125] 这里，参考图像样本和双目图像训练样本可以为RGB图像。示例性的，可以在LAB色彩空间下，基于参考图像样本，对双目图像训练样本进行色彩转换。其中，L代表图像的亮度、A代表图像的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；B代表图像从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。因此，可以先将参考图像样本和双目图像训练样本从RGB图像转换为LAB图像，得到中间参考图像样本以及中间双目图像训练样本。其中，可以通过色彩转换软件将RGB图像转换为LAB图像。进而，可以基于得到的中间参考图像样本以及中间双目图像训练样本，生成转换后的目标双目图像训练样本。
[0126] 上述实施方式中，由于在LAB色彩空间包括的色彩模式较为全面，因此，在将参考图像样本和双目图像训练样本从RGB图像转换为LAB图像后，基于LAB图像实现图像的色彩转换，可以较准确的得到目标双目图像训练样本。
[0127] 一种可选实施方式中，基于中间参考图像样本以及中间双目图像训练样本，生成转换后的目标双目图像训练样本，包括：
[0128] 确定中间参考图像样本对应的第一像素值均值和第一像素值方差，中间双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；
[0129] 基于第一像素值均值及第一像素值方差、中间左目图像训练样本对应的第二像素值均值及第二像素值方差、以及中间参考图像样本，生成目标左目图像训练样本；
[0130] 基于第一像素值均值及第一像素值方差、中间右目图像训练样本对应的第二像素值均值及第二像素值方差、以及中间参考图像样本，生成目标右目图像训练样本；其中，目标左目图像训练样本和目标右目图像训练样本构成了目标双目图像训练样本。
[0131] 本公开实施例中，可以根据中间参考图像样本中每个像素点的像素值，确定中间参考图像样本中对应的第一像素值均值和第一像素值方差；以及根据中间左目图像训练样本中每个像素点的像素值，确定中间左目图像训练样本对应的第二像素值均值和第二像素值方差，和根据中间右目图像训练样本中每个像素点的像素值，确定中间右目图像训练样本对应的第二像素值均值和第二像素值方差。进而，基于确定的第一像素值均值和第一像素值方差、中间左目图像训练样本对应的第二像素值均值和第二像素值方差、以及中间参考图像样本，生成目标左目训练样本，同理，还可以生成目标右目训练样本。其中，目标左目图像训练样本和目标右目图像训练样本构成了目标双目图像训练样本。
[0132] 一种可选实施方式中，采用以下步骤生成目标单目图像训练样本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练样本：
[0133] 一、基于第一像素值均值，对中间参考图像样本中各个像素点的像素值进行调整，生成第一转换图像；
[0134] 二、基于第一像素值方差以及中间单目图像训练样本对应的第二像素值方差，确定转换系数，并基于转换系数，对第一转换图像中各个像素点的像素值进行调整，生成第二转换图像；
[0135] 三、基于中间单目图像训练样本对应的第二像素值均值，对第二转换图像中各个像素点的像素值进行调整，生成第三转换图像；
[0136] 四、将第三转换图像转换为RGB图像，得到目标单目图像训练样本；其中，当所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样本时，所述中间单目图像训练样本为所述中间右目图像训练样本。
[0137] 这里，在中间单目图像训练样本为中间左目图像训练样本时，则生成的目标单目图像训练样本为目标左目图像训练样本；在中间单目图像训练样本为中间右目图像训练样本时，则生成的目标单目图像训练样本为目标右目图像训练样本。
[0138] 对步骤一进行说明，示例性的，可以将中间参考图像样本中各个像素点的像素值减去第一像素值均值，得到各个像素点对应的调整后的像素值，调整像素值后的各个像素点构成了第一转换图像，其中，第一转换图像中各个像素点的像素值的分布情况为以0值为中心，分布在0值的一定范围内。
[0139] 针对步骤二，在具体实施时，可以将中间单目图像训练样本对应的第二像素值方差与第一像素值方差相除，得到转换系数。并将第一转换图像中各个像素点的像素值与转换系数相乘，得到调整像素值后的各个像素点，调整像素值后的各个像素点构成了第二转换图像。其中，第二转换图像中的各个像素点的像素值的方差与中间参考图像样本对应的第一像素值方差近似。
[0140] 针对步骤三，将第二转换图像中各个像素点的像素值与中间单目图像训练样本对应的第二像素值均值求和，得到各个像素点调整后的像素值，进而整像素值后的各个像素点构成了第三转换图像。其中，得到的第三转换图像的色彩与中间参考图像样本的色彩相匹配。
[0141] 针对步骤四，这里得到的第三转换图像为LAB图像，故可以将得到的第三转换图像通过色彩转换软件，转换为RGB图像，得到目标单目图像训练样本。
[0142] 上述实施方式中，通过中间单目图像训练样本对应的第二像素值均值与第二像素值方差、中间参考图像样本对应的第一像素值均值与第一像素值方差，实现中间单目图像训练样本的色彩转换，得到目标单目图像训练样本，使得得到的目标单目图像训练样本的色彩与参考图像样本的色彩匹配，降低了目标单目图像训练样本与参考图像样本之间的色彩差异性，由于参考图像样本为目标域的图像，故可以使得基于目标双目图像训练样本训练得到的双目立体匹配网络，可以较准确的得到目标域的图像的视差图，提升了双目立体匹配网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。
[0143] 针对S103：
[0144] 这里，可以对双目立体匹配网络进行多次训练，直至训练的双目立体匹配网络满足设置的条件位置，则得到训练后的双目立体匹配网络。针对每次训练过程：可以基于本次训练时获取的双目图像训练样本以及参考图像样本，得到本次训练时的目标双目图像训练样本，将本次训练时的目标双目图像训练样本输入至双目立体匹配网络中，对双目立体匹配网络进行训练，得到本次训练后的双目立体匹配网络。
[0145] 其中，每次对双目立体匹配网络进行训练时，获取的双目图像训练样本中可以包括一对或者多对双目图像，每对双目图像中包括左目图像以及右目图像；通过本次获取的参考图像样本对本次获取的双目图像训练样本进行色彩转换，得到本次训练时使用的目标双目图像训练样本。在具体实施时，每次训练时获取的参考图像样本可以为不同的参考图像样本，即每次训练时可以从真实场景数据集中随机获取一个图像作为本次训练时对应的参考图像样本。
[0146] 一种可选实施方式中，利用所述目标双目图像训练样本对所述双目立体匹配网络进行训练，包括：
[0147] 分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左目特征图以及右目特征图；
[0148] 分别对左目特征图以及右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图；
[0149] 基于目标左目特征图以及目标右目特征图，计算目标双目图像训练样本中目标左目图像训练样本与目标右目图像训练样本之间的匹配代价；
[0150] 基于目标左目图像训练样本与目标右目图像训练样本之间的匹配代价，生成目标双目图像训练样本对应的预测视差图；
[0151] 基于预测视差图以及双目图像训练样本对应的标注视差图，调整双目立体匹配网络的参数。
[0152] 示例性的，双目立体匹配网络结构可以包括：特征提取模块、归一化处理模块、匹配代价计算模块、编码器以及解码器。其中，特征提取模块包括左目特征提取模块以及右目特征提取模块，归一化处理模块包括左目归一化处理模块以及右目归一化处理模块。
[0153] 示例性的，将色彩转换后的目标双目图像训练样本输入至双目立体匹配网络中，左目特征提取模块对目标左目图像训练样本进行特征提取，得到左目特征图，右目特征提取模块对目标右目图像训练样本进行特征提取，得到右目特征图。
[0154] 左目归一化处理模块对左目特征图进行归一化处理，生成归一化处理后的目标左目特征图，以及右目归一化处理模块对右目特征图进行归一化处理，生成归一化处理后的目标右目特征图。其中，左目归一化处理模块以及右目归一化处理模块的归一化处理过程相同。
[0155] 可以将归一化处理后得到的目标左目特征图以及目标右目特征图输入至匹配代价计算模块中，使得匹配代价计算模块计算目标双目图像训练样本中目标左目图像训练样本与目标右目图像训练样本之间的匹配代价。其中，双目立体匹配网络中的匹配代价计算模块计算匹配代价体时可以有两种计算模式：相关(correlation)及串接(concatenation)，本公开实施例中得到的归一化处理后的目标左目特征图和目标右目特征图，既适用于相关的匹配代价计算模式，也适用于串接的匹配代价计算模式。
[0156] 进一步，匹配代价计算模块在将目标左目特征图以及目标右目特征图以相关或者串接的匹配代价计算模式进行计算，得到目标双目图像训练样本中目标左目图像训练样本与目标右目图像训练样本之间的匹配代价；将计算得到的目标双目图像训练样本对应的匹配代价分布结果输入至编码器中进行处理，并将处理后的编码结果输入至解码器中，生成目标双目图像训练样本对应的预测视差图；进而可以基于预测视差图以及双目图像训练样本对应的标注视差图，调整双目立体匹配网络的参数，完成对双目立体匹配网络的一次训练。
[0157] 上述实施方式中，通过分别对左目特征图以及右目特征图进行归一化处理，得到目标左目特征图以及目标右目特征图，并可以基于目标左目特征图以及目标右目特征图，计算得到目标左目图像训练样本与目标右目图像训练样本之间的匹配代价，通过归一化处理后的目标左目特征图和目标右目特征图计算匹配代价时，可以使得不同域的不同图像之间的匹配代价分布结果相似，降低了不同数据域的不同图像之间匹配代价分布的差异性，即可以降低目标图像训练样本与真实场景图像之间匹配代价分布的差异性，提升了双目立体匹配网络的域自适应能力，即提高了双目立体匹配网络的泛化能力。
[0158] 一种可选实施方式中，分别对左目特征图以及右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图，包括：
[0159] 基于通道特征信息对左目特征图以及右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图。
[0160] 基于位置特征信息对中间左目特征图以及中间右目特征图进行第二归一化处理，生成目标左目特征图以及目标右目特征图。
[0161] 这里，基于通道特征信息对左目特征图和右目特征图进行第一归一化处理，即对同一通道的特征图上的特征点的特征值进行第一归一化处理，以及基于位置特征信息对中间左目特征图以及中间右目特征图进行第二归一化处理，即对不同通道的特征图上同一位置的特征点对应的特征值进行第二归一化处理，使得左目特征图以及右目特征图中每一特征点对应的特征值位于一定的范围之内，进而可以使得不同数据集中不同的图像对应的归一化处理后的目标特征图的特征值的分布较为一致，提高了双目立体匹配网络的泛化能力。
[0162] 一种可选实施方式中，基于通道特征信息对左目特征图以及右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图，可以包括：
[0163] 针对左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，针对右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。
[0164] 本公开实施例中，特征提取模块输出的特征图的尺寸信息可以为N×C×H×W，其中，H可以为特征图的高度，W可以为特征图的宽度，C可以为特征图对应的通道数量，N可以为本次训练双目立体匹配网络时获取的双目图像训练样本中包含的双目图像的对数，N、C、H、W均为正整数，比如，若本次训练双目立体匹配网络时获取的双目图像训练样本中包括5对双目图像，则N为5，若本次训练双目立体匹配网络时获取的双目图像训练样本中包括1对双目图像，则N为1。
[0165] 示例性的，基于通道特征信息对左目特征图以及右目特征图进行第一归一化处理的公式可以为：
[0166]
[0167] 其中，上述公式(1)在用于对左目特征图进行第一归一化处理时，Fn,c,h,w为左目特征图中每个特征点的特征值，ε为预设的归一化系数，F′n,c,h,w为生成的中间左目特征图上对应特征点的特征值。
[0168] 在具体实施，若左目特征图中N＝2，C＝3，则可以确定左目特征图中包括6个通道的特征图，则针对每个通道的特征图，将该通道上每个特征点的特征值求平方和，将得到的平方和结果与归一化系数相加，再将得到的和值开根号，得到该通道对应的特征调整值，即可以根据公式(1)中的分母对应的计算公式，得到每个通道对应的特征调整值。
[0169] 接着，将该通道上每个特征点的特征值与该特征调整值求商，得到该通道对应的第一归一化处理后的特征图，进而基于各个通道对应的第一归一化处理后的特征图构成了中间左目特征图。其中，右目特征图的第一归一化处理过程可参考左目特征图的过程，此处不再赘述。
[0170] 这里，通过确定每个通道的特征调整值，基于每个通道对应的特征调整值调整该通道中每个特征点的特征值，过程简单，运算量低，提高了归一化处理的效率，进而可以提高双目立体匹配网络的处理效率。
[0171] 一种可选实施方式中，基于位置特征信息对中间左目特征图以及中间右目特征图进行第二归一化处理，生成目标左目特征图以及目标右目特征图，可以包括：
[0172] 基于中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对中间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图；
[0173] 基于中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对中间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标右目特征图。
[0174] 示例性的，基于位置特征信息对左目特征图以及右目特征图进行第一归一化处理的公式可以为：
[0175]
[0176] 其中，上述公式(2)在用于对左目特征图进行第一归一化处理时，F′n,c,h,w为中间左目特征图中特征点的特征值，ε为预设的归一化系数，F″n,c,h,w为生成的目标左目特征图上对应特征点的特征值。
[0177] 这里，若左目特征图中N＝2，C＝3，则表征该左目特征图中包括2个三通道的特征图，可以得到2个三通道的中间左目特征图；则针对每一个三通道的中间左目特征图，基于中间左目特征图对应的三个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值，即可以根据公式(2)中的分母对应的计算公式，得到每个位置对应的特征调整值。并根据每个位置对应的特征调整值对中间左目特征图对应的三个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图。
[0178] 比如，针对每个三通道的中间左目特征图，该位置可以为h＝1、w＝1的位置(其中，h、w可以为该位置对应的横、纵坐标，该横坐标与纵坐标可以为中间左目特征图在图像坐标系中的坐标)，则可以将三个通道上h＝1、w＝1的位置处的特征值求平方和，并将得到的平方和结果与归一化系数相加，再将得到的和值开根号，得到该h＝1、w＝1的位置对应的特征调整值，并将三通道上每个通道上的h＝1、w＝1的位置处的特征值与该位置上的特征调整值求商，得到目标左目特征图上与该位置对应的特征点的特征值；进而可以得到处理后的目标左目特征图。其中，中间右目特征图的第二归一化处理过程可参考中间左目特征图的过程，此处不再赘述。
[0179] 上述实施方式中，通过确定每个位置的特征调整值，基于每个位置对应的特征调整值调整该位置对应的特征点的特征值，归一化处理过程简单，运算量低，提高了归一化处理的效率，进而可以提高双目立体匹配网络的处理效率。
[0180] 参见图2所示，为本公开实施例所提供的一种图像处理方法的流程示意图，包括S201‑S203，其中：
[0181] S201，获取待检测双目图像；
[0182] S202，基于双目立体匹配网络对待检测双目图像进行目标检测，得到待检测双目图像对应的第一目标视差图，其中，双目立体匹配网络为基于上述实施方式所述的双目立体匹配网络训练方法训练得到；
[0183] S203，基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
[0184] 这里，基于第一目标视差图可进行的处理操作包括但不限于目标检测、深度确定、三维场景建模、同步定位与建图等。比如，可以对第一目标视差图进行建模处理，得到处理结果；比如将第一目标视差图输入至建模软件中进行场景建模，确定待检测双目图像对应的场景模型。
[0185] 参见图3所示，为本公开实施例所提供的一种行驶控制方法的流程示意图，包括S301‑S304，其中：
[0186] S301，获取行驶装置在行驶过程中采集的双目道路图像；
[0187] S302，利用双目立体匹配网络对双目道路图像进行目标检测，确定双目道路图像对应的第二目标视差图；双目立体匹配网络采用上述实施方式所述的双目立体匹配网络训练方法训练得到；
[0188] S303，基于第二目标视差图，确定双目道路图像中包括的目标对象的三维位姿信息；
[0189] S304，基于确定的目标对象的三维位姿信息，控制行驶装置。
[0190] 示例性的，行驶装置可以为自动驾驶车辆、装有高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)的车辆、或者机器人等。双目道路图像可以为行驶装置在行驶过程中实时采集到的双目图像。目标对象可以为道路中可以能出现的任一标识、和/或任一物体和/或、任一对象。比如，目标对象可以为斑马线、右拐等路面标识，也可以为禁止停车等的标识牌，还可以为出现在道路上的动物、行人等，也可以为道路上的其他车辆等。
[0191] 其中，在控制行驶装置时，可以控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。这里，三维位姿信息中包括但不限于目标对象的中心点在三维坐标系中的三维坐标信息、朝向信息、目标对象的长度、宽度、高度等。
[0192] 本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0193] 基于相同的构思，本公开实施例还提供了一种双目立体匹配网络训练装置，参见图4所示，为本公开实施例提供的一种双目立体匹配网络训练装置的架构示意图，包括样本获取模块401、色彩转换模块402、以及训练模块403，具体的：
[0194] 样本获取模块401，用于获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左目图像训练样本和右目图像训练样本；
[0195] 色彩转换模块402，用于基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的色彩相匹配；
[0196] 训练模块403，用于利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
[0197] 一种可能的实施方式中，所述色彩转换模块402，在基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本的情况下，用于：
[0198] 将所述参考图像样本和所述双目图像训练样本从RGB图像转换为LAB图像，得到中间参考图像样本以及中间双目图像训练样本；
[0199] 基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本。
[0200] 一种可能的实施方式中，所述色彩转换模块402，在基于所述中间参考图像样本以及所述中间双目图像训练样本，生成转换后的目标双目图像训练样本的情况下，用于：
[0201] 确定所述中间参考图像样本对应的第一像素值均值和第一像素值方差，所述中间双目图像训练样本中的中间左目图像训练样本对应的第二像素值均值和第二像素值方差，以及中间右目图像训练样本对应的第二像素值均值和第二像素值方差；
[0202] 基于所述第一像素值均值及所述第一像素值方差、所述中间左目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标左目图像训练样本；
[0203] 基于所述第一像素值均值及所述第一像素值方差、所述中间右目图像训练样本对应的第二像素值均值及第二像素值方差、以及所述中间参考图像样本，生成目标右目图像训练样本；
[0204] 其中，所述目标左目图像训练样本和所述目标右目图像训练样本构成了所述目标双目图像训练样本。
[0205] 一种可能的实施方式中，所述色彩转换模块402，用于采用以下步骤生成目标单目图像训练样本，所述目标单目图像训练样本为所述目标左目图像训练样本或者所述目标右目图像训练样本：
[0206] 基于所述第一像素值均值，对所述中间参考图像样本中各个像素点的像素值进行调整，生成第一转换图像；
[0207] 基于所述第一像素值方差以及所述中间单目图像训练样本对应的第二像素值方差，确定转换系数，并基于所述转换系数，对所述第一转换图像中各个像素点的像素值进行调整，生成第二转换图像；
[0208] 基于所述中间单目图像训练样本对应的第二像素值均值，对所述第二转换图像中各个像素点的像素值进行调整，生成第三转换图像；
[0209] 将所述第三转换图像转换为RGB图像，得到所述目标单目图像训练样本；其中，当所述目标单目图像训练样本为所述目标左目图像训练样本时，所述中间单目图像训练样本为所述中间左目图像训练样本；当所述目标单目图像训练样本为所述目标右目图像训练样本时，所述中间单目图像训练样本为所述中间右目图像训练样本。
[0210] 一种可能的实施方式中，所述训练模块403，在利用所述目标双目图像训练样本对所述双目立体匹配网络进行训练的情况下，用于：
[0211] 分别对目标左目图像训练样本以及目标右目图像训练样本进行特征提取，生成左目特征图以及右目特征图；
[0212] 分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图；
[0213] 基于所述目标左目特征图以及目标右目特征图，计算所述目标双目图像训练样本中所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价；
[0214] 基于所述目标左目图像训练样本与所述目标右目图像训练样本之间的匹配代价，生成所述目标双目图像训练样本对应的预测视差图；
[0215] 基于所述预测视差图以及所述双目图像训练样本对应的标注视差图，调整所述双目立体匹配网络的参数。
[0216] 一种可能的实施方式中，所述训练模块403，在分别对所述左目特征图以及所述右目特征图进行归一化处理，生成归一化处理后的目标左目特征图以及目标右目特征图的情况下，用于：
[0217] 基于通道特征信息对所述左目特征图以及所述右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图；
[0218] 基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图。
[0219] 一种可能的实施方式中，所述训练模块403，在基于通道特征信息对所述左目特征图以及右目特征图进行第一归一化处理，生成中间左目特征图以及中间右目特征图的情况下，用于：
[0220] 针对所述左目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间左目特征图；以及，[0221] 针对所述右目特征图中的每个通道的特征图，基于该通道的特征图中每个特征点的特征值，确定该通道对应的特征调整值；并根据每个通道对应的特征调整值对该通道的特征图上的每个特征点的特征值进行调整，得到处理后的中间右目特征图。
[0222] 一种可能的实施方式中，所述训练模块403，在基于位置特征信息对所述中间左目特征图以及所述中间右目特征图进行第二归一化处理，生成所述目标左目特征图以及所述目标右目特征图的情况下，用于：
[0223] 基于所述中间左目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间左目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标左目特征图；
[0224] 基于所述中间右目特征图对应的各个通道的特征图中，对应同一位置的各个特征点的特征值，得到该位置对应的特征调整值；并根据每个位置对应的特征调整值对所述中间右目特征图对应的各个通道的特征图中，与该位置对应的特征点的特征值进行调整，得到处理后的目标右目特征图。
[0225] 基于相同的构思，本公开实施例还提供了一种图像处理装置，参见图5所示，为本公开实施例提供的一种图像处理装置的架构示意图，包括图像获取模块501、第一目标检测模块502、以及处理模块503，具体的：
[0226] 图像获取模块501，用于获取待检测双目图像；
[0227] 第一目标检测模块502，用于基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；
[0228] 处理模块503，用于基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
[0229] 基于相同的构思，本公开实施例还提供了一种行驶控制装置，参见图6所示，为本公开实施例提供的一种行驶控制装置的架构示意图，包括道路图像获取模块601、第二目标检测模块602、三维位姿信息确定模块603、以及控制模块604，具体的：
[0230] 道路图像获取模块601，用于获取行驶装置在行驶过程中采集的双目道路图像；
[0231] 第二目标检测模块602，用于利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用第一方面或第一方面任一实施方式所述的双目立体匹配网络训练方法训练得到；
[0232] 三维位姿信息确定模块603，用于基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿信息；
[0233] 控制模块604，用于基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
[0234] 在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0235] 基于同一技术构思，本公开实施例还提供了一种电子设备。参照图7所示，为本公开实施例提供的电子设备的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701在执行以下指令：
[0236] 获取双目图像训练样本以及参考图像样本；其中，所述双目图像训练样本包括左目图像训练样本和右目图像训练样本；
[0237] 基于所述参考图像样本，对所述双目图像训练样本进行色彩转换，得到转换后的目标双目图像训练样本，其中，所述目标双目图像训练样本的色彩与所述参考图像样本的色彩相匹配；
[0238] 利用所述目标双目图像训练样本对双目立体匹配网络进行训练，得到训练后的双目立体匹配网络。
[0239] 基于同一技术构思，本公开实施例还提供了另一种电子设备。参照图8所示，为本公开实施例提供的电子设备的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801在执行以下指令：
[0240] 获取待检测双目图像；
[0241] 基于双目立体匹配网络对所述待检测双目图像进行目标检测，得到所述待检测双目图像对应的第一目标视差图，其中，所述双目立体匹配网络为基于上述实施例所述的双目立体匹配网络训练方法训练得到；
[0242] 基于所述第一目标视差图对所述待检测双目图像进行处理，得到处理结果。
[0243] 基于同一技术构思，本公开实施例还提供了另一种电子设备。参照图9所示，为本公开实施例提供的电子设备的结构示意图，包括处理器901、存储器902、和总线903。其中，存储器902用于存储执行指令，包括内存9021和外部存储器9022；这里的内存9021也称内存储器，用于暂时存放处理器901中的运算数据，以及与硬盘等外部存储器9022交换的数据，处理器901通过内存9021与外部存储器9022进行数据交换，当电子设备900运行时，处理器901与存储器902之间通过总线903通信，使得处理器901在执行以下指令：
[0244] 获取行驶装置在行驶过程中采集的双目道路图像；
[0245] 利用双目立体匹配网络对所述双目道路图像进行目标检测，确定所述双目道路图像对应的第二目标视差图；所述双目立体匹配网络采用上述实施例所述的双目立体匹配网络训练方法训练得到；
[0246] 基于所述第二目标视差图，确定所述双目道路图像中包括的目标对象的三维位姿信息；
[0247] 基于确定的所述目标对象的三维位姿信息，控制所述行驶装置。
[0248] 此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的双目立体匹配网络训练方法的步骤。
[0249] 本公开实施例所提供的双目立体匹配网络训练方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的双目立体匹配网络训练方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0250] 此外，本公开实施例还提供另一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的行驶控制方法的步骤。
[0251] 本公开实施例所提供的行驶控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的行驶控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0252] 此外，本公开实施例还提供另一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。
[0253] 本公开实施例所提供的图像处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0254] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0255] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0256] 另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0257] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0258] 以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
