[0033] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0034] 本发明提供一种基于多视图几何的智慧城市CIM三维车辆位姿建模系统。图1为本发明的系统框图。下面通过具体实施例来进行说明。
[0035] 实施例一：
[0036] 基于多视图几何的智慧城市CIM三维车辆位姿建模系统基于城市信息模型实现城市三维车辆位姿的建模，城市信息模型包括：城市建筑物数据、车辆位姿数据、车型模型数据。城市建筑物数据包括建筑物以及街道建模数据、地理信息数据，结合Web GIS技术可以对城市信息模型进行初步的可视化。车辆位姿数据以及车型模型数据用来具体还原城市信息模型中的车辆位姿，在初步可视化的城市信息模型中展示城市的车辆位姿。进一步地，城市信息模型还包括车道模型信息，为车辆位姿的可视化提供参考对象。
[0037] 本发明基于图像获取车辆位姿信息，因此，本发明系统包括图像采集单元，用于采集街道上车辆图像。
[0038] 在通过图像采集单元得到车辆图像以后，利用车辆关键点获取单元以及车辆位姿获取单元来分析图像中车辆的位姿。
[0039] 车辆关键点获取单元，包括样本数据集获取模块、网络训练模块、关键点获取模块。
[0040] 样本数据集获取模块，用于标注车辆图像上车辆对角线的两个轮胎与地面接触的位置以及车辆中心点位置，得到带有标注的样本数据集。
[0041] 为了得到精确的车辆位姿信息，需要标注车辆关键点数据，本发明分别标注中心点、左前轮、右后轮的关键点信息。实施者也可以交换左右轮前后位置，标注三个关键点。因此车辆关键点包括车辆左前轮、右前轮、中心点或车辆右前轮、左前轮、中心点。
[0042] 实施者应根据车辆几何信息判断车辆被遮挡的左前轮位置来标注KP1，同时标注右后轮位置KP3，其中中心点的精度要求不高，则可以直接根据KP1、KP3的平均位置来得到KP2。
[0043] 可以看到，本发明的标注难度低于普通的包围框，但能够得到合理且精确的车辆二维位姿信息KP1、KP2、KP3。
[0044] 如此可以得到经过标注的车辆样本图像集。
[0045] 网络训练模块，用于根据带有标注的样本数据集训练车辆关键点回归网络。
[0046] 将得到的数据集作为常规的关键点回归网络训练集，进行训练，得到能够计算并回归关键点坐标的网络。关键点回归网络存在诸多公知且性能较佳的开源实现，例如Hourglass、HRNet、Openpose所用的VGG等，由于训练关键点位置回归网络的操作大同小异，且每个开源项目有具体的指南，因此不在此赘述，实施者使用何种网络不在本发明的保护范围内中。
[0047] 无论实施者使用何种网络，首先要确保的是网络是直接对原图进行处理，每个通道为一类关键点的热斑响应，且每个通道是能够得到多个关键点位置的，即多个车辆的某一类关键点位置。此方式在业内称为Bottom-Up。而先对目标进行包围框检测、并在包围框内进行关键点检测的为Top-Down。由于包围框单独进行关键点检测的方法(Top-Down)对于车辆遮挡、多视角信息融合时存在由诸多精度问题，故本发明不使用。
[0048] 至此，实施者得到了能够通过相机的影像得到多个车辆关键点的深度神经网络，其结果为三通道的热图KH，每个通道分别代表了若干KP1、KP2、KP3的热斑响应。
[0049] 车辆关键点获取模块，用于利用训练好的车辆关键点回归神经网络对车辆图像进行分析，得到车辆关键点位置。
[0050] 在得到训练好的车辆关键点回归神经网络之后，将图像输入网络，即可得到三通道的车辆关键点热图。
[0051] 为了克服遮挡、远视距带来的精度下降问题，本发明采用多视角合成的方法，利用车辆位姿获取单元对每个相机的三通道热图KH进行拼接和合成，从而进一步获取车辆位姿。
[0052] 车辆位姿获取单元，用于计算车辆位姿，包括热图衰减模块、透视变换模块、图像拼接模块、关联处理模块、车辆位姿计算模块。下面对各个模块进行详细说明。
[0053] 热图衰减模块，用于利用图像遮罩对拼接后的车辆关键点热图进行置信度衰减处理。
[0054] 由于远视距的信息是不可靠的，因此本发明在热图上叠加一个置信度衰减用的遮罩M，KH在透视变换前与M进行逐点相乘操作，从而显式降低远处置信度。通过置信度衰减处理，对远视距数据进行衰减，可以进一步提高本发明车辆位姿的估计精度。
[0055] 透视变换模块，用于将衰减处理后的车辆关键点热图透视变换至城市信息模型坐标系。
[0056] 城市信息模型中还包括相机地理信息、相机位姿信息。相机地理信息为相机所在位置的地理坐标信息，相机位姿信息包括相机内参、相机外参等基本相机参数。相机位姿是一种朴素的坐标系信息，其理论完全基于计算机图形学和多视图几何，因此在实施手段上是公知的，不在此赘述。
[0057] 对于相机而言，为了更方便地进行后处理，除了在城市信息模型中单独提供相机矩阵K、罗德里格斯矩阵R、平移向量T之外，还应提供相应的单应矩阵H，最终的坐标变换都是基于H进行的。单应矩阵H的意义和传统的KRT的不同在于，为了方便后处理计算，H应是实施者将相机空间的坐标直接映射到地理信息坐标的单应矩阵。所述单应矩阵是用于直接将获取的关键点热图变换至城市信息模型的坐标系，使其符合城市信息模型的视图模式，例如俯视图模式。对每个相机进行基于H的透视变换，即可得到变换后的热图KH’。
[0058] 图像拼接模块，用于拼接合成透视变换后的多视角车辆关键点热图。
[0059] 由于单视角图像会存在遮挡，难以获得视野内所有车辆位姿，因此，本发明基于多视图几何技术对多视角的车辆关键点热图进行拼接合成，从而提高视野内车辆位姿感知精度。由于经过透视变化模块，多视角的车辆关键点热图已经变换到同一坐标系，将多视角图像进行拼接合成即可得到视野更广的车辆关键点热图。
[0060] 最终得到的热图有略微的重影，但后处理时使用一般的softargmax或softmax处理方式可让其精度影响忽略不计。逐通道，对拼接得到的热图进行NMS操作，得到每个热斑的二维坐标位置。NMS的实施方法是多样且公知的，例如迭代阈值、形态学等多种处理方法，其速度、效果有不同的差异，具体选用何种方法应在工程的实践中决定，因此不在此赘述。
[0061] 至此，得到了摄像头视野的三类型车辆关键点信息，最终通过关联的处理得到每个车辆的三个关键点。
[0062] 关联处理模块，用于根据车辆中心点位置采用启发式搜索方法搜索与车辆关联的其他关键点。
[0063] 对于关联的后处理，有多种公知方法，本发明使用启发式搜索可以达到较佳的效果。
[0064] 启发式搜索的初始位置是多个车辆中心点KP2的位置，分别以KP2坐标做搜索半径为r的圆，不断扩张，最终以第一次触碰到KP1、KP3时结束，最终得到所有关联的结果，将关联的结果视为车辆，分别存储为一组关键点KP1、KP2、KP3。
[0065] 车辆位姿计算模块，用于根据车辆关联的关键点计算车辆位姿。
[0066] 获得每个车辆关联的关键点之后，即可根据关键点位置得到车辆的二维位姿。车辆二维位姿包括车辆航向角、车辆中心位置、车辆长与宽。
[0067] 为了进一步获得更加友好的立体展示效果，需要得到车辆高度信息和三维模型以投影到CIM。因此本发明需要判断车辆型号，并在模型库中选取合适模型，整合车辆模型信息。下面对获取车型信息进行详细说明。
[0068] 车型信息获取单元，用于根据单视角图像获取车型信息，包括：车辆包围框获取模块、车型识别模块。
[0069] 车辆包围框获取模块，用于以车辆中心点为中心对图像进行车辆包围框查找。
[0070] 以KP2的关键点位置，在单视角相机的画面中作一包围框，包围框大小可以是固定的。另外，实施者可以设定合适阈值，当KP2的关键点位置超出某一区域时，不在此单视角相机内进行后续处理了，目的是为了克服小目标分类准确度问题。
[0071] 对于车型分类网络而言，对包围框的准确度要求不高，且可以在包围框大于目标时进行分类。
[0072] 由于CIM系统中相机已经和道路相校准，因此实施者只需准备基于经验的包围框尺寸即可，例如准备5个包围框大小级别，从而在不同的距离上采用不同大小包围框。
[0073] 车型识别模块，用于根据车型识别深度神经网络识别包围框内车辆的车型。
[0074] 利用车型识别深度神经网络识别包围框内车辆的车型。目前有较多的车辆型号识别的深度神经网络开源项目，因此，采用何种车辆型号分类技术，本发明不做约束。由于是多视角，当出现重复检测的结果时，应以画面中包围框尺寸较大的视角图像的检测结果为准。
[0075] 至此，根据上述处理单元可以获得车辆位姿数据、车型数据，通过可视化单元将以上数据通过城市信息模型进行展示。因此，本发明包括可视化单元。
[0076] 可视化单元，用于从城市信息模型获取数据，结合Web GIS与CIM技术对城市信息模型进行渲染，将城市三维车辆位姿展示在前台Web页面。
[0077] 可视化单元包括：
[0078] 初始化模块，用于从城市信息模型获取城市建筑物数据、车道数据，结合Web GIS技术对城市信息模型进行渲染，得到城市信息模型的初始化结果；
[0079] 数据获取模块，用于从城市信息模型获取车辆位姿数据、车型模型数据；
[0080] 车辆位姿可视化模块，用于从将车辆对应的车型模型匹配至初始化结果的车辆对应位置，并根据车辆位姿数据对车辆进行调整，得到车辆位姿可视化结果。
[0081] 实施者可以根据需求采用渲染、图像加速技术来进一步增强用户体验，为用户提供更加友好的显示界面。
[0082] 本发明的三维车辆位姿建模系统与CIM技术结合，可以提供城市的实时车辆三维位姿，以便对城市交通情况进行监控管理。进一步地，可以为智慧驾驶训练决策提供基础数据集。
[0083] 本发明提供了一种简单、快速实现的智慧城市的车辆位姿检测及建模系统，可以克服传统的基于边界框的检测器导致的精度低、无法提供准确位姿的问题。本发明使用车辆贴近地面的三个关键点来提供兼容透视变换的位姿信息，从而提供最高的车辆位姿精度，并保证多个视角同时辅助提供信息，实现抗遮挡的效果。本发明在城市信息模型中嵌入车辆位姿数据、车型信息，结合Web GIS技术进行可视化，相比于传统的可视化技术，能够更加直观、全面地展示城市的车辆位姿状态，并与城市信息模型的其他类型信息有机结合，使监管者或分析者从全局把握城市的车辆数据以及车辆位姿数据。
[0084] 以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
