[0040] 以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0041] 本发明利用深度学习的方法对车辆目标进行识别，同时利用相机标定的结果，对车辆目标构建轮廓约束并求解出其空间形态信息。采用基于单个消失点的方法进行标定，在实际道路场景中，由二维目标检测结果、标定结果和地平线信息构建车辆目标的轮廓约束。这些参数在道路环境中很容易获取，这充分保证了此方法在此场景下的通用性。
[0042] 实施例1：
[0043] 如图1至图8所示，本发明公开了一种基于轮廓约束的车辆空间形态识别方法，详细步骤如下：
[0044] 步骤1，输入交通视频，得到每一帧的视频图像，形成图像序列；
[0045] 步骤2，从步骤1得到的视频图像提取消失点，建立摄像机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型以及三维包络框模型，并结合消失点进行相机标定，得到相机标定参数和地平线信息；
[0046] 参考论文《A Taxonomy and Analysis of Camera Calibration Methods for Traffic Monitoring Applications》的方法，如图2所示，建立摄像机模型、世界坐标系O-XYZ、相机坐标系O-XCYCZC、图像坐标系O-UV，摄像机模型简化为针孔模型，所建坐标系均为右手系，世界坐标系包含x,y,z轴，原点位于相机在路面的投影点，z轴垂直于地面方向向上，图2的(a)侧视图中可以看出，x轴指向纸内，用 表示，y轴垂直于xoz平面，图2的(b)俯视图中可以看出，z轴指向纸外，用⊙表示；相机坐标系包含xc,yc,zc，原点位于相机所处位置，xc轴与世界坐标系下的x轴平行，zc轴正向沿着相机的光轴指向地面，yc轴垂直于xcozc平面指向地面。图中的主点为r点，为zc轴延伸至与地面的交点，根据图2中的角度关系，r点在世界坐标系下的坐标为(0,h,0)；图像坐标系为图像平面坐标系，以r点为原点，水平向右为u轴，垂直向下为v轴。
[0047] 相机标定参数为：设相机焦距为f，相机原点距离地面高度为h，相机俯仰角为φ，相机偏转角(相机光轴在路平面投影与道路延伸方向的夹角)为θ，由于相机自旋角可以通过简单的图像旋转进行表示，并且对于标定结果无影响，因此不予考虑。
[0048] 由论文中的推导可知：
[0049] 如图3所示，采用单个消失点标定的方法，设沿道路方向消失点坐标为(u0,v0)，垂直道路方向消失点坐标为(u1,v1)，l为道路中的一段物理距离，w为道路的物理宽度，有关于未知参量f的四次方程：
[0050]
[0051] 其中，为计算方便引入中间变量kV＝δτl/wv0，δ为道路物理宽度w在图像上对应的像素距离，τ＝(vf-v0)(vb-v0)/(vf-vb)，其中，vb和vf分别表示l的两个端点在图像坐标系中v轴对应的坐标值；
[0052]
[0053]
[0054] 通过上述公式(1)至(3)计算得到相机标定参数。
[0055] 地平线方程为：
[0056]
[0057] 设图像上任意一点的世界坐标为(x,y,z)，世界坐标系的点与图像坐标系的点的投影关系为：
[0058]
[0059]
[0060]
[0061]
[0062] 其中，α为比例因子。
[0063] 步骤3，车辆目标的检测与分割：使用深度学习Mask RCNN的方法对视频图像中的车辆目标进行检测，获取车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别，二维坐标信息包括车辆目标的中心点图像坐标及车辆目标的像素宽高信息；
[0064] 如图5所示，采用深度学习的方法，读取预训练的模型对视频帧中的车辆目标进行检测，获取车辆目标在图像坐标系中的中心点坐标(x,y)、宽度w、高度h和车辆类型信息，在此基础上可以计算出车辆目标检测出的二维包络框模型的四个角点坐标分别为P2d_0＝(x-w/2,y+h/2),P2d_1＝(x+w/2,y+h/2),P2d_2＝(x+w/2,y-
h/2),P2d_3＝(x-w/2,y-h/2)，并且将这些信息显示在视频帧上。
[0065] 步骤4，车辆目标轮廓约束的构建求解：
[0066] 步骤4.1，根据步骤3中的车辆分割结果，对分割图像求取轮廓，获取每个车辆目标的轮廓点集合；根据车辆目标轮廓点集合求取轮廓重心点的图像坐标，记为Pc＝(uc,vc)；
[0067] 步骤4.2，根据步骤3中的检测结果与步骤2中的相机标定得到的相机标定参数和地平线信息，计算车辆目标在三维包络框模型下的凸包，构建车辆目标的轮廓约束并求解；
[0068] 步骤4.2中构建车辆目标的轮廓约束及求解包括如下过程：
[0069] 车辆目标的二维包络框模型顶点序号为0到3，记4个顶点的图像坐标分别为P2d_0,P2d_1,P2d_2,P2d_3；车辆目标的三维包络框模型顶点序号为0到7，记8个顶点的世界坐标分别为P3d_0,P3d_1,P3d_2,P3d_3,P3d_4,P3d_5,P3d_6,P3d_7；
[0070] 通过步骤2中的相机标定参数计算出车辆目标在三维包络框模型下的三维坐标信息：P3di_0，P3di_1，P3di_2，P3di_3，P3di_4，P3di_5，P3di_6，P3di_7；车辆目标三维包络框模型的基准点选取为车辆目标二维包络框模型在图像坐标系下的右下角点，即Ptarget＝P2d_1。
[0071] 根据步骤3得到的车辆类别，确定车辆在三维包络框模型下的初始三维信息X0＝(length0，width0，height0)，length0代表车辆初始物理长度，width0代表车辆初始物理宽度，height0代表车辆初始物理高度；由相机标定参数计算出基准点在世界坐标系下的坐标：P3d_1＝(pwx1，pwy1，0)，再额外再选取三维包络框模型对应的0，1，3，5，6，7点，根据初始三维信息，确定对应的世界坐标为：P3d_0＝(pwx1-width，pwy1，0)，P3d_1＝(pwx1，pwy1，0)，P3d_3＝(pwx1-width，pwy1+length，0)，P3d_5＝(pwx1，pwy1，height)，P3d_6＝(pwx1，pwy1+length，height)，P3d_7＝(pwx1-width，pwy1+length，height)，通过相机标定参数将这六个点的世界坐标转换为图像坐标P3di_0，P3di_1，P3di_3，P3di_5，P3di_6，P3di_7；记步骤4.3中求取的凸包点集合为Ω＝{Pi|1≤i≤6}，P1＝P3di_1，P2＝P3di_5，P3＝P3di_6，P4＝P3di_7，P5＝P3di_3，P6＝P3di_0。
[0072] 在凸包6个点构成的6个线段组上等距取点，设总共所取点数为n，求取这些点与轮廓重心点连线之间的距离lhp和前述连线与轮廓交点与轮廓重心点之间的距离lcp，作为约束误差。
[0073] 车辆空间形态识别等价于获取车辆三维信息X＝(length，width，height，pwx1，pwy1，u0)，length代表车辆物理长度，width代表车辆物理宽度，height代表车辆物理高度；pwx1，pwy1表示车辆目标在图像坐标系下基准点的横、纵坐标，u0为消失点在图像坐标系下的横坐标，构造车辆目标的几何约束如下：
[0074]
[0075] 将上述公式记为代价函数， 代表第i个凸包上的点与轮廓重心点连线之间的距离， 代表第i个凸包上的点与轮廓交点与轮廓重心点之间的距离， 表示求出使得公
式(9)最小的待估计参数车辆三维信息X的值；初始三维信息
为利用车辆目标的类别根据国家标
准设置的车辆的初始三维信息；通过粒子群算法对X进行迭代，从而求解出最优解。
[0076] 步骤5，将步骤4.2轮廓约束求解结果进行输出，得到车辆空间形态识别结果。
[0077] 实施例2：
[0078] 本实施例提供一种基于轮廓约束的车辆空间形态识别系统，该系统包括：
[0079] 数据输入模块，用于输入交通视频，得到每一帧的视频图像，形成图像序列；
[0080] 相机标定模块，用于建立摄像机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型以及三维包络框模型，进行相机标定，获取相机的内外参数和场景地平线信息；
[0081] 车辆目标检测与分割模块，用于使用深度学习Mask RCNN的方法对视频图像中的车辆目标进行目标检测与分割，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别，分割结果包括目标区域mask图像；
[0082] 轮廓约束构建求解模块，用于将相机标定结果和检测分割结果结合，构建车辆目标的轮廓约束并求解；
[0083] 结果输出模块，将轮廓约束求解结果进行输出，得到车辆空间形态识别结果。
[0084] 实施例3：
[0085] 为了验证本发明所提出方法的有效性，本发明的一个实施例采用了以图4所示的实际道路交通场景图像，在此实际交通场景中识别出沿道路方向的单个消失点，并且对摄像机进行了标定。如图6所示，在此基础上，通过深度学习Mask RCNN的方法对车辆目标进行检测与分割，获取车辆目标的三维包络基准点在图像坐标系中的坐标。如图7所示为构建轮廓约束的示意图，结合标定结果，构建轮廓约束并求解。如图8所示，为车辆空间形态识别的结果图。
[0086] 实验结果表明，通过本方法识别出的二维车辆目标，结合标定条件，能够完成车辆目标空间形态识别。空间形态识别的结果如表1所示。实验结果说明本方法完全能够满足道路交通场景下车辆空间形态识别的精度要求，该实验在一定程度上证明了本发明所提出方法的有效性。
[0087] 表1基于轮廓约束的车辆空间形态识别结果
[0088] 序号 车辆三维宽/长/高(mm) 车辆图像位置 道路方向消失点横坐标 适应度1 1700.00,3600.00,1150.00 801.68,653.00 162.49 82.00
2 1700.00,3600.00,1162.73 1047.00,874.00 138.98 201.00
3 1772.13,4258.47,1541.70 1164.75,766.01 130.43 531.00
