一种基于人工神经网络的实时场景布局识别及重建的方法   0    0

本发明公开了一种基于人工神经网络的实时场景布局识别及重建方。本发明用人工神经网络模型对输入序列进行处理，并通过寻找单帧之间的相关性，得到室内场景的布局识别后，在曼哈顿世界假设下，利用空间中一点在像素坐标系下存在唯一投影的原理，迭代优化，得到场景中每个平面的单位法向量和该平面到相机中心的距离，并在OpenGL下渲染平面。本发明利用人工神经网络，并寻找帧与帧间的联系，使得网络输出结果和三维重建结果更为精确；使用单目的RGB信息还原三维信息，减少硬件成本，同时利用每帧得到的布局信息，使用优化算法求解得到场景中每个平面的法向量和到相机中心距离。

1.一种基于人工神经网络的实时场景布局识别及重建方法，其特征在于：
步骤
1.训练阶段；
训练分为三个阶段：
第一阶段：实现对室内场景的语义分割；
第二阶段：将第一阶段的输出结果用作训练数据，训练一个全连接层实现对室内场景布局的识别；
第三阶段：为整合前面两个阶段，并将继承得到的权值用于第三阶段的权值初始化，在原有权值的基础上进行权值的微调；
使用的网络根据卷积残差网络修改，搭建全卷积神经网络，在ground truth的监督下进行网络训练，得到可以对室内场景进行布局识别的模型；所述的ground truth为场景中三类交线，即墙与地面，墙与天花板，墙与墙之间的交线和背景的分类结果；
步骤
2.用步骤1中得到的模型对输入的视频帧序列进行处理，由于视频帧序列存在连续性，因此相邻帧之间的图像存在相关性，对单帧图像进行特征点检测，并与之前一帧图像进行特征点匹配，若相同特征点的位置预测标签不一致，取概率较大的一方作为该特征点位置的预测标签，用于得到每帧图像中的场景布局识别结果；
步骤
3.基于相关约束对实时场景进行重建，相关约束条件如下：
I.相机光轴方向平行于地面；
II.拍摄的场景为曼哈顿世界，相邻平面两两垂直；
III.该视频帧序列通过透视投影获得，使用具有固有矩阵K的拍摄设备；相机坐标系下Q和像素坐标系下q满足如下公式
‑1
Qi＝λK qi
其中，K,q和Q分别如下
平面法向量和平面到相机中心距离满足
‑1
dp＝npQi＝npλK qi；
单帧图像得到布局识别结果后进行平面三维重建，利用曼哈顿世界相邻平面两两垂直，利用空间中一点在像素坐标系下存在唯一投影进行约束，优化得到单帧图像中平面的单位法向量和到相机中心距离，经OpenGL渲染后即为该帧图像对应的三维平面。

2.根据权利要求1所述的一种基于人工神经网络的实时场景布局识别及重建方法，其特征在于步骤1中第一阶段所述的实现对室内场景的语义分割，具体如下：
通过训练网络实现对复杂室内场景的语义分割，所述的训练网络是在ResNet101的基础上修改得到的，输入数据为普通RGB图片，对应的ground truth为输入图片中的场景人工语义分割的结果，网络输出结果与ground truth之间进行比较，运用梯度下降的方法求得较好的网络权值，得到的模型能够对室内场景中的物体进行37类的分类，网络输出结果为w*h*37的矩阵，每个通道对应一类物体在该场景中存在概率，取每个像素对应的37维概率向量中最大值所在通道作为汇总结果中该像素的类别，最终得到该场景的语义分割结果，该结果为最终得到场景布局识别提供一个有用的先验条件。

3.根据权利要求2所述的一种基于人工神经网络的实时场景布局识别及重建方法，其特征在于步骤1所述的第二阶段：将第一阶段的输出结果用作训练数据，训练一个全连接层实现对室内场景布局的识别，具体如下：
第二阶段中用的训练数据为若干室内场景的RGB图片经过第一阶段的网络后，得到若干对应语义分割的37通道的特征图，ground truth为场景中三类交线和背景的分类结果；
将每个像素点作为训练数据；第二阶段使用一个全连接层，实现37类语义分割的概率到4类布局的映射，训练得到的模型实现输入37维概率分布，输出4类布局的概率分布。

4.根据权利要求3所述的一种基于人工神经网络的实时场景布局识别及重建方法，其特征在于所述的第三阶段具体实现录如下：
将第二阶段的全连接层改为卷积层，两个阶段的网络结构合并为一个完整网络，第二阶段中得到的权值改变其形状，37*4的改为1*1*37*4，用于初始化最顶端的卷积层权值，同时继承第一阶段得到权值，作为初始权值；训练数据为RGB图片和对应的场景布局人工标记结果，进行端对端训练，对权值进行微调，最终得到的模型可以实现输入RGB图片，输出RGB图片对应场景的布局识别结果。