一种拉力赛车手操作预测和路书辅助生成系统及实现方法   0    0

本发明公开了一种拉力赛车手操作预测和路书辅助生成系统及实现方法。本发明中车载端数据采集模块中RGB摄像头、IMU惯性测量单元、车辆控制数据采集单元连接车载端数据处理与存储模块，车载端数据处理与存储模块将采集到的图像以唯一标识ID‑三轴速度‑三轴加速度‑转向数值‑油门数值‑刹车数值‑当前档位‑升档‑降档命名并存储，供离线端模型训练使用。离线端模型训练模块使用Caffe深度学习框架搭建训练模型与预测模型，车载端车手操作预测和路书辅助生成模块使用离线端模型训练好的模型在墈路时实时预测车手操作和生成路书。本发明解决了拉力赛时墈路次数受限的问题，解决了车手和导航员因配合不默契导致的路书制作问题。

1.一种拉力赛车手操作预测和路书辅助生成系统，其特征在于包括车载端数据采集模块、车载端数据处理与存储模块、离线端模型训练模块以及车载端车手操作预测和路书辅助生成模块；
所述车载端数据采集模块包含RGB摄像头、IMU惯性测量单元和车辆控制数据采集单元；RGB摄像头采集车头正前方道路连续帧图像并传回视频流至车载端数据处理与存储模块；IMU惯性测量单元采集车辆三轴速度与三轴加速度值并传至车载端数据处理与存储模块；车辆控制数据采集单元获取车辆控制信息，车辆控制信息包括方向盘角度、油门刹车幅值、当前档位及升降档；
所述车载端数据处理与存储模块，将采集到的图像以唯一标识ID-三轴速度-三轴加速度-转向数值-油门数值-刹车数值-当前档位-升档-降档命名并存储，以便离线端模型训练模块训练使用；
所述离线端模型训练模块，使用Caffe搭建训练模型与预测模型；使用车载端存储的数据训练模型，并将训练好的模型搭载到车载端车手操作预测和路书辅助生成模块上；
所述车载端车手操作预测和路书辅助生成模块，根据车载端数据采集模块采集到的数据，将其加载到预测模型中得到车手个性化操作预测和路书；在结束墈路后由车手和领航员对得到的操作进一步细化和明确得到正赛时需要的路书。

2.根据权利要求1所述的一种拉力赛车手操作预测和路书辅助生成系统，其特征在于所述车载端数据采集模块中RGB摄像头采用GoPro hero6 black，支持4k60帧摄像；所述IMU惯性测量单元使用Razor IMU-AHRS compatib，为9自由度IMU，采用三个传感器ITG3200、ADXL345和HMC5883L提供九轴惯性测量，所有传感器输出由板上的ATMEGA328进行处理和通过串行接口输出；车辆数据采集单元使用Nvidia TX1从行车电脑中获取信息；Nvidia TX1 GPU使用Maxwell架构，拥有256颗CUDA计算核心，能够搭载小型神经网络计算模型，使用
4GB64位LPDDR4内存，内置16GB eMMC闪存，预留SATA接口能够扩展加载存储设备；也将Nvidia TX1作为车载端数据处理与存储模块和车载端车手操作预测和路书辅助生成模块。

3.根据权利要求1所述的一种拉力赛车手操作预测和路书辅助生成系统，其特征在于所述离线端模型训练模块为一台具有较强计算能力的服务器，其使用X99E-WS主板，搭载1颗intel i7-7700k CPU和两张3840个CUDA核心，12GB GDDR5显存的Pascal架构显卡Titan Xp。

4.根据权利要求1或2或3所述的一种拉力赛车手操作预测和路书辅助生成系统的实现方法，其特征在于包括如下步骤：
步骤1、首先将车载端数据采集模块、车载端数据处理与存储模块安装固定到车手使用的赛车上；车载端数据采集模块的2D摄像头安置在车头引擎盖正中央，IMU惯性测量单元安置在车辆质心；车辆控制数据采集单元与行车电脑连接；初始化车载端数据采集模块；
步骤2、车辆启动，车手操作赛车运动；
步骤3、车载端数据采集模块开始采集车辆控制数据和路况数据，并将其存储至车载端存储模块中；
步骤4、数据采集模块停止采集数据，车辆停止运动；
步骤5、在离线端模型训练模块中构建模型；
步骤6、对收集到的数据进行预处理；
所述的预处理包含：
a.对2D RGB摄像头采集的数据进行检测得到道路及道路边界，将得到的二值结果作为输入源；
b.将方向盘角度变化及油门刹车幅值变化小于5％的部分数据去除，不作为训练数据；
步骤7、将步骤6得到的数据喂入步骤5构建的模型中，使用离线端模型训练模块训练模型；
步骤8、将步骤7得到的模型载入车载端车手操作预测和路书辅助生成模块中，模块初始化；
步骤9、车载端数据采集模块初始化，车辆启动，车载端车手操作预测和路书辅助生成模块运行，生成路书并存储。