首页 > 专利 > 安徽建筑大学 > 基于黑白摄像头的智能小车路径识别方法专利详情

基于黑白摄像头的智能小车路径识别方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2017-10-11
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2018-01-19
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-01-29
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2037-10-11
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201710943273.3 申请日 2017-10-11
公开/公告号 CN107505946B 公开/公告日 2021-01-29
授权日 2021-01-29 预估到期日 2037-10-11
申请年 2017年 公开/公告年 2021年
缴费截止日
分类号 G05D1/02 主分类号 G05D1/02
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 5
权利要求数量 6 非专利引证数量 0
引用专利数量 5 被引证专利数量 0
非专利引证
引用专利 CN103576679A、CN202383522U、CN105704244A、JPH03282710A、CN102269595A 被引证专利
专利权维持 5 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 安徽建筑大学 当前专利权人 安徽建筑大学
发明人 刘艳丽、赵汝海、栾庆磊、邓凯、颜艳 第一发明人 刘艳丽
地址 安徽省合肥市经济技术开发区紫云路292号 邮编 230601
申请人数量 1 发明人数量 5
申请人所在省 安徽省 申请人所在市 安徽省合肥市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
南京业腾知识产权代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
郑婷
摘要
本发明公开了基于黑白摄像头的智能小车路径识别方法,处理器将控制总线信号发送给成像模块,同时采用中断方式来读取图像,通过高分辨率成像模块获取赛道图像信息,采集外界环境的变化,返回一幅完整的图像,使系统获得当前状态,同时采用硬件二值化,通过SCCB总线来控制器件的运行,使用高速DMA通道直接读取图像的数据;在处理器中进行图像预处理,通过脉宽调制信号控制转向舵机的转向和驱动电机的行进;测速器件读取光电信号转换成的具有一定频率的方波信号,同时根据相应的方波信号特征值来确定当前需要给于电机及舵机的两种脉宽调制信号,重复步骤。本发明的有益效果是可以实现自动循迹、避障这两个功能。
  • 摘要附图
    基于黑白摄像头的智能小车路径识别方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-01-29 授权
2 2018-01-19 实质审查的生效 IPC(主分类): G05D 1/02 专利申请号: 201710943273.3 申请日: 2017.10.11
3 2017-12-22 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.基于黑白摄像头的智能小车路径识别方法,其特征在于:所述方法按照以下步骤进行:
步骤一:处理器将控制总线信号发送给成像模块,同时采用中断方式来读取图像,通过高分辨率成像模块获取赛道图像信息,采集外界环境的变化,返回一幅完整的图像,使系统获得当前状态,同时采用硬件二值化,通过SCCB总线来控制器件的运行,使用高速DMA通道直接读取图像的数据;
步骤二:在处理器中进行图像预处理,通过脉宽调制信号控制转向舵机的转向和驱动电机的行进;
步骤三:测速器件读取光电信号转换成的具有一定频率的方波信号,同时根据相应的方波信号特征值来确定当前需要给于电机及舵机的两种脉宽调制信号,包括电机及舵机的运动方向, 一起跳回步骤一;所述步骤二中图像预处理方法:进行二值化处理,对于输入图像的各个像素,先确定某个亮度值,当像素的亮度超过阈值时,则将对应输出图像的像素值设为1,否则为0;
黑线中心提取:先判断每行的第一个点是否为白点,如是白点则依次对白点进行计数,计数为a,当遇到连续黑点时则计数黑点个数,计数为b,再次遇到白点时则退出该行计数,此时黑线中心所在列为a+b/2,如果第一个为黑点,且不是噪声点,则直接对黑点计数,计数为b,当遇到连续白点后则退出计数,这种情况下得到的黑线中心位于第b/2列,最后将从一幅图像上得到的所有中心位置按行存入一个一维数组中,当采集到的黑点数超过正常值时,便判定这一行为特殊行,并赋予特殊标志位,用白点跳变为黑点的次数来判定是否为起始线,如果符合情况则标志出这一行,则其他的特殊行均为十字交叉情况;
弯直道的判断:在直道时,每行黑线中心位置相对集中,因而每行的黑线中心与其平均值的偏差之和较小,在弯道时,黑线中心相对分散,随着弯度的增大则偏差之和相应的变大;S弯的判断,在弯道中还分为S弯和普通弯道两种情况,通过远中近三点连线的斜率来判断弯道类型,当S弯弯度较小时让小车不按原路线行驶走S形,直接按弯道路线抄近路走。

2.按照权利要求1所述基于黑白摄像头的智能小车路径识别方法,其特征在于:所述步骤一中处理器为单片机MK60DN512ZVLQ10;所述高分辨率成像模块为大规模的CCD集成器件OV7725。

3.按照权利要求1所述基于黑白摄像头的智能小车路径识别方法,其特征在于:所述步骤二中转向舵机型号为SD-3010,驱动电机型号为RN297。

4.按照权利要求3所述基于黑白摄像头的智能小车路径识别方法,其特征在于:所述处理器接受系统的一级输出,进而执行系统的输出,RN297执行二级输出信号,而处理器发出的控制信号发送给驱动信号芯片74HC244或74LS244来生成二级输出缓冲信号;二级输出缓冲信号通过MOS管型大电流驱动板的两个H桥来生成驱动直流电机RN297的二级输出信号,同时避免了大功率电路与高速电路的交叉,以防止发生电源反冲导致的芯片烧毁。

5.按照权利要求3所述基于黑白摄像头的智能小车路径识别方法,其特征在于:所述测速器件为系统的信号输入部件,采用欧姆龙精度500线编码器,通过监测系统的输出,返回一个信号,让系统具有负反馈的能力,将直流电机的转速转换为光电信号,再转换为一定频率的方波信号。

6.按照权利要求1所述基于黑白摄像头的智能小车路径识别方法,其特征在于:所述步骤一中获取赛道图像信息方法:赛道上只有黑白两色,只需提取探测画面的灰度信息就能识别出黑线信息,图像采集部分选用黑白摄像头,摄像头输出的是PAL制式的复合全电视信号,每秒输出112帧,每帧分为偶场和奇场,黑白视频图像信号由图像信号、消隐信号以及同步信号共同组成,首先提取出摄像头信号中的行同步脉冲,消隐脉冲和场同步脉冲,LM1881视频同步信号分离芯片从摄像头信号中提取信号的时序信息转换成TTL电平直接输给单片机的I/O口作控制信号之用,摄像头视频信号接入LM1881的视频信号输入端,同时接入单片机其中一个A/D口,LM1881的行同步信号和奇偶场同步信号分别接入单片机的带中断的I/O口PT0、PT1,设置PT1口为输入捕捉下降沿,当新的一场到来时,单片机首先采集到下降沿信息进入场中断,在场中断处理程序中先将场中断关闭,然后启动行中断,并设置PT0口为输入捕捉上升沿,当单片机捕捉到行同步信号后就进入行同步中断处理程序,开始采集图像信息,分辨率图像为160x120。
说明书

技术领域

[0001] 本发明属于电子技术领域,涉及基于黑白摄像头的智能小车路径识别方法。

背景技术

[0002] 智能车辆也叫无人车辆,是一个集环境感知、规划决策和多等级辅助驾驶等功能于一体的综合系统。它具有道路障碍自动识别、自动报警、自动制动、自动保持安全距离、车速和巡航控制等功能。智能车辆的主要特点是在复杂的道路情况下,能自动地操纵和驾驶车辆绕开障碍物并沿着预定的道路(轨迹)行进。智能车辆具有智能感知系统,利用各种传感器来获得车辆自身、车辆行驶的周围环境及驾驶员本身的状态信息,必要时发出预警信息。主要包括碰撞预警系统和驾驶员状态监控系统。碰撞预警系统可以给出前方碰撞警告、盲点警告、车道偏离警告、换道/并道警告、十字路口警告、行人检测与警告、后方碰撞警告等,驾驶员状态监控系统。目前的车还没有实现智能化,不能自动避障寻轨,不能进行无人驾驶。

发明内容

[0003] 本发明的目的在于提供基于黑白摄像头的智能小车路径识别方法,解决了目前的车还没有实现智能化,不能自动避障寻轨的问题。
[0004] 本发明所采用的技术方案是按照以下步骤进行:
[0005] 步骤一:处理器将控制总线信号发送给成像模块,同时采用中断方式来读取图像,通过高分辨率成像模块获取赛道图像信息,采集外界环境的变化,返回一幅完整的图像,使系统获得当前状态,同时采用硬件二值化,通过SCCB总线来控制器件的运行,使用高速DMA通道直接读取图像的数据;
[0006] 步骤二:在处理器中进行图像预处理,通过脉宽调制信号控制转向舵机的转向和驱动电机的行进;
[0007] 步骤三:测速器件读取光电信号转换成的具有一定频率的方波信号,同时根据相应的方波信号特征值来确定当前需要给于电机及舵机的两种脉宽调制信号,跳回步骤一。
[0008] 进一步,步骤一中处理器为单片机MK60DN512ZVLQ10;所述高分辨率成像模块为大规模的CCD集成器件OV7725。
[0009] 进一步,步骤二中转向舵机型号为SD-3010,驱动电机型号为RN297。
[0010] 进一步,处理器接受系统的一级输出,进而执行系统的输出,RN297执行这些二级输出信号,而处理器发出的控制信号发送给驱动信号芯片74HC244或74LS244来生成二级输出缓冲信号;二级输出缓冲信号通过MOS管型大电流驱动板的两个H桥来生成驱动直流电机RN297的二级输出信号,同时避免了大功率电路与高速电路的交叉,以防止发生电源反冲导致的芯片烧毁。
[0011] 进一步,测速器件为系统的信号输入部件,采用欧姆龙精度500线编码器,通过监测系统的输出,返回一个信号,让系统具有负反馈的能力,将直流电机的转速转换为光电信号,再转换为一定频率的方波信号。
[0012] 进一步,步骤一中获取赛道图像信息方法:赛道上只有黑白两色,只需提取探测画面的灰度信息就能识别出黑线信息,图像采集部分选用黑白摄像头,摄像头输出的是PAL制式的复合全电视信号,每秒输出112帧,每帧分为偶场和奇场,黑白视频图像信号由图像信号、消隐信号以及同步信号共同组成,首先提取出摄像头信号中的行同步脉冲,消隐脉冲和场同步脉冲,LM1881视频同步信号分离芯片从摄像头信号中提取信号的时序信息转换成TTL电平直接输给单片机的I/O口作控制信号之用,摄像头视频信号接入LM1881的视频信号输入端,同时接入单片机其中一个A/D口,LM1881的行同步信号和奇偶场同步信号分别接入单片机的带中断的I/O口PT0、PT1,设置PT1口为输入捕捉下降沿,当新的一场到来时,单片机首先采集到下降沿信息进入场中断,在场中断处理程序中先将场中断关闭,然后启动行中断,并设置PT0口为输入捕捉上升沿,当单片机捕捉到行同步信号后就进入行同步中断处理程序,开始采集图像信息,分辨率图像为160x120。
[0013] 进一步,步骤二中图像预处理方法:进行二值化处理,对于输入图像的各个像素,先确定某个亮度值,当像素的亮度超过该阈值时,则将对应输出图像的像素值设为1,否则为0;
[0014] 黑线中心提取:先判断每行的第一个点是否为白点,如是白点则依次对白点进行计数,计数为a,当遇到连续黑点时则计数黑点个数,计数为b,再次遇到白点时则退出该行计数,此时黑线中心所在列为a+b/2,如果第一个为黑点,且不是噪声点,则直接对黑点计数,计数为b,当遇到连续白点后则退出计数,这种情况下得到的黑线中心位于第b/2列,最后将从一幅图像上得到的所有中心位置按行存入一个一维数组中,当采集到的黑点数超过正常值时,便判定这一行为特殊行,并赋予特殊标志位,用白点跳变为黑点的次数来判定是否为起始线,如果符合情况则标志出这一行,则其他的特殊行均为十字交叉情况;
[0015] 弯直道的判断:在直道时,每行黑线中心位置相对集中,因而每行的黑线中心与其平均值的偏差之和较小,在弯道时,黑线中心相对分散,随着弯度的增大则偏差之和相应的变大;S弯的判断,在弯道中还分为S弯和普通弯道两种情况,通过远中近三点连线的斜率来判断弯道类型,当S弯弯度较小时让小车不按原路线行驶走S形,直接按弯道路线抄近路走,这样节省小车跑完赛道的时间,能提高小车在比赛中的整体效率。
[0016] 本发明的有益效果是可以实现自动循迹、避障这两个功能。

实施方案

[0017] 下面结合具体实施方式对本发明进行详细说明。
[0018] 系统的处理器将控制总线信号发送给成像模块,同时采用中断方式来读取图像,通过高分辨率成像模块获取赛道图像信息,采集外界环境的变化,返回一幅完整的图像,使系统获得当前状态,同时采用硬件二值化,通过SCCB总线来控制器件的运行,使用高速DMA通道直接读取图像的数据;在处理器中进行图像预处理,通过脉宽调制信号控制转向舵机的转向和驱动电机的行进;测速器件读取光电信号转换成的具有一定频率的方波信号,同时根据相应的方波信号特征值来确定当前需要给于电机及舵机的两种脉宽调制信号(包括电机及舵机),重复以上步骤。
[0019] 处理器为单片机MK60DN512ZVLQ10;所述高分辨率成像模块为大规模的CCD集成器件OV7725。转向舵机型号为SD-3010,驱动电机型号为RN297。处理器接受系统的一级输出,进而执行系统的输出,RN297执行这些二级输出信号,而处理器发出的控制信号发送给驱动信号芯片74HC244或74LS244来生成二级输出缓冲信号;二级输出缓冲信号通过MOS管型大电流驱动板的两个H桥来生成驱动直流电机RN297的二级输出信号,同时避免了大功率电路与高速电路的交叉,以防止发生电源反冲导致的芯片烧毁。测速器件为系统的信号输入部件,采用欧姆龙精度500线编码器,通过监测系统的输出,返回一个信号,让系统具有负反馈的能力,将直流电机的转速转换为光电信号,再转换为一定频率的方波信号。
[0020] 获取赛道图像信息方法:赛道上只有黑白两色,只需提取探测画面的灰度信息就能识别出黑线信息,图像采集部分选用黑白摄像头,摄像头输出的是PAL制式的复合全电视信号,每秒输出112帧,每帧分为偶场和奇场,黑白视频图像信号由图像信号、消隐信号以及同步信号共同组成,首先提取出摄像头信号中的行同步脉冲,消隐脉冲和场同步脉冲,LM1881视频同步信号分离芯片从摄像头信号中提取信号的时序信息转换成TTL电平直接输给单片机的I/O口作控制信号之用,摄像头视频信号接入LM1881的视频信号输入端,同时接入单片机其中一个A/D口,LM1881的行同步信号和奇偶场同步信号分别接入单片机的带中断的I/O口PT0、PT1,设置PT1口为输入捕捉下降沿,当新的一场到来时,单片机首先采集到下降沿信息进入场中断,在场中断处理程序中先将场中断关闭,然后启动行中断,并设置PT0口为输入捕捉上升沿,当单片机捕捉到行同步信号后就进入行同步中断处理程序,开始采集图像信息,分辨率图像为160x120。
[0021] 图像预处理方法:进行二值化处理,对于输入图像的各个像素,先确定某个亮度值,当像素的亮度超过该阈值时,则将对应输出图像的像素值设为1,否则为0;黑线中心提取:先判断每行的第一个点是否为白点,如是白点则依次对白点进行计数,计数为a,当遇到连续黑点时则计数黑点个数,计数为b,再次遇到白点时则退出该行计数,此时黑线中心所在列为a+b/2,如果第一个为黑点,且不是噪声点,则直接对黑点计数,计数为b,当遇到连续白点后则退出计数,这种情况下得到的黑线中心位于第b/2列,最后将从一幅图像上得到的所有中心位置按行存入一个一维数组中,当采集到的黑点数超过正常值时,便判定这一行为特殊行,并赋予特殊标志位,用白点跳变为黑点的次数来判定是否为起始线,如果符合情况则标志出这一行,则其他的特殊行均为十字交叉情况;弯直道的判断:在直道时,每行黑线中心位置相对集中,因而每行的黑线中心与其平均值的偏差之和较小,在弯道时,黑线中心相对分散,随着弯度的增大则偏差之和相应的变大;S弯的判断,在弯道中还分为S弯和普通弯道两种情况,通过远中近三点连线的斜率来判断弯道类型,当S弯弯度较小时让小车不按原路线行驶走S形,直接按弯道路线抄近路走,这样节省小车跑完赛道的时间,能提高小车在比赛中的整体效率。
[0022] 视频图像采集:
[0023] 视频图像的采集是基于MK60DN512ZVMD10单片机来实现的。由于采用摄像头寻迹能大幅度提升赛车的前瞻距离,有利于赛车提高车速。同时,赛道上只有黑白两色,只需提取探测画面的灰度信息就能识别出黑线信息,因而从减少成本和减轻单片机采样的负担两方面考虑,图像采集部分选用黑白摄像头。摄像头输出的是PAL制式的复合全电视信号,每秒输出112帧(每帧分为偶场和奇场)。黑白视频图像信号通常由图像信号、消隐信号以及同步信号共同组成。要能有效地采样摄像头视频信号,首先要提取出摄像头信号中的行同步脉冲,消隐脉冲和场同步脉冲。LM1881视频同步信号分离芯片可从摄像头信号中提取信号的时序信息,如行同步脉冲、场同步脉冲和奇、偶场信息等,并将它们转换成TTL电平直接输给单片机的I/O口作控制信号之用。这部分的硬件设计为:摄像头视频信号接入LM1881的视频信号输入端,同时接入单片机其中一个A/D口(这里选择PAD8口);LM1881的行同步信号和奇偶场同步信号分别接入单片机的带中断的I/O口PT0、PT1。设置PT1口为输入捕捉下降沿,即采集偶场信号。当新的一场到来时,单片机首先采集到下降沿信息进入场中断。在场中断处理程序中先将场中断关闭,然后启动行中断,并设置PT0口为输入捕捉上升沿。当单片机捕捉到行同步信号后就进入行同步中断处理程序,开始采集图像信息。本系统中使用的摄像头分辨率为352x288,但由于S12单片机的A/D转换能力有限,并且赛道只有黑白两色,而本系统的目的只在于提取出黑线中心,所以不需要提取一行中所有的点。基于以上两点原因,最终方案采集160x120分辨率图像。通过试验证明,160x120分辨率的图像可以完整的反映出道路状况。
[0024] 图像预处理:
[0025] 图像预处理的目的是改善图像质量,在本系统中的目的是为单片机识别路径提供一幅更为清晰,更易判断的赛道图像。
[0026] 二值化处理:
[0027] 将图像导入matlab进行分析,发现原始图像像素值均在0-255内,而白色区域像素值一般在160以上,黑色区域一般在70以下。为了提取出黑线,检测像素值的跳变是最直观的方案,但是实际中一般黑白线边沿的像素值不是突然跳变的,而有一个过渡过程。所以,将原始图像进行二值化处理不但有清晰边沿线的功能,还能方便后续路径识别部分算法的设计与处理。二值化处理就是对于输入图像的各个像素,先确定某个亮度值,当像素的亮度超过该阈值时,则将对应输出图像的像素值设为1,否则为0。
[0028] 黑线中心提取:
[0029] 提取黑线中心部分是小车路径识别系统中最为重要的一个环节,关系到智能小车运行质量的好坏。这里黑线中心提取方法为:先判断每行的第一个点是否为白点,如是白点则依次对白点进行计数(设计数为a),当遇到连续黑点时则计数黑点个数(设计数为b),再次遇到白点时则退出该行计数,此时黑线中心所在列为a+b/2;如果第一个为黑点,且不是噪声点(即为连续的黑点),则直接对黑点计数(设计数为b),当遇到连续白点后则退出计数,这种情况下得到的黑线中心位于第b/2列。最后将从一幅图像上得到的所有中心位置按行存入一个一维数组中。但是不得不考虑两种比较特殊的情况,起始线和十字交叉线。通过观察发现这两种情况下每行出现黑点的数量远远大于黑线的黑点数(黑线一般能采集到2-3个黑点),所以当采集到的黑点数超过正常值时,便判定这一行为特殊行,并赋予特殊标志位。由于规则要求小车能识别起始线,因而还需对特殊行进行分析。考虑到车体偏离等情况,可以用白点跳变为黑点的次数来判定是否为起始线,如果符合情况则标志出这一行。则其他的特殊行均为十字交叉情况。
[0030] 路径判断:
[0031] 弯直道的判断,在直道时,每行黑线中心位置相对集中,因而每行的黑线中心与其平均值的偏差之和较小;在弯道时,黑线中心相对分散,随着弯度的增大则偏差之和相应的变大。这里,每行的黑线中心与其平均值的偏差之和可以用方差来表示。S弯的判断,在弯道中还分为S弯和普通弯道两种情况,可通过远中近三点连线的斜率可以来判断弯道类型,通常来说,S弯的三点连线。然而当S弯弯度较小时同样会出现斜率同正同负的现象,这样会误将S弯判断成弯道。其实,这种情况下可以“将错就错”让小车不按原路线行驶走S形,直接按弯道路线抄近路走,这样可以节省小车跑完赛道的时间,能提高小车在比赛中的整体效率。
[0032] 本发明优点还在于:自动沿预设轨道行驶小车在行驶过程中,能够自动检测预先设好的轨道,实现直道和弧形轨道的前进。若有偏离,能够自动纠正,返回到预设轨道上来。当小车探测到前进前方的障碍物时,可以自我调整,躲避障碍物,从无障碍物区通过。小车通过障碍区后,能够自动循迹。自动检测停车线并自动停车。
[0033] 以上所述仅是对本发明的较佳实施方式而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施方式所做的任何简单修改,等同变化与修饰,均属于本发明技术方案的范围内。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号