首页 > 专利 > 杭州电子科技大学 > 一种基于航迹推测的快速机器人视觉定位方法专利详情

一种基于航迹推测的快速机器人视觉定位方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-09-17
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2020-02-25
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-03-29
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-09-17
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910877211.6 申请日 2019-09-17
公开/公告号 CN110738706B 公开/公告日 2022-03-29
授权日 2022-03-29 预估到期日 2039-09-17
申请年 2019年 公开/公告年 2022年
缴费截止日
分类号 G06T7/80G06T7/70G06T7/207G01C21/00G01C11/04 主分类号 G06T7/80
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 1
权利要求数量 2 非专利引证数量 1
引用专利数量 1 被引证专利数量 0
非专利引证 1、2015.06.10CN 108972565 A,2018.12.11CN 109902374 A,2019.06.18李黎等.关节型工业机器人轨迹规划研究综述《.计算机工程与应用》.2018,Andre M. Santana et al..An Approachfor 2D Visual Occupancy Grid Map UsingMonocular Vision《.Electronic Notes inTheoretical Computer Science》.2011,;
引用专利 EP2880626A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 柏建军、耿新、尚文武、邹洪波、陈云 第一发明人 柏建军
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 5
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
杨舟涛
摘要
本发明公开了一种基于航迹推测的快速机器人视觉定位方法,该方法在处理图像特征时采用了网格化的处理方法,获取了目标机器人在图像中的位置坐标,再利用坐标转化将图像坐标转化为实际坐标,最后针对运动状态下的移动机器人,通过无线通讯模块进行数据传输,利用移动机器人的角速度和角度,完成移动机器人的动态定位;本发明减小了图像处理的数据量,在保证了定位精度的同时,减小了目标识别所需要的图像处理时间;同样,运动状态下的处理方法也对缩短图像处理时间起到了重要作用。
  • 摘要附图
    一种基于航迹推测的快速机器人视觉定位方法
  • 说明书附图:图1
    一种基于航迹推测的快速机器人视觉定位方法
  • 说明书附图:图2
    一种基于航迹推测的快速机器人视觉定位方法
  • 说明书附图:图3
    一种基于航迹推测的快速机器人视觉定位方法
  • 说明书附图:图4
    一种基于航迹推测的快速机器人视觉定位方法
  • 说明书附图:图5
    一种基于航迹推测的快速机器人视觉定位方法
  • 说明书附图:图6
    一种基于航迹推测的快速机器人视觉定位方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-03-29 授权
2 2020-02-25 实质审查的生效 IPC(主分类): G06T 7/80 专利申请号: 201910877211.6 申请日: 2019.09.17
3 2020-01-31 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于航迹推测的快速机器人视觉定位方法,其特征在于,该方法具体包括以下步骤:
步骤一、将摄像机固定悬挂安装在一定高度,使相机镜头与定位区域保持水平,连接好电源以及网线,进行拍摄,获取定位区域的原始色彩图像;
步骤二、将标定板放置在定位区域,获取不同位姿下的标定板图像并保存;
步骤三、利用MATLAB处理标定板图像,进行相机标定,获取相机参数;
步骤四、在移动机器人上方设置矩形颜色区域作为定位目标;利用摄像机获取带有矩形颜色标识的机器人图像,再根据相机标定的参数,对图像做矫正处理;
步骤五、先对矫正后的图像作预处理操作,再利用网格化的方法处理,获取目标机器人在图像中的位置坐标;
其中先对矫正后的图像作预处理操作是指:
①、获取待处理图像,选出感兴趣区域做下一步处理;
②、将图像由RGB转化为HSV颜色空间;
③、对图像作开闭操作,消除干扰,填充物体,使目标识别更精确;
其中利用网格化的方法处理,获取目标机器人在图像中的位置坐标,具体为:
将定位图像分割为规则的网格形式,利用像素把目标机器人的图像分割成大小相同的方格;
选取方格中心点作为采样点,获取每个中心点处的像素信息,并与已知矩形颜色标识的像素信息作比对;当方格中心的像素信息与已知矩形颜色标识的像素信息一致时,将该位置的小方格作为矩形颜色标识占据的网格,记为目标区域,反之,记为非目标区域;将定位图像的所有方格中心处的像素信息比对后,记录下所有目标区域的像素坐标,利用目标区域的像素坐标获取目标区域的质心坐标,即矩形颜色标识的像素坐标;
质心的坐标(Cx,Cy)通过求解所有目标区域的中心点坐标的加权平均得到,即
其中n为目标区域的个数,xi表示目标区域的中心点横坐标,yi
表示目标区域的中心点纵坐标;
步骤六、利用坐标转化将图像坐标转化为实际坐标;
步骤七、针对运动状态下的移动机器人,通过无线通讯模块进行数据传输,利用移动机器人的角速度和角度,完成移动机器人的动态定位;
具体为:利用移动机器人上各种传感器设备,获取需要角速度、角度;通过无线通信模块将传感器测得的数据传输给上位机;上位机通过当前时刻的角速度、角度,预测出下一时刻的移动机器人位置,并对该位置进行目标识别,获取移动机器人的位置坐标,实现移动机器人的定位;
其中,预测出下一时刻的移动机器人位置,具体为:
若当前时刻的移动机器人位置为P1(x1,y1),获取到的角速度为wr和wl,车轮半径为d,与水平方向的夹角为θ;则下一时刻的移动机器人位置为P2(x2,y2),x2=x1‑(r‑r*cos(wT+θ‑π/
2) ) ,y2=y 1+r *sin (wT+θ‑π/ 2) ,其中 vr= wr*d ,vl= wl*d ,
以该位置作为动态窗口的中心,对图
像作网格化处理,得到移动机器人的位置坐标;若在新的窗口中没有找到目标,则以当前时刻的目标坐标P1(x1,y1)为中心,2*v*T为长度的窗口中寻找目标,重新定位目标;不断循环操作,实现对动态目标的定位。

2.根据权利要求1所述的一种基于航迹推测的快速机器人视觉定位方法,其特征在于:
所述步骤三中,利用MATLAB处理标定板图像,进行相机标定,获取相机参数是指:利用已知长度的黑白标定板放置于定位区域,拍摄图像,获取多张不同位姿下的标定板图像并保存,利用MATLAB中的Camera Calibrator进行相机标定,获取摄像机的内外参数。
说明书

技术领域

[0001] 本发明属于移动机器人定位领域,具体涉及一种移动机器人的视觉定位方法。

背景技术

[0002] 随着科技的发展和社会的进步,作为战略性新兴产业,机器人已经广泛的应用于军事、民事等方方面面,人们对于机器人的需求有了极大的提高,这也使得机器人有很大的市场空间与前景。如何让机器人能够在未知的环境情形里快速、高效地实现给定的目标任务也就成了机器人发展研究的重大挑战。同时,作为机器人的典型代表,无论是反馈控制,还是有效地避开各种静态和动态障碍物,都需要精确的知道自身的当前位姿,这就是移动机器人的定位问题。
[0003] 对于室外的定位需求,全球定位系统(GPS)基本能够满足,但在室内环境中,由于较多的限制使得定位精度不足以实现定位。惯性导航是指使用陀螺仪、加速度计和电磁罗盘等惯性传感器来实现移动机器人定位和导航的方法,然而,加速度计和陀螺仪对漂移很敏感,电磁罗盘依赖于磁场,这些问题的存在影响了定位精度。采用红外、超声波和射频识等无线技术来实现室内定位,超声波传播速度低,测量精度较高,对外界光线和磁场不敏感,被广泛应用,但是容易受到多径效应、非视距传播以及温度变化的影响。红外具有成本低,结构简单等特点,但容易受到外界的干扰,影响定位精度。而且需要设置大量的硬件设备辅助定位,不利于维护。基于视觉的定位方法能够避开上述技术因信号传输产生的影响,从而得到较高的定位精度,还可以通过增加硬件成本提高定位精度。在这里选择的是单目视觉定位,具有成本低,结构简单以及实时性高的特点,采用固定单目摄像头的方式实现对移动机器人的定位。

发明内容

[0004] 本发明提出一种基于航迹推测的快速机器人视觉定位方法。
[0005] 本发明是采用固定的单目摄像机对定位区域的移动机器人进行定位操作,提供了一种网格化的处理方法对图像作目标识别,获取移动机器人在定位区域内的位置坐标,并提供了针对运动状态机器人的定位方法。减小了图像处理的数据量,实现了对移动机器人较为精确、快速的定位。
[0006] 一种基于航迹推测的快速机器人视觉定位方法,其特征在于,该方法具体包括以下步骤:
[0007] 步骤一、将摄像机固定悬挂安装在一定高度,使相机镜头与定位区域保持水平,连接好电源以及网线,进行拍摄,获取定位区域的原始色彩图像;
[0008] 步骤二、将标定板放置在定位区域,获取不同位姿下的标定板图像并保存。
[0009] 步骤三、利用MATLAB处理标定板图像,进行相机标定,获取相机参数。
[0010] 步骤四、在移动机器人上方设置矩形颜色区域作为定位目标。利用摄像机获取带有矩形颜色标识的机器人图像,再根据相机标定的参数,对图像做矫正处理。
[0011] 步骤五、先对矫正后的图像作预处理操作,再利用网格化的方法处理,获取目标机器人在图像中的位置坐标;
[0012] 其中先对矫正后的图像作预处理操作是指:
[0013] 1、获取待处理图像,选出感兴趣区域做下一步处理。
[0014] 2、将图像由RGB转化为HSV颜色空间。
[0015] 3、对图像作开闭操作,消除干扰,填充物体,使目标识别更精确。
[0016] 其中利用网格化的方法处理,获取目标机器人在图像中的位置坐标,具体为:
[0017] 将定位图像分割为规则的网格形式,利用像素把目标机器人的图像分割成大小相同的方格;
[0018] 选取方格中心点作为采样点,获取每个中心点处的像素信息,并与已知矩形颜色标识的像素信息作比对;当方格中心的像素信息与已知矩形颜色标识的像素信息一致时,将该位置的小方格作为矩形颜色标识占据的网格,记为目标区域,反之,记为非目标区域;将定位图像的所有方格中心处的像素信息比对后,记录下所有目标区域的像素坐标,利用目标区域的像素坐标获取目标区域的质心坐标,即矩形颜色标识的像素坐标。
[0019] 质心的坐标(Cx,Cy)通过求解所有目标区域的中心点坐标的加权平均得到,即其中n为目标区域的个数,xi表示目标区域的中心点横坐标,yi表示目标区域的中心点纵坐标;
[0020] 步骤六、利用坐标转化将图像坐标转化为实际坐标。
[0021] 步骤七、针对运动状态下的移动机器人,通过无线通讯模块进行数据传输,利用移动机器人的角速度和角度,完成移动机器人的动态定位;
[0022] 具体为:将步骤五中采用的网格化图像处理方法虽然简化了图像颜色特征的获取,但对于采集到的整个图像来说,仍然要处理大量的像素点数据。若预处理得到的图像大小为530pixel*530pixel,为了提高动态处理的实时性,进一步加快颜色特征的获取过程,减少数据的处理量,我们将预处理图像中不包含有效目标特征的数据量排除掉,故使用动态窗口的方法来处理预处理图像,颜色矩形标记为15cm*18cm的长方形,需要在像平面内设置100pixels*100pixels的窗口,对应运动平面上的窗口大小为33cm*33cm,动态窗口的中心位置由前一时刻获取的移动机器人的坐标、移动机器人的航向角和速度决定。
[0023] 利用移动机器人上各种传感器设备,获取需要角速度、角度;通过无线通信模块将传感器测得的数据传输给上位机;上位机通过当前时刻的角速度、角度,预测出下一时刻的移动机器人位置,并对该位置进行目标识别,获取移动机器人的位置坐标,实现移动机器人的定位。
[0024] 其中,预测出下一时刻的移动机器人位置,具体为:
[0025] 若当前时刻的移动机器人位置为P1(x1,y1),获取到的角速度为wr和wl,车轮半径为d,与水平方向的夹角为θ;则下一时刻的移动机器人位置为P2(x2,y2),x2=x1‑(r‑r*cos(wT+θ‑π/2)),y2=y1+r*sin(wT+θ‑π/2),其中vr=wr*d,以该位置作为动态窗口
的中心,对图像作网格化处理,得到移动机器人的位置坐标。若在新的窗口中没有找到目标,则以当前时刻的目标坐标P1(x1,y1)为中心,2*v*T为长度的窗口中寻找目标,重新定位目标。不断循环操作,实现对动态目标的定位。
[0026] 作为优选,所述步骤三中,利用MATLAB处理标定板图像,进行相机标定,获取相机参数是指:利用已知长度的黑白标定板放置于定位区域,拍摄图像,获取多张不同位姿下的标定板图像并保存,利用MATLAB中的Camera Calibrator进行相机标定,获取摄像机的内外参数。
[0027] 本发明与现有技术相比的优点在于:本发明提出了一种基于视觉的移动机器人定位方法,该方法在处理图像特征时采用了网格化的处理方法,减小了图像处理的数据量,在保证了定位精度的同时,减小了目标识别所需要的图像处理时间;同样,运动状态下的处理方法也对缩短图像处理时间起到了重要作用。

实施方案

[0034] 下面结合附图和实例对本发明作进一步的详细说明。可以理解的是,此处所说明的具体实例仅仅用于解释本发明,而非对本发明的限定。附图中展示的是与本发明相关的部分,并非全部的内容。
[0035] 以下举例说明本发明整个过程的具体实施方式如下:
[0036] 步骤一、将摄像机安装在R型支架上,固定在一定高度,并确保摄像机镜面与定位区域水平,然后连接电源以及网线,进行拍摄,利用台式电脑端的上位机软件获取定位区域的原始色彩图像,如图1所示。
[0037] 步骤二、调节好镜头光圈以及聚好焦并保持不变,将标定板放置在定位区域,接着在镜头前不断变换标定板位姿,采集多幅图像,获取不同位姿下的标定板图像并保存。
[0038] 步骤三、当采集完成后,利用MATLAB处理标定板图像,进行相机标定,获取相机参数。
[0039] 步骤四、一般情况下,移动机器人自身由于外观不同,大小不一,不适合作为图像定位的目标,并且当移动机器人处于不同位置时,得到图形也不同,不具有不变性,需要通过矫正才能实现定位,这样既增加了处理的时间,还增添了矫正误差,不利于定位。所以在移动机器人上方设置矩形颜色区域作为定位目标。利用摄像机获取带有矩形颜色标识的机器人图像,再根据相机标定的参数,对图像做矫正处理。
[0040] 步骤五、先对矫正后的图像作预处理操作,再利用网格化的方法处理,获取目标机器人在图像中的位置坐标。
[0041] 步骤六、利用坐标转化将图像坐标转化为实际坐标。
[0042] 步骤七、针对运动状态下的移动机器人,通过无线通讯模块进行数据传输,利用移动机器人的速度、角度等位姿信息,完成移动机器人的动态定位,如图4所示。
[0043] 所述步骤三中,利用MATLAB处理标定板图像,进行相机标定,获取相机参数是指:
[0044] 利用已知长度的黑白标定板放置于定位区域,拍摄图像,获取多张不同位姿下的标定板图像并保存,利用MATLAB中的Camera Calibrator进行相机标定,获取摄像机的内外参数。
[0045] 所述步骤五中,先对矫正后的图像作预处理操作是指:
[0046] 1、获取待处理图像,选出感兴趣区域做下一步处理。
[0047] 2、将图像由RGB转化为HSV颜色空间。
[0048] 3、对图像作开闭操作,消除干扰,填充物体,使目标识别更精确。
[0049] 所述步骤五中,再利用网格化的方法处理,获取目标机器人在图像中的位置坐标是指:
[0050] 将图像分割为规则的网格形式,利用像素把目标机器人的图像分割成规则的方格。
[0051] 其中,i=1,...,M,J=1,...,N,M为水平分割线条数,N为竖直分割线条数。分割线之间的距离为等间隔的,长度为d,分割线之间的长度d由矩形颜色区域的像素大小决定。这样就将定位区域分割成了大小相同的小方格,如图2所示。
[0052] 1、将定位图像做网格化处理后,选取网格的中心点作为采样点,获取每个中心点处的像素信息,并与已知矩形颜色标识的像素信息作比对。
[0053] 2、当方格中心的像素信息与已知矩形颜色标识的像素信息一致时,我们就将该位置的小方格作为矩形颜色标识占据的网格,记为目标区域,反之,记为非目标区域,如图3所示。
[0054] 3、将定位区域的所有网格中心处的像素信息比对后,记录下所有目标区域的像素坐标,利用目标区域的像素坐标获取目标区域的质心坐标,即矩形颜色标识的像素坐标。
[0055] 质心的坐标(Cx,Cy)可以通过求解所有目标区域的中心点坐标的加权平均得到,即[0056]
[0057] 其中n为目标区域的个数,xi表示目标区域的中心点横坐标,yi表示目标区域的中心点纵坐标;
[0058] 所述步骤七中,针对运动状态下的移动机器人,通过无线通讯模块进行数据传输,利用移动机器人的速度、角度等位姿信息,完成移动机器人的动态定位是指:
[0059] 步骤五中采用的网格化图像处理方法虽然简化了图像颜色特征的获取,但对于采集到的整个图像来说,仍然要处理大量的像素点数据。若预处理得到的图像大小为530pixel*530pixel,为了提高动态处理的实时性,进一步加快颜色特征的获取过程,减少数据的处理量,我们将预处理图像中不包含有效目标特征的数据量排除掉,故使用动态窗口的方法来处理预处理图像,颜色矩形标记为15cm*18cm的长方形,需要在像平面内设置
100pixels*100pixels的窗口,对应运动平面上的窗口大小为33cm*33cm,动态窗口的中心位置由前一时刻获取的移动机器人的坐标、移动机器人的航向角和速度决定。
[0060] 利用移动机器人上各种传感器设备,获取需要的数据信息,如速度、方位角等信息;通过无线通信模块将传感器测得的数据传输给上位机;上位机通过当前时刻的速度、角度等位姿信息,预测出下一时刻的移动机器人位置,并对该位置进行目标识别,获取移动机器人的位置坐标,实现移动机器人的定位。
[0061] 其中,预测出下一时刻的移动机器人位置,是指为了提高动态处理的实时性,减小颜色特征的处理时间,提高数据量的处理速度,将不包含目标颜色特征的数据删减掉,设置合适大小的动态窗口进行目标识别,从而获取移动机器人的位置坐标。
[0062] 1、以t1、t2、t3时刻图像为例,利用网格化的方法获取t1、t2时刻图像的目标机器人坐标P1(x1,y1)、P2(x2,y2),(/区域为t1时刻的目标区域,\区域为t2时刻的目标区域),如图4所示。
[0063] 再根据t2时刻目标机器人的角速度w,角度θ,车轮半径d,图像采集周期T,推算出下一时刻t3的位置坐标P3(x3,y3)为:
[0064] x3=x2+w*d*T*cosθ
[0065] y3=y2+w*d*T*sinθ
[0066] 以该位置坐标为动态窗口的中心,对图像进行网格化处理,得到目标机器人的新坐标。
[0067] 2、以T1、T2、T3时刻两幅图像为例,先利用网格化的方法,获取目标机器人在图像中的坐标P1(x1,y1)、P2(x2,y2),(/区域为T1时刻的目标区域,\区域为T2时刻的目标区域),如图5所示。
[0068] 再通过无线模块获取T2时刻目标机器人的航向角θ以及左右轮的角速度wl、wr。推算出下一时刻T3的位置坐标,并以该位置坐标为动态窗口的中心,对图像进行网格化处理,得到目标机器人的新坐标。
[0069] 一般的轮式移动机器人的运动模型如图6所示。
[0070] 其中,左右轮速度和线速度角速度的关系如下:
[0071] vr=wr*d,vl=wl*d
[0072]
[0073]
[0074]
[0075] 推算出的T3时刻的P3(x3,y3)应满足:
[0076] x3=x2‑(r‑r*cos(wT+θ‑π/2))
[0077] y3=y2+r*sin(wT+θ‑π/2)
[0078] 若在新的窗口中没有找到目标,则以T2时刻的目标坐标为中心,2*v*T为长度的窗口中寻找目标,重新跟踪目标。
[0079] 不断循环操作,实现对动态目标的定位。

附图说明

[0028] 图1是定位系统结构图;
[0029] 图2是网格分割图;
[0030] 图3是目标判定图;
[0031] 图4是动态定位图1;
[0032] 图5是动态定位图2;
[0033] 图6是移动机器人运动模型图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号