首页 > 专利 > 杭州电子科技大学 > 基于视觉与激光雷达信息融合的机器人定位导航方法专利详情

基于视觉与激光雷达信息融合的机器人定位导航方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2020-12-29
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2021-04-30
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-12-02
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2040-12-29
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202011600801.3 申请日 2020-12-29
公开/公告号 CN112650255B 公开/公告日 2022-12-02
授权日 2022-12-02 预估到期日 2040-12-29
申请年 2020年 公开/公告年 2022年
缴费截止日
分类号 G05D1/02 主分类号 G05D1/02
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 4
权利要求数量 5 非专利引证数量 0
引用专利数量 0 被引证专利数量 0
非专利引证
引用专利 被引证专利
专利权维持 2 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 吴立群、王泽恩、黄阿龙、陆凯、张一帆、盛一峥、徐海浩 第一发明人 吴立群
地址 浙江省杭州市经济技术开发区白杨街道2号大街1158号 邮编 310018
申请人数量 1 发明人数量 7
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
浙江千克知识产权代理有限公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
周希良
摘要
本发明涉及一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法,包括以下步骤:以双目相机、2D激光雷达、超声测距传感器、6轴IMU和霍尔编码器作为环境感知单元;使用ORB‑SLAM2算法采集三维稀疏点云地图,为机器人提供位姿信息;室内环境,使用激光雷达,采用gmaping算法和粒子滤波器,建立二维地图;在室外环境,提取三维稠密点云地图中低于机器人高度空间点的平面位置,映射到二维地图。将室内外地图拼接形成完整的导航地图;集成拓展卡尔曼滤波器融合上述传感器数据,获取更为准确的位姿信息;系统在接受到目标点时开始导航,使用激光雷达实时建立周边环境的动态地图,对全局路径进行修正。
  • 摘要附图
    基于视觉与激光雷达信息融合的机器人定位导航方法
  • 说明书附图:图1
    基于视觉与激光雷达信息融合的机器人定位导航方法
  • 说明书附图:图2
    基于视觉与激光雷达信息融合的机器人定位导航方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-12-02 授权
2 2021-04-30 实质审查的生效 IPC(主分类): G05D 1/02 专利申请号: 202011600801.3 申请日: 2020.12.29
3 2021-04-13 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法,其特征在于:包括以下步骤:
步骤一、使用jetson xavier nx主机作为机器人的运算核心,并在其中安装ROS操作系统,使用双目相机、2D激光雷达、超声测距传感器、6轴IMU和霍尔编码器作为环境感知单元;
步骤二、集成ORB‑SLAM2算法将双目相机采集到的环境数据处理为三维稀疏点云地图,为机器人提供全局地图和位姿,并将地图数据保存在主机内;
步骤三、在室内环境,使用激光雷达,集成gmaping算法和粒子滤波器,建立二维地图;
建立的二维地图属于占据地图,通过使用像素点的色彩不同来表示可通行区域,障碍物和位置区域,保存为bpm格式的图像,并设置每个像素点代表0.05m;
在室外环境,集成ORB‑SLAM2算法,实现三维稠密点云地图的建立,提取其中低于机器人高度空间点的平面位置,映射到二维地图;将室内外地图拼接形成完整的导航地图;机器人在室外环境还使用车顶超声测距传感器来检测侧方是否有低于路面的情况,并将检测到低于正常路面的位置也映射到二维地图中;
步骤四、机器人在定位时,通过双目相机采集视觉数据,启动ORB‑SLAM2算法的纯定位模式反馈机器人的位置信息,将位姿信息、IMU、GPS和底层里程计信息通过拓展卡尔曼滤波器融合,获取更为准确的位姿信息;
步骤五、机器人在接受到目标点开始导航时,使用先前建立的二维地图作为导航地图进行全局路径规划,使用激光雷达实时建立周边环境的动态地图,对全局路径进行修正。

2.根据权利要求1所述的一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法,其特征在于:步骤一中,双目相机为两颗安装在机器人前面板两侧的摄像头,激光雷达安装在机器人顶部,6轴IMU安装于机器人激光雷达下方,超声测距传感器水平安装在机器人底部四周,以及斜向下45度角安装在机器人顶部四周。

3.根据权利要求1所述的一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法,其特征在于:步骤二中,集成ORB_SLAM2算法,并且在室外使用双目相机采集数据时由人工遥控,并同时开启机器人局部路径规划功能,进行避障措施。

4.根据权利要求1所述的一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法,其特征在于:步骤四中,机器人在从室外运行到室内时则停止将GPS数据引入拓展卡尔曼滤波器中计算;反之,当机器人从室内运行到室外后,则自动驶入空旷处停止等待GPS数据稳定后再继续运行。

5.根据权利要求1所述的一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法,其特征在于:步骤五中,所使用的全局路径规划是A‑star算法,局部路径规划是Timed‑Elastic‑Band算法,具体的导航流程为:
(1)初始化:加载步骤二中的三维稀疏点云地图,启动双目相机,进行特征点匹配,实时提供当前机器人位姿;加载步骤三中的二维栅格地图,将初始位姿映射到二维地图;开启激光雷达、复位6轴IMU、检测编码器、超声测距数据是否异常;
(2)接收目标点,首先使用二维地图进行全局路径规划,机器人开始运行,并将控制指令发送到机器人驱动器;
(3)当运行环境中有全局地图中未标注出的障碍物时,启动局部路径规划,结合激光雷达和超声测距传感器实时建立局部代价地图,进行局部路径规划,修正全局路径,并将修正后的控制指令发送到机器人驱动器;
(4)到达目标点,导航任务完成。
说明书

技术领域

[0001] 本发明属于移动机器人系统技术领域,尤其涉及一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法。

背景技术

[0002] 随着计算机视觉、控制理论、人工智能、传感器技术等多项学科的高速发展,新技术在移动机器人领域的运用越来越广泛。智能化的移动机器人在工作环境中首先要解决自身在哪里、周围是什么样的、怎么去目的地这样三个问题,前两者是指机器人在工作环境中如何定位、如何建立地图,也就是SLAM过程,第三个问题这是机器人在运动过程中的路径规划与避障,即导航问题。在移动机器人相关技术研究中,导航技术属于其核心技术,也是实现智能化和自主移动的关键技术。而要解决导航的问题,就必须解决前两个问题。
[0003] 近年来很多公司都投入到对移动机器人的研究,也让移动机器人广泛的走入人们的生产生活当中,例如京东所研发的室外无人配送机器人,石头科技的智能扫地机器人,各大港口的智能AGV叉车等。但是这些机器人的环境感知和导航设计均只能适用于室内或是室外的单一环境,难以实现机器人在室内室外环境切换时的定位导航无缝衔接。
[0004] 针对以上问题,故,有必要对其进行改进。

发明内容

[0005] 本发明的目的在于提供一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法,克服现有技术不能满足机器人同时兼容室内室外环境自主运行,同时机器人能够在室内外环境转换时实现准确定位以及导航系统的稳定运行。
[0006] 为了达到以上目的,本发明所采用的技术方案是:一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法,包括以下步骤:
[0007] 步骤一、使用jetson xavier nx主机作为机器人的运算核心,并在其中安装ROS操作系统,使用双目相机、2D激光雷达、超声测距传感器、6轴IMU和霍尔编码器作为环境感知单元;
[0008] 步骤二、该系统集成ORB‑SLAM2算法将双目相机采集到的环境数据处理为三维稀疏点云地图,为机器人提供全局地图和位姿,并将地图数据保存在主机内;
[0009] 步骤三、在室内环境,使用激光雷达,集成gmaping算法和粒子滤波器,建立二维地图。在室外环境,系统集成ORB‑SLAM2算法,实现三维稠密点云地图的建立,提取其中低于机器人高度空间点的平面位置,映射到二维地图。将室内外地图拼接形成完整的导航地图;
[0010] 步骤四、机器人在定位时,通过双目相机采集视觉数据,启动ORB‑SLAM2算法的纯定位模式反馈机器人的位置信息,将位姿信息、IMU、GPS和底层里程计信息通过拓展卡尔曼滤波器融合,获取更为准确的位姿信息;
[0011] 步骤五、机器人在接受到目标点开始导航时,使用先前建立的二维地图作为导航地图进行全局路径规划,使用激光雷达实时建立周边环境的动态地图,对全局路径进行修正。
[0012] 作为本发明的一种优选方案,所述步骤一中,双目相机为两颗安装在机器人前面板两侧的摄像头,激光雷达安装在机器人顶部,6轴IMU安装于机器人激光雷达下方,超声测距传感器水平安装在机器人底部四周,以及斜向下45度角安装在机器人顶部四周。
[0013] 作为本发明的一种优选方案,所述步骤二中,系统集成了ORB_SLAM2算法,并且在室外使用双目相机采集数据时由人工遥控,并同时开启机器人局部路径规划功能,进行必要的避障措施。
[0014] 作为本发明的一种优选方案,所述步骤三中,建立的二维地图属于占据地图,通过使用像素点的色彩不同来表示可通行区域,障碍物和位置区域,保存为bpm格式的图像,并设置每个像素点代表0.05m。
[0015] 作为本发明的一种优选方案,所述步骤三中,机器人在室外环境还需要使用车顶超声测距传感器来检测侧方是否有坑等低于路面的情况,并将检测到低于正常路面的位置也映射到二维地图中去。
[0016] 作为本发明的一种优选方案,所述步骤四中,机器人在从室外运行到室内时则停止将GPS数据引入拓展卡尔曼滤波器中计算。反之,当机器人从室内运行到室外后,则自动驶入空旷处停止等待GPS数据稳定后再继续运行。
[0017] 作为本发明的一种优选方案,所述步骤五中,所使用的全局路径规划是A‑star算法,局部路径规划是Timed‑Elastic‑Band算法,具体的导航流程为:
[0018] (1)初始化:加载步骤二中的三维稀疏点云地图,启动双目相机,进行特征点匹配,实时提供当前机器人位姿。加载步骤三中的二维栅格地图,将初始位姿映射到二维地图。开启激光雷达、复位6轴IMU、检测编码器、超声测距数据是否异常;
[0019] (2)接收目标点,首先使用二维地图进行全局路径规划,机器人开始运行,并将控制指令发送到机器人驱动器;
[0020] (3)当运行环境中有全局地图中未标注出的障碍物时,启动局部路径规划,结合激光雷达和超声测距传感器实时建立局部代价地图,进行局部路径规划,修正全局路径,并将修正后的控制指令发送到机器人驱动器;
[0021] (4)到达目标点,导航任务完成。
[0022] 作为本发明的一种优选方案,所述定位导航系统还包括用户UI界面和服务器,用于实现远程监控和遥控的功能,同时存放了机器人的运行数据备份。
[0023] 本发明的有益效果是:
[0024] 1.本发明的导航系统能够将室内室外地图连接成一体,使得室内室外的路径规划算法得到通用;
[0025] 2.本发明通过使用视觉和2D激光雷达,在降低成本的同时能获得更丰富的空间信息;
[0026] 3.本发明采用多传感器感知运行环境,为机器人安全稳定的运行提供了保障;
[0027] 4.本发明使用双目视觉建立三维点云地图,能够使得机器人在室内室外环境切换的过程中不会丢失自身的位置信息。

实施方案

[0030] 下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0031] 实施例:
[0032] 如图1‑2所示,本发明提供的一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法,包括如下步骤:
[0033] 步骤一、使用jetson xavier nx主机作为机器人的运算核心,并在其中安装ROS操作系统,使用双目相机、2D激光雷达、超声测距传感器、6轴IMU和霍尔编码器作为环境感知单元。
[0034] 步骤二、使用ORB‑SLAM2算法将双目相机采集到的环境数据处理为三维稀疏点云地图,为机器人提供全局地图和位姿,并将地图数据保存在主机内。
[0035] 步骤三、在室内环境,使用激光雷达,采用gmaping算法和粒子滤波器,建立二维地图。在室外环境,使用ORB‑SLAM2算法,实现三维稠密点云地图的建立,提取其中低于机器人高度空间点的平面位置,映射到二维地图;将室内外地图拼接形成完整的导航地图。
[0036] 步骤四、机器人在定位时,通过双目相机采集视觉数据,启动ORB‑SLAM2算法的纯定位模式反馈机器人的位置信息,将位姿信息、IMU、GPS和底层里程计信息通过拓展卡尔曼滤波器融合,获取更为准确的位姿信息。
[0037] 步骤五、机器人在接受到目标点开始导航时,使用先前建立的二维地图作为导航地图进行全局路径规划,使用激光雷达实时建立周边环境的动态地图,对全局路径进行修正。
[0038] 步骤一中的双目相机为两颗安装在机器人前面板两侧的摄像头,激光雷达安装在机器人顶部,6轴IMU安装于机器人激光雷达下方,超声测距传感器水平安装在机器人底部四周,以及斜向下45度角安装在机器人顶部四周。
[0039] 步骤二中在室外使用双目视觉采集数据时由人工遥控,并开启机器人局部路径规划功能,进行必要的避障措施。
[0040] 步骤三中所建立的二维地图属于占据地图,通过使用像素点的色彩不同来表示可通行区域,障碍物和位置区域,保存为bpm格式的图像,并设置每个像素点代表0.05m。
[0041] 步骤三中机器人在室外环境还需要使用车顶超声测距传感器来检测侧方是否有坑等低于路面的情况,并将检测到低于正常路面的位置也映射到二维地图中。
[0042] 步骤四中机器人在从室外运行到室内时则停止将GPS数据引入拓展卡尔曼滤波器中计算。反之,当机器人从室内运行到室外后,则自动驶入空旷处停止等待GPS数据稳定后再继续运行。
[0043] 步骤五中所使用的全局路径规划是A‑star算法,局部路径规划是Timed‑Elastic‑Band算法,具体的导航流程为:
[0044] (1)初始化:开机加载步骤二中的三维稀疏点云地图,启动双目相机,进行特征点匹配,实时提供当前机器人位姿。加载步骤三中的二维栅格地图,将初始位姿映射到二维地图。开启激光雷达、复位6轴IMU、检测编码器、超声测距数据是否异常。若无地图数据,系统进入步骤二与步骤三采集地图数据。
[0045] (2)接收目标点,首先使用二维地图进行全局路径规划,机器人开始运行,并将控制指令发送到机器人驱动器。
[0046] (3)当运行环境中有全局地图中未标注出的障碍物时,启动局部路径规划,结合激光雷达和超声测距传感器实时建立局部代价地图,进行局部路径规划,修正全局路径,并将修正后的控制指令发送到机器人驱动器。
[0047] (4)到达目标点,导航任务完成。
[0048] 本发明所述的定位导航系统还包括用户UI界面和服务器,用于实现远程监控和遥控的功能,同时存放了机器人的运行数据备份。
[0049] 以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

附图说明

[0028] 图1本发明实施例中系统框架图;
[0029] 图2本发明实施例中系统工作流程图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号