首页 > 专利 > 江西理工大学 > 针对快速移动的民用多旋翼无人机的定位跟踪方法及系统专利详情

针对快速移动的民用多旋翼无人机的定位跟踪方法及系统   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2018-08-22
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2018-12-21
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2020-01-07
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2038-08-22
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201810957784.5 申请日 2018-08-22
公开/公告号 CN108897342B 公开/公告日 2020-01-07
授权日 2020-01-07 预估到期日 2038-08-22
申请年 2018年 公开/公告年 2020年
缴费截止日
分类号 G05D1/12 主分类号 G05D1/12
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 8
权利要求数量 9 非专利引证数量 1
引用专利数量 7 被引证专利数量 0
非专利引证 1、王水璋等.低空安全监测管理系统的探索与研究《.电子测量技术》.2018,第41卷(第9期),;
引用专利 CN107943084A、CN107808425A、US5581250A、CN107885231A、CN107566078A、CN102023003A、CN107128492A 被引证专利
专利权维持 4 专利申请国编码 CN
专利事件 转让 事务标签 公开、实质审查、授权、权利转移
申请人信息
申请人 第一申请人
专利权人 江西理工大学 当前专利权人 赣州德业电子科技有限公司
发明人 樊宽刚、徐文堂、王渠、陈仁义、张小根、刘平川、王文帅、邱海云、侯浩楠 第一发明人 樊宽刚
地址 江西省赣州市红旗大道86号 邮编 341000
申请人数量 1 发明人数量 9
申请人所在省 江西省 申请人所在市 江西省赣州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
北京科亿知识产权代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
汤东凤
摘要
本发明公开了一种针对快速移动的民用多旋翼无人机定位跟踪方法及系统,结合采用云台雷达摄像机进行目标的探测和摄像、利用卷积神经网络进行目标识别、对无人机的特征进行间隔动态更新(即分为关键帧更新特征和非关键帧接受特征传播)、使用激光雷达对目标进行精确测距和使用CCD摄像机进行实时追踪拍摄,使得物体跟踪更加稳定及准确,达到可实时跟踪。
  • 摘要附图
    针对快速移动的民用多旋翼无人机的定位跟踪方法及系统
  • 说明书附图:图1
    针对快速移动的民用多旋翼无人机的定位跟踪方法及系统
  • 说明书附图:图2
    针对快速移动的民用多旋翼无人机的定位跟踪方法及系统
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2020-12-04 专利权的转移 登记生效日: 2020.11.23 专利权人由江西理工大学变更为赣州德业电子科技有限公司 地址由341000 江西省赣州市红旗大道86号变更为341000 江西省赣州市赣州经济技术开发区迎宾大道南侧工业三路西侧(赣州创普环球电子有限公司1号厂房)
2 2020-01-07 授权
3 2018-12-21 实质审查的生效 IPC(主分类): G05D 1/12 专利申请号: 201810957784.5 申请日: 2018.08.22
4 2018-11-27 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种针对快速移动的民用多旋翼无人机定位跟踪方法,其特征在于,包括如下步骤:
S1、将需要保护的区域的空域划分为若干子空域,一个云台雷达摄像机的视域恰好覆盖一个子空域;
S2、建立CCD摄像机的世界坐标系、相机坐标系和像素坐标;
S3、用户通过控制台控制模块分别向监测控制单元和定位跟踪控制单元发送控制无人机监测装置开启的指令和控制无人机定位跟踪装置开启的指令,监测控制单元控制云台雷达摄像机和信息处理器开启,定位跟踪控制单元控制CCD摄像机和跟踪计算模块开启;
S4、云台雷达摄像机对所覆盖的子空域进行全天候监测,在所监测的子空域中有物体接近时,对应的云台雷达摄像机会感应到接近的物体,云台雷达摄像机将接近的物体视为可疑目标,一旦发现所监测的子空域内出现可疑目标,云台雷达摄像机立即将出现可疑目标的子空域信息和采集到的可疑目标的图像通过监测控制单元发送给控制台控制模块;控制台控制模块通过监测控制单元向信息处理器发送指令,控制信息处理器进行判断可疑目标的图像中的可疑目标是否为无人机,信息处理器将判断结果通过监测控制单元发送至控制台控制模块;若可疑目标是无人机,继续进行步骤S5;
S5、控制台控制模块控制数据处理模块计算无人机在云台雷达摄像机获取的图像中的像素位置信息得到像素坐标,并将像素坐标转换成世界坐标,从而得出无人机初始入侵的初始位置,该帧图像作为关键帧;同时,控制台控制模块通过定位跟踪控制单元向CCD摄像机、跟踪计算模块和激光雷达发送控制指令,控制CCD摄像机启动追踪,以及控制激光雷达根据无人机初始入侵的初始位置的世界坐标对无人机进行精确测距,并控制跟踪计算模块根据无人机初始入侵的初始位置的像素坐标跟踪计算无人机的位置;
S6、所述跟踪计算模块在无人机位置的像素坐标附近小区域采样,先送入特征网络中进行特征提取,然后把提取的特征通过光流法传播给相关帧,然后再送入任务网络中对相关帧的每一帧中的无人机进行定位并返回计算得到的像素坐标;跟踪计算模块把相关帧的每一帧中的无人机像素坐标转化为世界坐标,并通过定位跟踪控制单元传输至激光雷达和CCD摄像机;所述CCD摄像机根据跟踪计算模块计算得到的世界坐标对无人机进行追踪和抓拍,所述激光雷达根据无人机的世界坐标测量出无人机的距离,CCD摄像机拍摄得到的图像和激光雷达计算得到的无人机的距离均通过定位跟踪控制单元发送给控制台控制模块;所述相关帧为关键帧后面连续的10帧;
S7、控制台控制模块控制数据处理模块对CCD摄像机拍摄得到的图像进行处理获取图像中的无人机的像素坐标和世界坐标,并通过定位跟踪控制单元发送至跟踪计算模块,控制跟踪计算模块以该图像作为关键帧按照步骤S6的方法对无人机的位置继续进行跟踪计算,直至无人机被拦截或撤离被保护空域。

2.根据权利要求1所述的方法,其特征在于,步骤S4中,所述信息处理器具体利用预先训练好的卷积神经网络对云台雷达摄像机拍摄的图像进行识别,识别其中的可疑目标是否为无人机。

3.根据权利要求1所述的方法,其特征在于,还包括:
S8、在无人机被拦截或撤离保护空域后,所述快速移动的民用多旋翼无人机定位跟踪系统的各个装置都自动恢复到初始位置,CCD摄像机恢复初始状态,系统再次进入预警监控状态,直到系统关闭或再次发现入侵无人机。

4.实现上述任一权利要求所述的方法的针对快速移动的民用多旋翼无人机定位跟踪系统,其特征在于,包括:
包括无人机监测装置、无人机定位跟踪装置、控制台、能源供电设备和通信装置;
所述控制台包括控制台控制模块、数据处理模块和显示模块;所述数据处理模块和显示模块均连接于所述控制台控制模块;
所述无人机监测装置包括云台雷达摄像机、信息处理器以及监测控制单元,监测控制单元分别与云台雷达摄像机和信息处理器连接,并与所述控制台控制模块连接;
所述无人机定位跟踪装置包括CCD摄像机、激光雷达、跟踪计算模块、定位跟踪控制单元,其中CCD摄像机和激光雷达分别与所述跟踪计算模块连接,所述跟踪计算模块、CCD摄像机和激光雷达分别连接于所述定位跟踪控制单元,所述定位跟踪控制单元连接于所述控制台;
所述能源供电设备用于为整个系统供电;
所述通信装置用于实现所述监测控制单元、定位跟踪控制单元与控制台控制模块之间的通信连接。

5.根据权利要求4所述的系统,其特征在于,所述无人机定位跟踪装置还包括有支撑模块,所述CCD摄像机和激光雷达设于所述支撑模块上。

6.根据权利要求4所述的系统,其特征在于,所述无人机跟踪定位装置还包括有驱动装置,所述CCD摄像机和激光雷达设于所述驱动装置上,通过驱动装置可驱动CCD摄像机和激光雷达进行360度旋转。

7.根据权利要求6所述的系统,其特征在于,所述驱动装置包括旋转云台。

8.根据权利要求4所述的系统,其特征在于,所述通信装置包括多个光纤接口。

9.根据权利要求4所述的系统,其特征在于,所述能源供电设备包括供电系统和铅蓄电池,所述供电系统用于将220V交流电压转换为直流电压并为系统的各用电部件供电;所述铅蓄电池作为应急能源使用。
说明书

技术领域

[0001] 本发明涉及无人机定位和跟踪领域,具体涉及针对快速移动的民用多旋翼无人机的定位跟踪方法及系统。

背景技术

[0002] 2016年5月,国家公布了《互联网+人工智能三年行动实施方案》,重点支持无人机发展,并将进一步开放低空空域,无人机产业已经成为国家战略的重要部分之一。
[0003] 当前我国的无人机研发制造水平,无论是民用还是军用,与美国和以英国、法国为代表的欧洲国家均处于第一梯队,我国消费级民用无人机的市场份额,占到了全球市场的70%以上。然而无人机也带来了窥视隐私危机、无人机运送货物掉落、无人机边境走私毒品等一系列不安全的问题,因此,由无人机引发的各种担忧也随之而来,尤其是在安全方面的隐患,成为监管部门限制无人机发展的一个重要因素。

发明内容

[0004] 针对现有技术的不足,本发明旨在提供一种针对快速移动的民用多旋翼无人机的定位跟踪方法及系统,可以实现对无人机更加稳定和准确的跟踪,并实现实时跟踪。
[0005] 为了实现上述目的,本发明采用如下技术方案:
[0006] 一种针对快速移动的民用多旋翼无人机定位跟踪方法,包括如下步骤:
[0007] S1、将需要保护的区域的空域划分为若干子空域,一个云台雷达摄像机的视域恰好覆盖一个子空域;
[0008] S2、建立CCD摄像机的世界坐标系、相机坐标系和像素坐标;
[0009] S3、用户通过控制台控制模块分别向监测控制单元和定位跟踪控制单元发送控制无人机监测装置开启的指令和控制无人机定位跟踪装置开启的指令,监测控制单元控制云台雷达摄像机和信息处理器开启,定位跟踪控制单元控制CCD摄像机和跟踪计算模块开启;
[0010] S4、云台雷达摄像机对所覆盖的子空域进行全天候监测,在所监测的子空域中有物体接近时,对应的云台雷达摄像机会感应到接近的物体,云台雷达摄像机将接近的物体视为可疑目标,一旦发现所监测的子空域内出现可疑目标,云台雷达摄像机立即将出现可疑目标的子空域信息和采集到的可疑目标的图像通过监测控制单元发送给控制台控制模块;控制台控制模块通过监测控制单元向信息处理器发送指令,控制信息处理器进行判断可疑目标的图像中的可疑目标是否为无人机,信息处理器将判断结果通过监测控制单元发送至控制台控制模块;若可疑目标是无人机,继续进行步骤S5;
[0011] S5、控制台控制模块控制数据处理模块计算无人机在云台雷达摄像机获取的图像中的像素位置信息得到像素坐标,并将像素坐标转换成世界坐标,从而得出无人机初始入侵的初始位置,该帧图像作为关键帧;同时,控制台控制模块通过定位跟踪控制单元向CCD摄像机、跟踪计算模块和激光雷达发送控制指令,控制CCD摄像机启动追踪,以及控制激光雷达根据无人机初始入侵的初始位置的世界坐标对无人机进行精确测距,并控制跟踪计算模块根据无人机初始入侵的初始位置的像素坐标跟踪计算无人机的位置;
[0012] S6、所述跟踪计算模块在无人机位置的像素坐标附近小区域采样,先送入特征网络中进行特征提取,然后把提取的特征通过光流法传播给相关帧,然后再送入任务网络中对相关帧的每一帧中的无人机进行定位并返回计算得到的像素坐标;跟踪计算模块把相关帧的每一帧中的无人机像素坐标转化为世界坐标,并通过定位跟踪控制单元传输至激光雷达和CCD摄像机;所述CCD摄像机根据跟踪计算模块计算得到的世界坐标对无人机进行追踪和抓拍,所述激光雷达根据无人机的世界坐标测量出无人机的距离,CCD摄像机拍摄得到的图像和激光雷达计算得到的无人机的距离均通过定位跟踪控制单元发送给控制台控制模块;
[0013] S7、控制台控制模块控制数据处理模块对CCD摄像机拍摄得到的图像进行处理获取图像中的无人机的像素坐标和世界坐标,并通过定位跟踪控制单元发送至跟踪计算模块,控制跟踪计算模块以该图像作为关键帧按照步骤S6的方法对无人机的位置继续进行跟踪计算,直至无人机被拦截或撤离被保护空域。
[0014] 进一步地,步骤S4中,所述信息处理器具体利用预先训练好的卷积神经网络对云台雷达摄像机拍摄的图像进行识别,识别其中的可疑目标是否为无人机。
[0015] 进一步地,步骤S5中,所述相关帧为关键帧后面连续的10帧。
[0016] 进一步地,所述方法还包括:
[0017] S8、在无人机被拦截或撤离保护空域后,所述快速移动的民用多旋翼无人机定位跟踪系统的各个装置都自动恢复到初始位置,CCD摄像机恢复初始状态,系统再次进入预警监控状态,直到系统关闭或再次发现入侵无人机。
[0018] 本发明还提供一种实现上述方法的针对快速移动的民用多旋翼无人机定位跟踪系统,包括:
[0019] 包括无人机监测装置、无人机定位跟踪装置、控制台、能源供电设备和通信装置;
[0020] 所述控制台包括控制台控制模块、数据处理模块和显示模块;所述数据处理模块和显示模块均连接于所述控制台控制模块;
[0021] 所述无人机监测装置包括云台雷达摄像机、信息处理器以及监测控制单元,监测控制单元分别与云台雷达摄像机和信息处理器连接,并与所述控制台控制模块连接;
[0022] 所述无人机定位跟踪装置包括CCD摄像机、激光雷达、跟踪计算模块、定位跟踪控制单元,其中CCD摄像机和激光雷达分别与所述跟踪计算模块连接,所述跟踪计算模块、CCD摄像机和激光雷达分别连接于所述定位跟踪控制单元,所述定位跟踪控制单元连接于所述控制台;
[0023] 所述能源供电设备用于为整个系统供电;
[0024] 所述通信装置用于实现所述监测控制单元、定位跟踪控制单元与控制台控制模块之间的通信连接。
[0025] 进一步地,所述无人机定位跟踪装置还包括有支撑模块,所述CCD摄像机和激光雷达设于所述支撑模块上。
[0026] 进一步地,所述无人机跟踪定位装置还包括有驱动装置,所述CCD摄像机和激光雷达设于所述驱动装置上,通过驱动装置可驱动CCD摄像机和激光雷达进行360度旋转。
[0027] 更进一步地,所述驱动装置包括旋转云台。
[0028] 进一步地,所述通信装置包括多个光纤接口。
[0029] 进一步地,所述能源供电设备包括供电系统和铅蓄电池,所述供电系统用于将220V交流电压转换为直流电压并为系统的各用电部件供电;所述铅蓄电池作为应急能源使用。
[0030] 本发明的有益效果在于:本发明结合采用云台雷达摄像机进行目标的探测和摄像、利用卷积神经网络进行目标识别、对无人机的特征进行间隔动态更新(即分为关键帧更新特征和非关键帧接受特征传播)、使用激光雷达对目标进行精确测距和使用CCD摄像机进行实时追踪拍摄,使得物体跟踪更加稳定及准确,达到可实时跟踪。

实施方案

[0033] 以下将结合附图对本发明作进一步的描述,需要说明的是,以下实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。
[0034] 如图2所示,本实施例提供一种实现上述方法的针对快速移动的民用多旋翼无人机定位跟踪系统,包括:
[0035] 包括无人机监测装置、无人机定位跟踪装置、控制台、能源供电设备和通信装置;
[0036] 所述控制台包括控制台控制模块、数据处理模块和显示模块;所述数据处理模块和显示模块均连接于所述控制台控制模块;所述控制台控制模块用于供用户向无人机监测装置和无人机定位跟踪装置发送控制指令,以控制无人机监测装置和无人机定位跟踪装置的开启与停止以及运行;所述数据处理模块用于将可无人机监测装置和无人机定位跟踪装置传送到控制台的数据信息进行处理、保存或删除;所述显示模块用于进行图像和信息的显示,供用户实时查看无人机定位跟踪的情况。
[0037] 所述无人机监测装置包括云台雷达摄像机、信息处理器以及监测控制单元,监测控制单元分别与云台雷达摄像机和信息处理器连接,并与所述控制台控制模块连接;所述云台雷达摄像机用于在控制台的控制下判断所监测的子空域是否有目标入侵,并对入侵目标的图像进行抓拍;所述信息处理器用于对云台雷达摄像机抓拍的图像利用预先训练好的卷积神经网络进行识别,判断可疑目标是否为无人机,并将识别的结果通过监测控制单元发送至控制台;
[0038] 所述无人机定位跟踪装置包括CCD摄像机、激光雷达、跟踪计算模块、定位跟踪控制单元,其中CCD摄像机和激光雷达分别与所述跟踪计算模块连接,所述跟踪计算模块、CCD摄像机和激光雷达分别连接于所述定位跟踪控制单元,所述定位跟踪控制单元连接于所述控制台;所述CCD摄像机用于根据跟踪计算模块计算得到无人机的世界坐标对无人机进行追踪和抓拍,并对关键帧图像进行抓取,由定位跟踪控制单元传输至控制台;所述激光雷达用于在控制台的控制下测量与无人机的距离;所述跟踪计算模块用于对无人机进行精确定位。
[0039] 所述能源供电设备用于为整个系统供电;
[0040] 所述通信装置用于实现所述监测控制单元、定位跟踪控制单元与控制台控制模块之间的通信连接。
[0041] 进一步地,所述无人机定位跟踪装置还包括有支撑模块,所述CCD摄像机和激光雷达设于所述支撑模块上。所述支撑模块可以采用不锈钢结构,耐腐蚀性能好,结构更稳定,更易对抗恶劣天气,达到保护支撑所述无人机定位跟踪装置的目的。
[0042] 进一步地,所述云台雷达摄像机采用一体化摄像机,型号为ZTLC-SPG36100D,分辨率为1920*1080,镜头10-360(mm),像素为2000万,最低照度为0.001(LUX)。
[0043] 进一步地,所述无人机跟踪定位装置还包括有驱动装置,所述CCD摄像机和激光雷达设于所述驱动装置上,通过驱动装置可驱动CCD摄像机和激光雷达进行360度旋转。
[0044] 进一步地,所述CCD摄像机采用Super HAD CCD传感器,传感器尺寸为1/2.3英寸,最大像素数2040万,有效像素2010万,可达到126倍数码变焦,具有体积小、重量轻、不受磁场影响、具有抗震动和撞击特性。
[0045] 进一步地,所述激光雷达采用Velodyne HDL-64E Lidar,拥有360°视野及高传输速率。最大量程120米,精度小于2cm,其水平视野为360°,纵向视野为26.8°,5-15Hz可选帧速率,输出130W像素每秒,HDL-64E可提供可靠的远距传感数据。使用64个激光器,具有响应快、性能稳定、安装牢固,稳定可靠等特点,可对入侵无人机实现快速的,精确的测距。
[0046] 更进一步地,所述驱动装置包括旋转云台。
[0047] 进一步地,所述通信装置包括多个光纤接口,可进行快速数据通信。
[0048] 进一步地,所述能源供电设备包括供电系统和铅蓄电池,所述供电系统用于将220V交流电压转换为直流电压并为系统的各用电部件供电。所述供电系统体积小巧,可靠性好,采用双管正激构架,支持180v-240v宽电网输入,散热性能好,包含多个+12V和+5V电压接口,满足为系统供电的需要。所述铅蓄电池可作为应急能源使用。
[0049] 通常地,云台雷达摄像机包括光强传感器、成像镜头、滤光片、激光照明器、护罩、控制器、雷达和驱动机;成像镜头可根据保护区域范围选取合适焦距,默认选择750mm的成像镜头。在本实施例中,所述护罩包括外壳、铝合金支架、遮阳罩、防水层、雨刷。
[0050] 在本实施例中,所述定位跟踪控制单元以Xilinx LX45FPGA为核心,通过CCD摄像机完成图像数据的采集、压缩、存储及发送工作,并通过接受所述控制台的命令,控制驱动装置带动CCD摄像机转动,实现最佳角度监测目标。
[0051] 如图1所示,利用针对快速移动的民用多旋翼无人机定位跟踪系统进行无人机跟踪的方法,包括如下步骤:
[0052] S1、将需要保护的区域的空域划分为若干子空域,一个云台雷达摄像机的视域恰好覆盖一个子空域;
[0053] S2、将CCD摄像机和云台雷达摄像机分布在设定的位置,并建立世界坐标系、相机坐标系和像素坐标;
[0054] 具体地,世界坐标系用于描述空间任一点位置。云台雷达摄像机和CCD摄像机的坐标系通常建立在摄像机的机体上,以摄像机的光心O为原点,xoy平面与摄像机接受平面平行,与光轴重合建立。像素坐标系的像点坐标是图像在计算机中的帧存坐标,单位是像素(pixels)。通常以图像平面的左上角为坐标原点,u、v轴分别平行于图像平面坐标系的x、y轴;世界坐标系、相机坐标系和像素坐标之间可以互相转换;
[0055] S3、用户通过控制台控制模块分别向监测控制单元和定位跟踪控制单元发送控制无人机监测装置开启的指令和控制无人机定位跟踪装置开启的指令,监测控制单元控制云台雷达摄像机和信息处理器开启,定位跟踪控制单元控制CCD摄像机和跟踪计算模块开启;
[0056] S4、云台雷达摄像机对所覆盖的子空域进行全天候监测,在所监测的子空域中有物体接近时,对应的云台雷达摄像机会感应到接近的物体,云台雷达摄像机将接近的物体视为可疑目标,一旦发现所监测的子空域内出现可疑目标,云台雷达摄像机立即将出现可疑目标的子空域信息和采集到的可疑目标的图像通过监测控制单元发送给控制台控制模块;控制台控制模块通过监测控制单元向信息处理器发送指令,控制信息处理器进行判断可疑目标的图像中的可疑目标是否为无人机,信息处理器将判断结果通过监测控制单元发送至控制台控制模块;若可疑目标是无人机,继续进行步骤S5;
[0057] S5、控制台控制模块控制数据处理模块计算无人机在云台雷达摄像机获取的图像中的像素位置信息得到像素坐标,并将像素坐标转换成世界坐标,从而得出无人机初始入侵的初始位置,该帧图像作为关键帧;同时,控制台控制模块通过定位跟踪控制单元向CCD摄像机、跟踪计算模块和激光雷达发送控制指令,控制CCD摄像机启动追踪,以及控制激光雷达根据无人机初始入侵的初始位置的世界坐标对无人机进行精确测距,并控制跟踪计算模块根据无人机初始入侵的初始位置的像素坐标跟踪计算无人机的位置;
[0058] S6、所述跟踪计算模块在无人机位置的像素坐标附近小区域(50x50)采样,先送入特征网络中进行特征提取,然后把提取的特征通过光流法传播给相关帧(关键帧后面连续的10帧),然后再送入任务网络中对相关帧的每一帧中的无人机进行定位并返回计算得到的像素坐标(即在关键帧进行特征提取,非关键帧不进行卷积网络运算,大大的加快了系统的运算速度,可实现实时跟踪);跟踪计算模块把相关帧的每一帧中的无人机像素坐标转化为世界坐标,并通过定位跟踪控制单元传输至激光雷达和CCD摄像机;所述CCD摄像机根据跟踪计算模块计算得到的世界坐标对无人机进行追踪和抓拍,所述激光雷达根据无人机的世界坐标测量出无人机的距离,CCD摄像机拍摄得到的图像和激光雷达计算得到的无人机的距离均通过定位跟踪控制单元发送给控制台控制模块;
[0059] S7、控制台控制模块控制数据处理模块对CCD摄像机拍摄得到的图像进行处理获取图像中的无人机的像素坐标和世界坐标,并通过定位跟踪控制单元发送至跟踪计算模块,控制跟踪计算模块以该图像作为关键帧按照步骤S6的方法对无人机的位置继续进行跟踪计算,直至无人机被拦截或撤离被保护空域;
[0060] S8、在无人机被拦截或撤离保护空域后,所述快速移动的民用多旋翼无人机定位跟踪系统的各个装置都自动恢复到初始位置,CCD摄像机恢复初始状态,系统再次进入预警监控状态,直到系统关闭或再次发现入侵无人机。
[0061] 在本实施例中,特征网络和任务网络是连续的两个子网络,第一个子网络为特征网络Nfeat,第二个子网络为任务网络Ntask。特征网络Nfeat是完全卷积网络,输出多个中间特征图f=Nfeat(I)。任务网络Ntask在中间特征图上进行识别定位y=Ntask(f)。特征网络在关键帧Ii帧的视频中对目标位置附近采样,计算得出深度特征图,并将深度特征图送入任务网络进行定位,任务网络在非关键帧Ik帧,k=i+10中,通过光流法把关键帧的深度特征图传播给非关键帧,非关键帧利用得到的深度特征图在任务网络中进行运算,从而实现对无人机跟随式跟踪。
[0062] 连续的视频帧非常相似,在深度特征图中的相似性更强。本实施例中利用相似性来降低计算成本。具体来说,特征网络Nfeat只在稀疏的关键帧上运行。非关键帧Ik的特征图则由其上一个的关键帧Ii的特征图传播得到。具体流程为:
[0063] 1、令Mk→i是二维流场,由流估计算法F获得,其中Mk→i=F(Ii,Ik)。特征图被双线性插值算法调整到相同的空间分辨率上进行传播。
[0064] 2、当前帧k中的位置p投影到关键帧i中的位置p+Δp,其中Δp=Mk→i(p)。则使用双线性插值来实现特征的形变:
[0065]
[0066] c为特征图f中的特征通道,q特征图中的所有空间位置,G(·,·)b表示双线性插值内核。
[0067] 3、特征传播函数定义为:
[0068] fk=W(fi,Mk→i)  (2)
[0069] W对特征图中的所有位置使用公式(1)。
[0070] 对于本领域的技术人员来说,可以根据以上的技术方案和构思,给出各种相应的改变和变形,而所有的这些改变和变形,都应该包括在本发明权利要求的保护范围之内。

附图说明

[0031] 图1为本发明实施例中的方法流程示意图;
[0032] 图2为本发明实施例中的系统组成示意图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号