首页 > 专利 > 杭州电子科技大学 > 一种基于手机地磁和场景图像的室内定位方法专利详情

一种基于手机地磁和场景图像的室内定位方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-07-12
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-11-22
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-10-29
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-07-12
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910629743.8 申请日 2019-07-12
公开/公告号 CN110388926B 公开/公告日 2021-10-29
授权日 2021-10-29 预估到期日 2039-07-12
申请年 2019年 公开/公告年 2021年
缴费截止日
分类号 G01C21/20G01C21/08 主分类号 G01C21/20
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 0
引用专利数量 4 被引证专利数量 0
非专利引证
引用专利 CN109883428A、CN109917404A、CN109298389A、US2018252528A1 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 颜成钢、巩鹏博、孙垚棋、张继勇、张勇东 第一发明人 颜成钢
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 5
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于手机地磁和场景图像的室内定位方法。本发明包括如下步骤:步骤1、离线采集地图室内地图指纹信息;步骤2、步长推测模型:对用户的步长和行走方向进行推测;步骤3、测量模型:利用卷积神经网络对场景地图提取出深层信息;步骤4、利用适应的粒子滤波算法来追踪位置轨迹;本发明不需要搭建基础设施,只需要现在人人都使用的智能手机。关于地磁和场景图片都可以用智能手机自带的传感器测量。本发明利用了地磁和场景图片各自的优点,为室内定位带来更好的准确性。
  • 摘要附图
    一种基于手机地磁和场景图像的室内定位方法
  • 说明书附图:图1
    一种基于手机地磁和场景图像的室内定位方法
  • 说明书附图:图2
    一种基于手机地磁和场景图像的室内定位方法
  • 说明书附图:图3
    一种基于手机地磁和场景图像的室内定位方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-10-29 授权
2 2019-11-22 实质审查的生效 IPC(主分类): G01C 21/20 专利申请号: 201910629743.8 申请日: 2019.07.12
3 2019-10-29 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于手机地磁和场景图像的室内定位方法,其特征在于包括如下步骤:
步骤1、离线采集地图室内地图指纹信息;
步骤2、步长推测模型:对用户的步长和行走方向进行推测;
步骤3、测量模型:利用卷积神经网络对场景地图提取出深层信息;
步骤4、利用适应的粒子滤波算法来追踪位置轨迹;
步骤1具体实现如下:
1‑
1.把室内地图划分为60cm*60cm的网格,每个网格被设定为一个唯一位置并分配一个位置标签;
1‑
2.对应的网格沿主要道路方向采集地磁和场景图像信息;
1‑
3.收集好对应建筑的做好标签的测量信息并存储;
步骤1‑2具体如下:
将每个道路分为两个方向,分别采集地磁和场景图像信息;其中测量的地磁值是一个四维向量(mx,my,mz,M),其中(mx,my,mz)为手机测量地磁的三个坐标系下的测试值,M代表地磁强度为(mx,my,mz)的二阶范数;而对于每个位置网格,手机在主要对应网格位置随机收集
10次数据,而这些数据就被当作该网格位置的测量信息与位置标签放入离线指纹中;
步骤2具体实现如下:
2‑
1.利用智能手机传感器对行人的行走方向和步态进行检测,并设定用户初始条件下步长为60cm;对于用户的定位坐标为(Ek,Nk),用户的步长为Lk,方向角为θk,下一时刻定位坐标为(Ek+1,Nk+1),行人定位的计算公式如下:
其中,Lk为k时刻的行走步长,θk为k时刻的方向角;
2‑
2.用户行走轨迹记录:设(Pt‑k,Pt‑k+1,...,Pt‑1)为最新的用户行走轨迹记录,其中Pi表示第i时刻估计的最优用户位置;另外||Pi‑Pi‑1||表示Pi和Pi‑1之间的欧式距离;并且定义如果在t‑k+1≤i≤t‑1的情况下,||Pi‑Pi‑1||≤δ,则用户轨迹连续,其中δ表示用户的最大行走步长,这里设置为2m;
2‑
3.对于下一时刻的用户步长估计和方向估计:如果用户轨迹连续,步长γ的定义为Pi和Pi‑1之间的权重分布,公式定义为:
其中, 其中关于权重wi表示最新的步长||Pi‑Pi‑1||
的权重,步长越新权重越高;
步骤3具体步骤如下:
3‑
1.对场景图像根据场景和位置利用卷积神经网络来进行训练,以softmax层前一层作为场景图片深层位置信息;
对于测量的场景图像的深层位置向量,采用卷积神经网络来进行提取,具体:利用采集好的场景图像数据集并对其标定位置标签,然后加入一些无关的场景图像数据集进行训练;场景图像经过一系列的卷积层和池化层后,其输出要连续通过3个全连接层,最后通过softmax层来进行位置估计;对于softmax层的前一全连接层,把这个向量称之为深层位置向量,并把这个向量定义为V;
3‑
2.利用在线采集的场景图像通过训练好的卷积神经网络来提取出深层信息,并与事先做好存储的地图信息做相似度对比;
定义场景图像的深层位置向量提取后的相似度比较;假设A、B分别为某一位置的场景图像,a、b分别为对应的提取出的深层位置向量,则A、B之间的相识度定义为:
其中,参数σ用来调整两个深层位置向量之间距离的影响;
步骤4具体实现如下:
4‑
1.在初始时刻利用地磁和场景图像来进行粒子初始化:
在0时刻的场景图像和地磁的观测值分别设定为Zs,0,Zg,0;所以初始时刻的粒子初始化根据Zs,0,Zg,0来推算所有在初始时刻用户可能所在位置 的概率分布,用
表示;在初始时刻的采样是根据测量值的概率分布
即在假设初始时刻位置的条件下对0时刻的观测值的概率分布,用
表示;对于 的计算:首先会根据初始时刻的场景图像
利用训练好的卷积神经网络推算出所在的场景;再根据这个场景内分配初始粒子 并根据 所在网格的离线测量值计算与Zs,0,Zg,0之间的相似度, 就是平均测
量相似度;
4‑
2.利用步长推测模型来进行粒子传播:在用户每行走一步后,粒子滤波算法会更新每个粒子的所在位置及对应权重来预测新的用户潜在位置的概率分布,这个就称为粒子传播;粒子传播也可以表示为每个旧的粒子 到新的粒
子 的 过程 ;对 于最新 的预 测位 置 以
进行预测,其中||u||表示步长,表示步长方向;||u||以步骤2公式(2)进
行计算;预测好后的每一个粒子位置 即 会加入一个二维高斯分布,
2
在搭建地图我们设置坐标系x为用户行走的主要方向,所以V是一个对角矩阵V=diag(δ1 ,
2
δ2);δ1控制在主要行走方向上的位置变化,并设定δ1为60cm;δ2控制在主要行走方向的垂直方向上的位置变化,并设定δ2为30cm;
4‑
3.粒子权重更新:在粒子传播以后,每个粒子对应的权重需要更新;权重更新的公式如下:
其中在概率分布 表示在t时刻位置 所对应网格的离线地磁测量值和
之间的相似度;对于概率分布 行人在行走过程中不可
能步步采集场景图像,所以在没有采集场景图像时只计算在地磁下的权重更新,如果有采集图像则先计算 即表示在t时刻位置 所对应网格的离线场景测量值和
之间的相似度;并设定:
重新回到粒子初始化阶段,这里设定 最后对于 近似为
也还是表示在t时刻位置 所对应网格的离线地磁测量值和 之间的相似
度;
4‑
4.位置估计:在所有粒子权重更新后,再对所有粒子的权重进行归一化;按照权重的大小取前40%的粒子 进行权重平均;平均后的位置即最优估计位置;
4‑
5.粒子重采样:在重采样的过程中权重高的粒子有较高的概率被继续采样,重采样的目的也是将错误的粒子排除,即将一些权重接近为0的粒子排除;重采样后每个粒子的权重被设定为1/n;n为粒子的数量。
说明书

技术领域

[0001] 本发明属于室内定位领域,具体涉及一种利用地磁和场景图像搭建地图,并用卷积神经网络提取出位置特征,以粒子滤波算法进行动态定位的方法。

背景技术

[0002] 室内定位技术在现在的提高我们的日常生活便利中起着非常重大的作用,并在许许多多方面都有很大用处,例如指引机器人在建筑中自动的行驶,当人在不熟悉的建筑环境中找到他所要到达的目的地,指引车辆在地下车库中找到位置等。
[0003] 精准的室内定位在现在仍然是一个重大的挑战。地磁无处不在,是一种不用基础设施,能用于室内定位的重要信号。视觉图像也是一样,两者都可以方便地通过手机传感器来捕捉它们。在室内定位中,地磁和视觉图像往往能构成一个互补的整体,视觉图像能有效识别出室内场景的位置,地磁能够对位置更为精确的定位。

发明内容

[0004] 本发明主要提出一种与地磁和场景图像来搭建地图,并用卷积神经网络提取出深层位置特征,然后利用适应的粒子滤波算法来进行室内定位的方法。
[0005] 本发明提出了一种新型的室内定位系统,并且这种方法不需要任何基础设施来进行事先搭建,所需要地磁和场景图像均可由手机传感器给出。这个新型室内定位系统主要可以分为离线采集地图信息和在线室内定位两个阶段。离线采集地图信息阶段主要来采集室内地图信息。在线室内定位主要分成三个方面,主要为步长推测模型,测量模型和适应的粒子滤波追踪模型。步长推测模型用来估算用户时时刻刻的步长和行走方向,记录用户的行走轨迹。测量模型通过卷积神经网络把测量的场景图像转换为深层特征,并计算与记录的地图信息比较相似性,推算最有可能的场景位置。适应的粒子滤波追踪模型按照步骤来跟踪用户,在每个用户步骤之后,通过概率分布来估算用户的潜在位置。具体按照以下步骤实施:
[0006] 步骤1、离线采集地图室内地图指纹信息,具体步骤如下:
[0007] 1‑1.把室内地图划分为60cm*60cm的网格,并做好位置标签。
[0008] 1‑2.对对应的网格沿主要道路方向采集地磁和场景图像信息。
[0009] 1‑3.收集好对应建筑的做好标签的测量信息并存储。
[0010] 步骤2、步长推测模型:对用户的步长和行走方向进行推测,具体步骤如下:
[0011] 2‑1.在手机传感器的数据下,算出用户的行走方向和步态;
[0012] 2‑2.在初始条件下设定步长为60cm,并记录下对用户的追踪的行走轨迹。
[0013] 步骤3、测量模型:利用卷积神经网络对场景地图提取出深层信息,具体步骤如下:
[0014] 3‑1.对场景图像根据场景和位置利用卷积神经网络来进行训练,以softmax层前一层作为场景图片深层位置信息。
[0015] 3‑2.利用在线采集的场景图像通过训练好的卷积神经网络来提取出深层信息,并与事先做好存储的地图信息做相似度对比。
[0016] 步骤4、利用适应的粒子滤波算法来追踪位置轨迹。
[0017] 这个适应的粒子滤波算法主要用来追踪用户的行走轨迹,在用户行走一次之后,该算法更新用户的估计位置。另外该算法不是直接估计用户的真实位置的,而是以一个概率分布的形式估计出用户的潜在位置。适应的粒子滤波算法其核心思想还是以一群粒子及其相关权重来表示后验概率分布,并以蒙特卡洛的方法实现递归的贝叶斯滤波器。不过权重更新部分做了一些调整,使之更为适应地磁和场景图像。其具体步骤如下:
[0018] 4‑1.在初始时刻利用地磁和场景图像来进行粒子初始化。
[0019] 4‑2.利用步长推测模型来进行粒子传播;
[0020] 4‑3.对粒子传播后的位置的权值进行更新,并归一化。
[0021] 4‑4.按权值进行排序对传播后的粒子取前40%,根据权值平均估计出跟新后最有可能所在的位置。
[0022] 4‑5.对粒子进行重采样。
[0023] 4‑6不断更新粒子传播的这一过程。
[0024] 本发明方法具有的优点及有益结果为:
[0025] 1、本发明不需要搭建基础设施,只需要现在人人都使用的智能手机。关于地磁和场景图片都可以用智能手机自带的传感器测量。
[0026] 2、本发明提出了一种地磁和场景图像融合的室内定位方法,利用了地磁和场景图片各自的优点,为室内定位带来更好的准确性。地磁的值具有低分辨率对于不同位置会存在非常相似的现象,不具备很好的可分辨性。场景图片对具体的场景识别具有好高的分辨性,但识别场景后,对具体位置的准确识别不足。所以可以场景图像可以识别出场景和大致位置,把地图区域规定在一定范围内,为地磁排除这个范围之外对位置识别的影响。地磁也可以在场景位置大致识别后,提高进一步的位置的准确性。
[0027] 3、该进行的粒子滤波算法更好地适应在地磁和场景图像的条件对室内定位的准确性。

实施方案

[0031] 下面结合具体实施方式对本发明进行详细的说明。
[0032] 本发明提出一种基于地磁和场景图像的室内定位的方法,大致框架如图1所示。具体按照以下步骤实施。
[0033] 步骤1、离线采集地图室内地图指纹信息
[0034] 一个指纹信息对应四个测量值和其对应位置,为了收集指纹信息,把室内地图划分为60cm*60cm的网格。每一个网格被设定为一个独一无二的位置并分配一个位置标签。通常室内地图中存在许多道路,对于每个道路把它分为两个方向,即道路的主要两个方向,来分别采集地磁和场景图像信息。其中测量的地磁值是一个四维向量(mx,my,mz,M),其中(mx,my,mz)为手机测量地磁的三个坐标系下的测试值,M代表地磁强度为(mx,my,mz)的二阶范数。而对于每个对于位置网格,适用手机在主要对应随机收集10次数据,而这些就被当作该网格位置的测量信息与位置标签放入离线指纹中。
[0035] 步骤2、步长推测模型:对用户的步长和行走方向进行推测;
[0036] 2‑1.利用智能手机加速度,角速度等传感器对行人的行走方向和步态进行检测,并设定用户初始条件下步长为60cm。对于用户的定位坐标为(Ek,Nk),用户的步长为Lk,方向角为θk,下一时刻定位坐标为(Ek+1,Nk+1),行人定位的计算公式如下:
[0037]
[0038] 其中,Lk为k时刻的行走步长,θk为k时刻的方向角。
[0039] 2‑2.用户行走轨迹记录,设(Pt‑k,Pt‑k+1,...,Pt‑1)为最新的用户行走轨迹记录,其中Pi表示第i时刻估计的最优用户位置。另外||Pi‑Pi‑1||表示Pi和Pi‑1之间的欧式距离。并且定义如果在t‑k+1≤i≤t‑1的情况下,||Pi‑Pi‑1||≤δ,则用户轨迹连续,其中δ表示用户的最大行走步长,这里设置为2m。
[0040] 2‑3.对于下一时刻的用户步长估计和方向估计,如果用户轨迹连续,步长γ的定义为Pi和Pi‑1之间的权重分布,公式定义为:
[0041]
[0042] 其中, 其中关于权重wi表示最新的步长||Pi‑Pi‑1||的权重,步长越新权重越高。
[0043] 步骤3、测量模型:利用卷积神经网络对场景地图提取出深层信息,并定义它们之间发相似度。
[0044] 3‑1.对于测量的场景图像的深层信息,采用卷积神经网络来进行提取,关于卷积网络的结构如图2所示。利用采集好的场景图像数据集并对其做好位置标签,加入一些无关的场景图像数据集进行训练。如图所示,场景图像经过一系列的卷积层和池化层后,其输出要接着通过3个全连接层,最后通过softmax层来进行位置估计。对于softmax层的前一全连接层,把这个向量称之为深层场景图像位置信息,并把这个向量定义为V。
[0045] 3‑2.介绍了如何提出场景图像的深层信息后,接下来定义的是场景图像的深层位置信息提取后的相似度比较。假设A,B分别为某一位置的场景图像,a,b分别为对应的提取出深层位置向量,则A,B之间的相识度定义为:
[0046]
[0047] 其中σ来调整两个深层位置向量之间距离的影响。
[0048] 步骤4、利用改进的粒子滤波算法来追踪位置轨迹,关于适应的粒子滤波框架如图3所示。
[0049] 4‑1.粒子初始化:在0时刻的场景图像和地磁的观测值分别设定为Zs,0,Zg,0。所以初始时刻的粒子初始化根据Zs,0,Zg,0来推算所有在初始时刻用户可能所在位置 的概率分布,用 表示。然而 是未知不确定所以不能被采样,所以在初始时刻的采样是根据测量值的概率分布 即在假设初始时刻位
置的条件下对0时刻的观测值的概率分布,用 表
示。对于 的计算,粒子滤波算法会根据测量值的概率分布来进行粒子初
始化。对于初始时刻位置 如果拥有一个高的测量概率,那这个位置将分配较高的权重。
回到离线采集地磁和场景图像数据的阶段,我们把室内的地图分成一个个网格,每个网格都被认为是一个独一无二的位置,并记录下了地磁和场景地图的信息。为了计算测量概率首先会根据初始时刻的场景图像利用训练好的卷积神经网络推算出
所在的场景,在根据这个场景内分配初始粒子 并根据 所在网格的离线测量值计算与Zs,0,Zg,0之间的相似度, 就是平均测量相似度。
[0050] 4‑2.利用步长推测模型来进行粒子传播:在用户每行走一步后,粒子滤波算法会跟新每个粒子的所在位置及对应权重来预测新的用户潜在位置的概率分布,这个就称为粒子传播。粒子传播也可以表示为每个旧的粒子 到新的粒子 的过 程。对于 最新的预 测位置 以
进行预测,其中||u||表示步长, 表示步长方向。||u||以步骤二公式(2)
进行计算。预测好后的每一个粒子位置 即 会加入一个二维高斯分布,i.e.,
在搭建地图我们设置坐标系x为用户行走的主要方向,所以V是一个对角矩
2 2
阵V=diag(δ1δ2)。δ1控制在主要行走方向上的位置变化,并设定δ1为60cm。δ2控制在主要行走方向的垂直方向上的位置变化,并设定δ1为30cm。
[0051] 4‑3.粒子权重更新:在粒子传播以后,每个粒子对应的权重需要跟新。权重跟新的公式如下: 或 其中在概率分布 表示在t时刻位置 所对应网格的离线地磁测量值和 之间的
相似度。相似度算法参考步骤3的公式(3)。对于概率分布 行人
在行走过程中不可能步步采集场景图像,所以在没有采集场景图像时只计算在地磁下的权重更新,如果有采集图像则先计算 即表示在t时刻位置 所对应网格的离线
场景测量值和 之间的相似度。并设定:
[0052]
[0053] 重新回到粒子初始化阶段,这里设定 最后对于 近似为也还是表示在t时刻位置 所对应网格的离线地磁测量值和 之间的相似
度。
[0054] 4‑4.位置估计:在所有粒子权重更新后,再对所有粒子的权重进行归一化。按照权重的大小取前40%的粒子 进行权重平均。平均后的位置即最优估计位置。
[0055] 4‑5.粒子重采样:在重采样的过程中权重高的粒子有较高的概率被继续采样,重采样的目的也是将错误的粒子排除,即将一些权重接近为0的粒子排除。重采样后每个粒子的权重被设定为1/n。n为粒子的数量。

附图说明

[0028] 图1是本发明提供的一个整体关于室内定位的一个框架,包括步长推测模型,测量模型,适应的粒子滤波模型以及它们对应所设计的东西。
[0029] 图2是本发明提供的一个关于测量模型中卷积神经网络提取深层场景位置特征的网络结构。
[0030] 图3是本发明的关于适应的粒子滤波模型的一系列的流程图。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号