首页 > 专利 > 西安理工大学 > 一种基于图像的人体跌倒判别方法专利详情

一种基于图像的人体跌倒判别方法   0    0

实质审查 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-07-22
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-12-17
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-07-22
基本信息
有效性 实质审查 专利类型 发明专利
申请号 CN201910659529.7 申请日 2019-07-22
公开/公告号 CN110490080A 公开/公告日 2019-11-22
授权日 预估到期日 2039-07-22
申请年 2019年 公开/公告年 2019年
缴费截止日
分类号 G06K9/00G06K9/62G06N3/04 主分类号 G06K9/00
是否联合申请 独立申请 文献类型号 A
独权数量 1 从权数量 5
权利要求数量 6 非专利引证数量 0
引用专利数量 5 被引证专利数量 1
非专利引证
引用专利 CN108960056A、CN109033946A、CN109117831A、CN109857845A、CN109919132A 被引证专利
专利权维持 99 专利申请国编码 CN
专利事件 事务标签 公开、实质审查
申请人信息
申请人 第一申请人
专利权人 西安理工大学 当前专利权人 西安理工大学
发明人 张二虎、孙羹尧、段敬红 第一发明人 张二虎
地址 陕西省西安市碑林区金花南路5号 邮编 710048
申请人数量 1 发明人数量 3
申请人所在省 陕西省 申请人所在市 陕西省西安市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
西安弘理专利事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
杜娟
摘要
本发明公开了一种基于图像的人体跌倒判别方法,该方法首先对人体姿态数据库进行扩充,并添加真实人体跌倒图像;然后设计了一种人体姿态检测的深度学习网络模型,提供了一种高效的姿态关键点坐标回归损失函数;进一步,基于人体运动链模型提取表征人体跌倒状态判断的特征参数;最后通过SVM模型对人体跌倒进行判断。本发明基于单帧图像判断人体跌倒状态,具有关键点定位精度高、判断准确且快速的特点。
  • 摘要附图
    一种基于图像的人体跌倒判别方法
  • 说明书附图:图1
    一种基于图像的人体跌倒判别方法
  • 说明书附图:图2
    一种基于图像的人体跌倒判别方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2019-12-17 实质审查的生效 IPC(主分类): G06K 9/00 专利申请号: 201910659529.7 申请日: 2019.07.22
2 2019-11-22 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于图像的人体跌倒判别方法,其特征在于,具体按照以下步骤实施:
步骤1、对姿态检测库MPII中的图像进行预处理,包括水平镜像翻转、尺寸缩放、旋转,扩充原始单人姿态数据;在收集到的真实跌倒图像中手工标记出人体运动链模型中的14个关键点的坐标位置,将其加入到MPII数据库中;
步骤2、设计人体姿态检测的深度学习网络模型,对所设计的网络进行训练;
步骤3、将人体看作成一个由关节连接起来的铰链式物体,基于人体运动链模型;提取表征人体跌倒状态的4个特征angle1、angle2、angle3、angle4;
步骤4,训练SVM分类器,进行跌倒状态的判断。

2.根据权利要求1所述的一种基于图像的人体跌倒判别方法,其特征在于,所述步骤1中,14个关键点包括左脚踝、右脚踝、左膝盖、右膝盖、左髋关节、右髋关节、左手腕、右手腕、左手肘、右手肘、左肩膀、右肩膀、颈部及头部。

3.根据权利要求1所述的一种基于图像的人体跌倒判别方法,其特征在于,所述步骤2,具体步骤如下:
步骤2.1,建立人体姿态检测的深度学习网络模型;
深度学习网络模型包括:1个卷积层、1个最大池化层、4个残差模块及1个预测层;
其中,预测层包括14个关键点类别的预测和14个关键点的坐标位置预测;14个关键点包括左脚踝、右脚踝、左膝盖、右膝盖、左髋关节、右髋关节、左手腕、右手腕、左手肘、右手肘、左肩膀、右肩膀、颈部及头部;
步骤2.2,对步骤2.1的人体姿态检测的深度学习网络模型进行训练,训练时的网络损失函数为:关键点定位损失与关键点坐标回归损失之和,其中关键点定位损失采用交叉熵损失函数;
设网络预测的关键点坐标位置用向量形式表示为
真实标记的关键点坐标位置用向量形式表示为 则关键
点坐标回归损失Loss为公式(1)所示:
式(1)中,d为预测的关键点与真实标记的关键点的坐标误差的绝对值之和,其计算公式如下:
步骤2.3,对所建立的人体姿态检测的深度学习网络模型进行训练,训练时的Batch size设置为1,初始学习率设置为0.1,训练时采用随机梯度下降法。

4.根据权利要求1所述的一种基于图像的人体跌倒判别方法,其特征在于,所述步骤3中,提取表征人体跌倒状态的4个特征,具体如下:
根据人体运动链模型上的14个关键点,利用步骤2训练好的人体姿态检测深度学习网络模型可以得到这14个关键点的坐标数据,记为(xi,yi)(i=1,2,…,14),则人体跌倒状态的4个特征angle1、angle2、angle3、angle4,如式(2)-式(5)所示:

5.根据权利要求4所述的一种基于图像的人体跌倒判别方法,其特征在于,所述步骤4中,训练SVM分类器,进行跌倒状态的判断,具体步骤如下:
步骤4.1,将步骤1扩充后的MPII数据库中的图像集按照4:1的方式分成训练集和测试集;
步骤4.2,使用步骤2设计人体姿态检测的深度学习网络模型,提取训练集和测试集中人体图像的14个关键点;
步骤4.3,使用步骤3的方法,提取训练集和测试集中表征人体跌倒状态的4个特征参数;
步骤4.4,使用LIBSVM,建立SVM分类器,用步骤4.3中提取到的训练集中的跌倒状态的4个特征参数,作为SVM的输入,训练集中图像的跌倒状态,其中,1表示跌倒,0表是未跌倒;作为SVM的输出,训练SVM分类器;
步骤4.5,对于输入的需要判断跌倒状态的图像,使用步骤2设计人体姿态检测的深度学习网络模型提取该图像的14个关键点;使用步骤3的方法,提取表征人体跌倒状态的4个特征参数;使用步骤4.4得到的SVM分期器,将提取表征人体跌倒状态的4个特征参数送入该SVM分类器,由该分类器的输出即可得到是否跌倒的判断。

6.根据权利要求5所述的一种基于图像的人体跌倒判别方法,其特征在于,所述步骤
4.4中,训练时的参数设置为:SVM的核函数采用径向基函数;径向基函数的参数σ取值为
0.5。
说明书

技术领域

[0001] 本发明属于智能视频监控技术领域,具体涉及一种基于图像的人体跌倒判别方法。

背景技术

[0002] 对于独自居住的老人而言,发生意外摔倒如果不能得到及时的救助,将会出现严重后果。如果能在摔倒行为发生后立刻检测出来并通知救援人员,则将大幅度减少老年人摔倒后进一步发生危险程度概率。因此,及时准确的对老年人跌倒状态进行判断,具有重要的研究意义和实际应用价值。
[0003] 目前,针对室内出现的单人摔倒状态检测,有三种主流方法。第一种是基于传感器的方法,具体应用为老人的智能监护手环,通过传感器感应到佩戴者运动速度的变化,来判断有没有摔倒情况发生,但是由于人体运动的本身的复杂性,这种方法的检测准确度不高,没有得到广泛的认可。第二是基于Kinect骨架追踪的摔倒检测方法,使用Kinect拍摄视频,重建每一帧人体运动的骨架模型,通过人体质心点的运动速度,来判断是否发生了摔倒行为,这种做法要求具备Kinect骨架追踪相机,使用成本过高且存在着遮挡的情况无法处理。第三种方法是基于对视频流进行时序分析的方法,通过提取加速度时间序列并训练模型,然后通过分析输入视频与模型的匹配程度来判断发生跌倒行为的概率,这种方法的缺点在于能够用于建立模型的人体行为视频序列数量比较少,模型没有足够的泛化能力。

发明内容

[0004] 本发明的目的是提供一种基于图像的人体跌倒判别方法,解决了现有技术中存在的检测不够准确、模型鲁棒性不够强及检测速度较慢的问题。
[0005] 本发明所采用的技术方案是,一种基于图像的人体跌倒判别方法,具体按照以下步骤实施:
[0006] 步骤1、对姿态检测库MPII中的图像进行预处理,包括水平镜像翻转、尺寸缩放、旋转,扩充原始单人姿态数据;在收集到的真实跌倒图像中手工标记出人体运动链模型中的14个关键点的坐标位置,将其加入到MPII数据库中;
[0007] 步骤2、设计人体姿态检测的深度学习网络模型,对所设计的网络进行训练;
[0008] 步骤3、将人体看作成一个由关节连接起来的铰链式物体,基于人体运动链模型;提取表征人体跌倒状态的4个特征angle1、angle2、angle3、angle4;
[0009] 步骤4,训练SVM分类器,进行跌倒状态的判断。
[0010] 本发明的特点还在于,
[0011] 步骤1中,14个关键点包括左脚踝、右脚踝、左膝盖、右膝盖、左髋关节、右髋关节、左手腕、右手腕、左手肘、右手肘、左肩膀、右肩膀、颈部及头部。
[0012] 步骤2,具体步骤如下:
[0013] 步骤2.1,建立人体姿态检测的深度学习网络模型;
[0014] 深度学习网络模型包括:1个卷积层、1个最大池化层、4个残差模块及1个预测层;
[0015] 其中,预测层包括14个关键点类别的预测和14个关键点的坐标位置预测;14个关键点包括左脚踝、右脚踝、左膝盖、右膝盖、左髋关节、右髋关节、左手腕、右手腕、左手肘、右手肘、左肩膀、右肩膀、颈部及头部;
[0016] 步骤2.2,对步骤2.1的人体姿态检测的深度学习网络模型进行训练,训练时的网络损失函数为:关键点定位损失与关键点坐标回归损失之和,其中关键点定位损失采用交叉熵损失函数;
[0017] 设网络预测的关键点坐标位置用向量形式表示为真实标记的关键点坐标位置用向量形式表示为 则关键
点坐标回归损失Loss为公式(1)所示:
[0018]
[0019] 式(1)中,d为预测的关键点与真实标记的关键点的坐标误差的绝对值之和,其计算公式如下:
[0020]
[0021] 步骤2.3,对所建立的人体姿态检测的深度学习网络模型进行训练,训练时的Batch size设置为1,初始学习率设置为0.1,训练时采用随机梯度下降法。
[0022] 步骤3中,提取表征人体跌倒状态的4个特征,具体如下:
[0023] 根据人体运动链模型上的14个关键点,利用步骤2训练好的人体姿态检测深度学习网络模型可以得到这14个关键点的坐标数据,记为(xi,yi)(i=1,2,…,14),则人体跌倒状态的4个特征angle1、angle2、angle3、angle4,如式(2)-式(5)所示:
[0024]
[0025]
[0026]
[0027]
[0028] 步骤4中,训练SVM分类器,进行跌倒状态的判断,具体步骤如下:
[0029] 步骤4.1,将步骤1扩充后的MPII数据库中的图像集按照4:1的方式分成训练集和测试集;
[0030] 步骤4.2,使用步骤2设计人体姿态检测的深度学习网络模型,提取训练集和测试集中人体图像的14个关键点;
[0031] 步骤4.3,使用步骤3的方法,提取训练集和测试集中表征人体跌倒状态的4个特征参数;
[0032] 步骤4.4,使用LIBSVM,建立SVM分类器,用步骤4.3中提取到的训练集中的跌倒状态的4个特征参数,作为SVM的输入,训练集中图像的跌倒状态,其中,1表示跌倒,0表是未跌倒;作为SVM的输出,训练SVM分类器;
[0033] 步骤4.5,对于输入的需要判断跌倒状态的图像,使用步骤2设计人体姿态检测的深度学习网络模型提取该图像的14个关键点;使用步骤3的方法,提取表征人体跌倒状态的4个特征参数;使用步骤4.4得到的SVM分期器,将提取表征人体跌倒状态的4个特征参数送入该SVM分类器,由该分类器的输出即可得到是否跌倒的判断。
[0034] 步骤4.4中,训练时的参数设置为:SVM的核函数采用径向基函数;径向基函数的参数σ取值为0.5。
[0035] 本发明的有益效果是,
[0036] 一种基于图像的人体跌倒判别方法,相比较传统的方法,克服了跌倒训练样本过于缺乏的问题,训练的样本图像有姿态图像和人体跌倒图像共同组成;所设计人体关键点检测深度学习网络模型可以应对一定程度上的视角及人体大小的变化,模型的鲁棒性强,判断的准确度高;针对图像进行姿态估计和摔倒检测,比起分析监控视频的方法,耗费的计算资源大大减少,提高了判断的速度。

实施方案

[0039] 下面结合附图和具体实施方式对本发明进行详细说明。
[0040] 本发明一种基于图像的人体跌倒判别方法,流程图如图1所示,具体按照以下步骤实施:
[0041] 步骤1、对姿态检测库MPII中的图像,编写Matlab软件进行预处理,包括水平镜像翻转、尺寸缩放、旋转,扩充原始单人姿态数据;在收集到的真实跌倒图像中手工标记出人体运动链模型中的14个关键点的坐标位置,将其加入到MPII数据库中;
[0042] 人体运动链模型是将人体各关节简化成线条构成的,如图2所示,各关节之间的连接点称为关键点;14个关键点包括左脚踝、右脚踝、左膝盖、右膝盖、左髋关节、右髋关节、左手腕、右手腕、左手肘、右手肘、左肩膀、右肩膀、颈部及头部;
[0043] 步骤2、设计人体姿态检测的深度学习网络模型,对所设计的网络进行训练;具体步骤如下:
[0044] 步骤2.1,建立人体姿态检测的深度学习网络模型;
[0045] 深度学习网络模型包括:1个卷积层、1个最大池化层、4个残差模块及1个预测层;
[0046] 其中,预测层包括14个关键点类别的预测和14个关键点的坐标位置预测;14个关键点包括左脚踝、右脚踝、左膝盖、右膝盖、左髋关节、右髋关节、左手腕、右手腕、左手肘、右手肘、左肩膀、右肩膀、颈部及头部;
[0047] 步骤2.2,对步骤2.1的人体姿态检测的深度学习网络模型进行训练,训练时的网络损失函数为:关键点定位损失与关键点坐标回归损失之和,其中关键点定位损失采用交叉熵损失函数;
[0048] 设网络预测的关键点坐标位置用向量形式表示为真实标记的关键点坐标位置用向量形式表示为 则关键
点坐标回归损失Loss为公式(1)所示:
[0049]
[0050] 式(1)中,d为预测的关键点与真实标记的关键点的坐标误差的绝对值之和,其计算公式如下:
[0051]
[0052] 步骤2.3,对所建立的人体姿态检测的深度学习网络模型进行训练,训练时的Batch size设置为1,初始学习率设置为0.1,训练时采用随机梯度下降法;
[0053] 步骤3、将人体看作成一个由关节连接起来的铰链式物体,建立人体运动链模型;根据图2中的关键点坐标,按照公式(2)到公式(5)提取表征人体跌倒状态的4个特征angle1、angle2、angle3、angle4,具体如下:
[0054] 根据人体运动链模型上的14个关键点,利用步骤2训练好的人体姿态检测深度学习网络模型可以得到这14个关键点的坐标数据,记为(xi,yi)(i=1,2,…,14),则人体跌倒状态的4个特征angle1、angle2、angle3、angle4,如式(2)-式(5)所示:
[0055]
[0056]
[0057]
[0058]
[0059] 步骤4,训练SVM分类器,进行跌倒状态的判断;具体训练和判断步骤如下:
[0060] 步骤4.1,将步骤1扩充后的MPII数据库中的图像集按照4:1的方式分成训练集和测试集;
[0061] 步骤4.2,使用步骤2设计人体姿态检测的深度学习网络模型,提取训练集和测试集中人体图像的14个关键点;
[0062] 步骤4.3,使用步骤3的方法,提取训练集和测试集中表征人体跌倒状态的4个特征参数;
[0063] 步骤4.4,使用LIBSVM,建立SVM分类器,用步骤4.3中提取到的训练集中的跌倒状态的4个特征参数,作为SVM的输入,训练集中图像的跌倒状态(1表示跌倒,0表是未跌倒)作为SVM的输出,训练SVM分类器;
[0064] 训练时的参数设置为:SVM的核函数采用径向基函数;径向基函数的参数σ取值为0.5;
[0065] 步骤4.5,对于输入的需要判断跌倒状态的图像,使用步骤2设计人体姿态检测的深度学习网络模型提取该图像的14个关键点;使用步骤3的方法,提取表征人体跌倒状态的4个特征参数;使用步骤4.4得到的SVM分期器,将提取表征人体跌倒状态的4个特征参数送入该SVM分类器,由该分类器的输出即可得到是否跌倒的判断。
[0066] 在MPII数据库中,首先对所建立的人体姿态检测的深度学习网络模型进行了效果验证,比较了不同关键点坐标回归损失函数下的关键点分类正确率,其中关键点坐标回归损失函数分别为均方差损失、光滑L1损失和本发明中的损失函数,三种损失函数下的关键点分类正确率分别是:77.57%、78.29%和79.00%,可以看出应用本发明中的损失函数取得了最好的结果;其次,针对跌倒状态判断进行了实验。实验中采用了本发明中提取的表征人体跌倒状态的4个特征,比较了不同分类器,包括线性SVM、径向基SVM、KNN、决策树及随机森林的判断效果,跌倒判断的正确率分别为:85.29%、100%、97.06%、97.06%及94.12%。可以看出,本发明的判断人体跌倒的4个特征参数具有非常高的判别性,同时本发明优化后的径向基SVM取得了最好的判断效果。

附图说明

[0037] 图1是本发明一种基于图像的人体跌倒判别方法的流程图;
[0038] 图2是本发明一种基于图像的人体跌倒判别方法中基于人体运动链模型的人体姿态关键点及特征参数图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号