一种基于视频关节点和混合分类器的跌倒检测方法   0    0

本发明公开了一种基于视频关节点和混合分类器的跌倒检测方法。传统基于视频的跌倒检测算法依赖人工提取跌倒特征，借助线性判别分类器的方法检测跌倒，模型简单但准确率低。本发明如下：1、提取被检测视频片段的各帧图像。2、获取人体关节数据矩阵；3、建立多个行为矩阵。4、计算时间特征参数和空间特征参数。5、初级分类；6、二级分类。本发明采用的提取人体骨骼关节点方法解决了传统方法提取人体宽高比、投影面积等无法精确估计人体姿态的问题。本发明采用固定大小的滑动窗口构建行为矩阵能够同时在时间、空间轴建模，充分表达跌倒行为特征。

1.一种基于视频关节点和混合分类器的跌倒检测方法，其特征在于：步骤1、提取被检测视频片段的各帧图像；
步骤2、利用人体节点采集软件采集被检测视频片段中每一帧图像的人体关节点数据，得到人体关节数据矩阵；
步骤3、根据步骤2得到的人体关节数据集，构建的s个行为矩阵； 为
向下取整运算符；m为图像数量；W为行为矩阵总帧数，取值为8～15；
第i个行为矩阵Ki,matrix的表达式如式(1)所示，i＝1,2,…,s；
T
Ki,matrix＝(K2i‑1,K2i,…,K2i+W‑1)               (1)
式(1)中，Kt为第t张图像的骨骼向量，其表达式如式(2)所示；t＝1,2,...,m；
Kt＝(Kt,0,Kt,1,…,Kt,N‑1)                   (2)
式(2)中，Ktj表示人体关节数据矩阵中第t行第j+1列的参数，j＝0,1,...,N‑1；N为一帧图像中的人体关节点数量；
步骤4、计算时间特征参数和空间特征参数；
4‑
1.计算m张图像中的人体高度信息ht如式(3)所示；t＝1,2,...,m；
ht＝ht,head‑ht,foot                             (3)
式(3)中，ht,head为第t张图像中的人体的头部纵坐标ht,foot为第t张图像中的人体的脚部纵坐标；
4‑
2.分别提取各行为矩阵对应的图像中人体高度信息ht的最大值、最小值，作为空间最大值hi,max、空间最小值hi,min；i＝1,2,…,s；
4‑
3.如式(4)和(5)所示，从第二张图像起，分别计算各图像的相邻帧高度差△ht,one；从第六张图像起，分别计算各图像的五帧高度差△ht,five；
△ht,one＝ht‑ht‑1                               (4)
△ht,five＝ht‑ht‑5                                (5)
4‑
4.分别提取各行为矩阵对应的图像中相邻帧高度差△ht,one的最大值、最小值、五帧高度差△ht,five的最大值、最小值，作为短时间最大值hi,one,max、短时间最小值hi,one,min、长时间最大值hi,five,max、长时间最小值hi,five,min；
4‑
5.构建跌倒特征向量Fi,SVM＝(hi,max,hi,min,hi,one,max,hi,one,min,hi,five,max,hi,five,min)；i＝1,2,…,s；
步骤5、将s个跌倒特征向量Fi,SVM分别输入至经过训练的初级分类器，得到s个跌倒置信度Pi；设置阈值区间为[Pmin,Pmax]；
若所有跌倒置信度Pi均小于Pmin，则判定视频中的行人未跌倒，跌倒检测结束；若存在至少一个跌倒置信度Pi大于Pmax，则判定视频中的行人跌倒，跌倒检测结束；否则，判定为出现类跌倒情况，进入步骤6；
步骤6、将跌倒置信度Pi在阈值区间[Pmax,Pmin]内的跌倒特征向量Fi,SVM输入至经过训练的二级分类器，二级分类器输出视频中的行人是否跌倒。

2.根据权利要求1所述的一种基于视频关节点和混合分类器的跌倒检测方法，其特征
在于：步骤1中，对被检测视频片段的每一帧图像进行高斯去噪处理。

3.根据权利要求1所述的一种基于视频关节点和混合分类器的跌倒检测方法，其特征
在于：步骤1中，对被检测视频片段的每一帧图像进行灰度化处理。

4.根据权利要求1所述的一种基于视频关节点和混合分类器的跌倒检测方法，其特征
在于：步骤2中，人体节点采集软件采用OpenPose软件；检测的人体关节点总数为18，分别是鼻子‑0、脖子‑1、右肩‑2、右肘‑3、右手腕‑4、左肩‑5、左肘‑6、左手腕‑7、右臀‑8、右膝盖‑9、右脚踝‑10、左臀‑11、左膝盖‑12、左脚踝‑13、右眼‑14、左眼‑15、右耳‑16、左耳‑17；人体关节点包含(x,y,score)三个数据；x为人体关节点在图像上的横坐标，y为人体关节点在图像上的纵坐标；score为人体关节点的置信度；人体关节数据矩阵的每一行均为一帧图像上的十八个关节点参数。

5.根据权利要求4所述的一种基于视频关节点和混合分类器的跌倒检测方法，其特征
在于：步骤2中，对各帧图像中缺失的人体关节点进行数据填充，具体方法如下：若缺失节关点的后一个人体关节点不缺失，则将缺关失节点用后一个人体关节点填充；若缺关失节点的后一个人体关节点缺失，且前一个人体关节点不缺失，则将缺关失节点用前一个人体关节点填充；否则，将该缺失节关点的图像删除。

6.根据权利要求1所述的一种基于视频关节点和混合分类器的跌倒检测方法，其特征
在于：步骤2中，人体节点采集软件检测的人体关节点中包含右脚踝、左脚踝、右眼、左眼、右耳、左耳；
步骤4‑1中，ht,head的表达式如式(6)所示；ht,foot的表达式如式(7)所示；
式(6)和(7)中，yt，14、yt，15、yt，16、yt，17分别为第t张图像中关节点右眼、左眼、右耳、左耳的纵坐标；yt，10、yt，13分别为第t张图像中右脚踝、左脚踝的纵坐标。

7.根据权利要求1所述的一种基于视频关节点和混合分类器的跌倒检测方法，其特征
在于：步骤4‑5执行后，根据式(8)对各跌倒特征向量Fi,SVM内的元素进行归一化处理；
式(8)中，data′p为跌倒特征向量归一化后的第p个元素；datap为跌倒特征向量归一化前的第p个元素；datamin为跌倒特征向量归一化前的最小值；datamax为跌倒特征向量归一化前的最大值。

8.根据权利要求1所述的一种基于视频关节点和混合分类器的跌倒检测方法，其特征
在于：步骤5中，初级分类器采用支持向量机；Pmax＝0.8，Pmin＝0.2。

9.根据权利要求1所述的一种基于视频关节点和混合分类器的跌倒检测方法，其特征
在于：步骤6中，二级分类器包括交替相连的多个卷积层、池化层以及三个全连接层；卷积神经网络的卷积方式中，padding参数设置为SAME；卷积层中卷积核的尺度为3×3；池化层中池化算子的大小为2×2、步长为1；池化层与下一个卷积层通过激活函数Relu连接；三个全连接层依次通过激活函数Relu连接；全连接层的dropout比重设置为0.5；最后一个卷积层与第一个全连接层通过激活函数Relu连接；第一个全连接层内设置1024个神经元，第二个全连接层内设置512个神经元；第三个全连接层内设置2个神经元。

10.根据权利要求1所述的一种基于视频关节点和混合分类器的跌倒检测方法，其特征
在于：步骤6中，二级分类器包括依次通过激活函数Relu连接的一个卷积层、一个池化层以及三个全连接层；卷积神经网络的卷积方式中，padding参数设置为'valid'；卷积层中设置尺度分别为3×3、5×5、7×7、9×9的四种卷积核；池化层中设置大小分别为8×1、6×1、4×
1、2×1的四种池化算子；3×3、5×5、7×7、9×9的卷积核与8×1、6×1、4×1、2×1的池化算子分别对应相连；池化层的步长为1；全连接层的dropout比重设置为0.5；第一个全连接层内设置1024个神经元，第二个全连接层内设置512个神经元；第三个全连接层内设置2个神经元。