[0004] 本发明的目的是针对现有技术不能很好的应用于实际工程中,提供一种基于混合颜色模型与神经网络的火灾图像检测方法,混合颜色模型能快速的识别出并精确定位可能存在火焰的区域,过滤视频帧中大量非火焰信息,在通过卷积神经网络精确地判断出是否出现火灾。
[0005] 本发明方法的具体步骤如下:
[0006] 步骤(1).利用帧间差分法获得监控视频帧的运动前景目标:
[0007] (1-1).通过对比视频中前后两帧图像的差异度,来识别是否存在运动物体,运动前景的前景掩膜的表达式为:
[0008]
[0009] 其中,fmask(x,y)为前后帧图像的差分图像,即运动前景掩膜,255表示将运动目标在灰度图上设置为白色,0代表非运动区域设置为黑色,It和It-1分别表示原图像在t和t-1时刻的图像,T表示设定的阈值,即当差分出来的图像中非0点个数大于T时,则获取运动区域将差分图像二值化,二值化后的白色区域即表示运动区域;
[0010] (1-2).取得前景后,对其进行形态学操作以过滤细微抖动带来的噪声;
[0011] (1-3).将每n帧的前景掩膜累加,构成一个融合n帧运动信息的掩膜。
[0012] 步骤(2).每隔n帧对图像采用混合颜色模型提取火焰的候选区域:
[0013] (2-1).为了实现监控视频实时检测的功能,加快程序运行效率,每n帧进行混合颜色模型提取火焰候选区域;将源监控视频RGB图像生成备份,并转换成HSV颜色空间,对两个颜色空间添加相应颜色模型约束,获取初步颜色候选区域,得到疑似火焰区域对应的颜色掩膜cmask,具体约束条件如下:
[0014] Hmin<H<Hmax,
[0015] (S1min<S<S1max)∪(S2min<S<S2max),
[0016] Vmin<V<Vmax,
[0017] R>RT,
[0018] R≥G>B,
[0019] S≥((255-R)×ST/RT),
[0020] (abs(R-G)>T1)∪(abs(G-B)>T2),
[0021] abs(R-B)+abs(G-B)>15;
[0022] 其中H、S、V分别为像素的色调、饱和度、明度,R、G、B分别为像素的红色、绿色、蓝色分量,Hmin和Hmax为色调分量的区间阈值,S1min和S1max为饱和度分量的一组区间阈值,S2min和S2max为饱和度分量的另一组区间阈值,Vmin和Vmax是明度的区间阈值,RT为红色分量阈值,ST为饱和度自适应阈值,T1和T2为RGB空间经验阈值;
[0023] (2-2).对颜色掩膜cmask进行二次区域扩展,补全疑似火焰区域的中心空洞:
[0024] 首先将源监控图像分成10×10等尺寸区域,统计每个区域的掩膜像素平均明度VA:
[0025]
[0026] 然后获取每个区域的扩展颜色掩膜,当区域内像素的明度大于VA时,将该像素加入扩展颜色掩膜csup:
[0027] 最终的颜色掩膜cmask为:cmask=cmask∪c sup。
[0028] 步骤(3).通过运动前景区域fmask与颜色候选区域最终的颜色掩膜cmask得到候选火焰区域:
[0029] 将得到颜色候选区域最终的颜色掩膜cmask与运动前景区域fmask进行对比得到火焰候选区域掩膜Mask:Mask=fmask∩cmask;
[0030] 对火焰候选区域掩膜Mask进行形态学操作,并获取其最小外接矩形,从源监控图像中截取出来构成候选火焰图像集Frpn。
[0031] 步骤(4).准备训练神经网络所需的训练图片集以及测试图片集:
[0032] 准备的训练数据包括带火焰图像的正样本和非火焰图像的负样本;正样本的构成包括人工截取的火焰图像和通过步骤(3)获取的视频帧图像共同构成,数量大于10000张;通过设置在路口和室内的监控,获取真实应用场景下的视频,将不存在火焰的视频帧构成负样本;正负样本张数比例为1:0.8~1.2。
[0033] 步骤(5).通过密集连接卷积神经网络对候选火焰图像进行分类:
[0034] (5-1).构建密集连接卷积神经网络:
[0035] 密集连接卷积神经网络是一种深度神经网络。网络层数共有121层,包括前置的1个卷积层和最大池化操作,接着交替进行4个密集连接块与3个过渡层的操作,后进行全局平均池化,最后接1层全连接层与激活函数softmax进行分类操作,具体网络构成如下:
[0036] 将训练集中的图像大小固定为224×224尺寸,作为输入层。
[0037] 第1层为卷积层,卷积核大小3×3,步长为2;进行批归一化后,采用Relu函数激活,最后进行最大池化操作,核函数大小为3×3,步长为2;最大池化将特征图不重叠地分割成多个同样大小的小块,每个小块只取最大的数字,舍弃小块中其他节点,保持原有的平面结构,起到降采样的作用;
[0038] 第2层到第13层为第一个密集连接块,该密集连接块由6个卷积结构组成,每个卷积结构由批归一化加上Relu激活函数再加上卷积核大小为1×1,步长为1的卷积层,接上一组批归一化加上Relu激活函数加上卷积核大小为3×3,步长为1的卷积层的复合结构构成;由于采用密集连接的方式,每个卷积结构的输入由之前所有卷积结构的输出组合而成;
[0039] 第14层为过渡层,由批归一化操作、Relu激活函数以及1个卷积核大小1×1,步长为1的卷积层构成,然后进行平均池化操作,核函数大小为2×2,步长为2;
[0040] 第15层到第38层为第二个密集连接块,该密集连接块由12个卷积结构组成。第39层为过渡层;
[0041] 第40层到第87层为第三个密集连接块,该密集连接块由24个卷积结构组成;
[0042] 第88层为过渡层;
[0043] 第89层到第120层为第四个密集连接块,该密集连接块由16个卷积结构组成;
[0044] 第121层为全连接层,先进行2维自适应平均池化,核函数大小为1×1,即将之前的特征张量转换成全连接层所需的一维神经元;然后进行一层全连接层操作,输出的神经元个数为分类器类别的个数2,即火焰或非火焰;最后进行softmax操作,获得类别概率;
[0045] 为了防止过拟合,在每个密集连接块之间添加了drop out操作来增加模型的泛化能力;
[0046] (5-2).通过训练集对网络进行训练:
[0047] 采用的损失函数为交叉熵损失函数:
[0048] 优化器设置为随机梯度下降,并在每m次迭代后学习率衰减0.1,m<10,保存训练的网络以及最优参数;
[0049] (5-3).对将步骤(3)获取的Frpn图像进行分类:将Frpn中每张图像输入到网络中,计算类别以及类别概率,若分类结果为火焰且类别概率大于类别阈值c,则保存该图像在源监控视频帧中的空间位置信息(x,y,w,h);x、y为该图像的原点在源视频帧中的坐标,w、h为该图像的宽和高;保存下来的图像集标为Fc。
[0050] 步骤(6).对Fc进行二次混合颜色判断:将Fc中的图像重复步骤(3),计算火焰候选区域掩模内的像素占该区域图像总像素值的百分比,若百分比高于阈值则认定该图像中确实出现火焰,在源视频帧中将该区域所在位置用矩形框框选出来报警。
[0051] 本发明具有以下有益效果:
[0052] (1)本发明采用运动特征与混合颜色特征结合的候选区域选择机制,能有效的排除大部分监控视频帧非火焰区域,并采用每n帧进行混合颜色模型检查的方法,可以达到实时检测的效果,在720p的监控视频流中可以保持25帧每秒的稳定检测速度。
[0053] (2)本发明采用的混合颜色模型预选疑似火焰区域加明度模型扩展预选区域的操作,使得预选区域掩膜空洞更少,连通程度更好,在计算外包矩形的时能更完整精确地框选处疑似火焰的区域。
[0054] (3)本发明采用的密集连接卷积神经网络层数更深,但在加深层数的情况下因采用了密集连接,参数数量并没有增加,检测速度快且检测精度更高,能在训练数据不充分的情况下训练出更好的权重模型。
[0055] (4)由于深度神经网络分类器能很好的识别出正样本,本发明采用的二次混合颜色模型判断可以在不增加大量时间成本的情况下进一步减少误判。
[0056] (5)通过本发明设计的基于混合颜色模型与神经网络的火灾图像检测方法,可以在如森林、厂房内部、交通枢纽等不同场景下已布置的监控视频流实现火焰检测,在不增加额外的部署成本的同时实现火警智能安防。