首页 > 专利 > 杭州电子科技大学 > 一种红外行人感兴趣区域自适应分割提取方法专利详情

一种红外行人感兴趣区域自适应分割提取方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2015-03-19
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2015-11-04
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2017-10-31
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2035-03-19
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201510122505.X 申请日 2015-03-19
公开/公告号 CN104952060B 公开/公告日 2017-10-31
授权日 2017-10-31 预估到期日 2035-03-19
申请年 2015年 公开/公告年 2017年
缴费截止日
分类号 G06T7/11G06T7/136 主分类号 G06T7/11
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 0
引用专利数量 5 被引证专利数量 0
非专利引证
引用专利 CN102201059A、EP1950689A2、CN103279741A、US2014/0056479A1、CN103198332A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 徐向华、任新成、王淑丹 第一发明人 徐向华
地址 浙江省杭州市下沙高教园区2号大街 邮编
申请人数量 1 发明人数量 3
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州求是专利事务所有限公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
杜军
摘要
本发明公开了一种自适应红外行人感兴趣区域分割提取方法。现有的基于单目摄像头的全图滑窗穷搜索方法,存在搜索效率低导致检测系统无法达到实时的问题。本发明首先统计出N个红外图像直方图的第一个波谷均值To;其次计算自适应分割阈值θ;然后使用适应分割阈值θ对待分割图像进行二值化处理;对分割结果进行水平投影积分和垂直投影积分分析,滤除面积较小的热点干扰;根据满足的行人先验性知识进一步滤除面积较大的热干扰,将得到的结果记为RRule;对RRule的每个区域进行扩展和融合。本发明使用行人的长宽比、面积等先验性约束信息进行检查。本发明能极大减小滑窗搜索区域,大幅度减少搜索窗口数,提高目标检测的时间性能。
  • 摘要附图
    一种红外行人感兴趣区域自适应分割提取方法
  • 说明书附图:图1
    一种红外行人感兴趣区域自适应分割提取方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-04-19 专利实施许可合同备案的生效 IPC(主分类): G06T 7/11 合同备案号: X2022330000062 专利申请号: 201510122505.X 申请日: 2015.03.19 让与人: 杭州电子科技大学 受让人: 杭州知书科技有限公司 发明名称: 一种红外行人感兴趣区域自适应分割提取方法 申请公布日: 2015.09.30 授权公告日: 2017.10.31 许可种类: 普通许可 备案日期: 2022.03.31
2 2017-10-31 授权
3 2015-11-04 实质审查的生效 IPC(主分类): G06T 7/00 专利申请号: 201510122505.X 申请日: 2015.03.19
4 2015-09-30 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种红外行人感兴趣区域自适应分割提取方法,其特征在于包括如下步骤:
步骤1、统计出N个红外图像直方图的第一个波谷均值T0;
以灰度级为直方图横坐标,每个灰度级出现的次数作为直方图的纵坐标,统计出每个红外图像的灰度直方图,找到灰度直方图的第一个波谷的灰度值Troughk,并对所有第一个波谷的灰度值取平均记为T0;
其中k代表红外图像个数;
步骤2、计算自适应分割阈值θ;
2-1通过第一个波谷均值T0计算出加权函数Fwtd=α(T1-T0);
其中T1为灰度值高于T0的统计平均值,具体的:
α为微调因子,0.9<α<1.1;n为灰度值;
2-2扫描所有灰度级,求出满足类间方差最大化时的分割阈值θσ;
2-3计算出自适应分割阈值θ=θσ+Fwtd;
步骤3、使用自适应分割阈值θ对待分割图像进行二值化处理;
3-1扫描所有像素点,如果像素点的灰度级大于θ,则灰度级置为1,此时该像素点为前景目标疑似区域的像素点;如果像素点的灰度级小于等于θ,则灰度级置为0,此时该像素点为背景像素点,将此时的处理结果记为RSegmentation;
步骤4、对RSegmentation进行水平投影积分和垂直投影积分分析,滤除面积较小的热点干扰;
4-1以非零像素点的累加值作为直方图纵坐标值,像素坐标为直方图横坐标求水平投影积分和垂直投影积分的直方图,具体计算如下:

其中,H(i)为水平投影积分直方图纵坐标值,H(j)为垂直投影积分直方图纵坐标值,RF(i,j)是坐标为(i,j)的像素点的灰度值;H为图像高度,W为图像宽度;
4-2以水平投影积分和垂直投影积分的直方图的纵坐标值进行过滤,去除面积非常小的零碎热点干扰,得到的结果记为RProjection,具体过滤如下:
如果坐标为(i,j)的像素点的水平投影直方图纵坐标值H(i)<β,或者垂直投影积分直方图纵坐标值H(j)<β,则该像素点为热点干扰;其中β与提取目标的大小有关,取值范围是
2-8;
步骤5、根据满足的行人先验性知识进一步滤除面积较大的热干扰,将得到的结果记为RRule;
对RProjection中的高亮区域分别进行长宽比和面积大小的检查,滤除热点干扰包括车辆尾部、空调外机箱;如果某个区域的长宽比大于h或者小于w,则认为该区域为热干扰区域,有效滤除车辆尾部、空调外机箱的热点干扰,直接将该区域移除疑似区域,将最后得到的结果记为RRule;
所述的h和w与提取目标的形状相关,目标为行人时一般h取2,w取1;
步骤6、对RRule的每个区域进行扩展和融合;
每个区域向上下左右四个方向分别扩展e个像素,然后检查任意两个区域之间的距离,如果距离小于等于m个像素,则直接合并,否则不作处理;最后将扩展和融合得到的区域记为RFinal,作为最终的行人疑似区域输出;
所述的m与应用场景有关,取值1-3;
所述的e与要求检测到的最小目标的像素有关,取值为2-8。
说明书

技术领域

[0001] 本发明涉及一种基于车载红外图像的行人检测中的感兴趣区域(Region of interests,ROIs)提取方法,特别涉及一种红外行人感兴趣区域自适应分割提取方法。

背景技术

[0002] 随着交通事业的高速发展,交通安全变得越来越重要。行人是交通的主要参与者,不仅最容易受到伤害,而且牵涉到行人的事故会造成比其他事故更大的损失。在车载辅助驾驶系统中,利用红外图像的夜间行人检测技术对夜间车辆前方出现的行人进行远距离提前监测预警,是避免因夜间视线不清发生行人碰撞事故发生的重要手段。而红外行人感兴趣区域提取是车载红外行人检测技术中的关键一环,是影响检测效率和实时性的重要因素。
[0003] 针对可见光图像的ROIs提取,由于其具有丰富的纹理信息和高分辨率,目前已经出现很多优秀的ROIs提取算法。但是,在红外图像的ROIs提取方面,由于红外图像成像原理所限,成像分辨率较低,纹理信息远不如可见光丰富,针对可见光图像的很多好的ROIs提取方法不适用于红外图像分割提取。基于立体视觉的ROIs提取方法由于依赖于图像纹理信息,在红外图像中应用时无法取得理想的分割效果;在监控场景下常用的帧差法,由于车载摄像头的快速运动,也不适用于车载行人检测;基于光流分析的算法,由于运动估计运算量巨大,无法满足实时性要求;基于阈值分割的方法,目前几种经典的阈值分割算法如OTSU、Hou、Kittler和Kapur,仅以某种形式的方差或者熵作为分割准则,由于未考虑图像的特征,一般需要假设应用场景中的图像满足某种假设,在应用到车载红外场景时分割效果不甚理想。
[0004] 因此,针对车载单目红外行人检测的ROI提取,本发明提出了一种基于行人热点假设和样本统计的红外行人自适应快速分割提取方法。首先对红外行人图像进行灰度值的统计分析,计算基于行人热点假设的调整函数的值;然后使用该函数对类间方差最大时得到的阈值进行修正,实现ROIs行人区域的准确分割;最后利用行人的形状尺度先验约束信息对其它热干扰区域进行滤除。

发明内容

[0005] 本发明的目的是针对现有技术的不足,针对单目车载红外行人检测应用场景,提出了一种红外行人感兴趣区域自适应分割提取方法。
[0006] 本发明解决其技术问题采用的技术方案如下:
[0007] 一种红外行人感兴趣区域自适应分割提取方法,包括如下步骤:
[0008] 步骤1、统计出N个红外图像直方图的第一个波谷均值T0;
[0009] 以灰度级为直方图横坐标,每个灰度级出现的次数作为直方图的纵坐标,统计出每个红外图像的灰度直方图,找到灰度直方图的第一个波谷的灰度值Troughk,并对所有第一个波谷的灰度值取平均记为T0;
[0010] 其中k代表红外图像个数;
[0011] 步骤2、计算自适应分割阈值θ;
[0012] 2-1通过第一个波谷均值T0计算出加权函数Fwtd=α(T1-T0);
[0013] 其中T1为灰度值高于T0的统计平均值,具体的:
[0014] α为微调因子,0.9<α<1.1;m为灰度值;
[0015] 2-2扫描所有灰度级,求出满足类间方差最大化时的分割阈值θσ;
[0016] 2-3计算出自适应分割阈值θ=θσ+Fwtd;
[0017] 步骤3、使用自适应分割阈值θ对待分割图像进行二值化处理;
[0018] 3-1扫描所有像素点,如果像素点的灰度级大于θ,则灰度级置为1,此时该像素点为前景目标疑似区域的像素点;如果像素点的灰度级小于等于θ,则灰度级置为0,此时该像素点为背景像素点,将此时的处理结果记为RSegmentation;
[0019] 步骤4、对RSegmentation进行水平投影积分和垂直投影积分分析,滤除面积较小的热点干扰;
[0020] 4-1以非零像素点的累加值作为直方图纵坐标值,像素坐标为直方图横坐标求水平投影积分和垂直投影积分的直方图,具体计算如下:
[0021] 和
[0022] 其中,(i)为水平投影积分直方图纵坐标值,H(j)为垂直投影积分直方图纵坐标值,RF(i,j)是坐标为(i,j)的像素点的灰度值;H为图像高度,W为图像宽度;
[0023] 4-2以水平投影积分和垂直投影积分的直方图的纵坐标值进行过滤,去除面积非常小的零碎热点干扰,得到的结果记为RPrcjection,具体过滤如下:
[0024] 如果坐标为(i,j)的像素点的水平投影直方图纵坐标值H(i)<β,或者垂直投影积分直方图纵坐标值H(j)<β,则该像素点为热点干扰;其中β与提取目标的大小有关,一般取值范围是2-8;
[0025] 步骤5、根据满足的行人先验性知识进一步滤除面积较大的热干扰,将得到的结果记为RRule;
[0026] 对RPrcjection中的高亮区域分别进行长宽比和面积大小的检查,滤除热点干扰包括车辆尾部、空调外机箱;如果某个区域的长宽比大于h或者小于w,则认为该区域为热干扰区域,有效滤除车辆尾部、空调外机箱的热点干扰,直接将该区域移除疑似区域,将最后得到的结果记为RRule;
[0027] 所述的h和w与提取目标的形状相关,目标为行人时一般h取2,w取1;
[0028] 步骤6、对RRule的每个区域进行扩展和融合;
[0029] 每个区域向上下左右四个方向分别扩展e个像素,然后检查任意两个区域之间的距离如果距离小于等于m个像素,则直接合并,否则不作处理;最后将扩展和融合得到的区域记为RFinal,作为最终的行人疑似区域输出;(
[0030] 所述的m与应用场景有关,一般取1-3;
[0031] 所述的e与要求检测到的最小目标的像素高有关,一般取值为2-8。
[0032] 本发明首先对红外行人图像样本库进行灰度值统计分析,求解一个基于行人热点假设的加权函数;然后使用该函数对最大化类间方差计算出的阈值进行修正,解决其无法分割出行人小目标的问题,实现对中远距离行人的准确分割;接着对分割结果进行垂直和水平投影积分得到积分直方图,使用行人的长宽比、面积等先验性约束信息进行筛选过滤,将零散热光源、汽车尾部、空调外机箱等热干扰源滤除;最后得到更为准确的行人ROIs区域,大幅度减小滑窗搜索区域和搜索窗口数,提高行人目标检测的时间性能。
[0033] 本发明有益效果如下:
[0034] 本发明不需要额外设备即可准确快速的提取到行人感兴趣区域,大幅度减少滑窗搜索区域和搜索窗口数,提高行人目标检测的时间性能;另外本发明针对车载红外应用场景,使用了基于红外行人图像样本的统计特性和行人形状尺度的先验性信息,对车载场景下的热干扰具有更好的自适应性。

实施方案

[0036] 下面结合附图,以DPM(Deformable Parts Model)+LatentSVM(Latent Surpport Vector Machine)的行人检测算法,城市道路红外车载场景为例,对本发明的具体实施方案作进一步详细描述。其具体步骤流程如图1所示:
[0037] 选择N张(N与所选样本的代表性有关,一般需要200张以上)车载城市道路场景中的红外样本图片。要求这些样本包含各种热干扰以及不同距离行人,具体为:这些红外图片不仅包含10-60米等不同距离的行人,还包括各种热干扰,如空调外机箱、热光源、汽车尾部以及白天吸收阳光温度后温度升高的物体等。
[0038] 步骤1:统计出N个红外图像直方图的第一个波谷均值T0。
[0039] 以灰度级为直方图横坐标,每个灰度级出现的次数作为直方图的纵坐标,统计出每个红外图像的灰度直方图(满足双峰或多峰特性),找到灰度直方图的第一个波谷的灰度值Troughi,并对所有第一个波谷的灰度值取平均记为T0。
[0040]
[0041] 步骤2:计算自适应分割阈值θ。
[0042] 2-1通过第一个波谷均值T0计算出加权函数Fwtd=α(T1-T0),
[0043] 其中T1为灰度值高于T0的统计平均值,具体的: α为微调因子,0.9<α<1.1;
[0044] 2-2扫描所有灰度级,求出满足类间方差最大化时的分割阈值θσ;
[0045] 2-3计算出自适应分割阈值θ=θσ+Fwtd。
[0046] 所述的分割阈值θσ求解具体如下:记待分割图像(大小记为W*H)各灰度级出现的次数和概率分别记为Ni、Pi,则 灰度级θi可以将图像像素分为C0=[0,θi]和C0=[θi,255]两类,则两类的概率分别为 和ω1=1-ω0,两类的平均灰度分别为和 其中 使用准则函数Fσ(θ)=ω0ω1(μ0-μ1)2,扫描所有灰度级[0,1,2…255],找到使Fσ(θ)达到最大值的灰度级即为θσ。
[0047] 步骤3:使用适应分割阈值θ对待分割图像进行二值化处理。
[0048] 3-1扫描所有像素点,如果像素点的灰度级大于θ,则灰度级置为1,此时该像素点为前景目标疑似区域的像素点;如果像素点的灰度级小于等于θ,则灰度级置为0,此时该像素点为背景像素点,将此时的处理结果记为RSegmentation。
[0049] 此时,RSegmentation温度高的区域得到了高亮突出,方便后续的处理,且这些区域不仅包含行人还可能包含一些温度较高的热干扰。
[0050] 步骤4:对RSegmentation进行水平投影积分和垂直投影积分分析,滤除面积较小的热点干扰。
[0051] 4-1以非零像素点的累加值作为直方图纵坐标值,像素坐标为直方图横坐标求水平投影积分和垂直投影积分的直方图,具体计算如下:
[0052] 和
[0053] 其中,(i)为水平投影积分直方图纵坐标值,H(j)为垂直投影积分直方图纵坐标值,RF(i,j)是坐标为(i,j)的像素点的灰度值;
[0054] 4-2再以水平投影积分和垂直投影积分的直方图的纵坐标值进行过滤,去除面积非常小的零碎热点干扰,得到的结果记为RPrcjection,具体过滤如下:
[0055] 如果坐标为(i,j)的像素点的水平投影直方图纵坐标值H(i)<β,或者垂直投影积分直方图纵坐标值H(j)<β,则该像素点为热点干扰。其中β与提取目标的大小有关,一般取值范围是2-8。
[0056] 步骤5:根据满足的行人先验性知识滤除面积较大的热干扰,将得到的结果记为RRule。
[0057] 所述的行人先验知识包括高比宽范围、宽比高范围、面积值范围等。
[0058] 对RPrcjection中的高亮区域分别进行长宽比和面积大小的检查,滤除前方车辆尾部、空调外机箱等大热点干扰。如果某个区域的长宽比大于h或者小于w(h和w与提取目标的形状相关,目标为行人时一般h取2,w取1),则认为该区域为热干扰区域,有效滤除前方车辆尾部、空调外机箱等大热点干扰,直接将该区域移除疑似区域,将最后得到的结果记为RRule。
[0059] 步骤6:对RRule的每个区域进行扩展和融合。
[0060] 每个区域向上下左右四个方向分别扩展e个像素(e与要求检测到的最小目标的像素高有关,一般取值为2-8),然后检查任意两个区域之间的距离(如果有重叠认为距离为0),如果距离小于等于m个像素(m与应用场景有关,一般取1-3)则直接合并,否则不作处理;
将扩展和融合得到的区域记为RFinal,作为最终的行人疑似区域输出。
[0061] 步骤7:对RFinal中的每个疑似区域进行缩放。如果某个区域长或者宽小于检测窗的长宽,直接缩放至W×(H+)或者(W+)×H;如果某个区域长宽均大于检测窗的长宽,则以σ(σ为大于1的数,综合考虑检测精度与速度一般取值1.05)进行缩放构建金字塔,直至长等于H或者宽等于W停止,将得到的结果记为RPyramid。
[0062] 步骤8:将RPyramid送给主体检测算法DPM+LatentSVM进行滑窗检测。使用大小为W×H的检测窗,按照以左至右从上自下移动步长s像素(s为单元块的整数倍,一般取8或者16)的方式进行滑窗检测。如果检测窗被判断为行人,则将该检测窗左上角的坐标点和所在层的缩放因子记录到VResult;否则不作处理。
[0063] 步骤9:对VResult保存的结果进行融合输出,标定出行人准确位置。按照VResult保存的每个检测窗的位置和缩放因子将其还原到原图中,如果两个检测窗的重叠面积大于50%,保留置信度(DPM+LatentSVM返回的值)较高的检测窗,最终得到的检测窗即为行人的准确位置。

附图说明

[0035] 图1为本发明提取感兴趣区域过程的整体流程图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号