首页 > 专利 > 杭州电子科技大学 > 一种结合深度可信度评价因子的深度图显著性检测方法专利详情

一种结合深度可信度评价因子的深度图显著性检测方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2018-02-07
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2018-09-25
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-09-07
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2038-02-07
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201810121931.5 申请日 2018-02-07
公开/公告号 CN108470178B 公开/公告日 2021-09-07
授权日 2021-09-07 预估到期日 2038-02-07
申请年 2018年 公开/公告年 2021年
缴费截止日
分类号 G06K9/46G06K9/00 主分类号 G06K9/46
是否联合申请 独立申请 文献类型号 B
独权数量 2 从权数量 0
权利要求数量 2 非专利引证数量 0
引用专利数量 2 被引证专利数量 0
非专利引证
引用专利 US2017351941A1、CN105869172A 被引证专利
专利权维持 4 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 周洋、刘晓琪、尉婉丽 第一发明人 周洋
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 3
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明涉及一种结合深度可信度估计的深度图像显著性检测方法。相对于平面图像,立体图像中所包含的深度特征对于目标物体的显著性检测提供了更有效的信息。本发明包括深度可信度评价因子计算、预处理和深度显著性检测;深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度;深度图可信度越好,提取目标物体的有用信息越多。此外,图像中距离人眼较近但非显著物体所在的区域对于显著性检测会造成一定影响;针对该情况提出一种预处理方式来降低地面等这类背景区域的干扰;最后,结合深度可信度评价因子进行基于深度紧凑性和对比度的显著性计算得到最终显著结果图。本发明获得的深度显著图质量较高,与视觉注意机制保持良好一致。
  • 摘要附图
    一种结合深度可信度评价因子的深度图显著性检测方法
  • 说明书附图:图1
    一种结合深度可信度评价因子的深度图显著性检测方法
  • 说明书附图:图2
    一种结合深度可信度评价因子的深度图显著性检测方法
  • 说明书附图:图3
    一种结合深度可信度评价因子的深度图显著性检测方法
  • 说明书附图:图4
    一种结合深度可信度评价因子的深度图显著性检测方法
  • 说明书附图:图5
    一种结合深度可信度评价因子的深度图显著性检测方法
  • 说明书附图:图6
    一种结合深度可信度评价因子的深度图显著性检测方法
  • 说明书附图:图7
    一种结合深度可信度评价因子的深度图显著性检测方法
  • 说明书附图:图8
    一种结合深度可信度评价因子的深度图显著性检测方法
  • 说明书附图:图9
    一种结合深度可信度评价因子的深度图显著性检测方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-09-07 授权
2 2018-09-25 实质审查的生效 IPC(主分类): G06K 9/46 专利申请号: 201810121931.5 申请日: 2018.02.07
3 2018-08-31 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种结合深度可信度评价因子的深度图显著性检测方法,其特征在于能够对深度图所包含目标区域的有效信息进行度量,并滤除部分背景区域的干扰,该方法具体包括以下步骤:
步骤一:输入深度图,采用SLIC算法将深度图分割为超像素块,并构建图G=(V,E);节点V由超像素分割产生,并设定为每一个超像素块的质心;边缘E连接相邻像素块;
步骤二:深度可信度评价因子分析
深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度;以超像素块为单元,结合均值、方差、熵值的物理意义,首先定义每个超像素块的参数并将其归一化,具体如下:
其中,m和s分别表示深度图的深度平均值和标准差,mi表示超像素块i的深度均值,0≤i≤N,N为超像素块的个数;H为二维图像熵,表示深度值分布的随机性,pl为某个深度灰度值在该图像中出现的概率,可由灰度直方图获得,L为灰度等级;C0为控制常量,设定其值为
2.0;
融合各超像素块的参数得出深度图可信度评价因子λ如下:
其中,N为SLIC算法计算时的超像素块个数,N取200;
步骤三:深度图预处理
在初步获取深度图像后,图像中距离人眼较近但非显著物体所在区域对于显著性检测会造成影响;针对这种影响提出一种预处理方式来降低背景区域地面的干扰;具体如下:
式中,Ik表示原始深度图中某像素点k的深度值,Ik′表示预处理后的像素点k的深度值;
为像素点k所在行的深度平均值;
步骤四:深度图显著区域检测
1)基于紧凑度和对比度的显著性计算;在完成深度可靠性因子评价和图像预处理后,从深度紧凑度和深度对比度两方面进行显著性检测计算;
a)基于紧凑度的显著性计算Scom
预处理后,定义两个超像素块的相似度为:
其中,m′i和m′j分别表示预处理后超像素块i,j的深度平均值,0≤i,j≤N,C1为控制常量,取值0.1;
结合深度可靠性评价因子计算基于紧凑度的超像素块i的深度显著性值具体如下:
其中,nj为超像素块j包含的像素点个数,m′j为预处理后超像素块的深度平均值,λj为
2
超像素块j的评价系数,σ为控制因子,取值为0.1; 为超像素块的质心坐标,为输入深度图的质心位置,具体如下:
其中Ik表示原始深度图中的像素值,xk,yk表示对应像素值的横纵坐标,w×h表示深度图中包含的像素点个数;基于深度紧凑度的超像素块i的显著图值Scom(i)计算如下:
Scom(i)=1‑norm(Sdc(i))
其中norm(·)为归一化函数,用来将Sdc(i)的值归一化到0到1之间;然后再把Scom(i)映射到[0,255]空间得到深度紧凑性显著性图Scom;
b)基于对比度的显著性计算Scon
预处理后,我们将灰度作为深度图的像素特征值,并计算深度图直方图,得到每一个灰度等级的概率fl,同时计算各像素特征值的距离矩阵D(I'k,I’l),进而得到基于对比度的第k个像素点的显著图值Scon(k)如下:
其中,D(I′k,I′l)=||I′k‑I′l||表示第k像素点的深度值I′k与其它像素点深度值I′l空间距离;
2)将获取的深度紧凑度显著图Scom和深度对比度显著图Scon进行线性加权融合,获取深度显著图SMdepth:
SMdepth=αScom+(1‑α)Scon;
其中:α和(1‑α)为Scom和Scon的权重因子,取值0.5。
说明书

技术领域

[0001] 本发明属于视频图像处理技术领域,具体涉及一种结合深度图可信性评价因子的深度图显著性检测方法。

背景技术

[0002] 近年来,在计算机视觉、神经科学等多个领域中对于人类视觉注意力机制的建模和研究已经成为主流。视觉注意力机制可以帮助人类快速地识别视觉显著区域,进而从大量复杂的视觉信息中获取有价值的内容。因此,模仿人类视觉机制进行显著性区域检测是计算机视觉领域的热门研究内容之一。如今,多媒体技术迅速成为当前的热门技术,立体视频(图像)备受社会各界关注,三维摄像机、立体电视机等数码媒体产品受到人们的追捧,成为信息技术的主流媒体并深深地影响着我们的日常生活。之所以立体视频技术相对于传统的二维视频技术更加热门,是因为它可以给观众提供一种更真实的体验感,其包含的深度信息具有丰富的视觉层次感,同时也有更强的视觉冲击。
[0003] 针对显著性检测技术,传统的检测模型大部分是基于图像的颜色,亮度等特性而采用不同的算法进行显著性检测,但日常生活中人眼除了接收到颜色、亮度等信息,深度信息也是信息特征之一。在立体图像的显著性计算过程中,深度特征可以提供更准确的位置信息。简单来说,深度图像的像素值能反映场景中物体到相机的距离,可应用于立体场景中目标区域的提取。而到目前为止,对于立体图像的显著性检测模型仍然没有系统完整的框架,而针对于深度图的研究和计算也才逐步兴起。
[0004] 鉴于上述现状,需要对立体图像和深度信息进行进一步的研究和学习,充分利用深度图像中的有效信息,进行显著性计算,并且与立体图像显著性计算的其他特征计算融合,准确的检测出立体图像的显著区域。

发明内容

[0005] 本发明针对现有技术的不足,提供一种结合深度可信度评价因子的计算方法。该方法具体包括以下步骤:
[0006] 步骤一:输入深度图,采用SLIC算法将深度图分割为超像素块,并构建图G=(V,E);节点V由超像素分割产生,并设定为每一个超像素块的质心;边缘E连接相邻像素块;(SLIC算法为已有技术)
[0007] 步骤二:深度可信度评价因子分析
[0008] 深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度;以超像素块为单元,结合均值、方差、熵值的物理意义,首先定义每个超像素块的参数并将其归一化,具体如下:
[0009]
[0010]
[0011]
[0012] 其中,m和s分别表示深度图的深度平均值和标准差,mi表示超像素块i的深度均值,0≤i≤N,N为超像素块的个数,本文取200。H为二维图像熵,表示深度值分布的随机性,pl为某个深度灰度值在该图像中出现的概率,可由灰度直方图获得,L为灰度等级;C0为控制常量,设定其值为2.0;
[0013] 融合各超像素块的参数得出深度图可信度评价因子λ如下:
[0014]
[0015] 其中,N为SLIC算法计算时的超像素块个数,N取200;
[0016] 步骤三:深度图预处理
[0017] 在初步获取深度图像后,图像中距离人眼较近但非显著物体所在区域对于显著性检测会造成一定影响,比如地面;针对该情况提出一种预处理方式来降低地面等这类背景区域的干扰;具体如下:
[0018]
[0019] 式中,Ik表示原始深度图中某像素点k的深度值,I′k表示预处理后的像素点k的深度值; 为像素点k所在行的深度平均值;
[0020] 步骤四:深度图显著区域检测
[0021] 1)基于紧凑度和对比度的显著性计算;在完成深度可靠性因子评价和图像预处理后,从深度紧凑度和深度对比度两方面进行显著性检测计算;
[0022] a)基于紧凑度的显著性计算Scom
[0023] 预处理后,定义两个超像素块的相似度为:
[0024]
[0025] 其中,m′i和m′j分别表示预处理后超像素块i,j的深度平均值,0≤i,j≤N,C1为控制常量,取值0.1;
[0026] 结合深度可靠性评价因子计算基于紧凑度的超像素块i的深度显著性值具体如下:
[0027]
[0028] 其中,nj为超像素块j包含的像素点个数,m′j为预处理后超像素块的深度平均值,2
λj为超像素块j的评价系数,σ为控制因子,取值为0.1; 为超像素块的质心坐标, 为输入深度图的质心位置,具体如下:
[0029]
[0030]
[0031] 其中Ik表示原始深度图中的像素值,xk,yk表示对应像素值的横纵坐标,w×h表示深度图中包含的像素点个数;基于紧凑对比度的超像素块i的显著图值Scom(i)计算如下:
[0032] Scom(i)=1‑norm(Sdc(i))
[0033] 其中norm(·)为归一化函数,用来将Sdc(i)的值归一化到0到1之间。然后再把Scom(i)映射到[0,255]空间得到深度紧凑性显著性图Scom。
[0034] b)基于对比度的显著性计算Scon
[0035] 预处理后,我们将灰度作为深度图的像素特征值,并计算深度图直方图,得到每一个灰度等级的概率fl,同时计算各像素特征值的距离矩阵D(I'k,Il'),进而得到基于对比度的第k个像素点的显著图值Scon(k)如下:
[0036]
[0037] 其中,D(I′k,I′l)=||I′k‑I′l||表示第k像素点的深度值I′k与其它像素点深度值I′l空间距离;
[0038] 2)将获取的深度紧凑度显著图Scom和深度对比度显著图Scon进行线性加权融合,获取深度显著图SMdepth:
[0039] SMdepth=αScom+(1‑α)Scon;
[0040] 其中:α和(1‑α)为Scom和Scon的权重因子,取值0.5。
[0041] 本申请在深度图显著性处理研究领域中提出了一种检测技术,尽可能地根据人眼视觉注意力机制原理提取出深度图中目标物体所在区域。该检测技术主要分为深度图可信度评价因子计算、深度图预处理及显著性计算三部分,其中深度图可信度评价因子主要依据图像像素灰度均值、标准差、熵等变化规律对于原深度图中包含有效信息的多少进行度量;对于深度图像中距离人眼较近但并非目标物体所在区域的像素点进行预处理,降低背景部分对于后续显著性计算带来的干扰,降低计算复杂度;深度图显著性计算主要包括两方面:基于紧凑度的计算和基于对比度的计算,并进行融合获取最终的深度显著图。该深度图显著性模型可应用于立体图像或视频的显著性提取中。

实施方案

[0051] 如图1所示,一种结合深度可信度评价因子的深度图显著性检测方法,该方法具体包括以下步骤:
[0052] 步骤一:输入深度图,如图2所示,采用SLIC算法将深度图分割为超像素块,并构建图G=(V,E);节点V由超像素分割产生,并设定为每一个超像素块的质心;边缘E连接相邻像素块,如图3所示;
[0053] (SLIC算法为已有技术)
[0054] 步骤二:深度可信度评价因子分析
[0055] 深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度;以超像素块为单元,结合均值、方差、熵值的物理意义,首先定义每个超像素块的参数并将其归一化,具体如下:
[0056]
[0057]
[0058]
[0059] 其中,m和s分别表示深度图的深度平均值和标准差,mi表示超像素块i的深度均值,0≤i≤N,N为超像素块的个数,本文取200。H为二维图像熵,表示深度值分布的随机性,pl为某个深度灰度值在该图像中出现的概率,可由灰度直方图获得,L为灰度等级;C0为控制常量,设定其值为2.0;
[0060] 融合超像素块的参数得出深度图可信度评价因子λ如下:
[0061]
[0062] 其中,N为SLIC算法计算时的超像素块个数,N取200;
[0063] 步骤三:深度图预处理
[0064] 在初步获取深度图像后,图像中距离人眼较近但非显著物体所在区域对于显著性检测会造成一定影响,比如地面;针对该情况提出一种预处理方式来降低地面等这类背景区域的干扰;具体如下:
[0065]
[0066] 式中,Ik表示原始深度图中某像素点k的深度值,I′k表示预处理后的像素点k的深度值; 为像素点k所在行的深度平均值;预处理结果如图4所示。
[0067] 步骤四:深度图显著区域检测
[0068] 1)基于紧凑度和对比度的显著性计算;在完成深度可靠性因子评价和图像预处理后,从深度紧凑度和深度对比度两方面进行显著性检测计算;
[0069] a)基于紧凑度的显著性计算Scom
[0070] 预处理后,定义两个超像素块的相似度为:
[0071]
[0072] 其中,m′i和m′j分别表示预处理后超像素块i,j的深度平均值,0≤i,j≤N,C1为控制常量,取值0.1;
[0073] 结合深度可靠性评价因子计算基于紧凑度的超像素块i的深度显著性值具体如下:
[0074]
[0075] 其中,nj为超像素块j包含的像素点个数,m′j为预处理后超像素块的深度平均值,2
λj为超像素块j的评价系数,σ为控制因子,取值为0.1; 为超像素块的质心坐标, 为输入深度图的质心位置,具体如下:
[0076]
[0077]
[0078] 其中Ik表示原始深度图中的像素值,xk,yk表示对应像素值的横纵坐标,w×h表示深度图中包含的像素点个数;基于紧凑对比度的超像素块i的显著图值Scom(i)计算如下:
[0079] Scom(i)=1‑norm(Sdc(i))
[0080] 其中norm(·)为归一化函数,用来将Sdc(i)的值归一化到0到1之间。然后再把Scom(i)映射到[0,255]空间得到深度紧凑性显著性图Scom。
[0081] 基于紧凑度计算的显著性结果图如图5所示。
[0082] b)基于对比度的显著性计算Scon
[0083] 预处理后,我们将灰度作为深度图的像素特征值,并计算深度图直方图,得到每一个灰度等级的概率fl,同时计算各像素特征值的距离矩阵D(I'k,I'l),进而得到基于对比度的第k个像素点的显著图值Scon(k)如下:
[0084]
[0085] 其中,D(I′k,I′l)=||I′k‑I′l||表示第k像素点的深度值I′k与其它像素点深度值I′l空间距离;基于对比度计算的显著性结果图如图6所示。
[0086] 2)将获取的深度紧凑度显著图Scom和深度对比度显著图Scon进行线性加权融合,获取深度显著图SMdepth:
[0087] SMdepth=αScom+(1‑α)Scon;
[0088] 其中:α和(1‑α)为Scom和Scon的权重因子,α取值为0.5。最终深度显著性检测结果图如图7所示。
[0089] 为验证本发明方法的准确性,选取了NJU‑2000数据集中的深度图进行测试,测试结果如图8(a)‑(f)所示。并与现有的其他方法结果进行比较,如图9(a)‑(i)所示实验结果验证了本发明能够有效的检测出深度图的显著区域。
[0090] 本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。

附图说明

[0042] 图1是本发明方法的流程图;
[0043] 图2是原始深度图;
[0044] 图3超像素分割结果;
[0045] 图4是深度图预处理结果;
[0046] 图5是基于紧凑度的显著性计算结果;
[0047] 图6是基于对比度的显著性计算结果;
[0048] 图7是深度图的显著区域检测图;
[0049] 图8是不同的深度图检测结果图;8(a)为深度图,8(b)为SLIC结果,8(c)为预处理结果图,8(d)为紧凑度显著结果图,8(e)为对比度显著结果图,8(f)为最终显著结果图;
[0050] 图9是不同模型方法结果对比图;9(a)为灰度图,9(b)为深度图,9(c)为GBVS方法结果图,9(d)为PCA方法结果图,9(e)为DSR方法结果图,9(f)为GR方法结果图,9(g)为ACSD方法结果图,9(h)为本方法结果图,9(i)为groundtruth。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号