[0005] 本发明的目的就是提供一种基于双目多维感知特性的立体视频显著性检测方法。
[0006] 本发明方法包括显著特征提取和显著特征融合。
[0007] 所述的显著特征提取是从立体视频的空间、深度以及运动三个不同维度的视图信息分别进行显著性计算,具体包括三部分:二维静态显著区域检测、深度显著区域检测、运动显著区域检测。其中:
[0008] 二维静态显著区域检测:根据Bayesian模型计算单张彩色图像的空间特征的显著性,检测出彩色图像的二维静态显著区域,具体是:
[0009] 通过计算单点的感兴趣概率的方法来估计物体的显著程度SZ:
[0010]
[0011] 式中z表示图像中的某个像素点,p表示相应的概率值,随机变量F表示一个点像素的视觉特征值,随机变量L表示一个像素点的坐标位置;二元随机变量C表示该点像素是否为目标像素,C=1表示为目标像素,C≠1表示不是目标像素;fz和lz分别表示注视在z点时的视觉特征值以及相应的像素坐标位置;假设在C=1的情况下,该点的视觉特征与空间位置是相互独立的,即有:
[0012]
[0013] 为了在一张图像中方便比较该点的显著概率,将上式进行对数化:
[0014] logsz=-logp(F=fz)+logp(F=fz|C=1)+logp(C=1|L=lz);
[0015] 式中第一项-logp(F=fz)表示该像素点特征的自信息量,只依赖于z的视觉特征,独立于任何先验信息;第二项logp(F=fz|C=1)表示对数似然函数项,用来表示目标的先验信息,因为该项更多的取决于人体的主观因素无法准确的计算,所以一般计算中可以忽略;第三项logp(C=1|L=lz)表示独立于视觉特性,反映目标可能出现位置的先验信息,一般情况下,我们并不知道目标位置的先验信息,则也可以忽略。因此,上式简化为:logSz=-logp(F=fz),即计算二维静态的整体显著性只需要考虑单点像素的自信量,通过计算图像各像素点的显著程度SZ从而获取二维静态显著图SMimage。
[0016] 深度显著区域检测的具体步骤是:
[0017] ①采用DERS(depth estimation reference software)软件根据输入的第k帧左视点图和右视点图计算出该帧的视差图,其中视差值d∈[0,255];
[0018] ②根据视差图中的最大视差值dmax和最小视差值dmin将视差值归一化到[0,1]区间;如果某像素点的视差值接近dmax则赋予大的视差值,相反接近dmin则赋予小的视差值,这样能够给前景物体与背景物体赋予不同的显著性得到深度前景图Dforeground,其中前景物体相对于背景物体更为显著;
[0019] ③利用高斯差分滤波器提取重要的深度感知特征—深度对比度DoG(x,y),实现公式下:
[0020]
[0021] 其中(x,y)代表滤波器位置,σ和K分别用来控制滤波器的尺度和高斯核的半径比。通过高斯差分滤波器DoG可以去除高频信号中的随机噪声,降低模糊灰度图像的模糊度,增加灰度图像的边缘细节可见性,将经DoG滤波后的深度图作为深度对比度图Dconstrast;
[0022] ④将获取的深度前景图Dforeground和深度对比度图Dconstrast进行线性加权融合,获取深度显著图SMdepth:
[0023] SMdepth=ω1Dforeground+ω2Dconstrast;
[0024] 其中:ω1和ω2分别为Dforeground和Dconstrast的权重。
[0025] 运动显著区域检测:根据当前帧的二维静态显著图SMimage和深度显著图SMdepth中的显著区域采用光流法提取相邻帧间运动矢量,获取运动显著图SMmotion,具体步骤是:
[0026] a.对二维静态显著图SMimage和深度显著图SMdepth进行二值化:
[0027]
[0028]
[0029] 式中,Timage和Tdepth分别为SMimage和SMdepth的二值化处理的门限值,最佳门限值通过大津算法获取,SM′image和SM′depth为经过二值化处理后的显著图,其中显著区域的像素值为1,不显著区域的像素值为0;然后将SM′image和SM′depth代入下式中来确定当前帧图像的光流计算区域S′(x,y):
[0030]
[0031] 式中S(x,y)表示当前帧原视图中像素点(x,y)处的灰度值;
[0032] b.根据划分的显著区域利用Lucas-Kanade微分光流算法计算相邻帧的运动;该算法假设连续时间内像素点的灰度值恒定不变,特征点邻域内做相似运动,就可对显著区域所有像素求解基本光流方程:
[0033] IxVx+IyVy=-It;
[0034] 式中Vx,Vy分别表示光流矢量沿x,y两个方向分量,Ix,Iy,It分别表示像素点沿x,y,t三个方向的偏导数,矢量形式表达式为:
[0035]
[0036] 式中▽IT=(Ix,Iy)T是该点的梯度方向,符号T代表转置, 为该点的光流,联立n个光流方程采用最小二乘法求解x,y方向的速度:
[0037]
[0038] 得到:
[0039] 通过上述方程计算显著区域的光流进而获取运动显著图SMmotion。
[0040] 所述的显著特征融合是将已获取的三种不同维度的显著特征图SMimage、SMdepth、SMmotion采取全局非线性归一化的融合策略进行融合,进而获取立体视频显著区域。为了有效融合三种不同维度的显著图,采取全局非线性归一化的融合策略将二维静态显著图、深度显著图以及运动显著图进行融合,具体步骤是:
[0041] (1)为了避免由于不同方法生成不同维度显著图而产生的幅值差异,先将已获取的各种不同维度的显著图归一化到一个相同的动态范围内(0到1区间);
[0042] (2)计算每张显著图的全局最大值Mi(i为image、depth或motion)以及局部极大值mi的平均值 其中Mi通过计算视差直方图可获取, 是先通过matlab中的差分函数计算出局部极大值,然后再取其平均值;
[0043] (3)将归一化后的各维显著图进行加权融合,计算公式如下:
[0044] i为image、depth或motion;
[0045] 式中N(SMi)表示归一化操作,即把不同的显著图都归一化到[0,1]区间,其中权重通过计算各维显著图的全局最大值Mi与局部极大值mi的平均值 的差值获得,当二者差值很大时,表明该显著图中的显著特征更为明显,应赋予大的权重;相反当差值很小的时候,表明该显著图的显著特征更为均匀,应赋予较小的权重进行抑制,这里取(Mi-mi)2作为每张显著图的权重值。通过临近相似特征相互抑制的方式来近似模拟生物神经抑制机制,融合三个不同维度的显著特征来获取立体视频的显著区域。
[0046] 本申请在视频图像处理研究领域中提出了一种新颖的立体视频显著性检测技术,尽可能的去模拟人眼视觉注意力机制。该检测技术主要分为显著特征检测与显著特征融合两大部分,其中显著特征检测分别利用空间,时间以及立体三个不同维度的立体视图信息进行显著性检测:在空间上,基于Bayesian计算模型简单有效的完成单张彩色图像的二维静态显著区域检测;在立体上,基于视差特征和通过使用高斯差分滤波器来获取纹理细节清晰的深度显著区域;在时域上,基于以上两个维度的显著区域采用局部光流法提取运动显著区域,有效的降低了计算复杂度;而显著特征融合方面为了获取高质量的立体视频显著图,采取近似神经抑制机制的融合策略将三个不同维度的显著特征进行融合进而得到立体视频显著区域。该立体显著性模型可以直接应用在3D视频压缩,3D质量评估以及物体识别和追踪等工程领域中。