[0052] 图1为本发明的流程图。
[0053] 图2不同梯度图像的比较。
[0054] 图3前景标记的获取。
[0055] 图4优化前后的梯度图比较。
[0056] 图5分水岭变换分割结果的比较。
[0057] 图6本发明算法的背景图像的生成。
[0058] 图7Ballet序列第1帧的前景区域。
[0059] 图8Breakdancer序列第10帧的前景区域。
[0060] 图9修复算法[2]和本发明算法所提取的背景图像的比较。
[0061] 图10Ballet序列和Breakdancer序列中被动态前景遮挡的区域(红色部分)。
[0062] 图11修复算法[1]、修复算法[2]和本发明算法对空洞填充修复效果的比较。
[0063] 注：在本发明实施例中，为了比较本发明算法的优越性，与下列相关修复算法进行了比较。
[0064] 修复算法[1]：A.Criminisi,P.Perez and K.Toyama,"Region filling and object removal by exemplar-based image inpainting,"in IEEE Transactions on Image Processing,vol.13,no.9,pp.1200-1212,Sept.2004.
[0065] 修复算法[2]：C.Yao,T.Tillo,Y.Zhao,J.Xiao,H.Bai and C.Lin,"Depth Map Driven Hole Filling Algorithm Exploiting Temporal Correlation Information,"in IEEE Transactions on Broadcasting,vol.60,no.2,pp.394-404,June 2014.[0066] 具体实施说明
[0067] 下面结合附图对本发明实施例作详细说明。
[0068] 本发明基于梯度融合与聚类的三维视频图像修复方法，针对三维视频图像的空洞填充中的前景背景分割时，容易造成前景对象提取不准确而影响修复效果的不足，本发明采用分水岭算法与标记相结合的办法，对图像进行分割。首先，结合彩色图像的颜色梯度几何信息和深度图像的深度梯度结构信息获取视频图像的融合梯度图；接着，为了增强对前景对象的辨别能力，采用K均值聚类对融合梯度图进行标记修正，获得优化梯度图；然后，根据标记修正后的优化梯度图，利用分水岭变换对图像进行分割，并结合标记图提取前景；最后，根据邻帧间前景对象的移动区域获取背景图，结合背景图和Criminisi算法对空洞进行填充，获得最终的新视点图像。本发明较好地克服了原有分水岭算法在图像分割过程中易发生的过分割现象，完整提取了前景对象的纹理信息，使修复具有更好的视觉效果，证了相对较高的结构相似性(SSIM)，峰值信噪比(PSNR)相比于其他修复方法提高了1～3dB。下面对本发明的优选实施例作详细说明。
[0069] 在本实施例中，图1给出了本发明的流程图。
[0070] 第一步：梯度图像的构建。
[0071] 分水岭计算方法的基本思想是把图像看作是测地学上的拓扑地貌，图像中每一像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆地，而集水盆地的边界则形成分水岭。分水岭变换得到的是输入图像的集水盆图像，集水盆之间的边界点(即为分水岭)。
[0072] 梯度图像通常作为分水岭变换的直接处理对象。然而，对彩色图像的处理并不总是等于直接在颜色向量空间中的处理，分别计算图像梯度然后形成彩色图像可能得到与人眼视觉特性不一致的结果。因此，在彩色向量空间直接计算梯度比以单独的分量图像为基础计算梯度具有更高的准确度。本发明采用彩色向量空间梯度算法，直接在RGB向量空间计算梯度。设 是RGB彩色空间沿R、G、B轴的单位向量，像素沿水平方向和垂直方向的彩色梯度可用向量来表述:
[0073]
[0074]
[0075] 根据这些矢量的点积，分别定义gxx、gyy和gxy如下：
[0076]
[0077]
[0078]
[0079] 由此可得彩色图像的梯度图(简称彩色梯度图)为：
[0080]
[0081] 其中，变量θ的大小为：
[0082]
[0083] 与彩色图像相比，深度图像具有物体三维特征信息。由于深度图像不受光源照射方向及物体表面的反射特性的影响，而且不存在阴影。所以，深度图可以更准确地表现物体目标表面的三维深度信息。为了更好地衡量富含结构及纹理部分区域样本块之间的特征差别，本发明引入深度图的深度梯度信息。
[0084] 对深度图进行梯度处理。令Gdepth为深度图像I的深度梯度图，其中任意像素点的梯度值为：
[0085]
[0086] 其中，Gx，Gy为水平方向梯度与垂直方向梯度，其大小分别利用模板Sobel算子与图像I进行卷积计算而得。结合彩色梯度图Gcolor与深度梯度图Gdepth，本发明对彩色图像的梯度图重新定义(简称融合梯度图)为：
[0087] G＝αGcolor+βGdepth (9)
[0088] 其中，α+β＝1，在本发明中取α＝0.4，β＝0.6。
[0089] 图2分别给出了改进前后提取彩色图像的梯度图，图2(a)是Ballet视频序列中第n帧的原始彩色图，图2(b)是该帧的深度图。从图2(c)和图(d)中可以看出，虽然在利用式(6)获取的彩色梯度图Gcolor中，较好地给出了彩色图像的细节信息，但是由于前景对象与背景的颜色相近，没有给出前景对象的边缘特征信息。而采用式(9)获得的融合梯度图G，不仅给出了彩色图像的细节信息，同时也较好地突出了前景对象。
[0090] 步骤2：利用K均值聚类获得前景标记。
[0091] 为了克服分水岭变换时，因为局部极小值对分割的影响，产生严重的过分割现象，还需进一步优化梯度图像。为此，本发明采用前景标记来解决这一问题。
[0092] 前景标记是指对梯度图像中感兴趣目标的区域最小值进行标记，屏蔽去除其他最小值，以达到分割感兴趣区域的目的。为了能准确地提取标记，本发明采用K均值聚类方法对深度图进行初步提取前景，获取感兴趣的目标对象。
[0093] K均值聚类算法采用迭代式的过程对像素点分配到K类簇中，使每个像素点所在的类具有最接近的均值，具有良好的简捷性和较强的适应性。图3给出了采用K均值聚类算法对图2(b)深度图的分类结果。利用K均值聚类(K＝2)，将深度图粗糙的分为两类，白色区域为前景，黑色区域为背景。通过检测连续帧之间的前景区域的变化，对被遮挡的背景进行更新。当利用K均值聚类对第n帧的深度图像进行处理时，可获得第一个前景模板，如图3(a)所示(白色区域)。对第n+1帧进行相同处理，获得第二个前景模板，如图3(b)所示(白色区域)。比较第一个和第二个前景模板之间的差别，就可获得第n帧与第n+1帧之间的前景对象的移动区域，记为 如图3(c)所示(白色区域)。以此类推，用相同的方法处理第n帧与其它剩余帧之间的前景对象移动区域 (j≠n)，最后将获得的所有前景对象移动区域 进行叠加，最终获得第n帧在整个视频序列中的前景对象移动区域(即 )，如图3(d)所示(白色区域)。在本发明中将所提取的前景对象移动区域 简称为第n帧的标记图。
[0094] 在获取第n帧的标记图后，对融合梯度图G(如图2(d)所示)进行修改优化。首先，根据标记图中的前景对象移动区域 (白色区域，说明：为了便于观察，图中改变了相应像素点的灰度级)，逐一找到融合梯度图G中对应的区域，并将该区域的梯度值强制标定为局部极小值，最后得到修改优化后的梯度图(简称为优化梯度图，记为G′)，如图4(b)所示。利用标记图进行修改后的优化梯度图减少了融合梯度图中的前景区域的伪局部极小值的数量，从而消除由这些伪局部极小值产生的过分割现象。
[0095] 步骤3、前景提取和空洞修复填充。
[0096] 当完成对梯度图优化后，利用分水岭变换，对优化梯度图进行分割，提取前景。令Iws分水岭变换结果，即
[0097] Iws＝watershed(G′) (10)
[0098] 其中，watershed(·)表示分水岭。图5分别给出了融合梯度图和优化梯度图进行分水岭变换后获得的图像分割效果。
[0099] 在此基础上，为了有效提取动态前景对象的区域，再次利用前景标记 对分水岭变换后的图像Iws进行前景提取。若将分水岭变换后的图像Iws中的区域定义为Γi(i≥1)，利用前景标记ΓK对区域Γi中的像素点p进行前景判断，并计算区域Γi内的前景像素点所占百分比：
[0100]
[0101] 然后，根据α的大小，按以下原则判断该区域是否为前景区域：当α≥0.5时，该区域为前景区域；当α<0.5时，该区域为背景区域。
[0102] 由于前景的移动，会对背景产生遮挡，因此，仅利用某一帧来完成背景的提取难度较大。为此，本发明采用帧差法获取背景图，具体步骤如下：
[0103] (1)对视频序列中的每一帧进行分水岭变换，获得每一帧的前景区域和背景区域；
[0104] (2)选取其中一帧，逐一将该帧的前景区域与其他帧的前景区域进行比较，获得遮挡区域；
[0105] (3)利用其他帧的背景区域对遮挡区域进行填充，最后获得整个视频的背景图像。
[0106] 利用式(11)对梯度图进行前景区域的提取，用同样的处理方法得到第n+j帧(j＝1,2,…,j≠n)前景区域。然后，对这两帧的前景区域进行比较，由此得到因前景对象的移动产生的对背景的遮挡区域。该遮挡区域给出了从第n帧的前景区域转变成为第n+j帧的背景区域，故可利用第n+j帧的背景区域对该遮挡区域进行填充。用类似处理方法，利用剩余其他帧j的背景区域对第n帧的前景区域进行填充后，最后获得该视频的背景图像。
[0107] 在对空洞进行修复填充时，对于分别属于前景和背景区域的空洞，由于产生的原因不同，有针对性的采取不同的填充方式就能获得更好的效果。本发明对空洞的修复填充原则是，对由前景移动产生的空洞，利用背景图像进行填充；对非前景移动产生的空洞，则利用Criminisi算法进行填充。
[0108] 由于因前景移动产生的空洞主要出现前景和背景的交界处，即深度值产生大幅度跳变的区域，因此，可对深度图像中的深度值进行检测，确定出现空洞的位置，利用背景图像中的相应区域对空洞进行填充。检测深度值突变的公式如下所示：
[0109]
[0110] 其中，D(i,j)为点(i,j)处的深度值。对于Dmask＝1,2的像素点，利用背景图像进行填充；对于Dmask＝0的像素点，利用Criminisi算法进行填充。
[0111] 为了检验本发明算法的修复效果，对图像进行了模拟仿真，并与其他算法进行了对比实验。仿真实验在MATLAB环境下进行。在对图像修复效果进行评价时，除了采用主观评价外，同时也采用峰值信噪比(PSNR)和结构相似性(SSIM)进行客观评价。
[0112] 图7、8分别给出了两个序列中的某一帧利用本发明算法提取的前景。图7(a)和8(a)是经过K均值聚类(K＝2)后获得的前景标记，图7(b)和8(b)是利用优化梯度图进行分水岭变换得到的图像分割结果，图7(c)和8(c)是为了使分割结果可视化，将图7(b)和8(b)中的分割图像作为彩色图像进行显示，图7(d)和8(d)则为利用前景标记对分割图像进行前景提取获得前景区域。从图中可以看出，结合彩色图像和深度图像的梯度提取，能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征，有效地表达图像的梯度；利用标记图像进行梯度修改优化，能较好地抑制分水岭过分割现象和有效提取图像的前景。
[0113] 图9分别给出了利用本发明算法提取的背景图像和修复算法[2]提取的背景图像。从图9(a)和9(c)中可以看出，修复算法[2]的背景图像仍存在多余的前景信息，而且也遗留了部分前景边缘，而利用本发明算法所获得的背景图像更加清晰，如图7(b)和7(d)所示，前景对象所遮挡的背景区域被还原得比较完整，且前景对象的边缘纹理也消除得比较完整。
[0114] 图10给出了由前景移动产生的空洞(红色标记部分)，图11给出了不同算法对该空洞修复填充的效果。从图11(a)和11(b)的修复算法[1]的空洞填充效果看，仅利用图像中相邻的像素进行填充，容易产生模糊的效果；修复算法[2]利用提取的背景图像进行空洞填充，却存在较多的前景边缘像素，如图11(c)、(d)所示。从图11(e)和11(f)可以看出，相比于前两种空洞填充修复方法，本发明算法填充修复的空洞区域被还原得比较完整，且前景对象的边缘纹理也消除得比较完整。
[0115] 表1修复算法[1]、修复算法[2]和本发明算法的PSNR和SSIM的比较。
[0116] 表1 PSNR和SSIM的比较结果
[0117]
[0118] 表1分别给出了三种算法对两个视频序列填充修复进行新视点图像合成的客观评价结果(统计平均值)。从表中数据可知，相较于其他两种空洞填充方法，本发明算法在PSNR上，有着较大改善，提高了1～3dB；在结构相似性(SSIM)上，本发明算法也与真正的视点图像有着较大的相似度。由此可以看出，对于由前景移动产生的空洞区域，本发明算法的填充修复能获得较好视觉效果，具有较高的信噪比(PSNR)和结构相似性(SSIM)。
[0119] 从以上实验仿真数据可以看出，本发明能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征，能够有效地表达图像的梯度；利用优化梯度，能较好地抑制分水岭过分割现象；对于由前景移动产生的空洞区域，本发明算法的填充修复能获得较好视觉效果，保证了较高的结构相似性(SSIM)，峰值信噪比(PSNR)改善了1-3dB。
[0120] 以上对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。
