[0033] 结合以下具体实施例和附图，对本发明进一步的详细说明。本申请目的是研究在传输过程中图像整帧丢失错误的情况下，如何利用有效的错误隐藏方法重建及改进图像质量。
[0034] 如图1，一种结合虚拟视点绘制3D-HEVC整帧丢失错误隐藏方法，具体如下：
[0035] 步骤1.利用单路视点绘制视点丢失视频帧：利用单路视频结合DIBR技术，将整帧图像的纹理进行整体重建，重建出此帧图像，但不同区域有不同程度的失真；具体方法如下：
[0036] 三维空间中的任意一点N，在一个双相机系统中，在两个视角中的投影分别为n和n′。利用深度图像信息将原始图像投影到三维空间中，假设世界坐标系等于第一个相机的相机坐标系，则两个视角的投影变换方程如下：
[0037]
[0038] 其中， T0＝[0 0 0]T，
[0039] 式中，为一个三维空间点N的齐次表示，对应的 和 则分别是两个二维图像点的齐次表示，x、y分别为空间点在两个坐标轴上的位置；3×3的矩阵Z和Z′分别对应两个相机的内参矩阵，3×4的单位矩阵P为投影矩阵，C为旋转平移矩阵；T为矩阵转置，表示成比例相等，即不考虑缩放比例的情况下相等；在第二个视角中，旋转矩阵R表示将三维空间点从世界坐标系变换到相机坐标系时需要使用到的矩阵，T0为3×1且个元素都为0的矩阵，f为相机的焦距；
[0040] 若其深度值为D，三维空间点N的仿射表达为：
[0041] 得到典型的仿射差异方程：
[0042] 其中，A和A'分别为两个视点的摄像机矩阵；式(3)定义了在同一个三维场景中，两个不同投影视角对应点之间的深度依赖关系；利用原始图像中每个像素点所对应的三维空间中的深度值，通过式(2)计算合成新视点图像。
[0043] 基于此原理，结合正确接收的单路视点视频及其深度图，进行DIBR绘制当前视点的虚拟绘制视点。此步骤重建的视点图像为当前视点的绘制视点，包含的帧为当前视点绘制帧。
[0044] 步骤2.已绘制图像中边界块判定及修补模糊区域：由于单路视点的绘制信息有限，在某些纹理边界处会有严重失真，此类区域进行模糊失真修补；具体步骤如下：
[0045] 2-1.判断图像的边界，所述边界包括整体边界和物体边界：
[0046] 图像的整体边界由整体边界块构成，提取图像的整体边界块的具体方法是：
[0047] 多视点加深度格式的视频，各视点拍摄相机的位置不同，拍摄出视点的内容在物体位置，角度上都有所差异。使用其他单路视点进行当前视点的图像绘制时，由于其他单路视点的拍摄相机位置相对于当前视点有一定的平移，当前视点中有一部分图像在其他单路视点中处于摄像机拍摄范围之外，是拍摄不到的，那么用其他视点作为参考，来绘制当前视点的虚拟视点图时，拍摄不到的区域就无法正常的进行绘制。这部分区域存在于整个图像的边界之处。提取的方法是将左上角像素坐标值处于图像边界的图像块全部标记为整体边界块。
[0048] 图像的物体边界由图像内的物体边界块构成。有一部分图像在当前视点可见，但是由于不同视点拍摄角度不同，在其他单路视点中被其他物体遮蔽，同样是相机“拍摄不到”而产生绘制失真。这部分图像经常出现在物体的边缘处，处于前景的物体遮挡了背景物体。将含有物体产生了遮挡效应的边缘图像块判定为物体边界块，提取方法如下：
[0049] 因为视点间的绘制失真是由于相机水平或垂直位置的差异，所以相机位置水平差异会产生左右边界绘制失真，相机位置垂直差异会产生上下边界绘制失真。当前帧整帧丢失而深度图没有发生丢失的情况下，由于深度图中物体的边界部分会十分明显，通过深度序列的同位块来判断当前图像块是否为产生了遮挡效应的边缘图像块。结合深度图的灰度特性，我们可以很好的将这种遮挡效应转化为深度图中像素值的关系：
[0050] 用该深度同位块四个角块(16×16)的像素值做判断：水平差异情况时，用左上角与右上角的差值，左下角与右下角的差值进行判断；垂直差异情况时，用左上角与左下角的差值，右上角与右下角的差值进行判断；其中任一差值如大于阈值I(I＝18～22，通过二值法得到此值，本实施例中I＝20)则判断当前图像块为物体边界块。
[0051] 2-2.边界块修补：
[0052] 整体边界块的修补方法：整体边界块通过绘制产生的失真主要是由于相机拍摄位置的原因，修补这部分区域采用视点间的图像参考补偿方法，将原本处于拍摄范围之外的图像在其他视点找到相应的同位置图像块，将这些图像块复制像素值填补至当前失真位置。
[0053] 物体边界块的修补方法：
[0054] 首先基于深度图的当前视点绘制帧图像块内像素划分：
[0055] 相机拍摄过程中，离相机位置较近的物体会遮挡离相机位置较远的物体，而深度图中像素值的大小恰恰是根据物体离相机位置决定的，离相机较近的物体，其在深度图中的像素值会偏大，反之则偏小。在块的边界两侧，就会发生深度图像素值的显著变化。我们可以根据此原理将一个物体边界块分割为前位像素和后位像素；处于离相机靠前位置的前位像素，这部分像素不会被遮挡，只会遮挡其他像素；处于离相机靠后位置的后位像素，这部分像素中包含了产生遮挡效应而发生绘制失真的像素；具体分割算法：将物体边界块内所有像素按照像素值从大到小排列，根据最大的像素值Pmax设定阈值U,U＝Pmax-25；大于阈值U的为前位像素，小于或等于阈值U的为后位像素。
[0056] 然后根据像素划分进行物体边界块修补：
[0057] 物体边界块通过绘制产生的失真主要是由于遮挡效应，利用视频序列帧间的时域相关性来减弱或消除遮挡效应。假设当前视点丢失帧的前向及后向参考帧完好接收，那么在当前视点绘制帧中原本处于被遮挡状态的景物无论静止或运动，都会在前向或后向参考帧中就会暴露出来(前向或后向取决于物体的运动方向)，解决了相机“拍摄不到”的问题后，遮挡效应就会很好的减弱甚至消除。修补物体边界的方法是在产生遮挡效应的后位像素所在区域，复制前向或后向参考帧中暴露出来的像素值，而在前位像素区域所在区域保留原有的像素值。这样既可以对失真的像素进行修补，又不会破坏没有发生失真区域原有的像素值。
[0058] 步骤3.图像块运动判别及分类后残差填补处理：将图像分为静止块和运动块,对静止块进行静态残差填补，对运动块进行均值残差填补。具体方法如下：
[0059] 3-1.运动块的判断：
[0060] 单纯使用前后向参考帧像素差判断不准确，尤其当前后参考帧在时域距离较远时。采用运动块联合判定方法判断，具体包括：
[0061] (1)如当前视点绘制帧图像块的平均像素与前向或后向参考帧同位块的平均像素的差值大于阈值Y1(Y1＝20～30)，则判断当前视点绘制帧图像块为运动块，本实施例中Y1＝25；
[0062] (2)基于像素比较的判断方法。由于即使静止物体同一位置的像素有时也不会完全相同，而且根据人眼分辨率识别度的关系，像素差在一定范围内人眼并不能察觉到有差别，所以我们设定一定的正常差值范围，如果当前视点绘制帧图像块内某一像素与参考帧中同位块内同位置像素的差值如果在正常差值范围内，即小于阈值Y2(Y2＝10～20)，则判断这两个像素近似相同，如果大于等于阈值Y2，则判断这两个像素不同，本实施例中Y2＝15；统计一个64×64块内，当前视点绘制帧图像块与参考帧中同位块内不同的像素数量，如果数量达到512，则判断当前视点绘制帧图像块为运动块；
[0063] (3)基于SSIM(structural similarity index，结构相似性)局部图像块相似度的判断方法。SSIM是一种衡量两幅图像相似度的指标，将这种用于比较两幅图像的算法用于局部，对比当前视点绘制帧与参考帧的局部结构相似性，判断局部是否处于运动状态。
[0064] 联合三种方法，判断运动块：当每种方法都判断当前视点绘制帧图像块为运动块时，当前视点绘制帧图像块最终判断为运动块，反之判断为静止块。
[0065] 3-2.残差填补处理：
[0066] 如图2，静止块与运动块分别采用了不同的算法，算法如下：
[0067] Step1：基于当前视点丢失帧的参考帧图像，绘制参考帧图像，并进行边界填补的处理操作；
[0068] Step2：计算参考帧内图像块的像素残差，静止块计算各个像素残差作为其残差值，运动块计算一个块区域内的残差平均值作为每个像素的残差值；
[0069] Step3：将像素残差补偿至当前视点绘制帧，得到最终的当前视点重建帧。
[0070] 结果恢复如图3所示。
[0071] 本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。
