首页 > 专利 > 杭州电子科技大学 > 基于DWT的3D-HEVC快速CU分割预测方法专利详情

基于DWT的3D-HEVC快速CU分割预测方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-08-13
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-12-10
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-07-09
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-08-13
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910744353.5 申请日 2019-08-13
公开/公告号 CN110460844B 公开/公告日 2021-07-09
授权日 2021-07-09 预估到期日 2039-08-13
申请年 2019年 公开/公告年 2021年
缴费截止日
分类号 H04N19/117H04N19/119H04N19/635H04N19/70 主分类号 H04N19/117
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 2
权利要求数量 3 非专利引证数量 1
引用专利数量 2 被引证专利数量 0
非专利引证 1、2007.10.11CN 105491385 A,2016.04.13CN 106464855 A,2017.02.22CN 107801026 A,2018.03.13CN 107018412 A,2017.08.04朱威,张晗钰,易瑶,张桦.低复杂度的HEVC帧内编码模式决策算法《.小型微型计算机系统》.2017,;
引用专利 US2017155924A、US2007237411A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 张桦、黄鸿飞、於世芳、姚王泽、吴以凡、戴国骏 第一发明人 张桦
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于DWT的3D‑HEVC快速CU分割预测方法。快速CU分割预测编码决策方法在CU划分之前,首先对CU进行DWT变换获得当前CU的DWT系数矩阵,然后对当前系数块的水平,垂直,对角线方向系数和进一步对预测块的四周方差进行判断是否平缓,如果平缓则CU不需要划分为子CU,否则进入递归进一步划分。DWT具有能量聚集的特性,故在3D‑HEVC深度图编码过程中可以明显区分编码块是否具有边缘。本发明直接对CU进行判断,减少了递归带来的时间消耗因此具有计算复杂度低、编码时间短和视频重建效果好的特点。
  • 摘要附图
    基于DWT的3D-HEVC快速CU分割预测方法
  • 说明书附图:图1
    基于DWT的3D-HEVC快速CU分割预测方法
  • 说明书附图:图2
    基于DWT的3D-HEVC快速CU分割预测方法
  • 说明书附图:图3
    基于DWT的3D-HEVC快速CU分割预测方法
  • 说明书附图:图4
    基于DWT的3D-HEVC快速CU分割预测方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-07-09 授权
2 2019-12-10 实质审查的生效 IPC(主分类): H04N 19/117 专利申请号: 201910744353.5 申请日: 2019.08.13
3 2019-11-15 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.基于DWT的3D‑HEVC快速CU分割预测方法,其特征在于包括如下步骤:
步骤1:读入一个CU,经过离散小波变换后得到其DWT系数矩阵;
步骤
2.对当前系数块的右下角系数进行求和,若其和的值为零则直接判断该预测块是平缓的,没有边缘,并且跳转步骤5;若其和的值不为零,跳转步骤3;
步骤3:进一步计算DWT系数矩阵的四周方差,即对当前的CU块求周围方差var:对其第一行、最后一行、第一列、最后一列总计4N‑4个数字求方差,其中N为CU的宽度;若方差var大于1,则判断其存在边缘,跳转到步骤4;若方差var小于1,则不存在边缘,跳转步骤5;
步骤4:让该CU进入递归,将该CU划分为4个大小为N/2*N/2的子CU,对每个子CU,跳转到步骤1;
步骤5:该CU不需要划分,划分过程结束。

2.根据权利要求1所述的基于DWT的3D‑HEVC快速CU分割预测方法,其特征在于步骤1所述的DWT系数矩阵获取如下:
首先定义一些变量与滤波器:
x[m,n]:输入的离散信号即预测矩阵(PU);
g:Low pass filter低通滤波器,将输入信号的高频部分过滤而输出低频部分;
h:High pass filter高通滤波器,将输入信号的低频部分过滤而输出高频部分;
↓Q:Downsampling filter降采样滤波器,如果以x[n]为输入,则输出y[n]=x[Qn];
DWT变换过程:对于输入的x[m,n],先让其通过低通滤波器g,再沿着n的方向进行降采样得到v1,L[m,n],再让其通过高通滤波器h,再沿着n的方向进行降采样得到v1,H[m,n],这是经过一次滤波后得到的系数,同样把v1,L[m,n],v1,H[m,n]作为输入信号执行上一步同样的操作,但是在采样的时候是沿着m方向,得到四个部分x1,L[m,n],x1,H1[m,n],x1,H2[m,n],x1,H3[m,n],其中x1,L[m,n]是低频区域,给出信号的特征;而x1,H1[m,n],x1,H2[m,n],x1,H3[m,n]是高频区域,给出信号的细节;依据高频信号来判断是否存在边缘,给出转换的公式如下:
其中,x1,L[m,n],x1,H1[m,n],x1,H2[m,n],x1,H3[m,n],代表整体信息、水平方向信息、垂直方向信息以及对角线方向的信息,利用水平方向信息、垂直方向信息以及对角线方向的信息来进行判断其是否存在边缘。

3.根据权利要求2所述的基于DWT的3D‑HEVC快速CU分割预测方法,其特征在于步骤3过程如下:
首先对x1,H1[m,n],x1,H2[m,n],x1,H3[m,n]的值求和,若其值为零则判断该CU不存在边缘,若不为零则对该CU即输入矩阵x[m,n]四周的值求方差,求方差的数据为x[0,0]~x[0,n],x[m‑1,0]~x[m‑1,n],x[1,0]~x[m‑2,n],x[1,n]~x[m‑2,n]得到其方差var,若var大于1,判断其存在边缘,否则不存在边缘。
说明书

技术领域

[0001] 本发明涉及视频编码领域,具体是一种基于DWT的3D‑HEVC快速CU分割预测方法。

背景技术

[0002] 在过去几年里,随着3D视频服务需求的增加,3D视频的展现、压缩和传输成为一个新的有挑战的研究课题。多视角加深度图(MVD)的视频格式是多种有发展前景的视频表现形式中的一种。由3D视频编码扩展开发联合协作组(JCT‑3V)提出的高质量视频编码的3D扩展(3D‑HEVC)是对于压缩MVD数据的一种新兴视频编码标准。
[0003] 传统的CU分割是以递归划分至最小尺寸后逐渐向上比较进行判断是否划分,其时间复杂度很大,我们可以在其划分之前加入判断其其是否需要划分,若不需要划分则不必进入递归,否则进入递归划分,由于深度图中平缓的较多,所以其中很多CU都不需要划分,可大大减少CU分割的时间。
[0004] 离散小波变换(DWT)是与傅立叶变换相关的一种变换,它继承和发展了短时傅立叶变换局部化的思想,同时又克服了窗口大小不随频率变化等缺点,能够提供一个随频率改变的“时间‑频率”窗口,一张图片经过DWT后,绝大部分能量集中在左上角的低频系数中;相反,如果像素块中包含较多细节纹理信息,则较多能量分散在高频区域。当一个像素块较为平缓时,它的高频信号基本为零,当其存在一定的纹理变化时,它的高频信号存在不为零的值,我们可以以此来对像素块进行判断。
[0005] 参考文献:
[0006] [1]Tech G,Chen Y,Müller K,et al.Overview of the Multiview and 3D Extensions of High Efficiency Video Coding[J].IEEE Transactions on Circuits&Systems for Video Technology,2016,26(1):35‑49.
[0007] [2]Zhang Tao,Ming Ting Sun,Debin Zhao,and Gao Wen“, Fast intra mode and cu size decision for hevc,”IEEE Transactions on Circuits Systems for Video Technology,2016.
[0008] [3]Dami′an Ruiz,Fern′andez‑Escribano,and et.al,“Fast cu partitioning algorithm for hevc intra coding using data mining,”Multimedia Tools Applications,vol.76(1),
[0009] pp.861–894,2017.

发明内容

[0010] 本发明的目的是鉴于图像DWT矩阵右上角和右下角的能量分布对判断CU是否平缓的重要性,提出一种基于DWT的3D‑HEVC快速CU分割预测方法,该方法将视频中的一帧图像进行DWT变换,对生成的DWT矩阵选点判断。该方法具有计算复杂度低、编码时间短和视频重建效果好的特点。
[0011] 为了实现上述目的,本发明的技术方案包括如下步骤:
[0012] 基于DWT的3D‑HEVC快速CU分割预测方法:
[0013] 步骤1:读入一个CU,经过离散小波变换后得到其DWT系数矩阵;
[0014] 步骤2.对当前系数块的右下角系数进行求和,若其和的值为零则直接判断该预测块是平缓的,没有边缘,并且跳转步骤5,跳转步骤4;
[0015] 步骤3:进一步计算DWT系数矩阵的四周方差,即对当前的CU块求周围方差var:对其第一行、最后一行、第一列、最后一列总计4N‑4个数字求方差,其中N为CU的宽度;若方差var大于1,则判断其存在边缘,跳转到步骤4;若方差小于1,则不存在边缘,跳转步骤5;
[0016] 步骤4:让该CU进入递归,将该CU划分为4个大小为N/2*N/2的子CU,对每个子CU,跳转到步骤1;
[0017] 步骤5:该CU不需要划分,划分过程结束。
[0018] 步骤1所述的整数DWT转换如下:H V D
[0019] 在二维的情况下,需要一个尺度函数 和三个二维小波ψ(x,y),ψ(x,y),ψH V D(x,y),其中ψ(x,y)度量沿列方向的变化,ψ(x,y)度量沿行方向的变化,ψ(x,y)度量沿对角线方向的变化,我们定义一个尺度和平移基函数:
[0020]
[0021]
[0022] 其中i∈{H,V,D},于是大小为M*N的图像f(x,y)的离散小波变换如下:
[0023]
[0024]
[0025] j0是一个任意的开始尺度, 系数定义f(x,y)在尺度j0处的近似,系数对尺度j≥j0附加了水平、垂直和对角线方向的细节,通过变换,求得一个二维的小波变换,简化为如下过程:
[0026] 首先定义一些变量与滤波器:
[0027] x[m,n]:输入的离散信号即预测矩阵(PU);
[0028] g[n]:Low pass filter低通滤波器,将输入信号的高频部分过滤而输出低频部分;
[0029] h[n]:High pass filter高通滤波器,将输入信号的低频部分过滤而输出高频部分;
[0030] ↓Q:Downsampling filter降采样滤波器,如果以x[n]为输入,则输出y[n]=x[Qn],二维的DWT在降采样一般是沿着某个方向进行,例如m或者n,Q一般为2;
[0031] DWT变换过程:对于输入的x[m,n],先让其通过低通滤波器g[n],再沿着n的方向进行降采样得到v1,L[m,n],再让其通过高通滤波器h[n],再沿着n的方向进行降采样得到v1,H[m,n],这是经过一次滤波后得到的系数,同样把v1,L[m,n],v1,H[m,n]作为输入信号执行上一步同样的操作,但是在采样的时候是沿着m方向,可以得到四个部分x1,L[m,n],x1,H1[m,n],x1,H2[m,n],x1,H3[m,n],其中x1,L[m,n]是低频区域,给出信号的特征,而x1,H1[m,n],x1,H2[m,n],x1,H3[m,n]是高频区域,给出信号的细节,我们的方法主要是依据高频信号来判断是否存在边缘,给出转换的公式如下:
[0032]
[0033]
[0034]
[0035]
[0036]
[0037]H V
[0038] 其中,x1,L[m,n],x1,H1[m,n],x1,H2[m,n],x1,H3[m,n]分别与 ψ(x,y),ψ(x,Dy),ψ(x,y)一一对应,代表整体信息、水平方向信息、垂直方向信息以及对角线方向的信息,利用水平方向信息、垂直方向信息以及对角线方向的信息来进行判断其是否存在边缘;
[0039] 步骤3过程如下:首先对x1,H1[m,n],x1,H2[m,n],x1,H3[m,n]的值求和,若其值为零则判断该CU不存在边缘,若不为零则对该CU即输入矩阵x[m,n]四周的值求方差,求方差的数据为x[0,0]~x[0,n],x[m‑1,0]~x[m‑1,n],x[1,0]~x[m‑2,n],x[1,n]~x[m‑2,n]得到其方差var,若var大于1,判断其存在边缘,否则不存在边缘。
[0040] 本发明的有益效果如下:
[0041] 本发明使用DWT应用于三维视频编码,利用DWT方法判断在深度图编码下DMMs是否要加入候选列表以及CU是否分割,并且在视频码率减少的同时有效的减少了编码时间,避免了计算冗余模式,减少计算量。DWT具有“能量集中”的特性,并且能够很好地区分图像边缘。

实施方案

[0046] 下面结合附图和实施例对本发明作进一步说明。
[0047] 如图1所示,基于DWT的3D‑HEVC快速CU分割预测方法,具体包括如下步骤:
[0048] 步骤1.基于3D‑HEVC,得到一个N*N(N=64,32,16,N>8,第一次为64)大小的CU后,利用整数DWT转换计算当前预测块的DWT系数矩阵,保存为一个矩阵。DWT变换过程如下:对于输入的x[m,n],先让其通过低通滤波器g[n],再沿着n的方向进行降采样得到v1,L[m,n],再让其通过高通滤波器h[n],再沿着n的方向进行降采样得到v1,H[m,n],这是经过一次滤波后得到的系数,同样把v1,L[m,n],v1,H[m,n]作为输入信号执行上一步同样的操作,但是在采样的时候是沿着m方向,可以得到四个部分x1,L[m,n],x1,H1[m,n],x1,H2[m,n],x1,H3[m,n],其中x1,L[m,n]是低频区域,给出信号的特征,而x1,H1[m,n],x1,H2[m,n],x1,H3[m,n]是高频区域,给出信号的细节,我们的方法主要是依据高频信号来判断是否存在边缘,给出转换的公式如下:
[0049]
[0050]
[0051]
[0052]
[0053]
[0054]
[0055] 其中x1,L[m,n],x1,H1[m,n],x1,H2[m,n],x1,H3[m,n]分别代表整体信息,水平方向,垂直方向,以及对角线方向的信息,离散小波变换DWT对当前CU块进行DWT转换,生成一个DWT系数矩阵。
[0056] 步骤2.如图2所示,对当前DWT系数矩阵的左下、右上、右下角系数(即图中灰色部分)进行求和,若其和的值为零则直接判断该预测块是平缓的,没有边缘,并且跳转步骤5,跳转步骤4;
[0057] 步骤3:如图3所示,进一步计算DWT系数矩阵的四周方差,即对当前的CU块求周围方差var:对其第一行、最后一行、第一列、最后一列(即图中灰色部分)总计4N‑4个数字求方差,其中N为CU的宽度;若方差var大于1,则判断其存在边缘,跳转到步骤4;若方差小于1,则不存在边缘,跳转步骤5;
[0058] 步骤4:让该CU进入递归,将该CU划分为4个大小为N/2*N/2的子CU,对每个子CU,跳转到步骤1;
[0059] 步骤5:该CU不需要划分,划分过程结束。
[0060] 实施例1:
[0061] 如图4所示,基于DWT的3D‑HEVC中CU分割预测方法,完整的分割流程图具体如下:读入一个64*64的CU,经过DWT判断其需不需要划分,若不需要划分,该CU划分过程结束;若需要划分,划分为4个32*32的子CU,然后分别读入32*32的CU,经过DWT判断其需不需要划分,若不需要划分,该CU划分过程结束;若需要划分,划分为4个16*16的子CU,然后分别读入
16*16的CU,经过DWT判断其需不需要划分,若不需要划分,该CU划分过程结束;若需要划分,划分为4个8*8的子CU,划分为最小尺寸,划分过程结束。

附图说明

[0042] 图1是CU分割预测方法流程图
[0043] 图2是DWT系数矩阵及其左上角和右下角选择系数点。
[0044] 图3是四周方差数据取值点。
[0045] 图4是完整的分割流程图
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号