首页 > 专利 > 杭州电子科技大学 > VVC仿射运动估计快速计算方法专利详情

VVC仿射运动估计快速计算方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2022-07-11
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2022-11-01
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2023-02-28
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2042-07-11
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202210807687.4 申请日 2022-07-11
公开/公告号 CN115190299B 公开/公告日 2023-02-28
授权日 2023-02-28 预估到期日 2042-07-11
申请年 2022年 公开/公告年 2023年
缴费截止日
分类号 H04N19/124H04N19/52H04N19/61H04N19/13H04N19/192 主分类号 H04N19/124
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 1
权利要求数量 2 非专利引证数量 0
引用专利数量 0 被引证专利数量 0
非专利引证
引用专利 被引证专利
专利权维持 0 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 钟煜城、牛伟宏、黄晓峰、吴欣怡、林旭南、陈丹、崔燕 第一发明人 钟煜城
地址 浙江省杭州市钱塘新区白杨街道2号大街1158号 邮编 310018
申请人数量 1 发明人数量 7
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
摘要
针对在VVC加入AME使得计算复杂度急剧提升的问题,本发明主要从三个角度对VVC中的AME进行加速。首先,考虑到AME的迭代次数过多,提出了一种自适应迭代次数公式,该公式可以很大程度地削减迭代次数;其次,对AME里的三种MV精度进行删减优化,主要是对一些高精度MV的AME进行跳过;最后,在与其他模式进行比较时,率失真代价的计算过于繁琐,采用较粗略的绝对变换误差和代价来进行决策。
  • 摘要附图
    VVC仿射运动估计快速计算方法
  • 说明书附图:图1
    VVC仿射运动估计快速计算方法
  • 说明书附图:图2
    VVC仿射运动估计快速计算方法
  • 说明书附图:图3
    VVC仿射运动估计快速计算方法
  • 说明书附图:图4
    VVC仿射运动估计快速计算方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2023-02-28 授权
2 2022-11-01 实质审查的生效 IPC(主分类): H04N 19/124 专利申请号: 202210807687.4 申请日: 2022.07.11
3 2022-10-14 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.VVC仿射运动估计快速计算方法,其特征在于,包括:
更改AME的迭代过程中具体的迭代次数为自适应公式计算得到的动态次数;
在整像素、1/4和1/16像素精度三种运动矢量精度中选择1/4像素精度;
使用SATD代价决策来选择最优的CPMV;
所述的自适应公式根据迭代次数与量化参数、slice类型以及CU大小的关系得到;
其中,M表示CU尺寸大小,QP代表量化参数,α是调节参数,在QP大于等于27被设为2,小于27被设为4;θ和η是两个固定值,在四参数中,两者分别为3和5,在六参数中,两者分别为3和4。

2.根据权利要求1所述的VVC仿射运动估计快速计算方法,其特征在于,所述的SATD代价使用以下公式计算:
其中,Ψ代表SATD,i是一个索引值,di代表i位置的变换系数;
将码率R和SATD采用拉格朗日优化因子λ进行加权叠加,得到以下公式:
ω=Ψ+λ·R
得到用来代替迭代过程RDO代价的SATD代价ω。
说明书

技术领域

[0001] 本发明涉及视频编码领域,具体涉及降低编码器的复杂度的VVC仿射运动估计快速计算方法。

背景技术

[0002] 视频编码领域发展飞速,从20世纪90年代至今,视频编码标准已经基于初代的H.261衍生出了许多新标准。21世纪初,我国自主研发的高级视频编码标准(Advanced Video Coding Standard,AVS)投入使用。截至今天,我国自主研发的视频编码标准已经发展到了AVS3,对标国际上最新的通用视频编码(Versatile Video Coding,VVC)。这种最新的视频编码标准相比上一代的高效视频编码(High Efficiency Video Coding,HEVC)/AVS2,压缩效率可以提升50%,这对于存储4K、8K乃至更高分辨率的视频提供了巨大便利。
[0003] 如此高的压缩率不是凭空就得到的,是用极高的计算复杂度的代价换来的。从帧内预测、帧间预测、变换、量化、熵编码乃至环路滤波部分的计算复杂度都提升巨大。特别地,在帧间预测部分,需要通过当前帧和参考帧的重构来计算得到运动矢量(Motion Vector,MV),本质上就是在参考帧的某一范围的搜索窗内与当前帧中的当前块进行块匹配搜索,不断计算失真代价,最终选取最优的代价对应的参考块,从而得到MV。可以发现,帧间预测的复杂度是极高的。如果是全搜索过程,那么参考帧中的每一个子块都必须至少要被搜索计算一次。对此,本发明主要是减少帧间预测部分的复杂度。
[0004] 由于现实世界中运动的物体并非都是刚体运动,往往很多运动都存在旋转、缩放等非刚体运动,为了能够更加清晰有效地描述这种非刚体运动,VVC引入了全新的仿射运动估计(Affine Motion Estimation,AME),而且分像素精度最大甚至达到了1/16。显而易见,AME的复杂度同样是巨大的。基于这一初衷,本发明以加速AME过程的方式减少帧间预测部分的复杂度。

发明内容

[0005] 针对在VVC加入AME使得计算复杂度急剧提升的问题,本发明主要从三个角度对VVC中的AME进行加速。首先,考虑到AME的迭代次数过多,提出了一种自适应迭代次数公式,该公式可以很大程度地削减迭代次数;其次,对AME里的三种MV精度进行删减优化,主要是对一些高精度MV的AME进行跳过;最后,在与其他模式进行比较时,率失真(Rate Distortion Optimization,RDO)代价的计算过于繁琐,采用较粗略的绝对变换误差和(Sum of Absolute Transformed Difference,SATD)代价来进行决策。
[0006] 本发明提供一种方案,包括:
[0007] 更改AME的迭代过程中具体的迭代次数为自适应公式计算得到的动态次数;
[0008] 在整像素、1/4和1/16像素精度三种运动矢量精度中选择1/4像素精度;
[0009] 使用SATD代价决策来选择最优的CPMV。
[0010] 在AME的迭代过程中,每次迭代都会更新CPMV,然后基于CPMV进行运动补偿,得到预测图像,进而计算RDO代价。迭代完成后,具有最小代价的CPMV会被保留下来,然后再进行之后的预测、变换、量化和熵编码等。为了在最大程度上减少迭代次数,使用自适应公式计算实际的迭代次数。
[0011] 作为优选,所述的自适应公式根据迭代次数与量化参数、slice类型以及CU大小的关系得到;
[0012]
[0013] 其中,M表示CU尺寸大小,QP代表量化参数,α是调节参数,在QP大于等于27被设为2,小于27被设为4;θ和η是两个固定值,在四参数中,两者分别为3和5,在六参数中,两者分别为3和4。
[0014] 在AME内部,每次迭代都要计算RDO代价,完成迭代后,具有最小代价的CPMV会被保留下来,用于之后的运动补偿等一系列步骤。除此之外,还存在是否进行细粒度调整的RDO代价比较。在AME外部,要将AME与其他帧间模式进行RDO代价比较,来选择最优的帧间模式。由此可见,RDO代价的比较计算在帧间预测部分的复杂度是极高的。本发明在迭代过程中采用SATD代价决策来选择最优的CPMV,这可以比RDO决策减少大量时间。
[0015] 作为优选,所述的SATD代价使用以下公式计算:
[0016]
[0017] 其中,Ψ代表SATD,i是一个索引值,di代表i位置的变换系数;
[0018] 将码率R和SATD采用拉格朗日优化因子进行加权叠加,得到以下公式:
[0019] ω=Ψ+λ·R
[0020] 得到用来代替迭代过程RDO代价的SATD代价ω。
[0021] 本发明的实质性特点在于:极大降低了VVC中AME计算方法的计算复杂度,并且编码性能损失可以忽略不计。最新的VVC视频编码标准以付出巨大计算复杂度代价的情况下,达到了相比HEVC来说的50%的压缩效率。为减少计算复杂度,本文从VVC新加入的AME帧间模式入手,主要从三个方面来降低AME计算复杂度。首先,对迭代次数采用一个自适应公式进行删减;其次,将AME中的像素精度只保留1/4像素精度,摒弃其余两种像素精度;最后,在进行最优CPMV决策时,采用SATD代价来代替RDO代价。AME计算方法的复杂度得到了极大降低,这对整个帧间预测乃至VVC编码器复杂度的降低也做出了一定贡献。

实施方案

[0026] 下面通过具体实施例,并结合附图,对本发明的技术方案作进一步的具体说明。
[0027] 实施例1
[0028] 在最新一代的视频编码标准VVC中,AME的引入无疑给整个编码器压缩性能的提升带来了巨大的贡献。针对旋转、缩放的运动块,AME带来的压缩性能的提升是远大于整像素、分像素运动估计所带来的运动提升的。VVC帧间预测部分的复杂度提升不单单是由AME自己带来的,AME与整、分像素运动估计的RDO代价的比较进而选择最优模式这一过程同样复杂度极高。除此之外,得到控制点运动矢量(Control Point Motion Vector,CPMV)后,要基于CPMV计算每个子块的MV,然后通过这个MV才进行运动补偿得到预测块。对于中心像素是(x,y)的块,四参数模型得到每个子块CPMV的具体公式如下,
[0029]
[0030] 其中,ah,av,bh,bv分别表示左上角和右上角CPMV的横纵坐标,w表示当前块的宽度;同样地,对于六参数仿射模型来说,具体公式如下,
[0031]
[0032] 其中,ah,av,bh,bv,ch,cv分别表示左上角、右上角和左下角三个位置的CPMV的横纵坐标,w和h分别表示当前块的宽和高。
[0033] 可以看出,基于CPMV得到子块MV的过程同样存在较大复杂度。因此,迫切需要提出一种快速计算方法来降低复杂度。
[0034] 基于此,本发明从三个角度来加速AME。如图1给出了本发明的计算方法流程。首先,针对AME的迭代过程进行优化,主要是减少迭代次数以降低迭代复杂度;其次,考虑到AME有整像素、1/4和1/16像素精度,经过分析统计,将其像素精度种类数量进行减少以此降低一些精度MV的复杂度;最后,考虑到计算RDO代价要经过反量化、反变换等一系列繁琐的步骤,采用SATD代价来代替RDO代价进行决策,这样的好处是不用对码流进行解码重构,就可以粗略得到其代价,用于比较。
[0035] 迭代过程的复杂度降低方案:
[0036] 在AME的迭代过程中,每次迭代都会更新CPMV,然后基于CPMV进行运动补偿,得到预测图像,进而计算RDO代价。迭代完成后,具有最小代价的CPMV会被保留下来,然后再进行之后的预测、变换、量化和熵编码等。
[0037] 为了在最大程度上减少迭代次数,我们分析了迭代次数与量化参数(Quantization Parameter,QP)、slice类型以及CU大小的关系。基于统计分析得到了迭代次数的一个自适应公式,如下所示,
[0038]
[0039] 其中,M表示CU尺寸大小,QP代表量化参数,α是调节参数,在QP大于等于27被设为2,小于27被设为4;θ和η是两个固定值,在四参数中,两者分别为3和5,在六参数中,两者分别为3和4。图2和图4给出了采用本发明自适应迭代次数公式后的性能损失情况,可以发现,性能损失几乎可以忽略不计。这也验证了本发明的自适应阈值公式的合理性。运动矢量精度种类的减少方案。
[0040] 为了更加精确地描述旋转、缩放的运动块,在VVC的AME中,存在三种运动矢量精度,即整像素、1/4和1/16像素精度。这三种精度的MV同样是基于RDO决策来选择代价最小的精度作为最优精度。为了减少RDO代价的计算次数,我们统计了几种运动矢量精度的占比情况,如图3所示。可以发现,在AME中,1/4像素精度的占比在三种像素精度中最高。对此,我们直接摒弃其余两种像素精度,即整像素和1/16像素精度,只保留1/4像素精度。SATD预决策。
[0041] 在AME内部,每次迭代都要计算RDO代价,完成迭代后,具有最小代价的CPMV会被保留下来,用于之后的运动补偿等一系列步骤。除此之外,还存在是否进行细粒度调整的RDO代价比较。在AME外部,要将AME与其他帧间模式进行RDO代价比较,来选择最优的帧间模式。由此可见,RDO代价的比较计算在帧间预测部分的复杂度是极高的。
[0042] 本方案主要从AME内部来减少复杂度。具体来说,对于每次迭代的CPMV,没必要每次都计算RDO代价。SATD代价在一定程度上也可以用于决策,只是没有RDO代价精确度高。但是,计算SATD不需要经过反量化、反变换等步骤,可以说是复杂度得到了极大降低。因此,本方案在迭代过程中采用SATD代价决策来选择最优的CPMV,这可以比RDO决策减少大量时间。具体来说,SATD可以计算如下,
[0043]
[0044] 其中,Ψ代表SATD,i是一个索引值,di代表i位置的变换系数。紧接着,将码率R和SATD采用拉格朗日优化因子进行加权叠加,得到如下,
[0045] ω=Ψ+λ·R
[0046] 至此,我们就得到了可以用来代替迭代过程RDO代价的SATD代价,即上式中的ω。需要说明的是,这种方式可以不经过反量化和反变换等步骤,变换结束后就可以计算。相比原始的RDO代价,极大地减少了计算复杂度。

附图说明

[0022] 图1AME快速计算方法流程图;
[0023] 图2更改迭代次数后的BQMall性能对比情况;
[0024] 图3AME中几种像素精度的占比情况;
[0025] 图4更改迭代次数后的BQTerrace性能对比情况。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号