首页 > 专利 > 杭州电子科技大学 > 基于图像熵K均值聚类的3D-HEVC快速CU分割方法专利详情

基于图像熵K均值聚类的3D-HEVC快速CU分割方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2020-05-18
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2020-10-30
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-12-27
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2040-05-18
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202010418949.9 申请日 2020-05-18
公开/公告号 CN111741313B 公开/公告日 2022-12-27
授权日 2022-12-27 预估到期日 2040-05-18
申请年 2020年 公开/公告年 2022年
缴费截止日
分类号 H04N19/597H04N13/161G06V10/762G06V10/764 主分类号 H04N19/597
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 3
权利要求数量 4 非专利引证数量 1
引用专利数量 1 被引证专利数量 0
非专利引证 1、2019.07.25王驰等.3D-HEVC深度图帧内CU尺寸快速决策算法《.通信技术》.2017,(第04期),全文.;
引用专利 US2019230360A 被引证专利
专利权维持 2 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 张桦、姚王泽、黄鸿飞、沈菲、戴国骏、吴以凡 第一发明人 张桦
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于图像熵K均值聚类的3D‑HEVC快速CU分割方法。快速CU分割预测编码决策方法在CU划分之前,首先将CU平均划分为四块,然后对CU整体以及各小块分别进行二维熵计算,并合成一个五维向量,然后对其进行K均值聚类(K均值聚类模型需要进行离线训练得到各尺寸的聚类中心),若判断为不需要划分,则停止对CU的划分,否则进入递归进一步划分。二维熵具有能突显图像分布特征以及混乱程度的能力,以此为基础进行K均值训练从而能够得到判断是否划分的模型。本发明直接对CU进行判断,减少了递归带来的时间消耗,因此具有计算复杂度低、编码时间短和视频重建效果好的特点。
  • 摘要附图
    基于图像熵K均值聚类的3D-HEVC快速CU分割方法
  • 说明书附图:图1
    基于图像熵K均值聚类的3D-HEVC快速CU分割方法
  • 说明书附图:图2
    基于图像熵K均值聚类的3D-HEVC快速CU分割方法
  • 说明书附图:图3
    基于图像熵K均值聚类的3D-HEVC快速CU分割方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-12-27 授权
2 2020-10-30 实质审查的生效 IPC(主分类): H04N 19/597 专利申请号: 202010418949.9 申请日: 2020.05.18
3 2020-10-02 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.基于图像熵K均值聚类的3D‑HEVC快速CU分割方法,其特征在于该方法将视频中的一帧图像进行图像二维熵计算,再经过K均值模型进行分类,具体包括如下步骤:
步骤1:选取不同序列以及不同QP值、不同尺寸的CU矩阵进行K均值离线训练,得到离线训练模型;
对于输入的CU矩阵,将其划分为四个子块,并对每一个子块及整个CU矩阵进行二维熵计算,形成一个五维向量;将五维向量输入训练模型,得到离线训练模型,并根据离线训练模型最终得到不同尺寸、不同QP的聚类中心;
步骤2:进行正式预测时,读入CU矩阵,首先判断该输入CU矩阵属于的QP值以及尺寸大小,然后将其划分为四个子块,分别计算其二维熵以及整体的二维熵并形成一个五维向量;
将得到的五维向量输入对应QP值与尺寸值的K均值离线训练模型,进行聚类,得到预测结果;
步骤3:如果属于聚类0,直接跳转至步骤5;
步骤4:如果属于聚类1,则让该读入的CU矩阵进入递归,将该CU矩阵划分为4个大小为N/2*N/2的子块,将每个子块作为新的CU矩阵,跳转到步骤2;所述的N为CU矩阵的尺寸;
步骤5:该CU矩阵不需要划分,划分过程结束。

2.根据权利要求1所述的基于图像熵K均值聚类的3D‑HEVC快速CU分割方法,其特征在于步骤1所述的二维熵计算如下:
首先将CU矩阵平均分成四个子块,对每个子块以及整个CU矩阵分别进行计算;对于每个子块以及整个CU矩阵,遍历其所有像素点并计算像素点周围其余8个像素点的均值;如果该像素为CU四个角落点,则计算其周围三个像素点均值;若该像素为CU四个边点,则计算其周围五个像素点均值;同时进行统计当像素点数值为i时,其周围像素均值为j的数量,由此得到特征二元组f(i,j);通过特征二元组f(i,j)计算该特征二元组f(i,j)的比例值,公式如下:
p(i,j)=f(i,j)/N′2
其中N′为所遍历对象的尺寸长度;
最后计算CU矩阵的二维熵,公式如下:
计算出每个子块以及整个CU矩阵的二维熵,并将其合为一组五维向量。

3.根据权利要求1或2所述的基于图像熵K均值聚类的3D‑HEVC快速CU分割方法,其特征在于步骤1所述的K均值算法如下:
从3D‑HEVC的测试序列GT_fly,street,kendo,balloons,shark,hall,newspaper,dancer中,用其原始算法得到的QP分别为25、30、35、40,CU尺寸分别为64、32、16的矩阵各一万个,且所有矩阵都已经标记是否需要划分;
然后以同QP同尺寸的一万个矩阵为单位进行训练;分别将每个矩阵平均分为四个子块,计算其子块与整体的二维熵并合并成一个五维向量;
对得到的所有五维向量进行预处理,去除偏差值大于预设阈值的数据;
最后将进行预处理筛选所得到的最终数据集分别进行K均值聚类训练,最终得到不同QP不同尺寸共12个聚类模型,其中将每个模型的聚类0设为不需要划分,聚类1设为需要划分。

4.根据权利要求3所述的基于图像熵K均值聚类的3D‑HEVC快速CU分割方法,其特征在于每个模型的聚类0和聚类1的分类实现如下:
对于已经训练好的模型,输入原始训练数据进行分类,若得到的结果中,聚类0所对应的需要划分的矩阵比例多,则聚类0为需要划分,聚类1为不需要划分,反之,若聚类1所对应的需要划分的矩阵比例多,则聚类1为需要划分,聚类0为不需要划分;将所有表示需要划分的聚类点都设定为聚类1,将所有表示不需要划分的聚类点都设定为聚类0,以作为统一使用。
说明书

技术领域

[0001] 本发明涉及视频编码领域,具体是一种基于图像熵K均值聚类的3D‑HEVC快速CU分割方法。

背景技术

[0002] 在过去几年里,随着3D视频服务需求的增加,3D视频的展现、压缩和传输成为一个新的有挑战的研究课题。多视角加深度图(MVD)的视频格式是多种有发展前景的视频表现形式中的一种。由3D视频编码扩展开发联合协作组(JCT‑3V)提出的高质量视频编码的3D扩展(3D‑HEVC)是对于压缩MVD数据的一种新兴视频编码标准。
[0003] 传统的CU分割是以递归划分至最小尺寸后逐渐向上比较进行判断是否划分,其时间复杂度很大,我们可以在其划分之前加入判断该CU矩阵是否需要划分,若不需要划分则不必进入递归判断,否则进入递归划分,由于深度图中平缓的较多,所以其中很多CU都不需要划分,可大大减少CU分割的时间。
[0004] 图像二维熵能够反映灰度分布空间特征的特征量,可以在图像所包含信息量的前提下,突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征,此外还可以通过熵的值表示信息的混乱程度。
[0005] k均值聚类算法(k‑means clustering algorithm)是一种迭代求解的聚类分析算法,可以简洁高效的将每个对象进行分类,并最终计算出聚类中心来作为分类的依据。

发明内容

[0006] 本发明的目的是鉴于图像二维熵在提取图像信息方面的作用,提出一种基于图像熵K均值聚类的3D‑HEVC快速CU分割方法,该方法将视频中的一帧图像进行图像二维熵计算,再经过K均值模型进行分类。该方法具有计算复杂度低、编码时间短和视频重建效果好的特点。
[0007] 为了实现上述目的,本发明的技术方案包括如下步骤:
[0008] 步骤1:选取不同序列以及不同QP值、不同尺寸的CU矩阵进行K均值离线训练,得到离线训练模型。
[0009] 对于输入的CU矩阵,将其划分为四个子块,并对每一个子块及整个CU矩阵进行二维熵计算,形成一个五维向量。将五维向量输入训练模型,得到离线训练模型,并根据离线训练模型最终得到不同尺寸、不同QP的聚类中心。
[0010] 步骤2:正式进行预测时,读入CU矩阵,划分为四个子块后进行二维熵计算并形成一个五维向量,将该五维向量输入K均值离线训练模型,进行聚类;
[0011] 步骤3:如果属于聚类0,直接跳转至步骤5;
[0012] 步骤4:如果属于聚类1,则让该读入的CU矩阵进入递归,将该CU矩阵划分为4个大小为N/2*N/2的子块,将每个子块作为新的CU矩阵,跳转到步骤2;所述的N为CU矩阵的尺寸;
[0013] 步骤5:该CU矩阵不需要划分,划分过程结束。
[0014] 步骤1所述的二维熵计算如下:
[0015] 首先将CU矩阵平均分成四个子块,对每个子块以及整个CU矩阵分别进行计算。对于每个子块以及整个CU矩阵,遍历其所有像素点并计算像素点周围其余8个像素点的均值;如果该像素为CU四个角落点,则计算其周围三个像素点均值;若该像素为CU四个边点,则计算其周围五个像素点均值;同时进行统计当像素点数值为i时,其周围像素均值为j的数量,由此得到特征二元组f(i,j);通过特征二元组f(i,j)计算该特征二元组f(i,j)的比例值,公式如下:
[0016] p(i,j)=f(i,j)/N′2
[0017] 其中N′为所遍历对象的尺寸长度;
[0018] 最后计算CU矩阵的二维熵,公式如下:
[0019]
[0020] 计算出每个子块以及整个CU矩阵的二维熵,并将其合为一组五维向量。
[0021] 步骤1所述的K均值算法如下:
[0022] 从3D‑HEVC的测试序列GT_fly,street,kendo,balloons,shark,hall,newspaper,dancer中,用其原始算法(计算rd cost并比较大小来判断是否需要划分)得到的QP分别为25、30、35、40,CU尺寸分别为64、32、16的矩阵各一万个(所有矩阵都已经标记是否需要划分)。即QP为25,CU尺寸为64的矩阵一万个,QP为25,CU尺寸为32的矩阵一万个,QP为25,CU尺寸为16的矩阵一万个,QP为30,CU尺寸为64的矩阵一万个等。
[0023] 然后以同QP同尺寸的一万个矩阵为单位进行训练。分别将每个矩阵平均分为四个子块,计算其子块与整体的二维熵并合并成一个五维向量。
[0024] 对得到的所有五维向量进行预处理,去除偏差值大于预设阈值的数据。
[0025] 最后将进行预处理筛选所得到的最终数据集分别进行K均值聚类训练,最终得到不同QP不同尺寸共12个聚类模型,其中将每个模型的聚类0设为不需要划分,聚类1设为需要划分。
[0026] 所述的每个模型的聚类0和聚类1的分类实现如下:
[0027] 对于已经训练好的模型,输入原始训练数据进行分类,若得到的结果中,聚类0所对应的需要划分的矩阵比例多,则聚类0为需要划分,聚类1为不需要划分,反之,若聚类1所对应的需要划分的矩阵比例多,则聚类1为需要划分,聚类0为不需要划分;将所有表示需要划分的聚类点都设定为聚类1,将所有表示不需要划分的聚类点都设定为聚类0,以作为统一使用。
[0028] 步骤2过程如下:
[0029] 进行正式预测时,首先判断该输入CU矩阵属于的QP值以及尺寸大小,然后将其划分为四个子块,分别计算其二维熵以及整体的二维熵。将得到的五维向量输入对应QP值与尺寸值的K均值聚类模型,得到预测结果。
[0030] 本发明的有益效果如下:
[0031] 本发明使用二维熵以及K均值算法应用于三维视频编码,利用二维熵的提取图像信息的作用以及K均值算法的分类能力,能有效的在视频码率减少的同时减少了编码时间,避免了计算冗余模式,减少计算量。
[0032] 进一步的,通过计算图像及其子图像共五个二维熵所合成的五维向量来进行K均值算法训练,较大程度提升了判断准确度。同时,在进行实际递归判断时,由于只需要输入模型就能立刻得到结果从而避免了大量计算,极大的提升了编码时间。

实施方案

[0036] 下面结合附图和实施例对本发明作进一步说明。
[0037] 如图1所示,本发明具体包括如下步骤:
[0038] 步骤1.进行K均值算法离线训练,分别取序列GT_fly,street,kendo,balloons,shark,hall,newspaper,dancer的QP为25,30,35,40,尺寸为64×64,32×32,16×16的CU矩阵一万个。
[0039] 步骤2.以每一万个矩阵为单位训练。判断该矩阵集的QP值,然后判断该矩阵集的尺寸。
[0040] 步骤3.将每一个矩阵平均划分为四块,并对每一块以及整体进行二维熵计算,形成一个五维向量,二维熵计算过程如下:
[0041] 首先将CU矩阵平均分成四个子块,对每个子块以及整个CU矩阵分别进行计算。对于每个子块以及整个CU矩阵,遍历其所有像素点并计算像素点周围其余8个像素点的均值;如果该像素为CU四个角落点,则计算其周围三个像素点均值;若该像素为CU四个边点,则计算其周围五个像素点均值;同时进行统计当像素点数值为i时,其周围像素均值为j的数量,由此得到特征二元组f(i,j);通过特征二元组f(i,j)计算该特征二元组f(i,j)的比例值,公式如下:
[0042] p(i,j)=f(i,j)/N′2
[0043] 其中N′为CU矩阵的尺寸长度,若CU未划分,则N′为整个CU矩阵的尺寸长度,若CU已划分,则N′为划分后子CU矩阵的尺寸长度;
[0044] 最后计算CU矩阵的二维熵,公式如下:
[0045]
[0046] 计算出每个子块以及整个CU矩阵的二维熵,并将其合为一组五维向量。
[0047] 步骤4.对得到的所有五维向量进行预处理,去除偏差值大于预设阈值的数据。随后输入K均值模型中进行训练,聚类0设置为判断不划分。得到属于具体QP值以及CU尺寸的聚类中心12个。
[0048] 如图2所示,本发明分割预测方法,具体包括如下步骤:
[0049] 步骤1.基于3D‑HEVC,得到一个N*N(N=64,32,16,N>8,第一次为64)大小的CU后,将其平均划分为四块矩阵,分别对其进行二维熵计算,最后对整体进行二维熵计算,并合并成一个五维向量。
[0050] 步骤2:进行K均值算法聚类判断。若属于聚类0,则跳转至步骤4,若不属于聚类0,则跳转至步骤3
[0051] 步骤3:让该CU进入递归,将该CU划分为4个大小为N/2*N/2的子CU,对每个子CU,跳转到步骤1;
[0052] 步骤4:该CU不需要划分,划分过程结束。
[0053] 如图3所示,基于图像二维熵K均值聚类的3D‑HEVC快速CU分割预测方法,完整的分割流程图具体如下:读入一个64*64的CU,经过基于图像二维熵的K均值算法判断其需不需要划分,若不需要划分,该CU划分过程结束;若需要划分,划分为4个32*32的子CU,然后分别读入32*32的CU,经过基于图像二维熵的K均值算法判断其需不需要划分,若不需要划分,该CU划分过程结束;若需要划分,划分为4个16*16的子CU,然后分别读入16*16的CU,经过基于图像二维熵的K均值算法判断其需不需要划分,若不需要划分,该CU划分过程结束;若需要划分,划分为4个8*8的子CU,划分为最小尺寸,划分过程结束。

附图说明

[0033] 图1是K均值算法离线训练流程图
[0034] 图2是CU分割预测方法流程图
[0035] 图3是完整的分割流程图
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号