[0006] 本发明的目的是鉴于图像二维熵在提取图像信息方面的作用,提出一种基于图像熵K均值聚类的3D‑HEVC快速CU分割方法,该方法将视频中的一帧图像进行图像二维熵计算,再经过K均值模型进行分类。该方法具有计算复杂度低、编码时间短和视频重建效果好的特点。
[0007] 为了实现上述目的,本发明的技术方案包括如下步骤:
[0008] 步骤1:选取不同序列以及不同QP值、不同尺寸的CU矩阵进行K均值离线训练,得到离线训练模型。
[0009] 对于输入的CU矩阵,将其划分为四个子块,并对每一个子块及整个CU矩阵进行二维熵计算,形成一个五维向量。将五维向量输入训练模型,得到离线训练模型,并根据离线训练模型最终得到不同尺寸、不同QP的聚类中心。
[0010] 步骤2:正式进行预测时,读入CU矩阵,划分为四个子块后进行二维熵计算并形成一个五维向量,将该五维向量输入K均值离线训练模型,进行聚类;
[0011] 步骤3:如果属于聚类0,直接跳转至步骤5;
[0012] 步骤4:如果属于聚类1,则让该读入的CU矩阵进入递归,将该CU矩阵划分为4个大小为N/2*N/2的子块,将每个子块作为新的CU矩阵,跳转到步骤2;所述的N为CU矩阵的尺寸;
[0013] 步骤5:该CU矩阵不需要划分,划分过程结束。
[0014] 步骤1所述的二维熵计算如下:
[0015] 首先将CU矩阵平均分成四个子块,对每个子块以及整个CU矩阵分别进行计算。对于每个子块以及整个CU矩阵,遍历其所有像素点并计算像素点周围其余8个像素点的均值;如果该像素为CU四个角落点,则计算其周围三个像素点均值;若该像素为CU四个边点,则计算其周围五个像素点均值;同时进行统计当像素点数值为i时,其周围像素均值为j的数量,由此得到特征二元组f(i,j);通过特征二元组f(i,j)计算该特征二元组f(i,j)的比例值,公式如下:
[0016] p(i,j)=f(i,j)/N′2
[0017] 其中N′为所遍历对象的尺寸长度;
[0018] 最后计算CU矩阵的二维熵,公式如下:
[0019]
[0020] 计算出每个子块以及整个CU矩阵的二维熵,并将其合为一组五维向量。
[0021] 步骤1所述的K均值算法如下:
[0022] 从3D‑HEVC的测试序列GT_fly,street,kendo,balloons,shark,hall,newspaper,dancer中,用其原始算法(计算rd cost并比较大小来判断是否需要划分)得到的QP分别为25、30、35、40,CU尺寸分别为64、32、16的矩阵各一万个(所有矩阵都已经标记是否需要划分)。即QP为25,CU尺寸为64的矩阵一万个,QP为25,CU尺寸为32的矩阵一万个,QP为25,CU尺寸为16的矩阵一万个,QP为30,CU尺寸为64的矩阵一万个等。
[0023] 然后以同QP同尺寸的一万个矩阵为单位进行训练。分别将每个矩阵平均分为四个子块,计算其子块与整体的二维熵并合并成一个五维向量。
[0024] 对得到的所有五维向量进行预处理,去除偏差值大于预设阈值的数据。
[0025] 最后将进行预处理筛选所得到的最终数据集分别进行K均值聚类训练,最终得到不同QP不同尺寸共12个聚类模型,其中将每个模型的聚类0设为不需要划分,聚类1设为需要划分。
[0026] 所述的每个模型的聚类0和聚类1的分类实现如下:
[0027] 对于已经训练好的模型,输入原始训练数据进行分类,若得到的结果中,聚类0所对应的需要划分的矩阵比例多,则聚类0为需要划分,聚类1为不需要划分,反之,若聚类1所对应的需要划分的矩阵比例多,则聚类1为需要划分,聚类0为不需要划分;将所有表示需要划分的聚类点都设定为聚类1,将所有表示不需要划分的聚类点都设定为聚类0,以作为统一使用。
[0028] 步骤2过程如下:
[0029] 进行正式预测时,首先判断该输入CU矩阵属于的QP值以及尺寸大小,然后将其划分为四个子块,分别计算其二维熵以及整体的二维熵。将得到的五维向量输入对应QP值与尺寸值的K均值聚类模型,得到预测结果。
[0030] 本发明的有益效果如下:
[0031] 本发明使用二维熵以及K均值算法应用于三维视频编码,利用二维熵的提取图像信息的作用以及K均值算法的分类能力,能有效的在视频码率减少的同时减少了编码时间,避免了计算冗余模式,减少计算量。
[0032] 进一步的,通过计算图像及其子图像共五个二维熵所合成的五维向量来进行K均值算法训练,较大程度提升了判断准确度。同时,在进行实际递归判断时,由于只需要输入模型就能立刻得到结果从而避免了大量计算,极大的提升了编码时间。