[0038] 以下结合附图实施例对本发明作进一步详细描述。
[0039] 本发明提出的一种基于曝光情况分析的色阶映射图像质量评价方法,其总体实现框图如图1所示,其包括以下步骤:
[0040] ①令SHDR表示未经处理的宽度为W且高度为H的高动态范围图像,令STM表示SHDR经过色阶映射算子处理后所生成的色阶映射图像,并将STM作为待评价的色阶映射图像。
[0041] ②对SHDR的亮度分量进行不同程度的预曝光处理,生成SHDR的亮度分量的曝光过度图像和曝光不足图像,对应记为EIover和EIunder;在此,EIover和EIunder均为极端曝光情况图像。
[0042] 在此具体实施例中,步骤②中的EIover和EIunder的获取过程为:将EIover中坐标位置为(x,y)的像素点的像素值记为EIover(x,y),将EIunder中坐标位置为(x,y)的像素点的像素值记为EIunder(x,y),其中,1≤x≤W,1≤y≤H,符号 为向下取整运算符号,Fover表示EIover对应的进光量参数,Fover=8,Funder表示EIunder对应的进光量参数,Funder=0,IHDR(x,y)表示SHDR的亮度分量IHDR中坐标位置为(x,y)的像素点的像素值,γ为伽马校正参数,在本实施例中取γ=2.2。
[0043] ③将EIover划分为 个互不重叠的尺寸大小为2u×2v的图像块;然后从EIover中的所有图像块中找出曝光过度块;接着将EIover中的所有曝光过度块构成曝光过度区域,记为 其中,符号 为向下取整运算符号,u和v取区间[2,5]内的相同的整
数,在本实施例中取u=v=3,即图像块的尺寸大小为8×8。
[0044] 同样,将EIunder划分为 个互不重叠的尺寸大小为2u×2v的图像块;然后从EIunder中的所有图像块中找出曝光不足块;接着将EIunder中的所有曝光不足块构成曝光不足区域,记为
[0045] 在此具体实施例中,步骤③中,从EIover中的所有图像块中找出曝光过度块的具体过程为:对于EIover中的第i个图像块,计算该图像块中的所有像素点的像素值的均值;然后比较该图像块中的所有像素点的像素值的均值与曝光过度阈值THover的大小,若均值大于曝光过度阈值THover,则将该图像块确定为曝光过度块;其中,
[0046] 在此具体实施例中,步骤③中,从EIunder中的所有图像块中找出曝光不足块的具体过程为:对于EIunder中的第i个图像块,计算该图像块中的所有像素点的像素值的均值;然后比较该图像块中的所有像素点的像素值的均值与曝光不足阈值THunder的大小,若均值小于曝光不足阈值THunder,则将该图像块确定为曝光不足块。
[0047] 上述,曝光过度阈值THover的取值为 所述的曝光不足阈值THunder的取值为 其中,αover为曝光过度控制因子,αover=0.8, 表
示EIover中的所有像素点的像素值的均值,αunder为曝光不足控制因子,αunder=1.2, 表示EIunder中的所有像素点的像素值的均值。
[0048] ④将SHDR划分为 个互不重叠的尺寸大小为2u×2v的图像块;然后根据以及 将SHDR划分为易曝光过度区域、易曝光不足区域以及易曝光正常区域,
对应记为Rover、Runder以及Rnormal。
[0049] 在此具体实施例中,步骤④中的Rover、Runder以及Rnormal的确定过程为:
[0050] ④_1a、将SHDR中当前待处理的图像块定义为当前图像块。
[0051] ④_1b、设当前图像块为SHDR中的第i个图像块,并记为其中,
[0052] ④_1c、如果 且 则将 确定为易曝光过度块;如果且 则将 确定为易曝光不足块;如果 且
则将 确定为易曝光正常块;如果 且 则也将
确定为易曝光正常块;其中, 表示EIover中的第i个图像块, 表示EIunder中的第i个图像块。
[0053] ④_1d、将SHDR中下一个待处理的图像块作为当前图像块,然后返回步骤④_1b继续执行,直至SHDR中的所有图像块均处理完毕,再将SHDR中的所有易曝光过度块构成的区域作为易曝光过度区域Rover,将SHDR中的所有易曝光不足块构成的区域作为易曝光不足区域Runder,将SHDR中的所有易曝光正常块构成的区域作为易曝光正常区域Rnormal。
[0054] ⑤将STM划分为 个互不重叠的尺寸大小为2u×2v的图像块;然后将STM中与Rover相对应的区域作为色阶映射易曝光过度区域,并记为R1;并将STM中与Runder相对应的区域作为色阶映射易曝光不足区域,并记为R2;将STM中与Rnormal相对应的区域作为色阶映射易曝光正常区域,并记为R3。
[0055] ⑥判断R1中的每个图像块是否出现曝光过度现象,如果出现曝光过度现象,则将该图像块判定为色阶映射曝光过度块;然后统计R1中的色阶映射曝光过度块的总个数,记为
[0056] 同样,判断R2中的每个图像块是否出现曝光不足现象,如果出现曝光不足现象,则将该图像块判定为色阶映射曝光不足块;然后统计R2中的色阶映射曝光不足块的总个数,记为
[0057] 在此具体实施例中,步骤⑥中,R1中的色阶映射曝光过度块的判定过程为:将STM的亮度分量划分为 个互不重叠的尺寸大小为2u×2v的图像块;对于R1中的第n个图像块,记为R1,n,计算STM的亮度分量中与R1,n对应的图像块中的所有像素点的像素值的均值和标准差,对应记为μ1,n和σ1,n;如果满足条件μ1,n>200且σ1,n<σTM,则将R1,n判定为色阶映射曝光过度块;其中, 表示R1中的图像块的总个数,σTM表示STM的亮度分量中的所
有像素点的像素值的标准差。
[0058] 在此具体实施例中,步骤⑥中,R2中的色阶映射曝光不足块的判定过程为:将STM的亮度分量划分为 个互不重叠的尺寸大小为2u×2v的图像块;对于R2中的第n'个图像块,记为R2,n',计算STM的亮度分量中与R2,n'对应的图像块中的所有像素点的像素值的均值和标准差,对应记为μ2,n'和σ2,n';如果满足条件μ2,n'<50且σ2,n'<σTM,则将R2,n'判定为色阶映射曝光不足块;其中, 表示R2中的图像块的总个数,σTM表示STM的亮度分
量中的所有像素点的像素值的标准差。
[0059] ⑦根据 和 计算STM的曝光异常率,记为ηabnormal,其中, 表示R1中的图像块的总个数, 表示R2中的图像块的总个数。
[0060] ⑧计算R1的曝光过度残差能量,记为E1, 并计算R2的曝光不足残差能量,记为E2, 其中,μ1,n表示STM的亮度分量中与R1中的第n个图
像块对应的区域中的所有像素点的像素值的均值,μ2,n'表示STM的亮度分量中与R2中的第n'个图像块对应的区域中的所有像素点的像素值的均值, 为极端曝光过度亮度值,为极端曝光不足亮度值,
[0061] ⑨将R3从RGB色彩空间转换至opponent color space(opponent色彩空间),记为R3';然后计算R3'中的所有像素点的红绿通道的分量值的均值和方差,对应记为μrg和σrg;并计算R3'中的所有像素点的黄蓝通道的分量值的均值和方差,对应记为μyb和σyb;再计算R3'的曝光色彩指数,记为C3, 其中,ωc表示色彩均值权重,在本实施例中取ωc=0.3。
[0062] ⑩获取STM的特征向量,记为 其中,符号“[]”为向量表示符号。
[0063] 选取ntest幅高动态范围图像;然后利用不同的色阶映射算子生成Ntest幅色阶映射图像,将这Ntest幅色阶映射图像的集合作为训练图像集,记为Dtest;接着利用现有的主观质量评价方法评价出Dtest中的每幅色阶映射图像的平均主观评分差值,将Dtest中的第m幅色阶映射图像的平均主观评分差值记为DMOSm;再按照步骤①至步骤⑩的过程,以相同的方式获得Dtest中的每幅色阶映射图像的特征向量,将Dtest中的第m幅色阶映射图像的特征向量记为 其中,ntest>1,1≤m≤Ntest,1≤DMOSm≤100。
[0064] 采用支持向量回归对Dtest中的所有色阶映射图像各自的平均主观评分差值以及特征向量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优权值矢量Vbest和最优偏置项bbest;之后利用Vbest和bbest构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对 进行测试,预测得到STM的客观质量评价预测值,记为Q,Q=f(Xdis), 其中,Q是Xdis的函数,f()为函数表示形式,Xdis为输入,Xdis用于代表 (Vbest)T为Vbest的转置, 为Xdis的线性函数。
[0065] 在本实施例中,选取了德州大学奥斯汀分校LIVE实验室所提供的TMID色阶映射图像数据库(以下简称“TMID数据库”)进行测试。TMID数据库中包含了15幅不同场景类型的原始的高动态范围图像,同时利用8种不同的色阶映射算子对于每幅原始的高动态范围图像进行色阶映射处理,共生成120幅色阶映射图像。在测试过程中,随机的将120幅色阶映射图像分为训练图像集和测试图像集两部分,按照本发明方法中的步骤①至步骤 的过程,采用相同的方式计算得到测试图像集中的每幅色阶映射图像的客观质量评价预测值,然后将客观质量评价预测值与对应的平均主观评分差值进行四参数Logistic函数非线性拟合,最后得到客观评价结果与主观感知之间的性能指标值。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即线性相关系数(Correlation coefficient,CC)、Spearman等级相关系数(Spearman Rank Order Correlation coefficient,SROCC)和均方根误差(RootedMean SquaredError,RMSE)。CC和SROCC的取值范围是[0,1],其值越接近1,表明客观评价结果准确性越高,反之,则越差。RMSE值越小,表示客观评价结果的预测越准确,性能越好;反之,则越差。表示本发明方法的评价性能的CC、SROCC和RMSE指标如表1所列。从表1中所列的数据可见,按本发明方法计算得到的色阶映射图像的客观质量评价预测值与平均主观评分差值之间有很好的相关性,其中,CC值达到了0.8802,SROCC值达到了0.8512,而RMSE值低至0.8342,该结果表明本发明方法的客观评价结果与人眼主观感知的结果较为一致,充分说明了本发明方法的有效性。
[0066] 表1按本发明方法计算得到的测试图像集中的色阶映射图像的客观质量评价预测值与平均主观评分差值之间的相关性的性能指标
[0067]指标类型 CC SROCC RMSE
最终结果 0.8802 0.8512 0.8342