[0027] 以下参照附图并结合具体实施方式来进一步描述发明,以令本领域技术人员参照说明书文字能够据以实施,本发明保护范围并不受限于该具体实施方式。
[0028] 本发明所采用的技术方案是,一种基于曝光变换的立体高动态范围图像的合成方法,包括下列步骤:
[0029] (1)、将由低曝光的视点、正常曝光的视点1、正常曝光的视点2和高曝光的视点组成的多曝光图像序列,以及低曝光的视点和高曝光的视点的视差图作为系统的输入;
[0030] (2)、视点绘制修复部分:首先,设正常曝光的视点1和正常曝光的视点2分别为左、右视点,均为主视点,用视点n表示,其对应的曝光时间为tn,设低曝光的视点和高曝光的视点为辅助视点,用视点m表示,其对应的曝光时间为tm,采用d-buffer方法将辅助视点绘制到主视点上;然后,进行绘制视点图像的可靠性检测,即采用直方图匹配的颜色变换方法对主视点n上的正常曝光图像进行曝光变换,得到与绘制视点图像 具有相同曝光度的图像,用 表示,再根据 来判断绘制视点图像 的可靠性;
[0031] (3)、信息恢复:首先,用曝光变换图像 中的像素填充绘制图像 中的裂纹和空洞区域,得到填充图像 然后,利用Sobel算子检测出曝光变换图像 的边缘,用 表示,利用Sobel算子检测出填充图像 的边缘,用S′表示,并以 为参考,采用异或运算求取S′中与 存在差异的边缘区域Ω,并将 中Ω区域的信息传递到 中,得到边缘修复后的图像 接着,将曝光变换图像与边缘修复后的图像进行融合,以实现边缘修复后的图像的平滑,得到平滑后的图像
[0032] (4)、HDR图像合成:根据得到的主视点多曝光图像,利用HDR图像合成方法合成主视点HDR图像。
[0033] 步骤(2)中,采用d-buffer方法将辅助视点绘制到主视点上的具体过程为:在视图绘制过程中,在重叠绘制的像素点处取具有最大视差的像素点作为正确的绘制图像像素,可以表达为: 其中, 表示绘制视点图像,(xj,yj)表示辅助视点m的像素点坐标,(x′,y′)表示绘制视点 的像素点坐标,表示(xi,yi)处的水平视差。
[0034] 步骤(2)中,根据 来判断绘制视点图像 的可靠性的具体方法为:根据关系式: 来做判断,其中,T是设定的阈值,如果绘制图像 中的对应像素点(x′,y′)满足该关系式,则保留,否则舍弃。经过这样的可靠性检测可以去除绘制图像中的虚假轮廓和绘制错误的像素,得到可靠的绘制图像。
[0035] 步骤(3)中,边缘修复后的图像 可以表达为:
[0036] 其中, 表示边缘修复后的(x′,y′)点像素, 和S′(x′,y′)分别表示 和S′在点(x′,y′)处的像素值,表示异或操作。
[0037] 步骤(3)中,平滑后的图像 可以表达为:
[0038] 步骤(4)中,利用HDR图像合成方法合成主视点HDR图像的具体方法为:先通过最小二乘法估计相机响应函数,再进行逆变换得到逆相机函数g,根据g和曝光时间Δtj得到第j幅图像的辐照度图,并用加权融合的方式得到HDR图像,表达为:
[0039] 其中,Zij表示第j幅曝光图像第i个像素点的像素值,g表示逆相机响应函数,Δtj表示第j幅图像的曝光时间,Ei表示合成的HDR图像中第i点的辐照度值,N表示图像个数,ω表示每一个像素点在合成过程中所占的比重,即:
其中,Zmax表示像素最大值,Zmin表示像素最小值;左右视
点分别根据上式,即可得到左右视点HDR图像,实现立体HDR成像。
[0040] 步骤(2)中,通过将低曝光的视点到高曝光的视点的视差乘1/3,能够得到低曝光的视点到正常曝光的视点1的视差;通过将低曝光的视点到高曝光的视点的视差乘2/3,能够得到低曝光的视点到正常曝光的视点2的视差;通过将高曝光的视点到低曝光的视点的视差乘2/3,能够得到高曝光的视点到正常曝光的视点1的视差;通过将高曝光的视点到低曝光的视点的视差乘1/3,能够得到高曝光的视点到正常曝光的视点2的视差。
[0041] 步骤(2)中,T的取值为:T=10。
[0042] 为进一步说明本发明方法的有效性,进行如下实验。
[0043] 本实施例采用Middlebury数据库中的四组多视点多曝光序列。值得一提的是,该数据库中已知低曝光的视点和高曝光的视点之间的视差。因此,选择其中的Aloe、Art、Bowling1、Moebius序列的低曝光视点、正常曝光的视点1和正常曝光的视点2以及高曝光的视点作为实验组合,其中Art和Moebius序列的低/正常/高曝光时间是250ms/1000ms/4000ms,Aloe和Bowling1序列的低/正常/高曝光时间是125ms/500ms/2000ms。通过将低曝光的视点到高曝光的视点的视差乘1/4得到低曝光的视点到正常曝光的视点1的视差,将低曝光的视点到高曝光的视点的视差乘1/2得到低曝光的视点到正常曝光的视点2的视差,将高曝光的视点到低曝光的视点的视差乘3/4得到高曝光的视点到正常曝光的视点1的视差,将高曝光的视点到低曝光的视点的视差乘1/2得到高曝光的视点到正常曝光的视点2的视差。
[0044] 然后,为了评估所提出方法的每一部分对最终合成的HDR图像质量的影响,制定了四种合成方案进行对比验证。方案一,采用所提出的绘制修复方法进行绘制,但采用传统的左右视点双绘制方法进行信息恢复;方案二,在绘制修复中舍弃了可靠性检测的步骤,并采用基于曝光变换的图像信息填充方法,但不进行边缘修复和图像平滑;方案三,在方案二的基础上添加了可靠性检测的步骤;方案四,即本发明方法,采用了所提出的绘制修复方法和基于曝光变换的像素填充方法,并进行边缘修复和图像平滑。实验将从客观和主观两方面对不同方案合成的HDR图像质量进行评估。
[0045] 首先,客观评估使用经典的HDR-VDP-2(HDR-Visual Difference Predictor-2)评价准则作为衡量标准。需要说明的是,HDR-VDP-2的值介于0至100,越大表示合成图像与参考图像越接近。其中,参考图像是根据Middlebury库中原始的正常曝光的视点2和正常曝光的视点3的多曝光图像,用Debevec方法合成得到的。另外,由于正常曝光的视点2和正常曝光的视点3的合成方法相同,所以后续只对正常曝光的视点2合成图像的质量进行评估。具体的客观质量评价结果如表1所示。通过方案一和方案三的比较可以看出,方案三的方法得到的HDR图像的HDR-VDP-2值更高,说明相比传统的左右视点双绘制的空洞填补方法,所提的基于曝光变换的像素填充方法更有效。再通过方案二和方案三的比较可以看出,方案三的方法得到的HDR图像的HDR-VDP-2值更高,说明基于可靠性检测的绘制修复方法有助于合成更高质量的HDR图像。最后,通过方案三和方案四的比较可以看出,边缘修复和图像平滑处理能进一步提升合成HDR图像的质量。因此,从客观评估上,这四种方案的对比结果表明,本发明方法中的一系列步骤均有助于合成HDR图像。
[0046] 表1不同方案合成的HDR图像的HDR-VDP-2值
[0047]
[0048] 此外,主观质量上,用经典的色调映射方法将各方案合成的HDR图像转换成色调映射图像,通过比较的色调映射图像及其细节图,来验证本发明方法的有效性。其中,方案一、方案二、方案三的合成HDR图像及其对应的细节图如图2所示。根据Art序列的合成结果,图2(a)、(b)、(c),可以看出,陶瓷壶手柄处因错位问题导致的失真从方案一到方案二再到方案三逐渐地被去除,而且木棒周围的错误像素也得到了一定的去除,但木棒周围仍存在多余的细纹。根据Moebius序列的合成结果,图2(d)、(e)、(f),可以看出,第一个细节处的右下角的筛子的信息从方案一到方案二再到方案三逐渐变得完整,但是第一个细节处左边三角形区域以及第二个细节的褶皱处存在一些不连续的像素。从这三个方案的对比中,可以得知可靠性检测和基于曝光变换的像素填充方法的有效性,但在某些细节及边缘处仍存在一定的不足。所以,相比于方案三,方案四添加了边缘修复和图像平滑处理。为了更好地说明方案四的有效性,将方案四的合成图像与参考图像进行细节的比较,实验结果如图3所示。从Art序列的合成结果中可以看出,陶瓷壶手柄处的细节比方案三的合成结果更理想,且更接近于参考图像;木棒的边缘细纹也得到了去除,更接近于参考图像。从Moebius序列的合成结果中可以看出,第一个细节图的左边三角形区域中的黑色噪点得到了很好的去除,且第二个细节图的褶皱区域像素更平滑了,几乎接近于参考图像。因此,从主观上也可以看出本发明方法中一系列步骤均有助于合成高质量的HDR图像。
[0049] 验证了本发明方法中一系列步骤的有效性后,还对整体方法的优越性进行了评估。以HDR-VDP-2为标准,将所本发明方法与传统的用多视点多曝光图像合成HDR图像的方法进行比较,实验结果如表2所示。由于对比文献的代码未公开,而Park等人对这些算法进行了总结,所以从其论文中获取了Lin、Batz和Park的实验数据是。另外,为了保持对比实验条件的一致性,在数据准备上有两点需要注意:(1)由于以上三种方法都是使用两个视点的多曝光图像合成HDR图像,且Park的实验显示正常曝光和高曝光的图像组合得到的HDR图像质量更好,因此,使用正常曝光的视点1和高曝光的视点图像合成正常曝光的视点1上的HDR图像;(2)使用公共的序列Art、Aloe和Moebius进行合成结果的比较。合成图像的HDR-VDP-2的测量结果如表中的Proposed_comparing列所示,比Lin、Batz、以及Park的方法分别提升了2.67,1.94,0.63。考虑到正常曝光和高曝光的图像不能反映场景的全部信息,所以本发明方法最终采用低曝光、正常曝光、高曝光的组合合成HDR图像,其中合成结果如表2中的Proposed列所示。可以看出相比于Proposed_comparing,所提方法在HDR-VDP-2指标上有了进一步提升。该结果也表明本发明方法的合理性:(1)通过一系列的绘制修复以及图像信息恢复得到主视点下不同曝光度的图像;(2)充分考虑了低曝光、正常曝光以及高曝光的图像信息,从而合成更加真实的HDR图像。
[0050] 表2基于HDR-VDP-2的各方法质量比较
[0051]
[0052]
[0053] 本发明一种基于曝光变换的立体高动态范围图像合成方法,在合成过程中有效地利用了曝光变换图像的信息。实验结果表明,本发明方法能够合成高质量的HDR图像。其HDR-VDP2可以达到95.33,比目前有代表性的算法提高了1.35。