[0004] 本发明的目的是针对现有技术的不足,设计了一种以0°、45°、90°、135°四个方向的EPI图像块作为输入,输出视差图,具备EPI图像方向自适应、EPI图像尺度自适应能力的卷积神经网络(SOA‑EPN),并利用SOA‑EPN提出了一种光场深度估计方法。
[0005] 本发明解决其技术问题采取的技术方案包括如下步骤:
[0006] 步骤1.准备光场数据集,制作训练集和测试集;
[0007] 步骤2.搭建方向和尺度自适应的卷积神经网络SOA‑EPN;
[0008] 步骤3.使用训练集训练搭建好的SOA‑EPN网络;
[0009] 步骤4.使用练好的SOA‑EPN网络在测试集上进行测试;
[0010] 步骤1具体包括下述步骤:
[0011] 步骤1‑1:使用海德堡图像处理实验室提供的4D光场数据集(K.Honauer,O.Johannsen,D.Kondermann,and B.Goldluecke,“A dataset and evaluation methodology for depth estimation on 4d light fields,”in Asian Conference on Computer Vision,2016.)作为实验数据集,该数据集包含28个场景,并提供了高精度的视差和性能评估指标。每一个场景包含9行9列共81张大小为512×512的子光圈图像。将上述28个场景分为两部分,利用其中16个场景制作训练集,12个场景制作测试集。
[0012] 步骤1‑2:将每一个4D光场场景定义为LF(s,t,x,y),其中(x,y)是图像空间坐标系,(s,t)是角度坐标系。对于中心子光圈图像LF(4,4,x,y)上的任一点P,提取P点的0°、45°、90°、135°四个方向大小为9×21×3(高×宽×通道)的EPI图像块,这四个EPI图像块构成了数据集的一个样本,输入到卷积神经网络。
[0013] 所述步骤2具体实现如下:
[0014] 步骤2‑1:搭建方向和尺度自适应的卷积神经网络SOA‑EPN。
[0015] 所述的SOA‑EPN由4个尺度感知网络(Scale‑Aware network简称:SAN)构成。训练集和测试集的每一个样本包含四个EPI图像块,每一个所述的尺度感知网络SAN是以其中1个EPI图像块作为输入,预测输出是该图像块中心点P的视差预测向量logiti,其中i=0,1,2,3,因此会得到4个视差预测向量,使用一个有229个神经元的全连接层将这4个视差预测向量进行融合得到一个最终视差;
[0016] 为了减少SOA‑EPN的隐含层数量,减少网络参数量,降低卷积神经网络过拟合的风险,将4个尺度感知网络SAN进行权值共享,达到深度压缩的目的。
[0017] 设定视差预测范围是‑4到4(单位:像素),将视差预测定义为一个分类任务,预测精度是0.035个像素,则可分为229类。
[0018] 所述尺度感知网络SAN一共18层,分为3个子网络,具体参看表1:
[0019] 表1:
[0020]
[0021] 所述的3个子网络,具体如下:
[0022] (1)深度特征表征网络(第1到第8个卷积层)
[0023] 该部分使用8个卷积核为2×2、步长为1×1的卷积层对输入EPI图像块进行深度特征表征,对每个卷积层的输出进行批归一化(BN,batch normalization)处理,再使用ReLU函数对批归一化的输出结果进行激活;所述的8个卷积层中每个卷积层的输出特征图数量依次是(16,32,64,128,256,384,512,512),第8个卷积层输出的张量记为x0,x0其大小为512×1×13(特征图数量×高×宽),即512个大小为1×13的特征图(特征向量)。
[0024] (2)尺度自适应选择网络(第9到第16个卷积层)
[0025] 尺度自适应选择网络(Scale‑Adaptive‑Selection‑Network,SASN)是一个具有长跳跃和短跳跃连接(skip connection:跳跃式连接)的多层前馈网络,包含了四个尺度选择单元(Scale‑Selection‑Unit,SSU),每个尺度选择单元SSU由2个卷积核为1×2、步长为1×1的卷积层,一个切片操作和一个跳跃式连接组成。尺度自适应选择网络SASN的作用是改变SOA‑EPN网络的输入EPI图像块的尺寸大小。实现原理是:SOA‑EPN在第8个卷积层的感知域大小为9×9,而x0是尺寸为9×21的EPI图像块的深度特征,通过改变x0的尺度可以间接地改变输入EPI图像块的尺寸,进而实现尺度自适应选择功能(利用感知域的概念,通过切片操作改变特征向量的尺寸,进而间接改变输入图像的尺寸,达到尺度自适应选择的目的,是本专利的核心思想)。可以通过四次切片操作s(·)改变x0的尺寸,进而获得尺寸为9×19、9×
17、9×15、9×13的输入EPI图像块的深度特征x1、x2、x3、x4,尺度自适应选择功能具体来说就是在9×21、9×19、9×17、9×15、9×13五个尺寸中选择一个或者是它们的某种组合,选择的策略是在训练SOA‑EPN的过程学习得到的。值得注意的是,SASN只以一张尺寸为9×21的EPI图像块作为输入,通过尺度选择单元SSU实现尺度自适应选择,而不是输入多张不同尺寸的EPI图像块。
[0026] 第i个尺度选择单元的输出hi定义为:
[0027]
[0028] 其中,x0是尺寸为9×21的EPI图像块的深度特征,xi代表x1、x2、x3、x4。F(·)代表每一个尺度选择单元SSU的2个卷积层的卷积操作。值得注意的是,xi的特征图数量可能会小于F(hi‑1)的特征图数量,采用补0的方式使得xi和F(hi‑1)的特征图数量相等。s(·)是切片操作。
[0029] 所述的切片操作s(·)是指沿宽度通道切除xi‑1中每一个特征图(特征向量)的两端各一个神经元,进而得到xi‑1的中心区域,也就是xi。具体来说,是尺寸为9×21的EPI图像块经过8个卷积层后输出的特征图;x0进行一次切片操作后得到x1,x1是尺寸为9×19的EPI图像块经过8个卷积层后输出的特征图;同理,x1进行一次切片操作后得到x2,x2是尺寸为9×17的EPI图像块经过8个卷积层后输出的特征图。以此类推,x1、x2、x3、x4分别是9×21、9×19、9×17、9×15、9×13五个尺寸的EPI图像块的特征图,尺寸依次是512×1×11、576×1×
11、576×1×9、640×1×7、640×1×5。
[0030] 第9层和第10层是卷积核为1×2、步长为1×1的卷积层,它是第一个尺度选择单元SSU的卷积操作。对每个卷积层的输出进行批归一化(BN)处理,再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活;所述的2个卷积层的输出特征图的数量依次是(576,576),第10个卷积层输出576个大小为1×11的特征图。
[0031] 第11层和第12层是卷积核为1×2、步长为1×1的卷积层,它是第二个尺度选择单元SSU的卷积操作。对每个卷积层的输出进行批归一化(BN)处理,再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活;所述的2个卷积层的输出特征图的数量依次是(576,576),第12个卷积层输出576个大小为1×9的特征图。
[0032] 第13层和第14层是卷积核为1×2、步长为1×1的卷积层,它是第三个尺度选择单元SSU的卷积操作。对每个卷积层的输出进行批归一化(BN)处理,再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活;所述的2个卷积层的输出特征图的数量依次是(640,640),第14个卷积层输出640个大小为1×7的特征图。
[0033] 第15层和第16层是卷积核为1×2、步长为1×1的卷积层,它是第四个尺度选择单元SSU的卷积操作。对每个卷积层的输出进行批归一化(BN)处理,再使用斜率为0.01的Leaky ReLU函数对批归一化的输出结果进行激活;所述的2个卷积层的输出特征图的数量依次是(640,640),第16个卷积层输出640个大小为1×5的特征图。
[0034] (3)预测网络(第17、第18个全连接层)
[0035] 第17层是拥有1024个神经元的全连接层(Fully Connected Layer,简称FC),使用ReLU函数对该全连接层的输出进行激活,使用Dropout技术处理ReLU函数的输出,每一个神经元只有50%的概率参与计算。第17层的最终输出是一个大小为1×1024的特征向量。
[0036] 第18层是拥有229个神经元的全连接层,从而得到大小为1×229的视差预测向量logiti。
[0037] 步骤2‑2:为了增强了训练过程的可控性,减少深度学习的黑箱效应,使用多层交叉熵损失函数对SOA‑EPN进行训练,多层交叉熵损失函数如下:
[0038]
[0039] 其中,N是训练集的一个批大小,wi是权重,||·||计算向量的L1距离, 是真实视差概率向量。
[0040] 所述步骤3具体实现如下:
[0041] 从训练集中随机选取256个样本作为一个批次输入到SOA‑EPN网络,网络预测输出logiti,利用前面定义的多层交叉熵损失函数计算预测值logiti和真实值 之间的误差,进而使用反向传播算法和梯度优化算法更新SOA‑EPN网络的参数。当Loss达到稳定值则完成训练。
[0042] 所述步骤4具体包括下述步骤:
[0043] 从测试集中任取一个场景,提取该场景中心子光圈图像上任一点P四个方向的EPI图像块,输入到训练好的SOA‑EPN网络,网络输出一个大小为229的概率向量logit4,将logit4中概率最大的类记为z,其概率记为a,比较z‑1和z+1两个类的概率并取概率较大的类记为s,其概率记为b。则P点的视差disp计算如下:
[0044] disp=[(a/(a+b))×z+(b/(a+b))×s]×0.035+offset,其中,offset为偏移参数,取值4。
[0045] 则P点的深度depth=Bf/disp,其中f是相机焦距,B是两个相邻子光圈的距离。
[0046] 与现有技术相比,本发明主要贡献是:
[0047] (1).尺度感知结构.它将切片操作应用于多尺度特征提取,然后通过多层前馈网络进行长跳和短跳连接的自适应尺度选择。
[0048] (2).多方向图像块共享权重网络。它在多尺度感知结构中共享参数,实现多方位特征融合。
[0049] (3).一种用于深度估计的图像块学习模型。为了达到规模和方向感知,它包含上述两种网络结构,并以多方向图像块作为输入。