基于CNN和域自适应学习的车型识别方法   0    0

本发明涉及基于CNN和域自适应学习的车型识别方法，通过在Alexnet网络中添加旋转不变层、区分判别层和设计新的目标函数，建立基于CNN网络初始模型；利用建立的初始模型分别提取不同领域样本卷积层的特征图，计算样本特征图之间的余弦相似度，确定CNN网络的共享卷积核或非共享卷积核，保留共享卷积核的权重和偏置，更新非共享卷积核的权重和偏置；基于目标领域训练样本，计算每层特征图之间的余弦相似度和整个目标领域平均相似度，根据平均相似度聚类每类相似特征图；将与目标领域中样本有相似分布特性的源领域样本拓展为目标领域的新样本，用目标领域的新样本来微调整个CNN网络模型，再通过softmax分类器对目标领域中的测试样本进行车型分类。

1.一种基于CNN和域自适应学习的车型识别方法，其特征在于包括如下步骤：
步骤1)分别采集自然场景下的包含多种车型的车辆图像，形成车型图像数据库，所述图像中一部分为源领域样本，源领域样本包括源领域训练样本和源领域测试样本，剩余部分为目标领域样本，目标领域样本包括目标领域训练样本和目标领域测试样本，采集车辆图像后对所述车型图像数据库中的车辆图片进行预处理操作；
步骤2)构建CNN网络模型，将所述车型图像数据库导入Alexnet网络进行预训练，更新Alexnet网络结构的权重参数Wi和偏置参数Bi，Wi表示第i层网络的权重，Bi表示第i层网络的偏置，i＝1,2…m；
步骤3)在CNN网络中添加旋转不变层FCa，旋转源领域训练样本，获得源领域增强训练样本，根据所述源领域增强训练样本和第一目标函数，训练添加旋转不变层后的网络权重参数WRI＝{W1,W2,…,Wm,Wa,Wb}和偏置BRI＝{B1,B2,…,Bm,Ba,Bb}；
步骤4)在旋转不变层后添加Fisher区分判别层FCc形成改进CNN网络模型，通过输入标签和第二目标函数，训练更新添加了Fisher区分判别层后的CNN网络权重参数WFD＝{W1,W2,…,Wm,Wa,Wc,Wd}和BFD＝{B1,B2,…,Bm,Ba,Bc,Bd}；
步骤5)通过所述改进CNN网络模型分别提取目标领域训练样本与源领域增强训练样本的特征图，将源领域增强训练样本和目标领域训练样本的车辆图像分别输入到经过训练的改进CNN网络模型中，分别提取源领域与目标领域的车辆图像的特征，获得相应的特征图；
步骤6)计算目标领域训练样本特征图与源领域增强训练样本特征图之间的余弦相似度，确定改进的CNN网络卷积层的共享卷积核或非共享卷积核，保留每个卷积层共享卷积核的权重和偏置，基于目标领域训练样本，使用随机梯度下降法更新卷积层非共享卷积核的权重和偏置；
步骤7)卷积目标领域训练样本图像，获得特征图，计算特征图之间的余弦相似度，获得目标领域训练样本的平均相似度矩阵，使用层次分析法聚类，每类保留一个相似特征图；
步骤8)通过所述目标领域训练样本微调整个CNN网络，最终形成车型识别网络；
步骤9)将所述目标领域测试样本中的每一个测试样本代入所述车型识别网络，车型网络根据车型识别网络的输出结果判定车辆的车型。

2.根据权利要求1所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤1)中，所述图像中一部分为源领域样本，包括CNN网络训练样本集合X＝{x1,x2,…,xh}和CNN网络模型测试样本集合R＝{γ1,γ2,…,γσ}，xh、γσ分别表示源领域集合中的样本，h、σ分别表示源领域集合中样本的个数；剩余部分为目标领域样本，包括域自适应学习训练样本集合 和域自适应学习测试样本集合M＝{δ1,δ2,…,δτ}，tj、δτ分别表示目标领域样本，T、τ分别表示目标领域集合中样本的个数。

3.根据权利要求1所述的基于CNN和域自适应学习的车型识别方法，其特征在于步骤1)中，所述预处理操作用于统一图片大小，并对图像添加标签，标注该图像所属车型类别。

4.根据权利要求3所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤2)中，Alexnet网络结构由按先后次序依次设置的五个卷积层与三个全连接层组成，Alexnet网络输出融合标签的softmax损失函数，根据softmax损失函数对权重参数Wi和偏置参数Bi进行随机梯度下降微调，所述融合标签为Alexnet网络的输出结果与所述融合标签的实际值之间的误差。

5.根据权利要求4所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤3)包括如下步骤：
3-1)设定车辆图像的源领域训练样本为X，以角度φ对每个车辆图像进行旋转变换，并添加到源领域训练样本X中，得到源领域增强训练样本χRI，χRI＝{X,TφX}是一组图像旋转变换的数据集，其中 K为旋转变换的次数， 表示对训练样本进行角度为
φk的旋转操作，k＝1，2，3，…，K；
3-2)在CNN网络模型中位于Alexnet网络结构第七层的全连接层后添加全连接旋转不变层FCa，将Om(xu)表示为前一层FCm的输出，Oa(xu)为FCa层输出，Ob(xu)表示为softmax分类层FCb的输出，(Wa,Ba)和(Wb,Bb)分别表示FCa层和FCb层的新参数；
Oa(xu)和Ob(xu)的计算公式分别如式(1)、式(2)：
Oa(xu)＝κ(WaOm(xu)+Ba)  (1)
其中，κ(WaOm(xu)+Ba)＝max(0,WaOm(xu)+Ba)，
分别是ReLU和softmax非线性
激活函数；
设定整个CNN网络模型的增强训练样本为χRI＝{X,TφX}，相应的标签为
表示样本xu对应的标签；新的网络参数WRI和BRI由新的目标函数学习得到，新的目标函数如式(3)：
其中，λ1和λ2是权值参数，λ1和λ2均属于[0,1]，M(χRI,γRI)是softmax层的损失函数，表达式如式(4)；R(X,TφX)是一个旋转不变性正规化约束项，表达式如式(5)，旋转前和旋转后的训练样本分别为X和TφX， 是权值衰减项，用于防止过拟合；
式(4)中， 是 和logOb(xu)之间的内积，N是X中初始训练样本的总数，K
是对于xu∈X旋转变换的总次数，
其中，Oa(xu)是FCa层的激活函数的输出， 是基于旋转后样本的FCa层激活函数的平均输出，如式(6)；
所述第一目标函数如式(7)：

6.根据权利要求5所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤4)包括如下步骤：
4-1)在旋转不变层FCa后添加Fisher区分判别层FCc，将旋转不变层和Fisher区分判别层组合在一起，CNN网络训练样本为每个对象类的所有真实边界框，定义为
是第e个对象类真实边界框；训练样本为χFD＝{xv}，对应的输出结果为
通过输入结果对(χFD,γFD)训练， 表示样本xv对应的标签；
4-2)随机初始化(Wc,Bc)和(Wd,Bd)，计算损失函数、辨别正则化项和第二目标函数JFD(WFD，BFD)，及时更新参数WFD＝{W1,W2,…,Wm,Wa,Wc,Wd}和BFD＝{B1,B2,…,Bm,Ba,Bc,Bd}，使用随机梯度下降法优化结构；对训练样本xv∈χFD，Oa(xv)表示为前一层FCa的输出，Oc(xv)为FCc层输出，Od(xv)表示为softmax分类层FCd的输出，(Wc,Bc)和(Wd,Bd)分别表示FCc层和FCd层的新参数；
Oc(xv)和Od(xv)的计算公式分别如式(8)、式(9)：
Oc(xv)＝κ(WcOa(xv)+Bc)  (8)
所述第二目标目标函数如式(10)
其中，λ3和λ4是权值参数，λ3和λ4均属于[0,1]，M(χFD,γFD)是softmax层的损失函数，M(χFD,γFD)表达式如式(11)；F(χFD)是对CNN特征施加的辨别正则化约束，通过最小化类内间隔SW(χFD)和最大化类间间隔SB(χFD)获得，SW(χFD)、SB(χFD)的表达式分别如式(12)、式(13)；
式(11)中，|χFD|是训练样本χFD的数量，
式(12)、式(13)中，ne表示第e个对象类中样本的数量，其中me和m分别表示 和χFD的平均的特征如式(14)、式(15)，t表示转置运算，
辨别正则化项F(χFD)如式(16)，
F(χFD)＝tr(SW(χFD))-tr(SB(χFD))  (16)
式(16)中，tr(SW(χFD))和tr(SB(χFD))表示矩阵的迹运算，即矩阵主对角线元素的总和；
所述第二目标函数整合为：

7.根据权利要求4所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤5)中，假设输入特征图的集合为 输出特征图集合为
其中Rk-1和Rk分别是集合xk和zk元素的个数，k表示卷积的层数；Alexnet网络卷积层包括卷积单元和子采样单元，卷积单元与子采样单元之间的中间特征图集表示为
每个特征图 在卷积单元中计算为 表示特征图 和卷积核
之间的卷积， 表示偏置，F(x)＝max(0,x)是激活函数，在卷积单元后子采样层使用固定大小的均值内核扫描每张特征图 形成对应的池化特征图
subsampling()表示下采样函数，卷积核集 相应的特征图是

8.根据权利要求7所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤6)中，将车辆图像增强训练样本χRI表示为 sω为源领域增强训练样本，
为目标领域训练样本；
将A中具有相同属性的车辆图像通过K均值聚类算法分为η类，即 每个类集
合Aμ中的车辆图像经过卷积层得到相似的特征图，每一类的平均特征图计算为|Aμ|为数据的个数，在分好的η类图像中找到与目标图像tj相符的
特征图μ(j)，μ(j)与目标图像tj具有最大余弦平均相似度，计算方法为
cos(·,·)表示两个图像之间的余弦相似度；
设定估计卷积核flk是否是每个tj的共享卷积核的判定条件式如式(17)；
式(17)中，ε是决策阈值，结合式(17)的判定规则为：如果 则目标领
域训练样本中的大多数样本都认为该层的flk是共享卷积核，保留flk的权重和偏置；如果则需要更新flk的权重和偏置；softmax损失函数表示为
使得特征图 逼近其对应的特征映射 从而更新非共
享卷积核集flk。

9.根据权利要求1所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤8)中，使用源领域概率与目标领域概率的比值λω作为对源领域样本sω可用性判别标准，λω使用条件概率定义如式(18)
p(sω|E)和p(sω|A)分别代表sω在源领域和目标领域中的概率，条件概率建模如式(19)、式(20)，
ot(sω)和os(sω)分别表示在先前迁移的目标领域检测器和源领域检测器的sω的输出值，如果sω被跨领域正确分类，则p(sω|E)∈(0.8,1)且p(sω|A)∈(0.8,1)，λω被重新定义如式(21)，
如果λω≥1，sω与目标领域中的车辆具有相似的视图；在源领域中，将条件概率λω≥1时的样本和目标领域样本组成了新的样本数据集，在每次迭代过程中，计算源领域中每辆车辆的可用性并选择新的样本更新训练集，用更新的训练集再训练直到融合标签的softmax损失函数收敛，获得优化特征检测模型每一层权值参数W'和偏置参数B'。

10.根据权利要求4所述的基于CNN和域自适应学习的车型识别方法，其特征在于所述步骤9)中，所述车型识别网络的最后一个全连接层为FC8层，FC8层的输出被送至softmax分类层，所述softmax分类层的输出是一个涵盖四类车型的概率分布，输出结果中对应于某一车型的概率最大，则判定待识别车辆的输出结果为该车型，所述四类车型包括大客车、大货车、箱式小货车以及轿车。