[0033] 以下结合附图对本发明作进一步说明。
[0034] 一种基于元类基学习器的行人重识别集成方法,重点考虑行人图像数据分布的复杂性特点,高效利用深度特征的表示空间,深度挖掘行人图像数据分布不同区域间的负例样本对,同时有效缓解网络模型收敛缓慢的问题。主要思想是对行人图像的深度特征向量聚类以获取元类(图像簇)集合,能够使得元类中的图像在特征空间中语义相似;通过均匀划分卷积神经网络的全连接层获取每个元类对应的基学习器,可以解决对应元类的行人重识别子问题。通过这种方式,可以有效地进行行人重识别。
[0035] 如图1,该方法首先获取行人图像的数据集,然后进行如下操作:
[0036] 步骤(1).通过卷积神经网络获取行人图像的深度特征向量并进行聚类,获得语义相似的图像元类,即图像簇。具体方法是:
[0037] (1‑1).对行人图像训练数据集进行预处理,得到预处理后的训练数据集,记为其中 表示第i幅行人图像,N为图像数目;预处理为进行缩放、修剪、翻转、旋转等常见图像数据增强操作;
[0038] (1‑2).选用在大型图像数据集上(如ImageNet)预训练的残差卷积神经网络(ResNet‑50),将 输入网络,该网络中的全连接层将输出深度特征向量 其中[0039] (1‑3).对深度特征向量 进行聚类操作,通过聚类操作获得C个行人图像元类,聚类簇个数C由模型的超参数指定,C=4~8;通过聚类算法, 被组织成元类的集合Kl表示由语义上相似的行人图像组成的第l个行人图像元类。
[0040] 聚类操作可选用常见的聚类算法,本实施例采用k‑均值聚类或基于密度的聚类算法(DBSCAN)。
[0041] 步骤(2).均匀划分卷积神经网络的全连接层,形成多个基学习器与行人图像元类对应。具体方法是:
[0042] (2‑1).按照线性顺序均匀地将残差网络(ResNet‑50)的全连接层划分为C段,作为C个基学习器 fl表示第l个基学习器;
[0043] (2‑2).第l个基学习器fl用于学习第l个行人图像元类Kl,使得基学习器与行人图像元类对应。
[0044] 步骤(3).训练基学习器,输入对应元类内的正负样本对及元类间负样本对,计算样本对损失及梯度,并更新基学习器,采取自适应梯度加权策略更新下一个基学习器。具体方法是:
[0045] (3‑1).设批量样本元组Tl为第l个基学习器fl的训练样本,则对于每个行人图像元类Kl,批量样本元组Tl由一个参考深度特征向量 相对 的一个元类内正例特征向量 以及(M‑1)个元类内负例特征向量 (C‑1)个元类间负例特征向量组成,j=1,2,…,C,j≠l,M为元类内的不同行人的类别数;
[0046] 参考深度特征向量 通过对第l个元类的样本特征向量进行随机采样获得;
[0047] 元类内正例特征向量 是对第l个元类的 所属的行人类别对应的样本特征向量随机采样获得;
[0048] 元类内负例特征向量 采样过程为:对第l个元类Kl采样与参考深度特征向量不同行人类别的样本特征,每个类别随机采样一个即可获得(M‑1)个元类内负例特征向量;
[0049] 元类间负例特征向量 采样过程为:对元类集合{Kj|j=1,2,…,C,j≠l},分别随机采样一个样本,即可获得(C‑1)个元类间负例特征向量
[0050] (3‑2).根据批量样本元组Tl计算如下损失函数:
[0051]
[0052] 其中exp(·)表示指数函数;得到每个样本元组的损失及梯度,然后对学习器fl进行参数更新;
[0053] (3‑3).进行自适应梯度加权操作,并更新第(l+1)个基学习器fl+1,以进一步增加基学习器之间的差异性。
[0054] 自适应梯度加权操作具体是:
[0055] ①设置初始化的梯度权重 1≤v≤V,其中V为fl的深度特征向量维度;
[0056] ②计算fl的深度特征向量的每一维组成的梯度向量Gl,由 更新自适v应权重,(W)′为更新后的权重,从而对fl+1进行网络参数更新;z为归一化常数; 表示基学习器fl的梯度向量的第v维。
[0057] 步骤(4).重复步骤(1)~(3),直至基学习器收敛,将测试图库输入基学习器组成的集成学习器,得到相同行人的图像集合。具体方法是:
[0058] (4‑1).重复步骤(1)~(3),学习C个基学习器 直至基学习器收敛;
[0059] (4‑2).将测试图库即行人图像测试数据集以1:1的比例划分为查询集(query)和图库集(gallery);同时将已收敛的C个基学习器 依次合并为一个集成学习器f;
[0060] (4‑3).将查询集和图库集中的行人图像分别输入集成学习器f得到对应的深度特征表示 和 其中D和S分别为查询集和图库集的大小;
[0061] (4‑4).根据余弦相似度和欧氏距离,计算深度特征表示之间的相似度simf和距离distf:
[0062]
[0063]
[0064] 计算得到查询与图库图像的相似度矩阵和距离矩阵;
[0065] (4‑5).计算相似度矩阵和距离矩阵对应元素的平均值,据此搜索与查询集中的图像相似的图库图像,得到相同行人(指同一身份)的图像集合。
[0066] 本实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。