[0004] 本发明提出了基于易分特征丢弃的网络正则化约束的行人重识别方法，主要包括作用于卷积层的正则化约束方法DropEasy2d，以及作用于全连接层的正则化约束方法DropEasy1d。对于DropEasy2d来说，计算前一层输出特征图对应特征之间的距离，如果是正样本对，则采用滑窗方式找出特征图上距离总和最小的特征区域，将其置零，如果是负样本对，则采用滑窗方式找出特征图上距离总和最大的特征区域，将其置零，就获得了一对难分特征图；对于DropEasy1d来说，计算前一层输出的特征向量中对应特征之间的距离，如果是正样本对，则将距离相对小的特征置零；如果是负样本对，则将距离相对大的特征置零，同时保持其他特征不变，就获得了一对难分特征向量。将获得的难分特征图或难分特征向量输入到下一层网络层，继续网络的前向传播过程。因为本发明方法搜索样本对之间的易分特征并将其置零，网络利用难分特征来学习正负样本对的差异，逐渐将难分特征转化为易分特征，因此将显著增强所提取特征的辨别能力，提高网络的泛化性。
[0005] 本发明的步骤如下，其中步骤1～步骤4为作用于卷积层的正则化约束方法，即DropEasy2d，而步骤5～步骤8为作用于全连接层的正则化约束方法，即DropEasy1d；
[0006] 步骤1：令{xa,xb}表示深度学习网络的输入数据对；y表示输入数据对的二值标签，当y＝1，表示{xa,xb}为正样本对，当y＝0时，表示{xa,xb}是负样本对；rh和rw∈(0,1),表示作用于卷积层的正则化约束方法在长和宽两个维度上的置零比率；r∈(0,1)，表示作用于全连接层的正则化约束方法的置零比率。将{xa,xb}输入到网络中，经过卷积层输出一对多通道的特征图，分别按通道求平均，得到单通道特征图对{Fa,Fb}，式(1)和(2)所示：
[0007]
[0008]
[0009] 其中h和w分别是{Fa,Fb}的长和宽， 和 分别是Fa和Fb中第j行第i列所对应的特征分量。
[0010] 步骤2：对特征图对{Fa,Fb},按式(3)计算得到特征图对之间的距离dist2d：
[0011]
[0012] 其中|·|1表示绝对值运算,dj,i表示{Fa,Fb}中第j行第i列所对应特征分量之间的距离。
[0013] 步骤3：先按式(4)和(5)，分别得到滑窗的长 和宽
[0014]
[0015]
[0016] 其中 表示向下取整操作。然后采用从左到右，从上到下的方式对dist2d进行滑窗遍历，对落入滑窗内的dist2d元素进行相加，找到易分特征区域坐标列表region，满足式(6)：
[0017]
[0018]
[0019] 其中 (vi,uj)表示易分特征分量的坐标，sum表示对矩阵中所有元素进行相加，当y＝1时，■表示≤；当y＝0时，■表示≥。
[0020] 步骤4：根据易分特征区域坐标列表region，对{Fa,Fb}中的特征分量分别进行置零。以对Fa的置零操作得到难分特征图 为例， 扩大1/(1‑rh*rw)倍，以补偿网络的训练过程相对于测试过程的数值偏差，具体计算过程如式(7)所示。经过相同操作可以得到Fb的难分特征图 就是丢弃了易分特征，保留了难分特征的特征图对。
[0021]
[0022] 步骤5：将 输入到下一个网络层，继续进行网络的前向传播过程。当经过全连接层，则输出特征向量对{fa,fb}，fa和fb分别如式(8)和(9)所示：
[0023]
[0024]
[0025] 其中n是{fa,fb}的维数， 和 表示fa和fb的第i维特征分量。
[0026] 步骤6：对于特征向量对{fa,fb}，按式(10)计算{fa,fb}的特征距离dist1d：
[0027]
[0028] 其中di表示{fa,fb}第i维特征分量之间的距离。当y＝1，对dist1d从小到大进行排序，得到排序后的序号列表index，如式(11)所示：
[0029]
[0030] 当y＝0，对dist从大到小进行排序得到排序后的序号列表index，如式(12)所示：
[0031]
[0032] 步骤7：对于序号列表index，取前m个元素，得到{fa,fb}需要置零特征的位置列表subindex，如式(13)所示：
[0033] subindex＝(z1,z2,…,zi,…,zm) (13)
[0034] 其中m由式(14)所得：
[0035]
[0036] 步骤8：根据subindex，以对fa进行置零操作，得到难分特征向量 为例，与步骤4类似， 扩大1/(1‑r)倍，具体计算过程如式(15)所示。经过相同操作，可以得到fb的难分特征向量 就是丢弃了易分特征，保留了难分特征的特征向量对。
[0037]
[0038] 步骤9：将 输入到下一个网络层，按前述的卷积层正则化约束方法DropEasy2d，以及全连接层正则化约束方法DropEasy1d，继续进行网络的前向传播过程。
[0039] 本发明有如下益处：
[0040] 1.将深度学习网络输出特征划分为易分和难分两类特征，本发明改进了对特征随机置零的正则化方法，提出了丢弃易分特征策略，即置零易分特征的同时，保留难分特征，约束网络仅通过难分特征学习提升特征的辨别能力和网络的泛化性。
[0041] 2.将易分特征丢弃策略运用到了全连接层和卷积层中，特别地通过滑窗方式找出特征图上的易分矩形区域并将其置零，解决了置零离散的状态下，网络可以根据特征图上地非零特征自动进行信息补全，导致正则化的作用减弱地问题，从而有效约束了网络的训练，进而提高网络的泛化性能。
[0042] 3.本发明的方法并不涉及深度学习网络的结构更改，因此任何深度学习网络都可以不改变网络结构的情况下使用本发明的正则化方法提高网络的性能。附图说明S
[0043] 图1.DropEasy2d原理示意图。
[0044] 图2.DropEasy1d原理示意图。具体实施方式:
[0045] 以利用深度网络做行人重识别(分类)任务为例，本发明的步骤如下，其中步骤1～步骤4对应于作用于卷积层的正则化约束方法DropEasy2d，而步骤5～步骤8对应于作用于全连接层的正则化约束方法DropEasy1d。DropEasy2d和DropEasy1d的原理示意图分别如图1和图2所示。
[0046] 步骤1：令{xa,xb}表示深度学习网络的输入行人数据对；y表示输入数据对的二值标签，当y＝1，表示{xa,xb}为正样本对(行人身份相同)，当y＝0时，表示{xa,xb}是负样本对(行人身份相异)；rh和rw∈(0,1),表示DropEasy2d在长和宽两个维度上的置零比率，r∈(0,1)，表示DropEasy1d的置零比率。将{xa,xb}输入到网络中，经过卷积层输出一对多通道的特征图，分别按通道求平均，得到单通道特征图对{Fa,Fb}，式(1)和(2)所示：
[0047]
[0048]
[0049] 其中h和w分别是{Fa,Fb}的长和宽， 和 分别是Fa和Fb中第j行第i列所对应的特征分量。此时可以运用DropEasy2d对特征图对{Fa,Fb}进行正则化设置。
[0050] 步骤2：对特征图对{Fa,Fb},按式(3)计算得到特征图对之间的距离dist2d：
[0051]
[0052] 其中|·|1表示绝对值运算,dj,i表示{Fa,Fb}中第j行第i列所对应特征分量之间的距离。
[0053] 步骤3：先按式(4)和(5)，分别得到滑窗的长 和宽
[0054]
[0055]
[0056] 其中 表示向下取整操作。然后采用从左到右，从上到下的方式对dist2d进行滑窗遍历，对落入滑窗内的dist2d元素进行相加，找到易分特征区域坐标列表region，满足式(6)：
[0057]
[0058]
[0059] 其中 (vi,uj)表示易分特征分量的坐标，sum表示对矩阵中所有元素进行相加，当y＝1时，■表示≤；当y＝0时，■表示≥。
[0060] 步骤4：根据易分特征区域坐标列表region，对{Fa,Fb}中的特征分量分别进行置零。以对Fa的置零操作得到难分特征图 为例，考虑到网络测试时并不需要使用DropEasy2d，因此 扩大1/(1‑rh*rw)倍，以补偿网络的训练过程相对于测试过程的数值偏差，具体计算过程如式(7)所示。经过相同操作可以得到Fb的难分特征图 就是丢弃了易分特征，保留了难分特征的特征图对。
[0061]
[0062] 步骤5：将 输入到下一个网络层，继续进行网络的前向传播过程。当经过全连接层，则输出特征向量对{fa,fb}，fa和fb分别如式(8)和(9)所示：
[0063]
[0064]
[0065] 其中n是{fa,fb}的维数， 和 表示fa和fb的第i维特征分量。
[0066] 步骤6：对于特征向量对{fa,fb}，按式(10)计算{fa,fb}的特征距离dist1d：
[0067]
[0068] 其中di表示{fa,fb}第i维特征分量之间的距离。当y＝1，对dist1d从小到大进行排序，得到排序后的序号列表index，如式(11)所示：
[0069]
[0070] 当y＝0，对dist从大到小进行排序得到排序后的序号列表index，如式(12)所示：
[0071]
[0072] 步骤7：对于序号列表index，取前m个元素，得到{fa,fb}需要置零特征的位置列表subindex，如式(13)所示：
[0073] subindex＝(z1,z2,…,zi,…,zm) (13)
[0074] 其中m由式(14)所得：
[0075]
[0076] 步骤8：根据subindex，以对fa进行置零操作，得到难分特征向量 为例，与步骤4类似， 需扩大1/(1‑r)倍，具体计算过程如式(15)所示。经过相同操作，可以得到fb的难分特征向量 就是丢弃了易分特征，保留了难分特征的特征向量对。
[0077]
[0078] 步骤9：将 输入到下一个网络层，按前述的卷积层正则化约束方法DropEasy2d，以及全连接层正则化约束方法DropEasy1d，继续进行网络的前向传播过程，直到最后一层输出对行人所属身份的分类概率。
