[0016] 以下结合附图对本发明作进一步说明。
[0017] 结合图2,本发明具体实施步骤如下:
[0018] 步骤(1).在当前帧中的上一帧目标估计位置和尺度上,分别提取HOG、CN和颜色直方图三种特征的位置候选样本。基于多通道相关滤波算法,通过位置相关滤波器分别得到HOG和CN特征响应图。通过颜色直方图滤波器和积分图技术,得到颜色直方图特征响应图。
[0019] 1.1多通道相关滤波跟踪算法
[0020] 记d通道目标外观模板为f,其每个通道特征表示为fl,l∈{1,...,d}。记相关滤波器为h,其由d个单通道滤波器hl组成。通过最小化训练损失函数ε求取h,如式(1)所示。
[0021]
[0022] 其中*代表循环相关操作,用f正样本和其所有由循环移位产生的负样本当做训练集,用g表示相关滤波器h的训练输出, 是带有权重系数λ的正则项。求解式(1)时,通过将时域的卷积转化为频域的点乘,能极大地降低计算量。式(1)是一个线性最小二乘问题,其闭环解为:
[0023]
[0024] 其中H、G、F分别表示h、g、f、的离散傅里叶变换形式, 和 分别表示G和F的复数共轭形式。
[0025] 在目标跟踪过程中,目标的外观会发生变化,为了能持续跟踪目标,滤波器需要在线更新。第t帧相关滤波器h更新公式为:
[0026]
[0027] 其中 和Bt分别是滤波器 的分子和分母,η是学习系数。
[0028] 在上一帧估计目标位置处提取候选样本Zt进行观测,在频率内计算相关滤波器输出yt,计算公式如下:
[0029]
[0030] 其中F-1表示离散傅里叶反变换。通过yt的峰值位置得到当前帧目标估计位置。
[0031] 1.2颜色直方图特征
[0032] 早期的跟踪算法仅将颜色直方图特征用于计算目标模板和候选样本间的Bhattacharyya系数,算法只能求得一个最优目标位置,无法得到候选区域响应图。Staple通过线性脊回归方程求取了颜色直方图滤波器,直接通过目标和背景颜色直方图来计算单个像素的相似度,能得到候选区域的响应图,其将颜色直方图特征引入到了相关滤波跟踪算法中。
[0033] 记颜色直方图滤波器为β,目标特征为 单个像素特征ei是长度为M的向量,其只在下标为i的位置为1,其它位置为0,k[u]是位置u处的像素在颜色直方图中的区间值,M是颜色直方图的bin数目。滤波器和单个像素特征的乘积转化为查表操作,在目标和背景区域的每个像素上,通过线性脊回归方程进行训
练,训练函数εhist如下:
[0034]
[0035] 其中O和B分别表示目标和背景区域,|O|和|B|分别表示目标和背景区域内的像素数目。利用 的特性,公式(5)可转换为对β的每一特征维度进行求解,β计算公式为:
[0036]
[0037] 其中ρ(O)和ρ(B)分别为目标和背景的颜色直方图特征。假定P代表目标或背景区域,则ρj(P)=Nj(P)/|P|,Nj(P)是P中所有位于颜色直方图j区间的像素数目。先利用k[u]计算位置u处像素所对应的区间值j,然后通过式(6)便可计算出位置u处像素的相似度,为降低背景像素的干扰,通过积分图技术求得基于目标区域的相似度。
[0038] 本发明首先提取HOG和CN特征位置候选样本,通过式(4)分别得到HOG特征响应图yt,HOG和CN特征响应图yt,CN。提取颜色直方图特征,通过式(6)和积分图技术(现有成熟技术)得到颜色直方图特征响应图yt,hist。
[0039] 步骤(2).多特征分层融合:
[0040] 通过自适应加权融合策略,进行第一层的HOG特征和CN特征的特征响应图融合。将第一层融合结果与颜色直方图特征响应图进行第二层融合时,采用固定系数融合策略进行特征响应图的融合。
[0041] 2.1自适应加权特征融合
[0042] 为计算各特征在跟踪过程中的判别能力,本发明采用响应图平滑约束性(Smooth Constraint of Response Maps,SCRM)和峰值旁瓣比(Peak to Sidelobe Ratio,PSR)两个指标来计算模板特征融合权重。
[0043] SCRM的定义为:
[0044]
[0045] 其中yt和yt-1代表相邻两帧的相关滤波输出, 代表移位操作,Δ代表相邻帧相关滤波输出峰值位置之间的相对位移。通常情况下,相邻帧中目标和背景的相对位置不会发生较大改变,相邻帧相关滤波输出的空间分布应该是相似的,因此SCRM的值很小。
[0046] PSR的计算方法如下:
[0047]
[0048] 其中max(yt)是相关滤波输出yt的峰值,uΦ(yt)和σΦ(yt)分别是以yt峰值为中心的10%响应区域的均值和标准差,Φ=0.10。
[0049] SCRM越小,PSR值越大,表明对应特征的跟踪结果可信度越高,在模板特征融合时应该赋予更大的权重。基于以上考虑,本发明设计的自适应特征融合权重计算公式为:
[0050]
[0051] 其中wCN是CN特征的融合权重。在每一帧中都对wCN进行在线更新,更新公式如下:
[0052] wCN=(1-τ)×wCN+τ×wCN 式(10)
[0053] 其中τ是学习系数。
[0054] 本发明通过自适应加权融合策略融合HOG和CN特征响应图。自适应加权融合公式如下:
[0055] ytmpl=wCN×yCN+(1-wCN)×yHOG 式(11)
[0056] 其中ytmpl为HOG和CN特征的自适应加权融合输出,yHOG和yCN分别为HOG和CN特征的相关滤波输出。
[0057] 2.2固定系数特征融合
[0058] 本发明借鉴Staple算法的特征融合策略,将第一层融合结果ytmpl和颜色直方图特征响应图进行固定系数融合,融合公式如下所示:
[0059] ytrans=α×yhist+(1-α)×ytmpl 式(12)
[0060] 其中α为固定融合系数,ytrans为第二层融合的融合响应图。
[0061] 步骤(3).位置估计:
[0062] 在基于步骤(2)得到的融合响应图ytrans上,通过ytrans的峰值位置得到当前帧目标估计位置。
[0063] 步骤(4).尺度估计:
[0064] 在当前帧的目标估计位置处提取HOG特征尺度候选样本,通过式(4)得到尺度响应图yscale,通过yscale的峰值位置得到当前帧目标估计尺度。
[0065] 步骤(5).模板更新:
[0066] 在当前帧的目标估计位置和尺度上,分别提取HOG、CN和颜色直方图三种特征,通过式(3)更新位置相关滤波器、尺度相关滤波器。和位置相关滤波器的式(3)更新方法一样,采用线性插值方法对ρ(O)和ρ(B)进行在线更新。
[0067] 为验证本发明的有效性,采用OTB-2013和VOT-2014公开测试集验证算法性能。本发明只利用了OTB-2013中35段彩色序列,选取阀值为20像素时的距离精度曲线值(Distance Precision,DP)作为典型值,其评价了算法的鲁棒性。选取成功率曲线下方的面积(Area under curve,AUC)作为典型值,其评价了算法的准确性。本发明使用VOT-2014上的准确率(Accuracy)和鲁棒性(Robustness)两种评价指标。实验参数如下:位置滤波器学习系数ηtrans为0.01,正则化系数λHOG为10-3,λCN为10-4,λscale为10-3,Φ为0.1,wCN初始值为
0.5,τ为0.2,α为0.3。本发明的颜色直方图滤波器和尺度滤波器采用的其它参数分别与Staple和DSST相同。在VOT-2014和OTB-2013公开测试集上,将本发明所对应的Ours算法与5种主流基于相关滤波的目标跟踪算法,包括CN、KCF、SAMF、DSST和Staple进行对比分析。表1对6种算法所采用的特征和融合策略进行了总结。
[0068] 表1 6种算法的总结对比
[0069]
[0070] 注:√表示是,×表示否
[0071] 图3为本发明与5种算法在OTB-2013上的跟踪结果,可以看出本发明在准确率和鲁棒性上均要好于其它算法。相比于Staple算法,本发明的DP和AUC分别提高了5.9%(0.840vs 0.781)和3.2%(0.633vs 0.601)。一是因为加入了CN特征,其能够提取丰富的颜色特征,CN和HOG特征具有一定的互补性。二是因为本发明提出的多特征分层融合策略,能根据不同跟踪场景下特征描述目标的能力,自适应的调整融合权重,减少了算法跟丢目标的可能性,提高了算法的鲁棒性。
[0072] VOT-2014的实验类型包含baseline和region noise两种。其中region noise实验测试算法在干扰情况下的跟踪性能。本发明没有随机性,在baseline实验上做了3次仿真卡罗模拟,在region noise实验上做了5次仿真卡罗模拟。表2为本发明与对比算法在VOT-2014上的跟踪结果,可以看出,本发明在baseline和region noise实验中的鲁棒性均好于其它算法,这进一步说明了提出的多特征分层融合策略的有效性。当相关滤波跟踪算法采用了多个特征时,本发明提出的分层融合策略具有一定的借鉴性。
[0073] 表2 VOT-2014上6种算法跟踪结果汇总
[0074]