首页 > 专利 > 杭州电子科技大学 > 多特征分层融合的相关滤波鲁棒跟踪方法专利详情

多特征分层融合的相关滤波鲁棒跟踪方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2017-09-15
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2018-02-06
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2020-04-28
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2037-09-15
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201710834972.4 申请日 2017-09-15
公开/公告号 CN107578423B 公开/公告日 2020-04-28
授权日 2020-04-28 预估到期日 2037-09-15
申请年 2017年 公开/公告年 2020年
缴费截止日
分类号 G06T7/207G06T7/246 主分类号 G06T7/207
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 2
权利要求数量 3 非专利引证数量 1
引用专利数量 2 被引证专利数量 0
非专利引证 1、熊昌镇 等.“自适应特征融合的核相关滤波跟踪算法”《.计算机辅助设计与图形学学报》.2017,第29卷(第6期),Liu T etal.“.Accurate ScaleEstimation for”《.IEEE》.2014,王淑敏 等.“加权的超像素级时空上下文目标跟踪”《.计算机应用研究》.2017,第34卷(第1期),;
引用专利 CN107644430A、CN105741324A 被引证专利
专利权维持 5 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 谷雨、鲁国智、彭冬亮 第一发明人 谷雨
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 3
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
黄前泽
摘要
本发明涉及涉及一种多特征分层融合的相关滤波鲁棒跟踪方法。为提高目标跟踪的鲁棒性,针对相关滤波跟踪中的多特征融合问题,本发明提出了一种多特征分层融合策略。从目标和周围背景区域分别提取HOG特征、CN特征和颜色直方图特征三种特征。采用自适应加权融合策略进行HOG特征和CN特征的特征响应图融合。将该层融合结果与基于颜色直方图特征获得的特征响应图进行第二层融合时,采用固定系数融合策略进行特征响应图的融合。本发明在保证跟踪准确率的前提下,跟踪鲁棒性优于其它算法。当相关滤波跟踪算法采用了多个特征时,本发明的分层融合策略具有一定的借鉴性。
  • 摘要附图
    多特征分层融合的相关滤波鲁棒跟踪方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2020-04-28 授权
2 2018-02-06 实质审查的生效 IPC(主分类): G06T 7/207 专利申请号: 201710834972.4 申请日: 2017.09.15
3 2018-01-12 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.多特征分层融合的相关滤波鲁棒跟踪方法,其特征在于该方法的具体步骤是:
步骤(1)、在当前帧中的上一帧目标估计位置和尺度上,分别提取HOG、CN和颜色直方图三种特征的位置候选样本;基于多通道相关滤波算法,通过位置相关滤波器分别得到HOG和CN特征响应图;通过颜色直方图滤波器和积分图技术,得到颜色直方图特征响应图;
步骤(2)、多特征分层融合:通过自适应加权融合策略,进行第一层的HOG特征和CN特征的特征响应图融合;将第一层融合结果与颜色直方图特征响应图进行第二层融合时,采用固定系数融合策略进行特征响应图的融合;
步骤(3)、位置估计:通过步骤(2)的融合后响应图的峰值位置得到当前帧目标估计位置;
步骤(4)、尺度估计:在当前帧的目标估计位置处提取HOG特征尺度候选样本,基于多通道相关滤波算法,通过尺度相关滤波器得到尺度响应图;通过尺度响应图的峰值位置得到当前帧目标估计尺度;
步骤(5)、模板更新:在当前帧的目标估计位置和尺度上,分别提取HOG、CN和颜色直方图三种特征,通过线性插值方法更新位置相关滤波器、尺度相关滤波器和颜色直方图滤波器。

2.根据权利要求1所述的多特征分层融合的相关滤波鲁棒跟踪方法,其特征在于步骤(1)基于多通道相关滤波算法,通过位置相关滤波器分别得到HOG和CN特征响应图,具体如下:
记d通道目标外观模板为f,其每个通道特征表示为fl,l∈{1,...,d};记相关滤波器为h,其由d个单通道滤波器hl组成;通过最小化训练损失函数ε求取h,如式(1)所示:
其中*代表循环相关操作,用f正样本和其所有由循环移位产生的负样本当做训练集,用g表示训练输出; 是带有权重系数λ的正则项;求解式(1)时,通过将时域的卷积转化为频域的点乘,能极大地降低计算量;式(1)是一个线性最小二乘问题,其闭环解为:
其中H、G、F分别表示h、g、f、的离散傅里叶变换形式, 和 分别表示G和F的复数共轭形式;
在目标跟踪过程中,目标的外观会发生变化,为了能持续跟踪目标,滤波器需要在线更新;第t帧相关滤波器h更新公式为:
其中 和Bt分别是滤波器 的分子和分母,η是学习系数;
在上一帧估计目标位置处提取候选样本Zt进行观测,在频率内计算相关滤波器输出yt,计算公式如下:
其中F-1表示离散傅里叶反变换;通过yt的峰值位置得到当前帧目标估计位置;
首先提取HOG和CN特征位置候选样本,通过式(4)分别得到HOG特征响应图yt,HOG和CN特征响应图yt,CN。

3.根据权利要求1所述的多特征分层融合的相关滤波鲁棒跟踪方法,其特征在于步骤(2)提出的多特征分层融合策略具体如下:
首先采用自适应加权融合策略进行HOG特征和CN特征的特征响应图融合,通过计算特征响应图的SCRM和PSR两个指标得到融合权重;将该层融合结果与基于颜色直方图特征获得的特征响应图进行第二层融合时,采用固定系数融合策略进行特征响应图的融合;
3.1自适应加权特征融合
为计算各特征在跟踪过程中的判别能力,采用SCRM和PSR两个指标来计算模板特征融合权重;
SCRM的定义为:
其中yt和yt-1代表相邻两帧的相关滤波输出, 代表移位操作,Δ代表相邻帧相关滤波输出峰值位置之间的相对位移;通常情况下,相邻帧中目标和背景的相对位置不会发生较大改变,相邻帧相关滤波输出的空间分布应该是相似的,因此SCRM的值很小;
PSR的计算方法如下:
其中max(yt)是相关滤波输出yt的峰值,uΦ(yt)和σΦ(yt)分别是以yt峰值为中心的10%响应区域的均值和标准差,Φ=0.10;
SCRM越小,PSR值越大,表明对应特征的跟踪结果可信度越高,在模板特征融合时应该赋予更大的权重;基于以上考虑,自适应特征融合权重计算公式为:
其中wCN是CN特征的融合权重;在每一帧中都对wCN进行在线更新,更新公式如下:
wCN=(1-τ)×wCN+τ×wCN              式(8)
其中τ是学习系数;
通过自适应加权融合策略融合HOG和CN特征响应图;自适应加权融合公式如下:
ytmpl=wCN×yCN+(1-wCN)×yHOG          式(9)
其中ytmpl为HOG和CN特征的自适应加权融合输出,yHOG和yCN分别为HOG和CN特征的相关滤波输出;
3.2固定系数特征融合
将第一层融合结果和颜色直方图特征响应图进行固定系数融合,融合公式如下所示:
ytrans=α×yhist+(1-α)×ytmpl              式(10)
其中α为固定融合系数,ytrans为第二层融合的融合响应图。
说明书

技术领域

[0001] 本发明属于目标跟踪领域,涉及一种多特征分层融合的相关滤波鲁棒跟踪方法。

背景技术

[0002] 视觉跟踪用来确定感兴趣的目标在视频序列中连续的位置,其是计算机视觉领域的热点问题之一,具有广泛的研究与应用价值。目前主要的视觉跟踪算法包括基于在线学习的视觉跟踪算法、基于稀疏表示的视觉跟踪算法、基于相关滤波的视觉跟踪算法和基于卷积神经网络的视觉跟踪算法。近年来基于相关滤波的视觉跟踪算法由于具有实时性好和跟踪性能高的优点,在VOT视觉跟踪竞赛中取得了优异成绩。
[0003] 影响相关滤波跟踪算法性能的主要因素包括相关滤波器的设计,图像特征的提取、选择和融合两个方面。当在相关滤波跟踪算法中采用多源特征时,根据融合的层次不同,融合策略可分为特征提取层融合和特征响应图层融合两种,如图1所示。融合策略一在特征提取层将多种特征合并成多通道特征,融合策略二在特征响应图层进行融合,主要方法可概括为固定系数加权融合、自适应加权融合、自适应特征选择融合和分层融合等。
[0004] 目前主流的基于相关滤波的目标跟踪算法,通过采用多源特征来提高跟踪性能。CN和DSST采用融合策略一,分别将颜色名(Color Name,CN)、方向梯度直方图(Histogram of Oriented Gradient,HOG)和灰度(Gray)特征合并成多通道特征。SAMF采用融合策略一,直接将Gray、HOG和CN特征合并成多通道特征。将不同类型的特征直接组合成多通道特征,虽然融合方法实现简单,但是融合特征固定不变,无法根据目标周围环境的变化,自适应的改变融合特征,以提高融合特征的显著性。Staple采用融合策略二,用固定系数加权策略将HOG特征和颜色直方图特征在特征响应图层进行特征融合,使其能有效处理目标形变。但在不同跟踪场景中,不同类型的特征描述目标的能力不同,应根据不同特征的判别性采取分层融合策略。

发明内容

[0005] 为提高目标跟踪的鲁棒性,针对相关滤波跟踪中的上述多特征融合问题,本发明设计了一种多特征分层融合的相关滤波鲁棒跟踪算法。本发明采用多通道相关滤波跟踪算法进行目标跟踪,从目标和周围背景区域分别提取HOG特征、CN特征和颜色直方图特征三种特征。HOG特征和CN特征分别描述了目标的梯度和颜色特征,不同跟踪场景下目标的HOG特征和CN特征的显著性不同,本发明采用自适应加权融合策略进行第一层的HOG特征和CN特征的特征响应图融合,以增强目标特征的显著性。当目标发生形变时,HOG和CN这类模板特征几乎失效,而颜色直方图特征能保留一部分目标信息,可以依赖颜色直方图特征响应图来定位目标,从而提高跟踪算法的鲁棒性。由于颜色直方图特征的判别性较弱,易受背景相似颜色的干扰,当模板特征和颜色直方图特征融合时,本发明将颜色直方图特征作为一种辅助特征。将第一层融合结果与基于颜色直方图特征获得的特征响应图进行第二层融合时,本发明采用固定系数融合策略进行特征响应图的融合。
[0006] 为解决上述技术问题,本发明采用的技术方案包括以下步骤:
[0007] 步骤(1).在当前帧中的上一帧目标估计位置和尺度上,分别提取HOG、CN和颜色直方图三种特征的位置候选样本;基于多通道相关滤波算法,通过位置相关滤波器分别得到HOG和CN特征响应图;通过颜色直方图滤波器和积分图技术,得到颜色直方图特征响应图;
[0008] 步骤(2).多特征分层融合:通过自适应加权融合策略,进行第一层的HOG特征和CN特征的特征响应图融合;将第一层融合结果与颜色直方图特征响应图进行第二层融合时,采用固定系数融合策略进行特征响应图的融合;
[0009] 步骤(3).位置估计:通过步骤(2)的融合后响应图的峰值位置得到当前帧目标估计位置;
[0010] 步骤(4).尺度估计:在当前帧的目标估计位置处提取HOG特征尺度候选样本,基于多通道相关滤波算法,通过尺度相关滤波器得到尺度响应图;通过尺度响应图的峰值位置得到当前帧目标估计尺度;
[0011] 步骤(5).模板更新:在当前帧的目标估计位置和尺度上,分别提取HOG、CN和颜色直方图三种特征,通过线性插值方法更新位置相关滤波器、尺度相关滤波器和颜色直方图滤波器。
[0012] 本发明采用HOG、CN和颜色直方图三种特征,基于多通道相关滤波跟踪算法进行目标跟踪。采用自适应加权融合策略,进行第一层的HOG特征和CN特征的特征响应图融合,将第一层融合结果与基于颜色直方图特征获得的特征响应图进行第二层固定系数特征响应图融合。通过融合后的响应图进行目标位置估计,并采用尺度估计算法估计目标尺度。本发明与现有技术相比,其显著优点为:(1)在保证跟踪准确率的前提下,本发明的跟踪鲁棒性优于其它算法。(2)当相关滤波跟踪算法采用了多个特征时,本发明提出的分层融合策略具有一定的借鉴性。

实施方案

[0016] 以下结合附图对本发明作进一步说明。
[0017] 结合图2,本发明具体实施步骤如下:
[0018] 步骤(1).在当前帧中的上一帧目标估计位置和尺度上,分别提取HOG、CN和颜色直方图三种特征的位置候选样本。基于多通道相关滤波算法,通过位置相关滤波器分别得到HOG和CN特征响应图。通过颜色直方图滤波器和积分图技术,得到颜色直方图特征响应图。
[0019] 1.1多通道相关滤波跟踪算法
[0020] 记d通道目标外观模板为f,其每个通道特征表示为fl,l∈{1,...,d}。记相关滤波器为h,其由d个单通道滤波器hl组成。通过最小化训练损失函数ε求取h,如式(1)所示。
[0021]
[0022] 其中*代表循环相关操作,用f正样本和其所有由循环移位产生的负样本当做训练集,用g表示相关滤波器h的训练输出, 是带有权重系数λ的正则项。求解式(1)时,通过将时域的卷积转化为频域的点乘,能极大地降低计算量。式(1)是一个线性最小二乘问题,其闭环解为:
[0023]
[0024] 其中H、G、F分别表示h、g、f、的离散傅里叶变换形式, 和 分别表示G和F的复数共轭形式。
[0025] 在目标跟踪过程中,目标的外观会发生变化,为了能持续跟踪目标,滤波器需要在线更新。第t帧相关滤波器h更新公式为:
[0026]
[0027] 其中 和Bt分别是滤波器 的分子和分母,η是学习系数。
[0028] 在上一帧估计目标位置处提取候选样本Zt进行观测,在频率内计算相关滤波器输出yt,计算公式如下:
[0029]
[0030] 其中F-1表示离散傅里叶反变换。通过yt的峰值位置得到当前帧目标估计位置。
[0031] 1.2颜色直方图特征
[0032] 早期的跟踪算法仅将颜色直方图特征用于计算目标模板和候选样本间的Bhattacharyya系数,算法只能求得一个最优目标位置,无法得到候选区域响应图。Staple通过线性脊回归方程求取了颜色直方图滤波器,直接通过目标和背景颜色直方图来计算单个像素的相似度,能得到候选区域的响应图,其将颜色直方图特征引入到了相关滤波跟踪算法中。
[0033] 记颜色直方图滤波器为β,目标特征为 单个像素特征ei是长度为M的向量,其只在下标为i的位置为1,其它位置为0,k[u]是位置u处的像素在颜色直方图中的区间值,M是颜色直方图的bin数目。滤波器和单个像素特征的乘积转化为查表操作,在目标和背景区域的每个像素上,通过线性脊回归方程进行训
练,训练函数εhist如下:
[0034]
[0035] 其中O和B分别表示目标和背景区域,|O|和|B|分别表示目标和背景区域内的像素数目。利用 的特性,公式(5)可转换为对β的每一特征维度进行求解,β计算公式为:
[0036]
[0037] 其中ρ(O)和ρ(B)分别为目标和背景的颜色直方图特征。假定P代表目标或背景区域,则ρj(P)=Nj(P)/|P|,Nj(P)是P中所有位于颜色直方图j区间的像素数目。先利用k[u]计算位置u处像素所对应的区间值j,然后通过式(6)便可计算出位置u处像素的相似度,为降低背景像素的干扰,通过积分图技术求得基于目标区域的相似度。
[0038] 本发明首先提取HOG和CN特征位置候选样本,通过式(4)分别得到HOG特征响应图yt,HOG和CN特征响应图yt,CN。提取颜色直方图特征,通过式(6)和积分图技术(现有成熟技术)得到颜色直方图特征响应图yt,hist。
[0039] 步骤(2).多特征分层融合:
[0040] 通过自适应加权融合策略,进行第一层的HOG特征和CN特征的特征响应图融合。将第一层融合结果与颜色直方图特征响应图进行第二层融合时,采用固定系数融合策略进行特征响应图的融合。
[0041] 2.1自适应加权特征融合
[0042] 为计算各特征在跟踪过程中的判别能力,本发明采用响应图平滑约束性(Smooth Constraint of Response Maps,SCRM)和峰值旁瓣比(Peak to Sidelobe Ratio,PSR)两个指标来计算模板特征融合权重。
[0043] SCRM的定义为:
[0044]
[0045] 其中yt和yt-1代表相邻两帧的相关滤波输出, 代表移位操作,Δ代表相邻帧相关滤波输出峰值位置之间的相对位移。通常情况下,相邻帧中目标和背景的相对位置不会发生较大改变,相邻帧相关滤波输出的空间分布应该是相似的,因此SCRM的值很小。
[0046] PSR的计算方法如下:
[0047]
[0048] 其中max(yt)是相关滤波输出yt的峰值,uΦ(yt)和σΦ(yt)分别是以yt峰值为中心的10%响应区域的均值和标准差,Φ=0.10。
[0049] SCRM越小,PSR值越大,表明对应特征的跟踪结果可信度越高,在模板特征融合时应该赋予更大的权重。基于以上考虑,本发明设计的自适应特征融合权重计算公式为:
[0050]
[0051] 其中wCN是CN特征的融合权重。在每一帧中都对wCN进行在线更新,更新公式如下:
[0052] wCN=(1-τ)×wCN+τ×wCN  式(10)
[0053] 其中τ是学习系数。
[0054] 本发明通过自适应加权融合策略融合HOG和CN特征响应图。自适应加权融合公式如下:
[0055] ytmpl=wCN×yCN+(1-wCN)×yHOG  式(11)
[0056] 其中ytmpl为HOG和CN特征的自适应加权融合输出,yHOG和yCN分别为HOG和CN特征的相关滤波输出。
[0057] 2.2固定系数特征融合
[0058] 本发明借鉴Staple算法的特征融合策略,将第一层融合结果ytmpl和颜色直方图特征响应图进行固定系数融合,融合公式如下所示:
[0059] ytrans=α×yhist+(1-α)×ytmpl  式(12)
[0060] 其中α为固定融合系数,ytrans为第二层融合的融合响应图。
[0061] 步骤(3).位置估计:
[0062] 在基于步骤(2)得到的融合响应图ytrans上,通过ytrans的峰值位置得到当前帧目标估计位置。
[0063] 步骤(4).尺度估计:
[0064] 在当前帧的目标估计位置处提取HOG特征尺度候选样本,通过式(4)得到尺度响应图yscale,通过yscale的峰值位置得到当前帧目标估计尺度。
[0065] 步骤(5).模板更新:
[0066] 在当前帧的目标估计位置和尺度上,分别提取HOG、CN和颜色直方图三种特征,通过式(3)更新位置相关滤波器、尺度相关滤波器。和位置相关滤波器的式(3)更新方法一样,采用线性插值方法对ρ(O)和ρ(B)进行在线更新。
[0067] 为验证本发明的有效性,采用OTB-2013和VOT-2014公开测试集验证算法性能。本发明只利用了OTB-2013中35段彩色序列,选取阀值为20像素时的距离精度曲线值(Distance Precision,DP)作为典型值,其评价了算法的鲁棒性。选取成功率曲线下方的面积(Area under curve,AUC)作为典型值,其评价了算法的准确性。本发明使用VOT-2014上的准确率(Accuracy)和鲁棒性(Robustness)两种评价指标。实验参数如下:位置滤波器学习系数ηtrans为0.01,正则化系数λHOG为10-3,λCN为10-4,λscale为10-3,Φ为0.1,wCN初始值为
0.5,τ为0.2,α为0.3。本发明的颜色直方图滤波器和尺度滤波器采用的其它参数分别与Staple和DSST相同。在VOT-2014和OTB-2013公开测试集上,将本发明所对应的Ours算法与5种主流基于相关滤波的目标跟踪算法,包括CN、KCF、SAMF、DSST和Staple进行对比分析。表1对6种算法所采用的特征和融合策略进行了总结。
[0068] 表1 6种算法的总结对比
[0069]
[0070] 注:√表示是,×表示否
[0071] 图3为本发明与5种算法在OTB-2013上的跟踪结果,可以看出本发明在准确率和鲁棒性上均要好于其它算法。相比于Staple算法,本发明的DP和AUC分别提高了5.9%(0.840vs 0.781)和3.2%(0.633vs 0.601)。一是因为加入了CN特征,其能够提取丰富的颜色特征,CN和HOG特征具有一定的互补性。二是因为本发明提出的多特征分层融合策略,能根据不同跟踪场景下特征描述目标的能力,自适应的调整融合权重,减少了算法跟丢目标的可能性,提高了算法的鲁棒性。
[0072] VOT-2014的实验类型包含baseline和region noise两种。其中region noise实验测试算法在干扰情况下的跟踪性能。本发明没有随机性,在baseline实验上做了3次仿真卡罗模拟,在region noise实验上做了5次仿真卡罗模拟。表2为本发明与对比算法在VOT-2014上的跟踪结果,可以看出,本发明在baseline和region noise实验中的鲁棒性均好于其它算法,这进一步说明了提出的多特征分层融合策略的有效性。当相关滤波跟踪算法采用了多个特征时,本发明提出的分层融合策略具有一定的借鉴性。
[0073] 表2 VOT-2014上6种算法跟踪结果汇总
[0074]

附图说明

[0013] 图1为相关滤波跟踪算法中的多特征融合策略示意图;
[0014] 图2为本发明方法的目标位置估计示意图;
[0015] 图3为6种跟踪算法在OTB-2013公开测试集中得到的成功率曲线和距离精度曲线法。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号