0 引言

目标跟踪是机器视觉和大数据领域的重要研究任务之一.利用第1帧给出的目标对象的相关信息，在之后的连续视频帧定位跟踪对象的位置，主要涉足视频监控、交通巡逻、医学图像、无人机等领域^[1-3].近10年来，对于该方向的研究取得了长足的进步，但是在实际应用中如目标的光照等外部条件的变化和形变等自身条件的变化方面，还面临很大的挑战，存在深入研究的空间.

近年来，使用判别相关滤波器对目标进行跟踪的方法层出不穷.从最早的基于判别相关滤波器（DCF）改进的跟踪算法MOSSE^[4]将空间域中复杂的相关操作转换为频域中的元素乘法能够有效地提高跟踪性能后，DCF就被作为一种基础的跟踪算法进行研究.之后对DCF的改进有循环移位采样和核函数^[5]、HOG特征^[6]，以及对尺度变化跟踪较好的颜色特征^[7]、自适应尺度^[8]、限制或者利用背景信息^[9-10]、空间和时间正则化^[11-12]等.

对基于DCF的跟踪器进行改进，主要集中在三个方面:1）构建鲁棒的外观模型^[10，12-13]; 2）缓解滤波器衰退^[11-12，14]; 3）抑制边界效应^[12，15].清晰的目标外观确实有助于提升跟踪效果，但是却需要大量的计算，而为了缓解滤波器衰减速度所提出的一些方法也没有真正地改进跟踪效果.因此，目前大多数的跟踪器选择从抑制边界效应方向提高性能.

相关滤波器训练时对训练样本进行循环移位操作，在样本框边界处假设样本周期性扩展，从而导致跟踪中出现边界效应.Danelljan等^[11]针对边界效应提出在相关滤波器中引入一个空间正则化项，来惩罚DCF系数的空间位置，使滤波器得出的结果更集中于目标中心.然而，此方法导致滤波器无法完全学习经过循环移位后的样本，使得计算量增加，并且该算法使用的高斯-赛德尔算法进一步加重了计算量负担.Li等^[12]基于SRDCF模型提出时间正则化项，加强相邻帧之间滤波器的联系，使得滤波器能够学习到更好的外观模型，并且此算法使用交替方向乘子算法（Alternating Direction Method of Multipliers，ADMM）对算法进行优化，大大提升了计算效率.上述算法都使用了不变的空间惩罚系数，不能灵活应对不同目标的各种变化，而Dai等^[16]提出的自适应空间正则化，可以更准确地对目标区域进行惩罚.

文献^[17]提出一种新的时空相关滤波器，同时使用空间和时间线索从背景中搜索对目标模糊的空间背景，将其集成到相关滤波模型中; 文献^[18]在ASRCF（Adaptive Spatially-Regularized Correlation Filters，自适应空间正则相关滤波器）基础上，提出一个新的自适应时空正则化模块，不仅具有自适应学习背景信息和空间信息以提高滤波器性能的能力，还能够利用上一帧与当前帧的相关滤波器联系来解决其他复杂状况; 文献^[19]提出了基于空间注意力机制的低分辨率判别相关跟踪算法，使用一个通用的可调窗口缓解边界效应，然后利用空间注意力机制在图像中突出目标; 文献^[20]通过在岭回归模型中添加卷积抑制项，结合所有全局背景样本对相关滤波器形成限制，从而缓解边界效应.

以上算法都是基于目标对象整体变化发生的全局响应进行跟踪，当目标局部发生变化时，算法跟踪效果明显降低.此外，由于循环移位对目标样本进行周期性扩展假设，边界处被余弦窗限制，导致滤波器在目标边界附近跟踪效果差，容易引发漂移现象.本文提出一种自动全局上下文感知相关滤波器（Automatic Global Context Awareness Correlation Filter，AGCACF）跟踪算法，主要工作如下:1）将隐藏在目标响应图中的局部变化与全局变化相结合，形成新的自动空间正则化项，有效抑制背景信息，获得更准确的目标动态信息; 2）在目标周围提取上下文区域，形成上下文感知模块并与自动空间正则化进行结合，帮助滤波器及时获取更多与目标有关的信息，加强全局响应的准确性; 3）将自动空间正则项与时间正则项进行结合，使滤波器学习每一帧的目标局部-全局变化及上下文信息的同时加强相邻帧之间滤波器的关联，从而及时发现目标发生突变的情况，提高滤波器的跟踪效果; 4）使用ADMM对滤波器跟踪算法进行迭代优化，简化计算过程; 5）使用公开的数据集进行实验，验证了该算法能有效提高跟踪性能.

1 AGCACF跟踪算法总体框架

AGCACF跟踪算法的总体框架如图1所示.首先，用余弦窗在第t-1帧和第t帧分割出目标跟踪窗口，分别提取目标区域计算目标局部响应图，利用相邻两帧的局部响应计算局部响应变化; 其次，在第t帧提取目标上下文区域，和目标区域一起计算目标空间全局响应; 接着，结合局部-全局响应变化获得自动空间正则化权重w; 最后，与前一帧滤波器响应图结合，更新得第t帧滤波器响应图，用于预测第t+1帧目标位置.

2 AGCACF跟踪算法

AGCACF跟踪算法充分利用局部-全局响应变化实现自动空间正则化，并通过时间正则化和全局上下文感知实现算法优化.

2.1 相关滤波器跟踪算法回顾

相关滤波跟踪器就是在图像第1帧学习一个滤波器，从而在下一帧中剪裁出包含目标对象的候选框，之后在当前候选区域提取需要的特征信息更新滤波器模型，将其用于跟踪下一帧中的目标.视频帧的目标区域被标记为正样本，样本通过循环移位操作生成更多样本组成样本集，相关滤波器使用这一样本集，用傅里叶变换将复杂的时域卷积运算转换到频域中进行乘法运算，从而提高计算效率.

相关滤波器模型:相关滤波器跟踪算法实质上就是从一组训练样本x_t和目标响应y_t中学习一个多通道卷积滤波器h_t帧数t=（1，2，···，M），${\mathit{x}}_t^k$∈R^D（k=1，2，···，K）是在第t帧提取的维度为D的特征，K为通道数.目标函数如下:

式（1）首先计算目标预期响应值与目标真实响应值差值使其最小化，再结合正则化系数λ₁训练滤波器h_t，从而使滤波跟踪器能够更好地跟踪到目标.

SRDCF模型^[11]:相关滤波器模型的样本进行循环移位操作时会导致目标边界处发生跟踪漂移，为了缓解此类现象，在式（1）的相关滤波器中引入全局空间正则化来惩罚与空间位置相对应的相关滤波器的系数，它的目标函数为

式（2）中:h_t为当前帧滤波器; u∈R^M表示正则化权重，能够使滤波器在跟踪目标中心部分具有较高的响应，越远离目标区域响应值越小; λ₁为空间正则化参数; ☉是与向量相对应的元素乘法; *表示元素卷积.

CACF模型^[9]:为了抑制边界效应使得滤波器学习的目标信息过少，从而导致无法应对复杂背景干扰的状况，提取目标区上下文区域的背景信息，经循环移位后获得包含更多与目标信息有关的矩阵样本，用来训练滤波跟踪器.目标函数为

式（3）中:x_t0表示目标区域特征信息; x_tn表示第n个区块的特征信息; N表示提取的上下文区块数目; 参数λ₂用来控制上下文区块回归到零.

2.2 AGCACF跟踪算法模型

SRDCF算法使用了包含目标关键信息的响应图，但只使用空间全局响应变化，忽略了图像中不同位置发生的局部响应变化，某些情况下局部发生剧烈变化时会降低跟踪效果.此外，SRDCF算法虽然提升了跟踪效果，但是忽略了背景区域包含的部分与目标有关的信息，从而影响跟踪模型的质量.因此，本文从全局-局部响应和边界问题出发，提出一种自动全局上下文感知相关滤波器跟踪算法，巧妙结合空间局部-全局响应变化来训练滤波器，同时提取目标全局上下文信息，使滤波器能够捕获更细致的目标局部变化同时也能够获得目标及其周围更多与目标有关的信息，从而得到更准确的目标全局响应.并采用时间正则化加强相邻帧滤波器的关系，训练获得更好的跟踪器.相应的目标函数为

式（4）中:表示自动空间正则化权重; x_t0和x_tn分别为目标和目标上下文特征; h_t和h_t-1分别为第t帧和第t-1帧滤波器; ${∥\sum _{k=1}^K{\mathit{x}}_{t0}^k*{\mathit{h}}_t^k-{\mathit{y}}_t∥}_2^2$为基础判别相关滤波器; ${∥\tilde{\mathit{u}}\odot {\mathit{h}}_t^k∥}_2^2$为自动空间正则项，由参数λ₁控制，全局-局部响应相结合形成自动空间正则化权重$\tilde{\mathit{u}}$，获得更准确空间滤波器系数; ${∥\sum _{n=1}^N{\mathit{x}}_{tn}^k*{\mathit{h}}_t^k∥}_2^2$为上下文项，选取目标周围4个上下文区块运用到算法中参与正则化过程，由参数λ₂控制，帮助滤波器更好学习目标动态变化; ${∥{\mathit{h}}_t^k-{\mathit{h}}_{t-1}^k∥}_2^2$是时间正则项，加强相邻帧滤波器之间联系，防止目标突变.

1）自动空间正则化

首先定义局部变化向量$\mathit{\Pi }=\left[\left|{\Pi }^1\right|，\left|{\Pi }^2\right|，\cdots ，\right.\left.\left|{\Pi }^W\right|\right]$，表示目标框的二维可视化的变化.它的第i个元素$\left|{\Pi }^i\right|$为

式（5）中: ${\left[{\psi }_{\mathrm{\Delta }}\right]}^{}$是移位算子，表示使连续两帧的响应图中的两个相同位置峰值重合起来所需要的移位距离; ${\mathcal{R}}_{}^i$表示响应图${\mathcal{R}}_{}^{}$的第i个元素.

自动空间正则化:局部响应变化可以衡量当前帧检测范围中的局部目标的可信度，所以在跟踪过程中应该降低可信度低的部分滤波器的比重.因此，在空间正则化参数中加入局部响应变化:

其中${\mathit{P}}^W\in {\mathbf{R}}^{W\times W}$用来裁剪位于滤波器中心区域附近的目标，常数δ为局部响应变化权重，u为SRDCF中的空间正则化参数，用以缓解边界效应.加入此项后，当目标区域变化过程中局部发生异常，滤波器能够及时发现目标的异常变化，从而避免学习这部分的目标形态.

2）目标上下文感知模块

本文利用自动空间正则化权重$\tilde{\mathit{u}}$来控制滤波器的学习，使得滤波器更专注于目标中心附近区域.为了让滤波器在上下文背景区域响应接近于零，AGCACF算法在训练滤波器过程中加入了上下文信息.参考CACF^[9]模型，在每一帧围绕目标对象x_t0的上下左右区域分别提取一个正方形区域，它们因包含与目标有关的不同背景信息而成为全局背景，这些上下文区域可以作为训练样本x_tn.将样本x_tn作为空间正则化过程添加到目标函数中，用来训练滤波器${\mathit{h}}_t^k$，并分配一个较高的值来抑制滤波器的学习使滤波器在这部分的响应接近于零，值的大小由参数λ₂控制.这使得滤波器组能够学习到更全面的目标信息，获得更准确的目标全局响应，从而能够更专注于目标中心区域，减少由于目标对象变化引起的不必要的边界效应.

3）时间正则化模块

由于SRDCF是基于多幅图像训练滤波器，造成了较高的计算负担，且优化很困难.然而，时间正则项可以基于单个图像进行训练滤波器，然后利用相邻帧学习到的滤波器，经过对比两个滤波器获得的响应图中的变化部分，从而能够更好发现目标是否发生突变，增强了相邻帧之间的联系.当当前帧目标发生突变时，使滤波器学习更接近前一帧学习到的滤波器，从而缓解此类情况导致的问题.

2.3 AGCACF跟踪算法模型优化

受到STRCF^[12]跟踪算法中优化方法的启发，为了有效地训练和测试，相关滤波器通常在频域中学习.AGCACF跟踪算法选用ADMM方法进行优化.为简化计算，引入一个辅助变量${\widehat{\mathit{g}}}_t=\sqrt{D}\mathit{F}{\mathit{h}}_t$.其中，${\widehat{\mathit{g}}}_t$是g_t的离散傅里叶变换形式，F是一个D ×D维的标准正交矩阵.然后，式（4）可以利用Parseval定理在频域中表示，即

式（7）中，$\widehat{\mathit{G}}=\left[{\widehat{\mathit{g}}}_t^1，{\widehat{\mathit{g}}}_t^2，\cdots ，{\widehat{\mathit{g}}}_t^K\right]\in {\mathbf{R}}^{KD}$为辅助变量矩阵.通过最小化等式来获得最优解，使用ADMM方法求解最优解问题，每个子问题，$\widehat{\mathit{G}}，$Η，$\widehat{\mathit{V}}$，都具有封闭解.将式（7）表述为增广拉格朗日等式:

式（8）中:${\widehat{\mathit{M}}}_t=\left[{\widehat{\mathit{m}}}_1，{\widehat{\mathit{m}}}_2，\cdots ，{\widehat{\mathit{m}}}_K\right]\in {\mathbf{R}}^{KD}$表示拉格朗日乘子的傅里叶形式; γ为步长正则化参数.引入辅助变量${\mathit{v}}_t^k$，令${\mathit{v}}_t^k=\frac{\mathit{m}{k}_t}{\gamma }\left({\widehat{\mathit{V}}}_t=\left[{\widehat{\mathit{v}}}_t^1，{\widehat{\mathit{v}}}_t^2，\cdots ，{\widehat{v}}_t^K\right]\right)$，${\widehat{v}}_t^K$为${\mathit{v}}_t^k$的傅里叶变换形式，式（8）可以重新简化成:

子问题${\widehat{\mathit{G}}}_{}$:结合给定的变量H_t，${\widehat{\mathit{V}}}_t$，获得最优的${\widehat{\mathit{G}}}^{*}$的表达式为

可以看出式（10）计算较复杂，想要求出最优解是比较困难的.因为每个像素上的标签由每个像素的所有K通道上的变量决定，因此，对每个像素所有通道进行处理，最优化问题变为

${\mathrm{\Gamma }}_j^{*}\left({\widehat{\mathit{G}}}_t\right)=\underset{{\mathrm{\Gamma }}_j\left({\widehat{\mathit{G}}}_t\right)}{\arg min}\left\{{∥{\mathrm{\Gamma }}_j{\left({\widehat{\mathit{X}}}_{t0}\right)}^{\mathrm{T}}{\mathrm{\Gamma }}_j\left({\widehat{\mathit{G}}}_t\right)-{\widehat{\mathit{y}}}_{tj}∥}_2^2+\right.$

式（11）中:${\mathrm{\Gamma }}_j（\widehat{\mathit{X}}）\in {\mathbf{C}}^{K\times 1}$表示像素j上$\widehat{\mathit{X}}$包含所有K通道值; ${\widehat{\mathit{y}}}_{tj}$表示像素j上的预期目标响应值.取式（11）导数为零，用Sherman-Morrison公式^[21]推导后，可获得等式解:

其中，

$\begin{array}{c}\eta ={\mathrm{\Gamma }}_j\left({\widehat{\mathit{X}}}_{t0}\right){\mathrm{\Gamma }}_j{\left({\widehat{\mathit{X}}}_{t0}\right)}^{\mathrm{T}}+{\lambda }_2\sum _{n=1}^N{\mathrm{\Gamma }}_j\left({\widehat{\mathit{X}}}_{tn}\right){\mathrm{\Gamma }}_j{\left({\widehat{\mathit{X}}}_{tn}\right)}^{\mathrm{T}},\\ \rho ={\mathrm{\Gamma }}_j\left({\widehat{\mathit{X}}}_{t0}\right){\widehat{\mathit{y}}}_{tj}+\theta {\mathrm{\Gamma }}_j\left({\widehat{\mathit{G}}}_{t-1}\right)-\gamma {\mathrm{\Gamma }}_j\left({\widehat{\mathit{V}}}_t\right)+\\ \gamma {\mathrm{\Gamma }}_j\left(\sqrt{D}\mathit{F}{\mathit{h}}_t\right).\end{array}$

子问题Η:结合给定的变量${\widehat{\mathit{G}}}_t$，${\widehat{\mathit{V}}}_t$，获得最优的h^k的表达式为

则h ^k的封闭解可以表示为

式（14）中，对角矩阵$\tilde{\mathit{U}}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}（\tilde{\mathit{u}}）\in {\mathbf{R}}^{M\times M}.$

子问题$\widehat{\mathit{V}}$:以上分别计算出$\widehat{\mathit{G}}$和Η，从而可以用来计算拉格朗日乘子:

式（15）中: ${\widehat{\mathit{V}}}^{i+1}$，${\widehat{\mathit{V}}}^i$分别表示拉格朗日乘子第i+1次和第i次迭代后的值的傅里叶变换; ${\widehat{\mathit{G}}}^{i+1}$，${\widehat{\mathit{H}}}^{i+1}$是前两个步骤得出的第i+1次的迭代结果; 这里参数${\gamma }^{（i+1）}=min\left({\gamma }_{max}，\beta {\gamma }^i\right)$.

2.4 目标定位

通过将当前帧输入${\widehat{\mathit{z}}}_t^k$和前一帧获得的滤波器${\widehat{\mathit{g}}}_{t-1}^k$作相关运算，搜索响应的最大值，对跟踪目标进行定位:

这里${\mathcal{R}}_t$是第t帧的响应图，${\mathcal{F}}^{-1}$表示逆傅里叶变换操作，${\widehat{\mathit{z}}}_t^k$为第t帧提取的特征映射的傅里叶形式.

3 实验结果与分析

3.1 实验环境及参数

实验所用操作系统为Win10，硬件配置为Intel（R）Core（TM）@ i3-2100CPU @ 3.10 GHz，6 GB内存的主机，软件版本为MATLAB R2015a.采用ADMM算法进行优化，其中的一些参数设置为:局部变化响应权重δ=0.2，参数λ₁=e^-4，参数λ₂=1，算法中尺度滤波器尺度数为33，采样上下文区域数为4.本实验目标候选区域选用矩形框，样本框最小值和最大值分别为150和200，时间正则化参数θ=13.ADMM优化过程中，迭代次数为4，步长参数γ=1.

3.2 数据集和评估指标

为了验证AGCACF跟踪算法的有效性，本文选用一次通过评估指标（One-Pass Evaluation，OPE）对算法进行评估，OPE包括成功率和精度.

1）成功率:根据算法得到预测的目标区域为a，而目标真实区域为b，则重合率（OS）为$\frac{|a\cap b|}{|a\cup b|}$，·表示所属区域像素数，当OS的值达到甚至超过$\frac{1}{2}$，则认为滤波跟踪器成功跟踪目标，因此成功率为成功跟踪帧数占总视频帧数的百分比.

2）精度:精确度量跟踪器跟踪到的目标边界框与真值边界框之间的中心位置误差，当这个误差值小于给定的20像素时表示算法模型精度较高.

本文选取了7个基于滤波器的对比跟踪器AutoTrack^[22]、C-COT^[14]、STRCF^[12]、SRDCF^[11]、DeepSRDCF^[23]、staple^[24]、CNN-SVM^[25]，使用上面定义的精度和成功率对几个跟踪器和AGCACF算法跟踪器进行评估，选用流行的OTB2013和OTB2015数据集中的视频序列.

3.3 定量分析

图2和图3为所有对比跟踪器和本文中具有自动空间正则化和上下文感知的跟踪器分别在OTB2013和OTB2015数据集上的跟踪曲线，在总体跟踪精度和成功率两个方面，AGCACF跟踪算法都取得了较好的结果.由图2可知，AGCACF算法精度为86.2%，成功率为64.4%; 由图3可知，AGCACF算法精度为89.3%，成功率为68.6%.可以看出，相比其他对比算法，AGCACF算法在结合空间局部-全局响应变化和上下文感知信息后，获得了明显的性能提升.

为了验证算法效果，实验研究了不同属性场景下算法的跟踪性能，图4和图5分别展示了AGCACF算法在OTB2013和OTB2015数据集中效果较为显著的一些类型场景.可以看出AGCACF算法在背景模糊（图4a、d和图5a、d）、非刚性形变（图4b、e）、平面外旋转（图4c、f和图5c、f）以及遮挡（图5b、e）情况下，都获得了较为明显的性能提升.

综合观察到的实验结果，AGCACF跟踪算法从OTB数据集序列的基础属性进行比较，验证了AGCACF算法的优势.通过将目标局部响应和全局响应相结合，AGCACF算法能够较好地应对目标发生如图4中非刚性形变和图5中遮挡这类部分变化的状况; 当目标在目标区域之外发生了较大变化或者当目标背景对目标影响较大时，如图5中的背景模糊和平面外旋转情况，结合目标及上下文区域算法也可以很好改善这些问题.

3.4 定性分析

将本文AGCACF跟踪算法和4个先进算法STRCF、Auto-Track^[22]、C-COT^[14]、TADT^[26]在视频序列中进行定性分析，分别选取快速运动、背景杂乱、目标遮挡、平面内旋转、尺度变化这几种情况进行比较.

1）快速运动.图6a序列中，目标对象快速移动.在第70帧目标开始横向移动时，STRCF和C-COT首先发生漂移，接着，Auto-Track、TADT也先后丢失了目标位置，只有AGCACF算法还能够跟踪到目标.因此，AGCACF算法结合了目标及上下文信息，使得跟踪器在目标快速移动时能准确跟踪到目标.

2）背景杂乱.图6b序列的目标对象在移动过程中，周围区域有许多与目标类似的干扰项.可以看到，在第61帧处SRDCF就开始丢失了目标，在随后的第67帧，Auto-Track、TADT也发生漂移，随后在第74帧C-COT也发生了漂移.因此，AGCACF跟踪算法由于学习了局部响应变化在背景杂乱视频中能够取得很好的性能.

3）目标遮挡.图6c序列的目标女孩在第111帧被遮挡，C-COT、Auto-Track算法发生部分漂移，而当目标重新出现时，只剩下AGCACF跟踪算法重新回到目标上，其他算法都跟踪失败.AGCACF算法结合了时间正则化模块和上下文感知模块，提升了算法在目标遮挡时的稳健性.

4）平面内旋转.图6d序列中，当目标发生平面内旋转时，Auto-Track就失去了目标位置，随着目标变化幅度变大，SRDCF和STRCF都跟踪失败.由于AGCACF跟踪算法充分利用了目标上下文信息，所以在跟踪旋转的目标时具有较好的效果.

5）尺度变化.图6e序列具有尺度变化特性，当目标尺度变小时，只有AGCACF跟踪算法和STRCF还能够完全跟踪到目标，其余算法发生漂移.当目标尺度变大时，只有AGCACF算法跟踪效果最好.因为AGCACF算法结合了空间局部-全局响应变化和上下文感知信息，所以很好地跟踪了目标发生尺度变化的情况.

4 结论

相关滤波跟踪算法中，边界效应和目标周围环境对跟踪算法的性能产生决定性的影响.因此本文基于原有的SRDCF算法，提出一种自动全局上下文感知相关滤波器（AGCACF）算法.通过充分利用目标区域和上下文区域的特征信息，加强了滤波器对目标的学习能力; 在全局空间正则化中加入目标局部响应变化形成局部-全局空间正则化项，从而有效辨别目标是否发生局部异常变化，通过结合目标细致的局部变化和更多的与目标有关的信息，使空间正则项高效学习目标区域变化，缓解跟踪过程中的边界效应; 最后加入时间正则化项，不仅能够加强相邻帧之间的联系，而且一定程度上缓解了滤波器衰退的问题.从在数据集上的实验结果可知，AGCACF跟踪算法在精度和成功率上都取得了较好的鲁棒性.未来工作中，将尝试结合深度特征进行学习和改进固定时间正则化参数来提高跟踪性能.

参考文献