雙向多軌跡判定方法在目標跟蹤中的應用研究

李 孟 庭

(廣東外語外貿大學 廣東 廣州 510420)

?

雙向多軌跡判定方法在目標跟蹤中的應用研究

李 孟 庭

(廣東外語外貿大學 廣東 廣州 510420)

針對視頻跟蹤中存在的目標飄移問題，提出基于雙向多軌跡判定的跟蹤方法。首先，在一定時間間隔中分別使用紋理、顏色，以及光照不變量特征的三種組件跟蹤器，對目標進行正向跟蹤。然后，以正向跟蹤結果作為初始位置，進行相應反向跟蹤。通過分析成對正向反向軌跡，提取幾何相似性、循環量和外觀相似性，并計算各跟蹤器軌跡準確性分數。最后，選擇準確性分數最高的跟蹤器的正向跟蹤軌跡作為最終的跟蹤結果。實驗結果表明：與幾種傳統跟蹤方法相比，提出的雙向多軌跡判定跟蹤方法通過融合不同的特征信息，跟蹤性能顯著提升。

目標跟蹤 反向跟蹤 雙向多軌跡判定 幾何相似性

0 引 言

近年來，視頻目標跟蹤在人們的生活中得到廣泛應用，為此提出了大量視頻跟蹤算法[1-2]。大多數跟蹤算法均由于不同原因遇到目標飄移問題，包括特征描述符辨識力低、遮擋、光照突變等[3]。為了達到更穩定準確地跟蹤目的，如何克服目標飄移問題成為研究的熱點。

由于不同特征描述符，表達不同的信息，所以某種特定的特征類型不能完全從視頻背景中辨別出跟蹤目標[4-5]。如文獻[4]提出了一種自適應特征融合AFF(Adaptive Feature Fusion)的魯棒跟蹤方法，通過比較多種跟蹤器的跟蹤位置，估算目標的大體位置；然后，使用估算出位置的信息更新所有跟蹤器。然而，如果多種跟蹤器由于干擾無法找到某一幀中跟蹤目標的位置，那么錯誤跟蹤會延伸到剩余的幀中。其他自適應方法，有自適應稀疏表達ASR(Adaptive Sparse Representation)跟蹤方法[6]和自適應實時壓縮ARTC(Adaptive Real-Time Compressive)跟蹤方法[7]。ASR[6]主要是為了克服光照和陰影變化，目標采用稀疏表達模板；ARTC[7]的自適應主要體現在參數學習的自適應。然而，這兩種方法在復雜背景下進行目標跟蹤，目標容易發生漂移現象。

為解決錯誤延伸問題，文獻[8-10]提出了有記憶的跟蹤系統，這種跟蹤系統可以提煉跟蹤器的軌跡。如文獻[8]提出一種基于人類記憶模型HMM(Human Memory Model)的跟蹤方法，HMM[8]長期跟蹤器能夠儲存每一幀中目標的可能位置，用動態規劃估算跟蹤目標的軌跡，這樣可以考慮到位置的置信度和連續幀中位置之間的時序關系。然而，有記憶的跟蹤器采用了固定特征描述符，這些描述符不能有效地將跟蹤目標從一些序列的背景中分離出來。

基于學習的跟蹤器運用非常廣泛，如文獻[11]的STRUCK跟蹤器，采用SVM判別式函數，將學習與跟蹤結合在一起，有效避免了樣本標記的不明確性，本文組件跟蹤也采用了STRUCK[11]。文獻[12]提出一種基于王-朗蒙特卡洛MLMC(W-L Monte Carlo)的跟蹤方法，將新的抽樣方法融入到蒙特卡洛跟蹤框架，緩解了運動平滑約束和跟蹤的突然運動。為了增加學習的魯棒性，文獻[13]提出了多高斯不確定性MGU(Multiple Gaussian Uncertainty)方法。根據在線學習框架的局部運動，提高跟蹤的魯棒性。

本文提出了一種新的雙向多軌跡判定跟蹤算法BMPD(Bidirectional Multiple Trajectory Determination)，其將“多種跟蹤器的跟蹤”和“有記憶的跟蹤”結合起來。采用了三種使用不同特征的正向跟蹤器，它們分別基于紋理信息、顏色信息和光照不變量信息。通過計算三種跟蹤器的準確性分數(幾何相似性、循環量和外觀相似性)，選出最佳跟蹤結果。本文的主要工作為：

(1) 采用新型多軌跡判定方法從多種跟蹤器中提取最佳軌跡。

(2) 基于幾何相似性、循環量和外觀相似性定義成對正向和反向軌跡的準確性分數。

1 STRUCK跟蹤器

該部分對STRUCK跟蹤器原理進行簡要介紹[11]。假定X表示跟蹤目標的跟蹤框位置，d表示跟蹤框從先前幀移到當前幀的位移矢量。STRUCK使用了形式為f(x,d)=wtφ(x,d)的判別式函數，其中φ(x,d)是x和d的聯合特征圖，w是超平面的標準矢量。判別式函數可以簡化為：

(1)

式中，x(i)和d(j)是支持矢量，k(·)是用于將線性分類器轉換為非線性的聯合基函數。β(i,j)>0是正支持矢量，β(i,j)<0是負支持矢量。

(2)

估算xt之后，從幀t中生成標記好的訓練樣本，并將其利用實時SVM算法更新判別式函數。STRUCK跟蹤器采用有結構的SVM分類器，將學習與跟蹤很好地結合起來，避免了樣本標記中的不明確性。

2 雙向多軌跡判定方法

當跟蹤目標改變其外觀或跟蹤目標被其他物體遮擋時，跟蹤就會失敗。這種外觀改變很難從目標外觀的自身變化中辨別出來。為了克服這一難題，本文提出的雙向多軌跡判定跟蹤器，采用了反向跟蹤器，它能在相反的時間順序中檢測出某一特定目標。通過比較反向軌跡與正向軌跡，可以判定正向跟蹤器檢測是否正確。此外，還采用了多種正向跟蹤器，能提供多種軌跡假設?；谡蚝头聪蚍治?，選出最佳正向軌跡，以提升跟蹤的精準性和魯棒性。

2.1 組件跟蹤器

本文采用了三種組件跟蹤器：Γ1、Γ2、Γ3，其均基于STRUCK跟蹤器。這些跟蹤器使用不同的特征描述符，并獨立確定目標軌跡。其特征表示符分別如下所述：

Γ1：第一種跟蹤器使用Haar-like特征來表示跟蹤目標的紋理特征[6]。Haar-like特征的包圍盒被分為4×4塊，每塊中包含六種不同類型的特征，特征矢量的維度為192，矢量中的所有元素的范圍均為[-1,1]。

Γ2：第二種跟蹤器使用顏色直方圖來表示跟蹤目標的局部顏色分布。包圍盒也被分為4×4塊，從每塊中提取48個色彩空間的顏色直方圖。該特征矢量的維度為768。

Γ3：第三種跟蹤器采用光照不變特征。首先，從L通道圖像中獲得圖像梯度幅值。隨后，從幅值中獲取累積直方圖。通過使用累積直方圖，將幅值圖像轉化為等級圖像，其中每個幅值都用相應的累積直方圖的值來代替。將單級圖像與三通道色彩空間圖像整合成一種四通道圖像。最后，將四通道包圍盒進行空間下采樣變為16×16塊，以獲得1 024維的特征矢量。

為測量特征矢量u和v的相似性，本文使用交叉核將其結合起來，如式(3)所示：

(3)

式中，D表示特征維度。

2.2 準確性測量

三種組件跟蹤器，生成了三種跟蹤軌跡。本文測量每種跟蹤器的準確性，并選出最穩健的跟蹤器的軌跡結果作為最終軌跡。本節對跟蹤器的準確性測量方法進行詳細描述。

(4)

(5)

本文通過三種測量標準(幾何相似性、循環量和外觀相似性)來檢驗正向軌跡的可靠性。首先，幀t的幾何相似性gt定義如式(6)所示：

(6)

圖1 軌跡分析

為了評價該種情況，本文首先計算兩種相對應包圍盒的重疊比ζt，如式(7)所示：

(7)

(8)

(9)

最后，本文結合幾何相似性、循環量和外觀相似性來確定在[t1,t2]期間跟蹤器的準確性，如式(10)所示：

(10)

2.3 通過最優軌跡選擇跟蹤

本文通過分析多種跟蹤器獲得的成對正向反向軌跡實現跟蹤。為了減輕計算成本，本文對連續τ幀的集合進行了軌跡分析，兩個連續集共享一個邊界幀。即間隔[t-τ,t]的軌跡分析和下一個間隔[t,t+τ]的軌跡分析共享幀t。因此，軌跡分析路徑只能分析τ的倍數的幀。

本文首先利用組件跟蹤器Γ1、Γ2、Γ3對間隔[t-τ,t]進行分析，得到三個正向軌跡和相應的反向軌跡。然后，利用式(10)計算三種跟蹤器的準確性分值，選出分值最高的跟蹤器為最優跟蹤器。定義式(11) 表示最優跟蹤器的正向軌跡，并將其視為最終跟蹤結果。

(11)

當有非目標物體在目標物體附近時，不能在短期間隔τ中有效地選出最優跟蹤器。此時應增大間隔，保證能從目標物體中將非目標物體分離出來。但是另一方面，間隔τ較長時，某次錯誤跟蹤的影響就會更加嚴重。因此，選擇合適的τ顯得重要。不同τ情況下平均成功率ASR(Average Success Rate)和平均準確率AAR(Average Accuracy Rate)的曲線如圖2所示，其中ASR表示識別成功時的曲線區域，AAR表示正確幀的百分比[14]，這些幀中目標的真實位置在20個像素內?？梢钥闯?，當τ=30時，ASR和AAR有最大值。因此本文取τ為30。

圖2 不同τ情況下ASR和AAR結果

2.4 錯誤處理

當式(8)中最優跟蹤器的循環量χ為1時，當前間隔[t-τ,t]中就出現了跟蹤錯誤。當所有組件跟蹤器在連續幀中gtφt≤δ2長達2/3τ時，也可以判定跟蹤錯誤。本文中δ2=0.004。當檢測到跟蹤錯誤時，本文就不更新所有組件跟蹤器的分類器。同時，發生跟蹤錯誤時，目標有可能會超出正常搜索范圍。因此，本文將搜索范圍從R擴大至4×R，但是在已增加的搜索范圍內從每64個樣本中檢查一個樣本，以降低計算復雜性。

3 實驗結果及分析

本文利用基準數據集[15]測試所提出的雙向多軌跡判定算法的性能，該數據集中包含在復雜背景下的測試序列，如光照變量、遮擋等情形。實驗分為兩個部分，為了驗證本文算法多特征軌跡判定的優勢，對不同特征軌跡組合的結果進行比較；同時，為了驗證本文算法的性能，與其他傳統的跟蹤方法進行比較。

3.1 不同特征軌跡比較

本部分實驗中，不同特征軌跡組合的跟蹤方法的ASR和AAR結果如表1所示。其中BMPD表示使用了所有組件跟蹤器Γ1、Γ2、Γ3，BMPDi表示只使用了一種跟蹤器Γi(i=1,2,3)，BMPDi,j表示使用了兩種跟蹤器Γi和Γj(i=1,2,3;j=1,2,3)。本文測試了每一種可能的結合。當只采用一種跟蹤器時，BMPD2采用顏色特征的Γ2跟蹤器，其跟蹤結果比其他兩種跟蹤器更精準。當聯合使用兩種跟蹤器時，BMPD2,3的效果較好。但通過聯合三種跟蹤器Γ1、Γ2、Γ3，BMPD的結果最佳。所以，本文提出的多軌跡判定方法，通過融合不同的特征信息，可進一步提高跟蹤準確性。

表1 不同特征組合方法的ASR和AAR結果

3.2 不同算法比較

為了進一步驗證本文BMPD算法的有效性，將BMPD方法與7種跟蹤器方法進行比較：AFF[4]、ASR[6]、ARTC[7]、HMM[8]、STRUCK[11]、WLMC[12]和MGU[13]。如表2所示。

表2 各算法ASR與AAR比較結果

表2給出各種算法的ASR和AAR的結果。與表1一樣，最后四行與本文提出算法相對應：BMPD使用了所有組件分類器，BMPDi表示只使用了一種分類器Γi(i=1,2,3)。該四種方法均利用2.4節的錯誤處理方法以抑制跟蹤錯誤的延伸，各組件分類器均基于STRUCK，其中粗體字表示最佳結果。

可以看出，即使只使用了單一組件跟蹤器，由于添加了跟蹤錯誤處理器，所提算法優于傳統的STRUCK方法。此外，本文的雙向多軌跡判定方法BMPD的性能優于其他所有傳統算法，其ASR和AAR結果分別比STRUCK高出11.7%和19.4%。

為了進一步分析驗證本文方法的有效性，利用各種跟蹤方法對常見的幾組非基準測試序列進行比較。其中非基準測試序列來自文獻[12]。對于不同測試序列，各算法的ASR和AAR結果如表3所示?？梢钥闯?，本文提出的BMPD方法具有最佳的跟蹤效果。ASR和AAR的平均值分別比STRUCK方法高出28%和42%，比MGU方法高出11%和12%。

表3 對于非基準序列各算法的跟蹤結果

4 結 語

本文提出雙向多軌跡判定跟蹤器對視圖進行跟蹤，使用了三種組件跟蹤器。在指定時間間隔內，每個組件跟蹤器均計算正向軌跡和反向軌跡；通過分析正向和反向軌跡，提取幾何相似性、循環量和外觀相似性，并將它們聯合起來定義跟蹤器的準確性分數；選出準確性分數最高的跟蹤器的正向跟蹤軌跡作為最優跟蹤結果；如果各組件跟蹤器的準確性分數均較低，則進行錯誤處理，抑制錯誤累積情況。通過在基準測試序列和非基準測試序列的實驗，結果表明，本文提出的BMTD方法比傳統跟蹤器具有更準確的效果。

本文使用的三種跟蹤器均是基于STRUCK[11]的組件跟蹤器。將來的研究方向可將多軌跡判定應用到其他組件跟蹤器中，并且使用更多的特征跟蹤器進行判定，進一步提高跟蹤準確性。

[1] 王保憲.復雜背景下的視頻目標跟蹤算法研究[D].北京:北京理工大學,2016.

[2] 劉定通.復雜背景下視頻運動目標檢測與跟蹤算法研究[D].成都:電子科技大學,2016.

[3] Djamal M,Rabah Iguernaissi,Kheir E A,et al.Tracking Multiple Persons under Partial and Global Occlusions:Application to Customers’ Behavior Analysis[J].Pattern Recognition Letters,2016,81(10):11-20.

[4] 郇二洋,李睿.基于自適應特征融合的粒子濾波目標跟蹤算法[J].計算機科學,2015,42(2):316-318.

[5] 李維維,張陳斌,陳宗海,等.基于特征學習與體征記憶模塊更新機制的粒子濾波跟蹤[J].中國科學技術大學學報,2014,44(4):292-302.

[6] Nhat V Q,Lee G.Illumination Invariant Object Tracking with Adaptive Sparse Representation[J].International Journal of Control Automation and Systems,2014,12(1):195-201.

[7] Zhang W Z,Ji J G,Jing W F,et al.Adaptive Real-Time Compressive Tracking [C]//IEEE International Conference on Network and Information Systems for computers,2015,9:236-240.

[8] 齊玉娟,王延江.基于人類記憶模型的粒子濾波魯棒性目標跟蹤算法[J].模式識別與人工智能,2012,25(5):810-816.

[9] 郭強,孫鵬,趙迎春,等.基于記憶梯度追蹤的高效稀疏跟蹤算法[J].計算機輔助設計與圖形學學報,2016,28(4):565-572.

[10] 吳世東.基于視覺顯著性的粒子濾波跟蹤算法研究[D].北京:中國科學技術大學,2015.

[11] Hare S,Golodetz S,Saffari A,et al.Struck: Structured Output Tracking with Kernels[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,23(5):263-270.

[12] Kwon J,Lee K M.Wang-Landau Monte Carlo-based tracking methods for abrupt motions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(4):1011-1024.

[13] Zhang B,Perina A,Li Z,et al.Bounding Multiple Gaussians Uncertainty with Application to Object Tracking[J].International Journal of Computer Vision,2016,118(3):364-379.

[14] Wu Y,Lim J,Yang M H.Online Object Tracking:A Benchmark[C]//IEEE Conference on Computer Vision and Pattern Recognition,2013:2411-2418.

[15] Zhang W Z,Ji J G,Jing W F,et al.Adaptive Real-Time Compressive Tracking[C]//IEEE International Conference on Network and Information Systems for computers,2015,9:236-240.

APPLICATION OF BIDIRECTIONAL MULTIPLE TRAJECTORY DETERMINATION IN OBJECT TRACKING

Li Mengting

(GuangdongUniversityofForeignStudies,Guangzhou510420,Guangdong,China)

Regarding the problem that most tracking algorithms experience object drift, we proposed a new tracking method based on bidirectional multiple trajectory determination. Firstly, we used the three component trackers of texture, color, and illumination invariant characteristics in a certain time interval to track the target forward. Then, we took the results of forward trace as the initial location to perform a corresponding reverse trace. After that, we extracted geometric similarity, the circulation volume, the appearance similarity, and calculate the tracker accuracy score of each tracker by analyzing the forward and backward trajectories. Finally, the forward tracking trajectory of the tracker with the highest accuracy score was selected as the final tracking result. Compared with traditional tracking methods, the experimental results show the proposed bidirectional multiple trajectory determination method improves the tracking accuracy through fusing different features.

Object tracking Backward tracking Bidirectional multiple trajectory determination Geometry similarity

2016-10-26。廣東省科技廳軟科學項目(2015A070704053)；廣東外語外貿大學大學生創新訓練計劃項目(2016 11846068)。李孟庭，講師，主研領域：多媒體技術，圖像處理，管理智能化。

TP391

A

10.3969/j.issn.1000-386x.2017.07.026