多視圖專家組區域建議預測的視覺跟蹤

單 彬，丁昕苗，王銘淏，郭 文

(山東工商學院 信息與電子工程學院，山東 煙臺 264009)

0 引 言

由于目標跟蹤[1-8]存在幾項有獨特特性的問題而被深入研究，例如：跟蹤過程中由于物體的劇烈形變、物體旋轉、嚴重遮擋以及視頻幀的光照變化等原因造成的跟蹤不穩定，還有跟蹤過程中能夠獲取的正樣本數量有限問題。

現有的視覺跟蹤器大多由3個部分組成：特征表示(外觀模型)、模型更新器和集成后處理器[9]。在這3個組件中，“特征表示器”和“模型更新器”是兩個重要的組件，它們在目標跟蹤中起著關鍵作用，但卻面臨著以下挑戰：

(1)判別特征表示缺乏多樣性：單一特征的目標表示始終會限制跟蹤器的跟蹤性能。在跟蹤領域，跟蹤數據可以通過不同類型的視覺視圖來表示，包括Color[10]、LBP[11]和HoG[12]等。由于目標表示的方式在不斷發展，它在不同的特征空間中具有不同的區分度。在跟蹤過程中總是會忽略這種多樣化的區別，這可能會導致外觀模型的區域更新不正確。然后分類錯誤將累積并最終使跟蹤器漂移[13]。

(2)目標定位過于模糊：由于目標的外觀變化較大、目標旋轉、嚴重的遮擋以及視頻幀中的光照變化，傳統的目標跟蹤算法無法非常準確定位目標，因此使跟蹤器在后續視頻中漂移。

(3)正樣本的數量：被跟蹤目標的正樣本數量特別受到視覺跟蹤的限制，這使得建立基于學習的外觀模型和基于學習的目標定位模型變得極為困難。

為了解決上述問題，本文提出了一種基于多視圖專家組的區域建議網絡的預測目標跟蹤方法(multi-view multi-expert region proposal prediction for tracking，M2RT)。多專家組跟蹤框架(MEEM)[14]是一種采用熵極小化的跟蹤框架，本文將多視圖網絡結構與專家組學習的方法相結合，利用多樣的特征語義信息解決了判別特征缺乏多樣性的問題，從而提高了跟蹤器性能。

雖然跟蹤目標的正樣本數量是有限的，但是在通常情況下所采集到的負樣本數量是足夠多的。因此，本文的方法按照方法[14]圍繞目標物體的大概位置擴展出了一組邊界框，并多次迭代執行細粒度搜索算法，將通過這樣的方法識別出的更加精確的負樣本作為負樣本。通過在擴展的邊界框上建立多個SVM模型的輸出以預測最優的目標位置，本方法因此可以同時解決跟蹤目標定位模糊和正樣本數量有限的問題。

本文的主要貢獻可以歸納為3個方面：

首先，本文提出了一種全新的基于多視圖的頂層特征的區域建議網絡預測學習跟蹤器(M2RT)，該跟蹤器可以通過使用細粒度搜索算法，來找到更準確的目標位置。它可以通過細粒度的搜索算法，在大概的預測位置周圍使用一些區域的建議候選框來找到更精確的目標位置。

其次，本文設計了一種基于多特征集成的多專家最小化修復方案。與以前的工作[14]不同之處在于本文提出的工作是通過同時考慮不同專家在不同視圖之間共享的潛在關聯對預測的跟蹤進行判斷，本文的方法不僅能夠糾正錯誤的模型更新，而且還可以利用互相關聯的多視圖表示進行魯棒的外觀建模。

最后，本文建立了一個閉環的解決方案，以橋接區域建議網絡預測學習跟蹤器和多視圖多專家修復方案，從而可以協同的提高其跟蹤性能?；鶞试u估表明，本文提出的跟蹤器在比例變化和遮擋方面更魯棒、更準確，并且可以得到顯著提升的性能。

1 相關工作

本章節簡要的回顧一下目標跟蹤和多視圖目標跟蹤中目標表示的幾項最具代表性工作。這些方法與本文提出的跟蹤算法密切相關。

1.1 視覺跟蹤中的目標表示

已有的來描述跟蹤目標表示的方法有很多，例如彩色圖像[10]、局部二值模式直方圖[11]、定向梯度直方圖[12]、前后幀關聯[15]、主成分分析[16]、邊緣檢測[17]、稀疏模型[18]、循環結構[19]以及卷積神經網絡[20]等。直方圖是一種有效的方法，該方法被證明對描述跟蹤區域的外觀表示是非常有效的。例如，顏色直方圖是一種不考慮圖像中的空間信息的顏色分布的表示。然而，通過這種方法獲得的目標的直方圖缺少可靠的空間信息，因此，在跟蹤目標時很容易失敗。一些研究人員現已將空間信息添加到直方圖中，以提高跟蹤性能。例如，空間分布圖[10]在每個直方圖單元中都包含空間均值和協方差。該空間信息有助于捕獲對目標的更豐富描述，并提高跟蹤的魯棒性。局部二值模式直方圖[11]是從局部二值模式(local binary patterns，LBP)描述符獲得的，該描述符對于由自然現象(例如光照變化)導致的任何單調灰度級變化均具有較強的魯棒性。定向梯度直方圖(histogram of oriented gradient，HoG)[12]包含局部空間和邊緣方向信息，并且是目標檢測的有效描述符。一些研究人員建議將LBP與HoG分類器結合使用，因為它們的結合可以產生最佳的人體檢測結果，甚至可以處理部分目標為人體時的遮擋情況。主成分分析子空間(principal component analysis，PCA)[16]學習可以保留的空間信息并可以適應外觀變化，但是其計算又太過于復雜。

最近，大量的循環結構特征跟蹤器[14]蓬勃發展并引起了廣泛關注。在借助循環矩陣的作用下，所有關注的目標周圍的平行排列樣本都可以被采集并直接用于訓練而不需要降低過多的運行速度。以上所介紹的特征表示方法都能在一定程度上使得視覺跟蹤取得較好的效果。

1.2 多視圖的視覺跟蹤方法

多視圖視覺跟蹤結合了多個功能描述符，以提高視覺跟蹤性能。由于跟蹤目標表示具有不同的特征模型且具有不同的判別力，因此有必要組合多個特征以進行目標跟蹤。

Grabner等[21]設計了一個自適應集成跟蹤算法，其中采用了多種功能來增強選擇最有判別性的信息。在文獻[24]中，提出了一種創新性的視覺跟蹤方法，這種方法以通過加權熵使用多特征融合，并將他們通過最小化用于目標表示的加權熵技術來尋求最佳特征組合。Hong等[22]提出了一種新穎的多任務多視圖稀疏學習跟蹤器。他們構建了一個自適應特征字典，該字典由不同稀疏特征表示的線性組合構建而成。Yong等[23]利用具有不同特征描述符的多個跟蹤器通過概率方式構建了一個魯棒的跟蹤器。Danelljan等[25]提出了一種用于實時視覺跟蹤的自適應顏色屬性，并且該方法組合了多通道顏色信號進行跟蹤。為了降低顏色屬性的高維計算復雜度，他們采用了自適應維降技術并取得了不錯的效果。本文提出的方法與現有的專家學習跟蹤器不同，相關的跟蹤器僅關注多個特征向量組合或目標的選擇，而本文提出的多視圖多專家視覺跟蹤器將多個特征視為一種多專家選擇機制，以使模型更新器更魯棒和更多樣化。

近年來，深度學習在計算機視覺中的各大領域都取得了巨大研究成果，隨著圖像檢測方向中深度學習算法發展不斷壯大，深度學習在跟蹤領域中的研究應用不斷涌現。Hyeonseob Nam等提出的MDNet[26]使用了一種多域學習的策略，利用難樣本挖掘和邊界框回歸結合的方法在2015年打敗了相關濾波等傳統跟蹤算法獲得了最優的性能，而SiamFC[27]是之后最為流行的孿生網絡跟蹤架構的開創性工作，CFNet[28]為CVPR2017中首個端到端的深度學習與相關濾波結合的跟蹤工作。李博等提出的SiamRPN[29]中使用了檢測領域中的RPN[30]檢測器，通過將模板特征與當前幀的特征的相互交叉關聯來重新檢測模板，這種新的網絡結構大幅改善了跟蹤精度，避免了跟蹤漂移問題。最近幾年的跟蹤方法里，對SiamRPN進行改進成為了目前一個比較主流的研究方向，使用更深層次的架構(SiamRPN++[31])和改善的模板更新機制(UpdateNet[33])使視覺跟蹤器在準確性和魯棒性上有了顯著提升。趙越等提出了互注意力指導的方法[32]也取得了不錯的進展。

2 我們的工作

在本節中，將詳細描述本文提出的基于多視圖的區域建議網絡跟蹤(M2RT)算法。其框架如圖1所示。提出的跟蹤方法包括兩個相互相關的階段：多視圖MEEM[14]跟蹤和用于目標定位的多區域建議網絡預測學習。支持向量機SVM的訓練樣本是從真實值周圍兩倍大的區域中采集到的。

圖1 M2RT跟蹤器的流程

通過采用不同的特征視圖來擴展多專家跟蹤，以構成多樣化的專家組。多視圖MEEM跟蹤器將粗略的目標位置作為頂層區域建議網絡的初始輸入。M2RT跟蹤器結果的一些快照也通過反饋回路被引入多專家集成器，這可以提高模型更新器的多樣性和魯棒性。

2.1 基于頂層特征的區域建議網絡(RPN)預測

在根據先檢測后跟蹤這樣一個主流的兩階段的框架中，許多跟蹤方法都依賴于之前視頻幀的預測結果。但是，當前一幀得到的結果是錯誤的，就會導致下一幀的更新出現偏差，多次迭代后致使跟蹤失敗。因此，對于目標的精確定位在視覺跟蹤中起著重要的作用。在本文中，我們利用到了一種基于頂層特征的區域建議網絡來精確定位目標。

通過使用大規模標記的視頻幀對CNN的特征檢測器進行整形來實現這種可能性，從而使網絡能夠提取與跟蹤高度相關的特征。然而，在實踐中大規模地收集這種標記的數據是困難的。而我們的目標是消除集成和特征工程，而無需任何帶標簽的視頻幀的支持。該方法的基本思想是，如果跟蹤器能夠使用新穎的損失函數來利用區域建議網絡和跟蹤之間的概念相似性，則網絡應該能夠生成相關的跟蹤特征。在整個網絡過程中，本算法遵循了通用的在線跟蹤框架，對區域建議性網絡(RPN)做出了以下改動。

2.1.1 感受野和輸入尺寸

本網絡的第一個設計是選擇合適的輸入圖像尺寸。大多數目標跟蹤任務的輸入圖像尺寸數值的產生是憑借經驗得來，而本文利用改變感受野尺寸產生的特性來指導算法對于輸入尺寸的選擇。在CNN卷積的過程中，特定神經元的感受野是指輸入圖像中相關像素的數量。例如，如果神經元是由5×5卷積濾波器直接在輸入圖像上生成的，則該神經元的感受野將具有5×5像素。由于在卷積中輸入的圖像是大圖像塊，該圖像塊覆蓋了整個對象，因此，如果所選層中神經元的感受野小于輸入圖像，則特征可能太局限，無法牢固地捕獲對象外觀。另一方面，如果神經元的感受野可能比當前輸入圖像覆蓋更大的圖像，則該功能可能太多余了。

本網絡選取了ZFNet[34]作為區域建議網絡的主干，在該網絡中，對conv5層進行訓練以生成區域建議。該層的感受野為171×171，根據文獻[29]中的相關介紹，這樣選擇尺寸是讓輸入圖像覆蓋感受野對象之外的一部分背景內容。因此輸入圖像的正確大小為203×203，在本算法使用的RPN中，兩個相鄰圖像之間錨的步幅設置對應于輸入圖像中的16個像素點。

2.1.2 錨框的匹配與跟蹤

本算法由多視圖處理算法將輸入的單幀圖像處分別以4種方式得到4種特征集合，并通過在線的視圖支持向量機以分類的方法將跟蹤當作一種特殊的分類問題，輸出多個粗略的定位框，此時的框并不具有尺度信息和精度，通過多視圖分類結果框作為輸出送進區域建議網絡得到更加精確且唯一的預測目標結果框，在算法中采用這種處理方式主要有以下考慮：

首先，它提供了一個來探索頂層的內部結構特征的工具。為了優化跟蹤性能，可以測試不同的錨的匹配策略。

其次，每個匹配的錨可以被認為是一個數據樣本，因為它們都有助于損失函數對于參數的調整。與單一的分類輸出相比，該方法有效地增加了訓練數據的數量。它顯著降低了在線訓練的過擬合風險。

2.1.3 優化損失函數

通常情況下，科研人員對于區域建議網絡應用的損失函數可以被定義為

(1)

根據前面的傳統損失函數，跟蹤器想要實現的損失函數應該能夠同時考慮跟蹤精度和邊框坐標回歸。如果算法不對這個目標進行優化，過程中累積的誤差將不可避免地導致跟蹤失敗?；陧攲犹卣鞯膮^域建議網絡的關鍵思想是使用另一種版本的錨來設計損失，以利用對象性和跟蹤之間的強相關性，為跟蹤精度提供一個強大的基礎。同時，邊界框的質量也應該用一個新的參數來規范，這樣就不會受到標記邊界框數據不足的影響。該算法使用的損失函數為

(2)

圖2 錨點結構

本文將驗證這種設置非常適用，然后在OTB100這樣一個主流跟蹤基準上選取了前50個視頻片段測試并展示最終的優良表現。

2.2 在線多視圖支持向量機跟蹤器

這項工作中的基本分類器采用的是在線SVM跟蹤器，該跟蹤器始終將跟蹤表達為二分類問題。

(3)

其中，w，b為一般條件下SVM的超平面參數，ξi是鉸鏈損失函數，該損失函數將原型集Q和新數據集P各自的損失L結合為

(4)

訓練后，將來自新訓練數據的支持向量添加到原型中。專家組中的某些刪除和合并操作與MEEM跟蹤器完全相同。

2.3 視圖多專家輔助修正方法

MEEM跟蹤器提出了一種多專家還原方案作為模型更新輔助。為了全面，準確地表示目標，本算法使用特征的多個視圖(即Color，HoG和LBP)來描述目標。根據在不同時間點獲得的多個視圖結果，跟蹤器使用其之前快照在下一時刻繼續更新傳入幀的信息。

首先跟蹤模塊假設ht，ct，lt分別表示獲得的快照，它們具有不同的視圖，即在t時刻的學習分類器的Color，HoG，LBP，則專家組可以表示為M={ht1，ht2，…，ct1，ct2，…，lt1，lt2…}， 其中E表示集合中的專家。然后，我們可以根據最近時間范圍內的累積損失來確定最佳專家

(5)

第二步，跟蹤器需要在M2RT跟蹤器模型中設計合適的損失函數。并且，我們通過使用擴展的半監督部分標簽學習(PLL)[35]解決了跟蹤問題。給定訓練樣本$={(xd，zd)}， 可以使用MAP框架求解PLL，該框架可使Θ參數化的模型的對數后驗概率最大化

(Θ，λ|$)=L(Θ|$)-λH(y|x，z；$，Θ)

(6)

其中，L(Θ|$) 表示模型的對數似然率參數Θ和H(y|x，z；$，Θ) 表示以訓練數據和可能的標簽集為條件的類別標簽的經驗條件熵。MAP框架通過熵正則化項提供了一種支持低模糊性模型的有效方法。

在本文提出的多視圖多專家跟蹤過程中，可以獲得隨時間變化的每一幀的目標分布。在每一幀中，給定新樣本$={(xd，zd)}， 而本算法需要預測目標的位置。在這當中，$={(xd，zd)} 表示表征信息，{hd，zd}，{cd，zd} 和 {ld，zd} 表示關聯的不同視圖，并且yd∈Y={-1，+1}?zd表示有可能的標簽集合，由該標簽集合對跟蹤問題的特定約束進行編碼。根據式(6)，式(5)中的損失函數可以重寫為

RE(x，z)=-L(ΘE|x，z)+λH(y|x，z；ΘE)

(7)

對數似然定義為

L(ΘE，|x，z)=argmaxy∈zlogp(y|x；ΘE)

(8)

熵項定義為

H(y|x，z；ΘE)=

(9)

這里的p(y|x，z；ΘE) 是新特征x的分類器分數值，可以定義為

(10)

如果y∈z， 則函數δz(y) 取1，否則為0。

2.4 多視圖支持向量機和頂層區域建議網絡相互提升學習的方法

本文提出的M2RT跟蹤器充分利用了多視圖SVM和區域建議網絡學習方法的優勢。本算法又更好地利用了具有不同視圖的各種樣本來構建更魯棒的外觀模型以進行視覺跟蹤。

提出的跟蹤器應用了SVM來粗略定位目標的初始位置，然后，利用區域建議網絡學習將在真實值附近更準確地檢測縮放到實際目標。此外，區域建議網絡學習的結果將反饋到專家組中，這肯定會提高多視圖SVM的性能，這種融合將相互促進多視圖SVM和區域建議網絡在跟蹤上的性能。

算法1概述了M2RT跟蹤器的整個跟蹤過程。我們對實驗中所有視頻使用了相同的設置，接下來將通過OTB跟蹤基準[2]實驗來驗證本文算法的魯棒性。

算法1：本文算法M2RT跟蹤算法

輸入：n視頻的視頻幀I1，…，In， 真實值的框r1。

步驟1 初始化：為第一幀I1訓練SVM分類器。

步驟2 對于每一幀Ij：

在時間間隔Δ內，生成專家E，多余數量時丟棄最遠的專家；

對于每一個E，從E中獲取實例包和標簽集 (x，z)， 出現一個錯誤結果時，通過式(10)～式(13)計算RE；

通過式(8)最小化局部專家跟蹤器；

通過式(6)使用Q和P更新跟蹤器；

利用SVM輸出一個粗略的位置作為初始區域。

對于RPN模塊迭代：

輸出一個大致位置作為頂層區域建議網絡的初始區域；

進行絕對背景對比搜索；

通過式(1)和式(5)找到最佳預測區域，輸出最終結果，反饋給專家集合。

使用Ij和bj重新訓練跟蹤器。

步驟3

輸出：預測框r1，…，rn。

3 實驗分析

3.1 實現細節

在本章的實驗中，圖像區域被標準化為32×32以進行特征提取。SVM的負樣本是從圍繞地面真相的兩倍大的區域中匯集的。HOG描述符的窗口大小為5像素，方向為9，LBP描述符在10像素的窗口上工作。多專家跟蹤的參數設置與MEEM[14]完全相同。所有實驗均在Matlab和C中在具有16 GB RAM的Intel 2.70 GHz CPU和 NVIDIA RTX 2070 s顯卡上實現。

本章測試了提出的方法，并將其與包含50個視頻的大型基準[2]上的其他視覺跟蹤器進行了比較。我們的方法的性能是通過使用的3個指標進行定量評估的，包括距離精度(DP)、中心位置誤差(CLE)和重疊成功率(OS)。DP分數定義為視頻中幀的百分比，其中跟蹤預測值和真實值質心之間的歐幾里德距離小于閾值。OS得分計算為視頻中幀的百分比，其中跟蹤預測值和真實值質心之間的交點超過某個閾值。

3.2 消融實驗

為了驗證本文所提出的M2RT算法的有效性，本章節對多特征模塊，專家組模塊以及預取建議預測模塊進行了單獨實驗。以下為對本跟蹤器用到的具體模塊對于該算法做出的特定貢獻做消融實驗細節。為了評估多視圖融合的特定貢獻，首先使用原始跟蹤器實現了多視圖MEEM。通過3種特征視圖獲得不同的置信度得分：Color，HoG和LBP。

測試數據集中的Jogging-2這個視頻表明，有兩個女人在跑道上慢跑，并穿過一根燈桿。該序列由移動的攝像機捕獲。跟蹤的困難來自于混雜背景、運動和表觀變化。

白色光柱和左側跑步的女人之間的遮擋發生在第75到85幀。如圖3所示，圖中列出了慢跑各個部分的跟蹤結果(由于片段較長，本實驗采用隔幀選取的方式展現跟蹤實例)。從圖中可以看出，多視圖MEEM可以比單視圖MEEM快約4幀的速度恢復到對象，這表明使用多視圖的改進。如圖4所示，圖中給出了兩種算法在中心錯誤率和重疊率上的差距，從中可以看到在跟蹤測試基準具有不同的衡量指標的重要性。

圖3 視頻Jogging-2中第50幀到64幀跟蹤結果比較

圖4 視頻Jogging-2的中心錯誤率和真值重疊率的比較

其次，為了驗證多專家組模型和頂層區域建議網絡在提出的算法中起到了相互提升學習的作用，本章節進行了消融實驗，從表1可以觀察到，與MEEM算法相比，在最初的多專家算法模型的基礎上加入了區域建議預測模塊，本文的算法性能獲得了顯著的提升，這說明了本算法所加入了區域建議模塊有助于改善跟蹤器的性能，還有效降低了跟蹤目標表觀旋轉而導致跟蹤失敗的概率。提出的M2RT算法無論是從精度還是目標跟蹤成功率等多個角度都得到了全面的提升，提出的算法所使用的這種融合特征的網絡模型都可以更有效追蹤目標位置，從而降低了目標發生漂移的風險，從而在數據集測試中獲得更好的效果。

表1 OTB中做的消融實驗

可視化實驗提升效果：從圖中可以看出提出的M2RT跟蹤器，以區域建議網絡跟蹤顯示比MEEM更準確視圖專家組區域建議預測的視覺跟蹤的對象定位。CarScale顯示汽車正在接近灌木叢和樹木，并且比例變化和遮擋是此視頻的最大挑戰。這是測試跟蹤器是否具有對象定位功能的完美視頻(由于實例片段過長，在如圖5所示中采用隔4幀的方式展示跟蹤實例)。從其頂部子圖可以看出，在汽車進入灌木叢之前，跟蹤器的重疊率比MEEM大。在相同的跟蹤精度下，我們的重疊率也更大，這意味著我們的跟蹤器可以更好地處理比例變化。發生遮擋后，MEEM會從物體上漂移，而我們的跟蹤器仍能成功地繼續跟蹤汽車。實驗結果表明，我們的跟蹤器可以通過區域建議網絡學習來更精確定位對象。

圖5 視頻CarScale中第152幀到180幀跟蹤結果比較

3.3 與相關主流算法的對比

在流行的CVPR2013基準[36]上評估了所提出的方法，該基準包含不同場景下的50個具有挑戰性的圖像序列。將提出的方法與其它34種不同的視覺跟蹤器進行了比較。在這些比較算法中，MEEM[14]為本次提升算法的baseline，作為參考比較，DSST[19]、KCF[4]作為具有代表性的機器學習與相關濾波跟蹤算法，作為比較對象，FCNT[29]是2015年首次應用CNN結合跟蹤的深度學習跟蹤算法，SiamFC[27]是近年比較流行的孿生網絡跟蹤架構的首個代表作，CFNet[28]為CVPR2017中首個端到端的深度學習與相關濾波結合的跟蹤工作，而MDNet[15]，C-COT[16]是近幾年算法競賽中取得好成績的跟蹤器。我們采用了這些跟蹤器的原始實現方式(使用默認參數來自作者網站的源代碼)。

此外，結果使用精度圖和成功圖表示。在精度圖中，在一定范圍內的閾值上繪制了平均距離精度。在圖例中，報告了每種方法在20個像素處的平均DP得分。平均重疊精度繪制在成功圖中，曲線下的面積(AUC)包括在圖例中。根據最近發表的工作[27，30]中的實驗設置，本文使用單次通過評估(OPE)[2]策略進行實驗，以將本文提出的方法與其他最新方法進行比較。

3.3.1 總體性能評估

如圖6所示，本章節顯示了基準上總體性能比較的精度和成功曲線。圖例中顯示了排名前10位的跟蹤器平均距離和重疊精度。曲線的線型是由圖中相應跟蹤器的等級決定的，而不是由跟蹤器的名稱決定的。

圖6 平均精度曲線和成功曲線

本文的方法(M2RT)達到了最佳性能，在跟蹤成功率繪圖中的平均值為83.3%，在跟蹤精度繪圖中的平均值為90.4%。精度圖和成功圖表明，我們的方法優于除了MDNet以外的其它方法。

3.3.2 基于屬性的評估

基準測試中的圖像序列帶有10個屬性，以描述跟蹤問題中的不同挑戰，例如背景雜波、變形、比例尺變化等。這些屬性有助于在不同情況下分析跟蹤器的性能。我們在圖6中說明了10個具有挑戰性的屬性的結果。我們的方法相對于其他最新的跟蹤器具有良好的性能，這表明所提出的方法可以有效地建模對象外觀并準確地定位對象以進行視覺跟蹤。

4 結束語

本文提出了一種全新的用于視覺跟蹤的多視圖聯合專家組區域建議網絡預測學習算法?？紤]到目標物體外觀的多視圖屬性，提出的跟蹤器利用多種視覺特征來生成外觀的綜合表示，捕獲物體的多種判別性特征。提出的算法使用區域建議網絡預測學習，以大大提高對象定位的準確性。通過實驗驗證了該跟蹤算法相比于其他相關跟蹤器具有良好的跟蹤精度和魯棒性。在后續的研究中，本文發現通過加入高斯回歸作為概率算法輔助作用可以提升特征判別的準確性，在后續工作中，我們會通過實驗分析驗證這一方法。