基于核擴展字典學習的目標跟蹤算法研究

王員云，楊文燴，習帥斌，章利民，尹 鵬，鄧承志

(南昌工程學院 信息工程學院，江西 南昌 330099)

目標跟蹤作為計算機視覺領域的重要研究分支之一，其任務是估計目標在視頻序列中每一幀中的狀態。目標跟蹤在交通監控、自動駕駛[1]、人機交互[2]以及海洋偵查[3]等領域得到廣泛的應用。雖然該技術正在快速發展，但由于受到局部遮擋、形變、運動模糊以及快速移動等因素的影響，目標跟蹤在實際應用中仍然是一個非常具有挑戰性的任務[4]。

目標跟蹤基本框架由以下4個部分組成[5]：特征模型、運動模型、表觀模型以及更新模型。特征模型利用相關技術提取目標的特征進行目標表示，并且用于建立表觀模型。常用于目標跟蹤的特征有顏色特征[6]、深度特征[7]、紋理特征[8]。在目標跟蹤中，需要根據提取的特征判斷候選區域是否為被跟蹤的目標，因此，對跟蹤目標的表觀建模尤為重要[9]?；谀繕说谋碛^模型，目標跟蹤算法可以分為生成式模型方法[10]和判別式模型方法[11]兩大類。生成式模型方法通過在當前幀提取特征對目標進行外觀建模，然后在下一幀中搜索與模型最匹配的區域，用這個區域就確定所預測的目標位置[12]。與生成式模型方法不同，判別式模型方法是將目標跟蹤看作一個二分類問題[13]，通過學習一個分類器將目標從背景環境中區別出來，因此基于判別式模型的目標跟蹤方法很大程度上取決于特征空間上目標與背景的可分性。

近年來，許多高效、魯棒的跟蹤算法被提出。Mei[14]等人將稀疏表示方法應用在目標跟蹤中，該算法對局部遮擋和噪聲的影響等具有較好的魯棒性。然而，在跟蹤過程中需要解決L1最小化問題，當出現嚴重遮擋時，該算法跟蹤性能不夠理想。在文獻[15]中，提出了一種基于稀疏的協同目標表示方法，該方法充分結合了生成式模型方法和判別式模型方法的優點。相關濾波算法[16]在跟蹤速度上的優勢受到了廣泛關注，被成功應用于目標跟蹤中。在文獻[17]中，提出的CSK算法利用循環矩陣的性質進行密集采樣，提高跟蹤性能。隨后越來越多的研究者通過從特征選擇、正則化入手將相關濾波引入目標跟蹤領域。Henriques[18]等人在特征選擇方面上對CSK算法進行改進，提出了KCF算法，KCF算法將CSK算法使用的灰度特征改進為HOG特征和高斯核函數。然而，問題仍未得到有效解決，如光照變化、遮擋以及相似背景等。

深度卷積神經網絡[19]因其在特征提取方面優越的性能而受到廣泛關注。文獻[20]提出了一種全卷積孿生網絡的目標跟蹤算法，利用該網絡結構，將與模板最相似的候選目標作為跟蹤目標，該算法取得了實時的速度與較好的跟蹤精度。文獻[21]在孿生網絡的基礎上加入區域提議網絡，更好地對目標尺度進行估計[22]，提高了跟蹤的魯棒性。最近，字典學習被廣泛應用于人臉識別、目標跟蹤等領域。字典學習一般是在給定一組訓練樣本的基礎上，通過學習得到字典，為每個訓練集找到最佳表示并使表示更加具有區分性[23]。

針對上述問題，本文提出了基于核擴展字典學習的目標跟蹤算法。首先，將提取的特征經過核判別分析(Kernel Discriminant Analysis，KDA)[24]進行投影得到在非線性子空間中的特征向量。在視頻的第一幀，在被跟蹤的目標的較小的領域中收集一組與目標相同大小的圖像塊，經過KDA投影后得到一組特征向量，這組特征向量分別構成基礎字典和核擴展字典[25]，分別表示目標的信息和目標表觀變化。在后續的跟蹤中，連續核擴展字典進行更新，以適應不斷變化的目標表觀。將投影得到的基礎字典和經過投影、更新后的核擴展字典聯合進行目標候選塊的表示，也就是每個目標候選塊可以表示為這兩種字典的一個線性組合?；谶@種目標表示方法，本文提出了一種新的目標跟蹤算法。通過表觀模型得到的擴展字典在核空間中可有效地表示可能的目標表觀變化，將基礎字典與擴展字典相結合可以更準確地表示目標候選塊?；A字典中保留了更多的目標初始信息，有效防止了目標漂移現象。核擴展字典在不斷更新的過程中，包含了目標的多種表觀變化，提升了目標表觀模型的自適應能力。本研究主要貢獻如下：

(1)提出一種基于基礎字典和擴展字典聯合表示的目標表觀模型。將目標特征向量經過KDA投影獲得在非線性子空間中的特征表示；收集一組字典樣本并經過KDA投影后得到基礎字典和擴展字典；基于基礎字典和擴展字典聯合進行目標候選塊的近似表示。

(2)在粒子濾波框架下，提出一種新的目標跟蹤算法?；A字典中保留了更多的目標初始信息，有效地減輕了目標漂移現象。擴展字典在不斷更新的過程中，包含了目標的多種表觀變化，提升了目標表觀模型的自適應能力。在挑戰性的數據集上的測試與對比結果表明所提出的跟蹤器有較好的魯棒性。

1 核擴展字典學習與目標跟蹤

在目標跟蹤中，首要的任務是建立魯棒的目標表觀模型。本文提出一種基于核的基礎字典與擴展字典的目標表示方法，并在粒子濾波框架中設計基于該目標表示的跟蹤算法。接下來將主要介紹粒子濾波框架、基于基礎字典與擴展字典的目標表示以及目標候選塊的似然估計等。

1.1 粒子濾波

粒子濾波器是一種順序重要性采樣方法，通過在狀態空間中選擇一組隨機樣本來近似表示概率密度函數，并且利用樣本的平均值取代積分運算來獲得最小方差估計，這些樣本被稱為“粒子”。在目標跟蹤過程中，每個目標候選塊可以看成是一個“粒子”，在獲取一組圖像觀測向量y1：t=[y1，y2，…，yt]后，通過計算粒子的后驗概率進行目標狀態估計。

(1)

(2)

式中yt為時間t中的狀態變量?；谀繕撕蜻x粒子的權重，相應的目標在當前幀的狀態可表示為

(3)

1.2 基于核擴展字典的表觀模型

本文提出一種基于基礎字典與擴展字典的目標表示方法，并在粒子濾波框架下設計一種目標跟蹤算法。首先，通過一組訓練樣本學習獲得核判別分析函數KDA。收集一組目標模板樣本經過核判別分析投影得到基礎字典，收集目標表觀變化樣本經過核判別分析投影后得到核擴展字典。最后，使用基礎字典和擴展字典中的原子線性組合進行候選目標的近似表示。下面將介紹核判別分析函數，設在非線性映射空間F中，φ為非線性映射函數，核函數在特征空間F上定義為

〈φ(z)，φ(z′)〉=k(z，z′)，

(4)

式中k(z，z′)為核函數。設有一組訓練樣本為Z=[Z1，Z2，…，Zn]∈Rd×n，使用Z中的n個樣本進行KDA的映射向量的學習，學習后得到的映射向量表示為

(5)

式中α·=·[α1，α2，…，αn]T是KDA的系數向量。

核空間的樣本z可以通過KDA進行投影，其在核空間的內積可以由核函數計算得到，表示如下：

(6)

在基于基礎字典與擴展字典的目標表示方法中，使用訓練集Z中的前n-m個樣本作為基礎字典的訓練樣本，后m個樣本作為擴展字典的訓練學習樣本。該m個樣本主要用于表示目標的表觀變化，在后續幀的跟蹤中，需要進行連續的更新。在特征空間F中該m個樣本的協方差表示為

(7)

(8)

將訓練集Z=[Z1，Z2，…，Zn]∈Rd×n中的前n-m樣本通過KDA投影構建基礎字典，如式(9)所示：

D1=〈vφ，φ(Z)〉，

(9)

(10)

在跟蹤過程中，首先將目標候選塊y通過KDA投影獲得相應的特征向量，如式(11)所示：

Y=〈vφ，φ(y)〉.

(11)

為了更好地適應目標表觀變化，同時又保持更多的目標信息，使用基礎字典和擴展字典聯合表示目標候選塊y為

(12)

式中δ>0為標量常數；D=[D1，D2]用于對目標候選塊進行重建；β=[β1，β2]T是字典D的系數。在以往的目標表示中，一般都是將Y看成是字典矩陣D和稀疏系數β的線性組合，如如式(13)所示：

(13)

為了更好地處理局部遮擋、噪聲等的影響，本算法中使用稀疏約束進行目標候選塊的近似估計，針對式(12)的求解中，可以將其看成經典的LASSO問題進行求解。

1.3 似然估計

提出的基于核擴展字典學習的目標跟蹤算法中，使用基礎字典與擴展字典中的原子的線性組合來近似表示候選目標。候選目標y的觀察概率通過候選目標與目標模型之間的重構誤差來計算，如式(14)所示：

ρ(Y∣z)=σexp {-θd(Y，Dβ)}，

(14)

其中，δ>0和θ>0是標量常數。d(Y，Dβ)是候選目標y與字典中原子線性組合的近似表示Dβ之間的距離，也就是它們之間的重構誤差，計算如式(15)所示：

d(y，Dβ)=(Y-Dβ)T(Y-Dβ).

(15)

在基于核擴展字典的表觀模型和似然估計的基礎上，本文提出一種新的跟蹤算法(跟蹤算法流程如圖1所示)。在第一幀中，在被跟蹤的目標周圍收集n個圖像塊作為初始訓練樣本，用初始訓練樣本進行學習得到KDA。由前n-m個樣本學習得到基礎字典，訓練樣本中的后m個樣本通過KDA投影得到核擴展字典。在之后的跟蹤過程中，獲取到當前跟蹤結果后，對訓練樣本中的后m個樣本進行更新，也就是將當前幀的跟蹤結果對應的圖像塊作為新的樣本加入擴展字典的訓練樣本中，同時刪除原樣本中系數權重最小的樣本。當前幀的跟蹤結果作為樣本加入擴展字典學習樣本集中，更多地包含了目標的表觀變化，進一步提升了目標表觀模型的自適應性。

圖1 跟蹤算法流程圖

2 實驗結果與分析

在這一節，使用視覺跟蹤標準數據集OTB2015[26]對跟蹤器的性能進行測試，同時介紹實驗數據集、評估指標，并對實驗結果進行定量和定性分析。在Windows系統平臺下使用Matlab2018b開發環境實現本文提出的跟蹤算法，相應的硬件配置為Intel(R)Core(TM)i5-6300HQ 2.30GHZ處理器和8GB內存。在粒子濾波框架中，若粒子數過多，則會影響跟蹤器的時效性；若粒子數過少，則會降低跟蹤器的準確率。綜合考慮，每幀中的粒子數設置為300。確保跟蹤器的有效性和時效性，并通過大量實驗表明，在第一幀中，選取25個訓練樣本，其中前5個為基礎字典的學習樣本，后20個樣本作為擴展字典的訓練樣本。在后續幀的跟蹤，每幀都進行擴展字典樣本的更新并重新投影得到新的擴展字典。

本文在OTB2015視覺跟蹤數據集中選擇了8個視頻序列進行了實驗對比。這些視頻序列包括了多種目標外觀變化，例如光照變化、部分遮擋、相似的背景、快速運動以及平面內外旋轉等。并將所提出的跟蹤算法與當前一些流行的跟蹤算法進行比較，對比算法包括MDNet[27]、MEEM[28]、SANet[29]、SiamBAN[30]、SiamFC[20]、SiamFC++[31]和SiamRPN[21]。實驗結果采用平均重疊率和跟蹤成功率兩種評估指標進行定量分析。平均重疊率是跟蹤目標框與目標真實值的交集與并集的比值，而成功率是在不同閾值下的成功跟蹤的比率。通過這兩種評估指標驗證跟蹤器的有效性，定量分析和定性分析跟蹤結果如圖2～3所示。其中定量分析是通過平均重疊率和跟蹤成功率兩種評估指標的具體實驗數據對跟蹤性能進行分析。在定量分析的基礎上，針對不同的跟蹤算法進行定性分析，進行不同算法的優劣性能的對比，分析跟蹤算法針對不同挑戰因素的處理能力等。

2.1 定量分析

在8個視頻序列上進行實驗對比，表1所示為8個跟蹤算法的平均重疊率。圖2中為上述的跟蹤算法在視頻序列上的跟蹤準確率曲線圖。由表1與圖2可以看出，所提出的跟蹤算法在8個視頻序列中以0.751獲得最佳平均跟蹤性能，并在Fish和Man視頻序列中獲得了最好的跟蹤性能，以及在Coupon視頻序列中獲得了第二跟蹤性能。另外，SANet與SiamBAN在這8個視頻序列上分別獲得了第二和第三的跟蹤效果。

表1 平均重疊率

圖2 跟蹤精確度曲線圖

表2為以上8個跟蹤算法在8個視頻序列上的跟蹤成功率，圖3給出了與其它跟蹤器在不同挑戰性視頻序列上對比的跟蹤成功率圖。本文中提出的跟蹤算法在8個視頻序列中以0.952獲得最佳平均成功率，并在Coupon、Crossing和Fish視頻序列中獲得了最佳性能以及在David2視頻序列中獲得了第三跟蹤性能。SANet算法在8個視頻序列中以0.951獲得第二平均跟蹤性能，并且在Coupon、Fish和MountainBike視頻序列中獲得最佳跟蹤成功率，還在Walking2視頻序列中獲得第二跟蹤成功率。另外MDNet和SiamBAN在8個視頻序列中以0.907同時獲得第三平均跟蹤性能。

表2 跟蹤成功率

圖3 跟蹤成功率曲線圖

2.2 定性分析

圖4為在不同挑戰性視頻序列中部分關鍵幀的對比跟蹤結果(其中圖a～c為Coupon序列上的跟蹤結果，圖d～f為Subway序列上的跟蹤結果，實線方框為本文算法的跟蹤結果)。這些視頻序列包括了一種或多種目標外觀變化，例如光照變化、部分遮擋、快速運動以及平面內外旋轉。下面將從光照變化、遮擋、相似目標等方面來詳細分析跟蹤算法性能。

(1)遮擋。如圖4所示，Coupon和Subway序列中的目標在運動過程中都經歷了部分遮擋。在Subway序列中，第39幀時跟蹤目標被部分遮擋，多個跟蹤器發生了不同程度的偏離目標甚至完全丟失目標，例如SiamFC++、SiamFC以及SiamRPN。其中，SiamFC++將目標特征作為一個整體，與搜索區域進行相似性計算。然而，在跟蹤過程中，目標通常會產生劇烈的目標表觀變化，對可變目標使用這種全局匹配可能導致匹配結果不夠準確。所提出的跟蹤器利用基礎字典和核擴展字典學習的表觀模型能有效區分目標的相關信息，具有較高的跟蹤精度和魯棒性。

(2)相似目標。Coupon和Subway序列中的目標和背景相似，例如Coupon序列中的第153幀與Subway序列中第101幀。SiamFC、SiamFC++和SiamRPN對跟蹤目標產生了誤判，將相似的背景作為跟蹤目標進行跟蹤，導致跟蹤失敗。而本文所提出的基于基礎字典和核擴展字典學習的跟蹤器在相似的背景環境下取得了較好的跟蹤結果。

圖4 不同視頻序列上的跟蹤結果

3 結束語

在本文中，針對在劇烈表觀變化下目標跟蹤性能較差的問題，提出了一種基于基礎字典與擴展字典的聯合目標表示方法。首先在視頻的初始幀收集一組訓練學習樣本，通過核判別分析投影獲得基礎字典和擴展字典?；A字典在跟蹤過程中不進行更新，從而更多地保留了目標的原有信息。在跟蹤過程中擴展字典連續進行更新，以更好地學習目標的表觀變化，提升表觀模型的自適應性。目標候選塊由基礎字典與擴展字典的線性組合進行聯合表示?；诼摵献值涞哪繕吮硎九c字典的更新，本文在粒子濾波框架下提出了一種基于擴展字典學習的目標跟蹤算法。在挑戰性的數據集上進行廣泛的對比實驗表明，與最先進的跟蹤算法相比，所提出的跟蹤算法在實驗評估中也取得了優異的跟蹤性能。