跨攝像頭目標跟蹤綜述

王先彬，嚴明

（四川大學計算機學院，成都 610065）

跨攝像頭目標跟蹤綜述

王先彬，嚴明

（四川大學計算機學院，成都 610065）

跨攝像頭目標跟蹤是在多個攝像頭之間跟蹤具有時間和空間離散性的運動目標，在智能交通、公共安全等領域具有重要應用價值。針對跨攝像頭跟蹤任務的復雜性，先簡要介紹跨攝像頭目標跟蹤的基本框架，然后詳細分析跨攝像頭目標跟蹤的主要挑戰和研究現狀，重點介紹攝像頭關聯模型及圖像融合算法，并探討跨攝像頭目標跟蹤的發展趨勢。

0 引言

跨攝像頭目標跟蹤是當前視頻目標跟蹤領域的研究熱點，其主要任務是跟蹤目標在多個攝像頭之間的運動，是智能視頻分析的基礎。與單攝像頭下的目標跟蹤相比，它能夠提供對運動目標跨視域、大范圍、長時間、魯棒性更好的跟蹤效果，在智能交通、公共安全等領域有重要應用價值。

跨攝像頭目標跟蹤研究是困難的，因為它不但繼承了單攝像頭目標跟蹤的復雜性，還需要建立攝像頭關聯模型，融合來自各個攝像頭的圖像信息。本文先簡要介紹跨攝像頭目標跟蹤的基本框架，再詳細闡述跨攝像頭目標跟蹤的主要挑戰和研究現狀，重點介紹了攝像頭關聯模型及圖像融合算法，分析其優缺點，最后對跨攝像頭跟蹤的未來進行展望。

1 跨攝像頭目標跟蹤的基本框架

跨攝像頭目標跟蹤是視頻目標跟蹤的子領域，由于運動目標類型、跟蹤應用場景的不同，跨攝像頭目標跟蹤系統的實現也不同。例如，當用于樓內安保監控時，由于運動目標是人、攝像頭視域狹窄及目標運動路徑受到物理限制，可以通過人工標定和校準方式來建立攝像頭間的協同跟蹤模型。而當目標是車輛，且要求在城市道路實現不間斷跟蹤時，跨攝像頭跟蹤就變得非常復雜。通過分析不同系統的實現，可以抽象出一般性的跨攝像頭目標跟蹤框架，該框架可以分為系統初始化模塊、單攝像頭跟蹤模塊和跨攝像頭目標定位模塊，如圖1所示。

各模塊的功能如下：

（1）系統初始化模塊：接入各攝像頭的輸入視頻，人工或通過目標檢測算法選擇被跟蹤目標。

（2）單攝像頭跟蹤模塊：包括建立運動模型、提取目標特征、選擇外觀模型、確定目標位置、更新外觀模型等步驟。運動模型根據目標在上一幀中的位置，按照一定的規則產生目標在當前幀中的候選位置，常見的運動模型有粒子濾波、滑動窗口和均值漂移。提取目標特征有兩種方法，一是通過人工設計的算法獲得目標的點、幾何形狀、輪廓等形狀特征，或灰度、顏色、紋理、梯度等外觀特征；二是利用機器學習特別是深度學習自動獲取邊緣、顏色等底層特征和人臉、輪轂等高層抽象特征。外觀模型分為生產模型和判別模型。生產模型需要在跟蹤前對目標外觀（如形狀和紋理）建模，然后在運動模型基于上一幀產生的候選位置框中，選擇與此模型最匹配的位置框作為目標在當前幀中的位置。判別模型也稱為基于目標檢測的模型，它利用一個在線分類器將目標與背景分離，從而確定目標的位置。更新外觀模型主要是更新模板（對生產模型）或利用新樣本對分類器進行增量式在線訓練（對判別模型）。

（3）跨攝像頭目標定位模塊：建立和應用攝像頭關聯模型或圖像融合算法，在相鄰攝像頭中確定目標的位置。該模塊是實現跨攝像頭目標跟蹤系統的關鍵，它包括兩個部分：一是線下建立攝像頭關聯模型或設計圖像融合算法；二是線上更新該模型或算法。

2 跨攝像頭目標跟蹤的主要挑戰

跨攝像頭目標跟蹤作為視頻目標跟蹤領域的一個研究分支，繼承了傳統的單攝像頭目標跟蹤研究的復雜性。這些復雜性包括但不僅限于以下幾點：（1）場景光照變化；（2）目標被部分甚至完全遮擋；（3）目標運動復雜；（4）目標有剛性與非剛性之分；（5）視頻圖像采集時損失深度信息；（6）要求實時跟蹤?？鐢z像頭跟蹤實現大范圍連續跟蹤優點的同時，也引入了新的挑戰。一方面，由于監控角度、攝像頭景深以及像素差異等原因，同一個目標在不同攝像頭拍攝的視頻圖像中會出現不同大小、視角、清晰度、運動速度等問題，需要進行圖像融合。另一方面，目標離開一個攝像頭視域后進入另一個攝像頭視域是涉及到攝像頭間的協同關聯問題，是實現跨攝像頭目標跟蹤的關鍵。本文主要介紹跨攝像頭時目標跟蹤的研究情況，而單攝像頭目標跟蹤算法是一個獨立研究領域，在后文中不再涉及，感興趣的讀者可參考相關文獻[1-3]。

3 跨攝像頭目標跟蹤研究現狀

當前跨攝像頭目標跟蹤研究主要有兩個分支：一是非重疊攝像頭跟蹤，是指兩個攝像頭之間的視域沒有交叉，目標離開一個攝像頭視域運動到另一個攝像頭視域的過程中存在監控盲區，這種情況下攝像頭關聯模型是研究重點；另一個是攝像頭視域存在重疊時的目標跟蹤，即同一個目標同一時刻出現在多個攝像頭視域中，這種情況下圖像融合是研究重點。

3.1 非重疊攝像頭跟蹤方法及性能分析

（1）基于全局檢測的攝像頭關聯方法

由于計算能力的極大增強以及攝像頭采集的視頻圖像分辨率的提高，基于檢測的跟蹤成為近年來單攝像頭目標跟蹤領域的熱門研究方向[4]。在跨攝像頭跟蹤領域，也有不少學者提出了基于檢測的跟蹤方法[5]。

Yong-Feng HUANG等[6]提出了一種基于TLD算法的非重疊攝像頭跟蹤系統。該系統的檢測模塊在目標離開某攝像頭視域后，會全局掃描一定范圍內攝像頭的視頻幀，然后通過模板匹配的方法定位目標。在單攝像頭下跟蹤目標時，作者用MeanShift和粒子濾波跟蹤方法替換了TLD算法中基于特征點的光流跟蹤方法，增強了在光照劇烈變化等復雜環境下系統的魯棒性。但由于目標檢測模塊只采用簡單的全局搜索方法，系統需要很強的計算能力，實時性比較差。

Jorge C.等[7]研究在隧道中跨攝像頭跟蹤車輛時，用AdaBoost分類器來加速攝像頭間視頻幀的全局搜索過程，即每個候選位置框同時被幾個特征分類器評估，每個分類器都會剔除一半的候選位置框。這樣大部分負樣本在早期就會被剔除，從而加快了檢測速度。剩下的正樣本進入下一輪評估，左后得到的最優位置框就作為下一個攝像頭中目標的位置。

李志華等[8]提出用SIFT特征匹配多個攝像頭中的目標的方法實現跨攝像頭跟蹤。當目標離開某攝像頭視域后，中心服務器利用攝像頭的相鄰性檢測該攝像頭的相鄰攝像頭組中新出現的目標，并利用此新目標分割圖像的SIFT特征與數據庫中其他攝像頭中出現過的目標進行特征匹配，若匹配成功，則將原攝像頭下目標的編號賦予新的攝像頭下的目標。SIFT特征對圖像尺度、旋轉、仿射變換以及視角方向變化等具有高度不變性，使得該方法能夠達到較好的匹配跟蹤效果。但是這種方法需要提前標定每個攝像頭的相鄰組，而且一旦目標離開一個攝像頭視域后，中心服務區就需要全局搜索該攝像頭的相鄰組，需要網絡和服務器能夠承受較大負荷。

陳偉宏等[9]通過結合攝像頭間的目標外形變化（用特征距離D度量）和運動路徑模型（用空間和速度特征度量），融合多個攝像頭信息，減少了跨攝像頭系統建立亮度變換函數（BTF）[10]的學習時間，使得該算法能夠快速識別出穿過攝像頭的目標，而且對場景光照改變的不敏感。另外，該系統也不需要提前校準攝像頭，從而增強了系統的擴展性。

（2）基于機器學習的攝像頭關聯模型

行人從一個攝像頭到另一個攝像頭的過程中不穿過其他攝像頭時，這兩個攝像頭稱為直接連接（directly-connected）。直接連接的攝像頭之間的路徑包含一個進入區和一個退出區。訓練數據是兩組由進入區觀測實例集（X）和退出區觀測實例集（Y）組成，每個進入/退出觀測實例包含行人的顏色、紋理特征以及進入/退出該視域（FOV）的時間。如果在攝像頭數量較少且已知攝像頭間拓撲圖的情況下，人工標定直接連接的攝像頭對以及與其關聯的進入區/退出區是比較容易的。此時直接采用監督學習方法就能夠獲得攝像頭關聯模型。然而，人工標定訓練數據不僅是一件費時費力的事，而且隨著攝像頭網絡規模的增長變得越來越不可行。同時，每增加一個攝像頭都需要重新標定訓練數據，擴展性比較差。這種方式在商場、辦公大樓等攝像頭數量穩定的內部監控場合比較適用。

Chun-Te Chu[11]提出利用一種非監督學習框架構建的攝像頭關聯模型來進行跨攝像頭行人跟蹤。文中將兩個觀測實例集X和Y之間的關聯性表示為關聯矩陣P（N1+1）×（N2+1），其中N1和N2分別是數據集X和Y中的樣本個數。與監督學習方法中P為人工標定的二值矩陣不同，這里求解關聯矩陣P是一個最優化問題，即給定最新攝像頭關聯模型M后由最小化代價函數簇J（·）得到，見式（1）。

其中Pij是連續實數，表示第i個退出觀測實例與第j個進入觀測實例的匹配程度；J（·）中的每個代價函數表示某個特征在進入觀測實例與退出觀測實例之間的距離。求得P后，直接連接的攝像頭之間的轉移時間分布、亮度轉移函數、區域匹配矩陣、區域匹配權值和特征融合權值就可由最新的P得到，從而獲得更新的攝像頭關聯模型M。通過不斷迭代更新，最后收斂得到穩定的關聯矩陣P和攝像頭關聯模型M。整個流程分為訓練階段和測試階段，見圖2。

圖2 攝像頭關聯模型構建圖

該模型在有新攝像頭或新的目標特征加入時有較好的泛化能力，但缺點是需要事先知道一下先驗知識：①攝像頭網絡拓撲圖；②哪些攝像頭之間是直接連接（即存在關聯模型）；③一對直接連接的攝像頭之間的關聯意味著有且只有一對進入區/退出區，也就是目標從一個攝像頭的退出區離開后，只能出現在另一個攝像頭的進入區。

Huang等人[12]提出了一種概率方法用于識別高速公路上跨攝像頭下的車輛，用車輛的顏色均值描述其外觀，車輛在攝像頭間的轉移時間符合高斯分布，并且假設初始轉移概率是已知的。該方法在視頻圖像噪聲較大的情況下依然能夠取得較好的跟蹤效果，然而僅采用平均顏色的外觀模型無法描述類似行人這樣顏色比較復雜的目標，且該方法的應用場景是車輛運動方向固定的高速公路，在其他復雜場景中高斯分布假設不一定適用。另外，車輛初始轉移概率也是跟蹤系統之外的先驗知識，需要額外求得。

Kettnaker等人[13]將非重疊攝像頭跟蹤看作建立目標一致性的線性規劃問題，利用貝葉斯方法構建跨攝像頭時目標的運動路徑。該方法中目標運動路徑和在攝像頭間的轉移概率是人工設定且固定的，也沒有利用目標位置、速度、轉移時間等信息統一建模，因此當目標運動軌跡脫離預定路線時跟蹤會失敗。

Ellis等人[14]采用非監督方式學習目標在相鄰攝像頭間轉移的時間相關性來構建攝像頭網絡的拓撲圖。作者分兩步提取時間相關信息，首先識別每個攝像頭的進入和退出區，然后統計觀測實例的移動軌跡來建立一個攝像頭的退出區與相鄰攝像頭的進入區之間的一致性關系。該方法的優點是無需計算相鄰攝像頭間的每個實體運動軌跡的一致性關系，而是基于統計大量軌跡的方法來建立相鄰攝像頭進入區和退出區的一致性關系，因此是完全無監督的，特別適合實際場景中長時間穩定運行的跟蹤系統。然而由于一致性不是建立在計算單個實體軌跡上，同一個系統在跟蹤諸如人和車輛等速度差別很大的目標時效果不理想。

Javed等人[15]提出一種利用攝像頭間的時空線索和目標外觀線索的貝葉斯框架實現跨攝像頭跟蹤。攝像頭間的時空模型由Parzen窗從訓練數據中得到，而目標經過相鄰攝像頭時外觀的變化由顏色模型之間的距離度量。相鄰攝像頭的兩個觀測實例是同一個目標的概率就由時空信息和目標外觀決定，稱之為一致性概率（Correspondence Probability），跟蹤過程就是對它進行最大后驗概率估計。該方法不需要校準攝像頭，也不需要攝像頭網絡的拓撲結構，因此具有較好的擴展能力。其不足之處是一致性概率的求解本身就比較復雜，而且訓練數據需要手工標記運動軌跡等信息。

Xiaotang Chen等人[16]在Javed等人工作的基礎上，提出了另一種非監督方法構建攝像頭間轉移模型，該模型同樣由攝像頭間的時空線索和目標外觀線索兩個部分組成。不同之處在于作者將時空模型描述為一個攝像頭連接（Link）中進入觀測實例和退出觀測實例的互相關函數?；ハ嚓P函數雖然比較容易實現，但它存在峰值不明顯以及沒有考慮連接的轉移時間分布的問題?；谏鲜龌ハ嚓P函數，作者提出通過減小正相關實例的轉移時間方差，以消減大量負相關實例帶來的影響，從而突出互相關函數的峰值。通過不斷迭代，該方法能夠估計任意有效連接的轉移時間分布，而且避免了求解非重疊攝像頭中目標一致性問題。目標外觀線索就是對目標外觀特征的描述。文中作者采用基于顏色的特征，提出利用顏色特征轉移算法（CCT）[17]來建立攝像頭間外觀轉換模型。該算法克服了攝像頭間光照變化對目標外觀顏色的不利影響，缺點是不同的顏色轉移方向（例如從攝像頭x到y與從y到x）會極大地影響CCT的性能。

3.2 重疊攝像頭跟蹤方法及性能分析

多個攝像頭重疊時的目標跟蹤在解決單攝像頭視域中目標被遮擋、目標在視域中過小等方面有重要意義。它可以分為兩個過程，首先在多個攝像頭中檢測到目標，然后再進行單攝像頭下的目標跟蹤。本節只介紹多個攝像頭下目標檢測的方法。

最簡單的檢測方法是特征匹配法[18-19]，利用目標的顏色、紋理、HOG等特征或特征組合作為模板，對各個攝像頭的視頻幀進行匹配。另外，攝像頭校準信息對于目標檢測也有幫助[20]。

Khan和Mubarak在文獻[21]中將跟蹤同一個目標的一致性問題看作對目標的連續標記（Consistent Labeling）。文中先自動計算具有重疊區域的每個攝像頭的視域線（FOV Lines），一種在其他攝像頭中觀察到的該攝像頭的視域邊界，然后可由求得各攝像頭視域間的單應性關系，從而建立目標在相鄰攝像頭之間的一致性。該方法不需要特征匹配和校準攝像頭，而且可以知道目標在一個攝像頭視域的不同區域對相鄰攝像頭的可見性。該方法的缺點是要求相鄰攝像頭的視域線是互相可見的，即使只有部分不可見也會導致一致性的置信度很低。

高翔等人[22]提出一種基于人體中線的目標檢測算法，用于重疊攝像頭行人跟蹤。該算法假設人體在中線兩側近似對稱，通過最小中位數均方差檢測各個攝像頭采集的圖像中候選目標的中線，然后以不同攝像頭視角間的單應性關系作為幾何約束定義一個中線匹配似然函數，實現在不同視角中檢測目標。由于該算法需要依賴背景差分法提取前景目標，以及人體中線假設過于簡單化，因此不適合背景復雜和行人姿態復雜的應用環境。

熊俊等人[23]在研究智能停車場管理系統中，計算當前視域中候選目標的世界坐標與前一攝像頭視域中目標的世界坐標之間的距離，距離最小的候選目標就是前一視域中正在跟蹤的目標。世界坐標實際上就是目標在停車場的中物理位置，因此需要事先對攝像頭進行校準，在線跟蹤時也需要對車輛進行精確定位。

Zhang Z等人[24]在研究頭盔跟蹤系統中，將三個布置在同一個頭盔上的攝像頭采集的視頻圖像通過幾何變換縫接（Stitch）成一個廣域視頻，然后在這個視頻中跟蹤目標。由于頭盔上的攝像頭位置相對固定，因此很容易對攝像頭進行標定，攝像頭之間的單應性關系也容易計算，在此基礎上縫接多個視頻圖像的速度也較快。該方法等同于單攝像頭下的目標跟蹤，省去了在不同攝像頭中檢測目標的復雜過程。然而，該方法只適用于多個攝像頭之間間距非常小，幾乎不存在視域盲區的應用環境，否則縫接好的視頻圖像容易形成空白區。

4 跨攝像頭跟蹤的發展趨勢展望

與單攝像頭目標跟蹤相比，跨攝像頭目標跟蹤是一個較新的研究領域。要實現非重疊或重疊攝像頭下的有效跟蹤，合適的攝像頭關聯模型或圖像融合算法是關鍵。在單攝像頭跟蹤研究中，類似 VOT等測試和比較跟蹤算法優異性的基準數據集[25]起著重要作用，雖然在跨攝像頭跟蹤領域也有一些測試數據集[26]，但大部分是關于重疊攝像頭跟蹤的，而更符合實際跟蹤需要的非重疊攝像頭跟蹤的數據集非常少。開發既能在重疊攝像頭、又能在非重疊攝像頭下測試和比較攝像頭關聯模型和圖像融合算法的基準數據集是迫切需要解決的問題。另外，當前大多數跨攝像頭跟蹤算法要么偏向非重疊攝像頭下的跟蹤，要么偏向重疊攝像頭下的跟蹤，在未來的研究中應該將重疊與非重疊攝像頭跟蹤統一到同一個算法框架下。

5 結語

本文先介紹跨攝像頭目標跟蹤的基本流程，在此基礎上指出跨攝像頭目標跟蹤研究面臨的兩大挑戰：建立攝像頭關聯模型和設計圖像融合算法。然后對各類非重疊攝像頭跟蹤時的攝像頭關聯模型，以及重疊攝像頭跟蹤時的圖像融合算法進行了綜述，分析了不同方法的性能。本文最后對跨攝像頭目標跟蹤的發展趨勢進行了展望，相信今后會出現魯棒性更好、擴展性更強、智能化更高的跨攝像頭目標跟蹤算法。

[1]曾巧玲,文貢堅.運動目標跟蹤綜述[J].重慶理工大學學報自然科學版,2016,30（7）:103-111.

[2]A Yilmaz,O Javed,M Shah.Object Tracking:A Survey.ACM Computing Surveys,2006,38（4）:1-29.

[3]管皓,薛向陽,安志勇.深度學習在視頻目標跟蹤中的應用進展與展望[J].Acta Automatica Sinica,2016,42（6）:834-847.

[4]Kalal Z,Mikolajczyk K,Matas J.Tracking-Learning-Detection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence, 2012,34（7）:1409-22.

[5]王津,張學杰.多攝像頭視頻監控系統中基于SIFT特征的目標匹配研究[J].云南大學學報自然科學版,2009（s1）:37-42.

[6]HUANG Y F,Chu-Yang L I,Cai-Rong Y A N.Object Tracking for Multiple Non-overlapping Cameras Based on TLD Framework[J]. DEStech Transactions on Engineering and Technology Research.2016

[7]Castaneda J N,Jelaca V,Frías A,et al.Non-Overlapping Multi-camera Detection and Tracking of Vehicles in Tunnel Surveillance[C]. International Conference on Digital Image Computing:Techniques and Applications，2011:591-596.

[8]李志華,陳耀武.基于多攝像頭的目標連續跟蹤[J].電子測量與儀器學報,2009,23（2）:46-51.

[9]陳偉宏,肖德貴.一種非重疊多攝像頭的實時監控系統[J].計算機工程與應用,2006,42（18）:218-220.

[10]Javed O,Shafique K,Shah M.Appearance Modeling for Tracking in Multiple Non-Overlapping Cameras[J]，2005,2:26-33.

[11]Chu C T.Robust and Consistent Human Tracking Within Camera and,Across Multiple Cameras[J]，2013.

[12]Huang T,Russell S.Object Identification in a Bayesian Context[C].Fifteenth International Joint Conference on Artifical Intelligence. Morgan Kaufmann Publishers Inc，1997:1276-1282.

[13]Kettnaker V,Zabih R.Bayesian multi-Camera Surveillance[J]，1999,2（2）:2253.

[14]Ellis T J,Makris D,Black J.Learning a Multi-Camera Topology.Joint IEEE Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance（VS-PETS）,2003:165-171.

[15]Javed O,Rasheed Z,Shafique K,et al.Tracking Across Multiple Cameras with Disjoint Views[C].IEEE International Conference on Computer Vision,2003.Proceedings.2003:952-957 vol.2.

[16]Chen X,Huang K,Tan T.Object Tracking Across Non-Overlapping Views by Learning Inter-Camera Transfer Models[J].Pattern Recognition,2014,47（3）:1126-1137.

[17]Reinhard E,Ashikhmin M,Gooch B,et al.Color Transfer between Images[J].IEEE Computer Graphics&Applications,2001,21（5）: 34-41.

[18]Utsumi A.Multiple-Camera-Based Human Tracking Using Non-Synchronous Observations[J].Proc of Accv,2000:1034-1039.

[19]Chang T H,Gong S.Tracking Multiple People with a Multi-Camera System[C].IEEE Workshop on Multi-Object Tracking.IEEE Computer Society,2001:0019.

[20]Cai Q,Aggarwal J K.Tracking Human Motion in Structured Environments Using a Distributed-Camera System[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,1999,21（11）:1241-1247.

[21]Khan S,Shah M.Consistent Labeling of Tracked Objects in Multiple Cameras with Overlapping Fields of View[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2003,25（10）:1355-1360.

[22]高翔,朱婷婷,劉洋.多攝像頭系統的目標檢測與跟蹤方法研究[J].計算機技術與發展,2015（7）:221-225.

[23]熊俊,陳臨強.基于多攝像頭協同模式的智能停車場管理系統[J].機電工程,2010,27（4）:76-78.

[24]Zhang Z,Cheng J.Multi-Camera Tracking Helmet System[J].2013,1（2）:76-79.

[25]Wu Y,Lim J,Yang M H.Online Object Tracking:A Benchmark[C].Computer Vision and Pattern Recognition.IEEE,2013:2411-2418.

[26]Ristani E,Solera F,Zou R,et al.Performance Measures and a Data Set for Multi-Target,Multi-Camera Tracking[C].European Computer on Computer Vision Workshops.2016.

Survey on Multi-Camera Object Tracking

WANG Xian-bin，YAN Ming
（College of Computer Science,Sichuan University，Chengdu 610065）

Multi-camera tracking of objects,whose motions are separated both temporally and spatially when they move between cameras,is valuable in intelligent transportation,public security,etc.Aiming at the complexity of multi-camera object tracking,firstly presents a general framework for the tracking system,then,analyzes the main challenges on multi-camera object tracking along with its current research status in detail,and highlights camera correspondence models and image fusion algorithms are.Finally,discusses the trends in multi-camera object tracking.

Multi-Camera;Object Tracking;Camera Correspondence Model;Image Fusion

1007-1423（2017）09-0085-06

10.3969/j.issn.1007-1423.2017.09.020

王先彬（1987-），男，四川瀘州人，碩士研究生，研究方向為機器智能

2016-12-29

2017-03-10

跨攝像頭；目標跟蹤；攝像頭關聯模型；圖像融合

四川省科技廳苗子工程（No.0030405301461）

嚴明（1988-），男，四川成都人，博士研究生，研究方向為機器智能