基于相關濾波快速定位搜索水面目標跟蹤方法

管鳳旭,唐世文,叢浩東,胡秀武

(哈爾濱工程大學智能科學與工程學院,黑龍江 哈爾濱 150001)

1 引言

目標跟蹤是計算機視覺中最基本的問題之一,其應用廣泛,包括視頻監視,運動視頻分析,動作識別,視頻編輯和人機界面[1-6]。對于水面高速運動場景,傳統的相關濾波算法有著模糊、抖動等問題,研究改進出新的算法勢在必行。

近些年,基于相關濾波算法的研究已經取得飛速進展。在2010年,Bolme等人[7]首先將相關性過濾器引入視覺跟蹤,建立具有最小輸出平方和(MOSSE)過濾器的判別模型。2012年,Henriques等人[8]利用樣本數據矩陣的循環特性,提出基于MOSSE的CSK。2015年,Henriques等人[9]提出的KCF算法,結合了HoG特征和帶內核的多通道相關性到跟蹤器中,大大提高了跟蹤器性能。盡管KCF算法具有很高的速度和魯棒性,但它無法使用固定的比例模板來估計目標的比例變化,當目標比例由于樣品窗口中目標外觀的變化而變化時,會導致跟蹤失敗。Danelljan等[10]使用一個單獨的比例尺濾波器基于MOSSE(即DSST)估算比例尺變化,同時實現了高精度和高效率。在2014年,Li等人[11]發表了多尺度核相關濾波(SAMF)算法[12],該算法使用融合特征來對目標進行描述,并應用了目標尺度自適應的概念,SAMF算法對跟蹤目標尺寸大小變化更加敏銳,SAMF算法在跟蹤速度上相比較于DSST有所提升,但是在水面高速運動場景仍存在水面高速運動容易發生模糊、抖動、遮擋問題,本文將SAMF算法基礎上提出新的算法。

近幾年大火的深度學習也使得基于深度學習的目標跟蹤算法成為熱點[13-15],其優點在于跟蹤精度非常高,但并不符合在運用于水面無人船需要有較高實時性的要求。

本文基于SAMF算法基礎提出兩點改進方法:

1)在目標跟蹤過程中,通過跟蹤目標的大小和位置自適應調整跟蹤框長和寬,確定合適的目標跟蹤區域,改善跟蹤性能

2)由實時的目標速度和加速度求得模型更新率與速度之間關系式,利用加速度對運動狀態的預測作用確定模型的更新率,提高目標的跟蹤精度。

2 SAMF算法

SAMF算法使用融合特征來對目標進行描述,并應用了目標尺度自適應的概念,SAMF算法對跟蹤目標尺寸大小變化更加敏銳,在高速運動中具有良好的跟蹤性能。SAMF算法利用一個相關濾波器來確定目標位置和估計尺度。

位置濾波器Hp:設每一個維度的相關濾波器為hl,通過嶺回歸求取最小期望E

(1)

其中,g應為訓練樣本f的期望輸出,當取E最小時,可以推導得到

(2)

(3)

最后假設當前幀位置為Z,那么下一幀預測位置為

(4)

尺度濾波器:以位置濾波器找到的下一幀圖像位置為中心,求得各個尺度的候選框與候選框目標特征,之后選取在特征計算中特征響應最大的為此時的尺度。方式如下:

an*L×an*H,

(5)

其中,L和H分別表示上一幀圖像的寬度和高度,a表示尺度因子,S表示尺度數量,在SAMF算法中S=33。

SAMF算法采用了一個濾波器來完成目標定位和目標尺度估計。SAMF算法的預測框大小為固定值sT=(sx,sy),算法還新增了尺度池S=(t1,t2,…,tk)。在原始圖像空間中,若目標預測框為sT,為了讓尺度池中各尺度的樣本與sT樣本相同,采取雙線性插值來達到目的。為了求取最恰當的目標尺寸,選取{tisT|ti∈S}中k個大小的目標來對比當前幀。

算法的濾波器采用新過濾器與舊過濾器線性組合的方式來更新。Y是濾波器器模板,在每一幀生成

(6)

3 快速定位區域搜索的目標跟蹤方法

SAMF算法具有優良性能,但是SAMF算法對水面快速運動的場景仍然性能不理想。在傳統的目標跟蹤算法中,目標跟蹤框的大小由目標的初始大小決定,跟蹤框的大小在整個跟蹤過程中是固定的,而目標跟蹤框的大小對算法精度有著很大影響。水面高速運動中,如果目標尺寸變大超過初始尺寸,容易導致目標特征丟失,導致目標定位精度降低,增加跟蹤過程中目標丟失的概率。如果目標尺寸變得比初始尺寸小,跟蹤幀將混合過多的背景圖像和無用的特征。本算法設計出一種可自適應調整跟蹤區域與模板更新率的方法。

3.1 區域搜索

原SAMF算法中用padding表示中目標周圍背景區域的范圍,若需要目標周圍區域范圍較小,取padding=1.5,同時算法采樣和計算的信息量也較少,其缺點是可能出現的是目標劇烈抖動導致目標跟丟。當padding取2的時,除去目標區域下的背景區域所占百分比比padding=1.5時多得多,同時算法采樣和計算的區域也更大,算法的跟蹤速度會下降。在原SAMF算法中,為了保證算法的跟蹤準確度,padding取2?？紤]到背景范圍較大的搜索區域會使算法的跟蹤速度變慢,而背景范圍較小的搜索區域可能會使算法出現因劇烈抖動出現容易跟丟情況,本文提出一種新的對于不同目標自身尺寸的大小和長寬比例不同,分別確定搜索區域的方法。具體方法如下:

跟蹤框對準跟蹤目標的中心點時,可設跟蹤目標的長和寬分別為x和y,視頻序列下一幀的長和寬為X和Y,則下一幀的長寬可以確定

(7)

為了應對目標長寬不協調可能使目標快速運動時可能偏離搜索區域的情況,定義一個長寬比k,如下

(8)

k代表長寬的比例,若k≥2時判定目標狹長程度過大,重新確定搜索區域長寬,當y=max(x,y)時,可設X′為調整后的高度,Y′為調整后的寬度,修正的公式如下

(9)

y>x,本方法采取的措施為減小上下區域,擴大左右區域。若x=max(x,y)時,修正的公式如下

(10)

當k<2時,則按式(7)設定搜索區域長寬即可。在以上一系列對應的調整下,針對各種長寬比例的跟蹤目標,算法仍能自適應性調整,優化和調整搜索區域面積,在去掉無關的搜索背景并加快算法速度。

如下圖1和2,方框中的區域是算法調整前后的的目標搜索區域,在圖1中可看出本文方法相比于padding=2的上下搜索區域縮小,左右搜索區域并未過多減小;在圖2中可看出本文方法相比于padding=2的搜索區域各方向均明顯減小。

圖1 k≥2時本文方法搜索區域

圖2 k<2時本文方法搜索區域

3.2 濾波器的更新機制

SAMF算法采用的模型更新率為式(6),如下

(6)

首先,將速度v的計算公式如下

(11)

前一幀的中心點坐標和當前幀中心點的坐標可以確定。

外觀變化的程度越大,更新率變化越大,目標速度影響著外觀變化程度,速度越快的目,其外觀變化越快。在大量實驗中得到證實,模板更新率λ需要隨著目標速度ν變大而同步變大以適應外觀的變化;反之,目標速度ν越小,模板更新率λ越小,兩者關系如下

(12)

目標加速度對目標的狀態變化有預測左右,設序列幀速率為fr,于是加速度有以下關系式

(13)

其中,vn表示當前幀目標速度,vn-1表示前一幀目標速度,Δt為相鄰幀時間差,為fr的倒數。

當a<0,速度減小時,應按照a的值對η再次調整,通過減小更新率η來適應目標的速度減小這一狀態。調整的模型更新率的公式如下:

λ′=λ+a

(14)

λ表示一個所取的調整系數,而λ′表示調整后得到的模型更新率。

在式(14)中,調整后的更新率與速度的變化保持步調一致,所以修正值應該比模板更新率低一個數量級,幀速率越大則μ取值應較小,在通常的視頻序列,幀速率的值應該和μ取值呈相反關系,在幀速率fr為24～30fps,ω應該取3×10-4～4×10-4。

關于濾波器更新機制,本文提供的方法為:先以濾波器模型確定目標位置和尺度,然后使用預測框的中心點計算出目標的移動距離,根據關系式和計算出的目標速度v和加速度α來自適應調節模板更新速率λ,于是新的濾波器模板可以通過調整過的模板更新率求得。

4 實驗結果分析

4.1 不同速度下目標跟蹤試驗驗證

實驗環境是筆記本電腦上某常用仿真軟件,處理器為i5,所采用的視頻序列集部分來自于黑龍江二龍湖實地拍攝的視頻。本文選取SAMF算法和本文算法下的不同幀速率分解得到的序列集做目標跟蹤實驗。為了模擬出不同速度,視頻以25幀/s、12幀/s、8幀/s的速度分解得到三組序列集Redhouse-25、Redhouse-12、Redhouse-8,通過比較實驗結果分析得出本文算法對目標速度的自適應性。在Redhouse序列中的無遮攔、形變,有輕微尺度變化等特點,有利于一定程度上避免其它變量對實驗結果的影響。試驗結果如圖3～5和表1所示。

表1 Redhouse序列集跟蹤結果數據表

圖3 Redhouse-25序列跟蹤結果對比

圖4 Redhouse-12序列跟蹤結果對比

圖5 Redhouse-8序列跟蹤結果對比

從圖3中的對比可以看出,對于Redhouse-25序列而言,SAMF算法和本文算法均取得不錯的效果,在跟蹤全程都保持平穩跟蹤狀態,其原因在與序列中相鄰幀的跟蹤目標移動距離小,速度也小。對于Redhouse-12來說,在第85幀左右SAMF算法跟蹤失敗并在一段時間保持跟丟狀態,但是在之后算法還能搜索目標后跟上,在跟蹤過程中后期保持跟上目標。對于Redhouse-8序列而言,由于目標速度過快導致模板更新率失真而無法適應目標速度,第57幀左右跟丟目標出現跟丟的情況并在后續過程中目標一直處于跟丟狀態。而本文提供的算法采用實時自適應調節的模板更新率,在目標速度變化時,目標變化劇烈時,仍能保持良好的跟蹤性能。

從表1可以看出,SAMF算法和本文算法的目標序列中跟蹤結果中,本文算法比SAMF算法的跟蹤速度略快,兩者大概能達到94%左右的目標識別率。在Redhouse-12序列中,隨著目標速度的小幅度加快,原算法的識別率下降為85%并且出現短時間內跟丟目標后重新跟上目標的情況。Redhouse-8序列,算法的識別率降低到不到24%,其原因在于目標速度過快導致模板更新率失真而無法適應目標速度。相比之下,本文提供的算法目標識別率均能保持在90%以上,其原因在于本文算法對目標速度具有適應性。由以上實驗可以得出,本文提供目標跟蹤算法能根據目標速度自適應調整更新模板,能較為有效地解決因目標速度過快而發生的跟丟問題,從而使算法適用于水面高速運動場景下的目標跟蹤。

4.2 常見速度下目標跟蹤試驗驗證

實驗環境是筆記本電腦上某常用仿真軟件,處理器為i5,所采用的序列集包括從浙江千島湖采集的Whitehouse序列、來自互聯網公開的Speedboat序列。Whitehouse序列抖動和因水面霧氣產生的圖像模糊的特點,Speedboat序列具有尺度逐漸變大的特點。下面是不同算法對上述問題序列跟蹤的對比圖。

從圖6看出,由于水面的霧氣的原因,整體圖像和目標圖像均比較模糊,本文提供的算法可以較好的跟蹤目標。在圖7中看出,SAMF算法和本文的算法均能在目標尺度逐漸變化的過程中,算法的預測框能不斷自適應調整尺度,使目標處于穩定被跟上的狀態,本文提供的算法的跟蹤性能稍強于SAMF算法。從這樣的幾組效果圖來對比,本文提供的算法在一些場景下具有比SAMF算法更好的跟蹤性能。

圖6 Whitehouse序列跟蹤結果對比

圖7 Speedboat序列跟蹤結果對比

從表2可以得到,本文提供的算法在跟蹤識別率方面和原SAMF算法大致相當,本文算法跟蹤速度比原SAMF算法有一定提高,其原因在于本文算法優化了目標搜索區域。本文算法在濾波器模型更新和目標搜索區域方面改進,在相關濾波的基礎原理分析,本文算法在涉及目標特征、尺度濾波器等內容均與原算法相同,改進后的算法保留了原SAMF算法對水面高速運動中尺度變化、目標模糊問題的優良跟蹤性能。由此可見,本文提供的算法對于水面高速運動中的跟蹤問題有著良好的跟蹤效果。

表2 不同序列集跟蹤結果數據表

5 結論

本文在以SAMF算法為基礎,以目標速度和加速度自適應濾波器模型更新和目標長寬比自適應調整目標搜索區域方面改進,本文算法保留了原SAMF算法的優點,如對水面高速運動中目標模糊、尺度變化問題的優良跟蹤性能,同時,本文算法提高了對水面高速運動中的跟蹤問題的跟蹤性能。在本文算法中,未考慮多目標跟蹤,后續會考慮多目標跟蹤。