基于DSP的視頻運動目標實時跟蹤系統研究與實現

劉小敏,范夢晴,李 杰

(南昌交通學院,330100,南昌)

0 引言

由于目前的監控系統使用的方法是事后看錄像帶或硬盤,研究當時發生的情況,是一種被動的監控方式,隨著社會的不斷發展,人們需要更高水平、更智能化的設備來保證社會安全。在智能視頻分析環節涉及到了識別和跟蹤運動目標,它能根據相關特征,在視頻序列圖像中分析出有效的信息,具有提取、定位、識別和跟蹤運動目標的功能,對其行為進行分析和解釋,以此為基礎,最終能夠做出科學的決策。實時檢測和跟蹤運動目標功能的視頻監控系統具有更高的智能化程度,能夠第一時間實現對異常狀況的發現。因此,本文對此進行了研究分析。

1 DSP技術及其特點

現代視頻監控系統的主要特點是數字化、智能化和規?；?。而以往的計算機視頻監控系統存在著一定的滯后性。嵌入式系統具有許多特點,例如小體積、低價格以及穩定的系統等,適用于面積較大的領域,是視頻系統中最重要的一種。

嵌入式系統中通常會用到ARM、FPGA以及GPP等處理器,其中ARM缺乏良好的信號處理能力,FPGA具有復雜的設計。與GPP相比,DSP在實時視頻處理領域更加適用,其主要具有如下特點。

1)DSP處理器中包含支持單周期乘法運算和密集乘法的硬件。

2)哈佛結構是DSP最常見的結構,處理器的數據訪問和指令下達可同時進行。

3)DSP芯片中具有支持零開銷循環的硬件。

4)DSP的選址方式十分專業,能夠為普通的信號處理和算法提供良好的支持。

5)一般來說,為了實現對性能的優化,DSP應用程序在編寫重要代碼時,應用了匯編語言,且此類代碼大多由DSP廠家提供。

6)在嵌入式系統中通過對DSP的應用,能夠降低功耗。

7)優化了視頻應用。

2 運動目標跟蹤

運動跟蹤是為了獲取運動目標在圖像序列中的運動軌跡[1]。目前為止,已經研發出許多目標跟蹤算法,在分類時具有不同的標準,但主要用于跟蹤匹配和跟蹤運動特性這兩種。其中,跟蹤運動特性時,跟蹤目標期間需要用到其運行信息,特定時間內相應的運動信息點屬于同一類。然而,此類算法需要進行大規模的算法處理,且十分費時,想要滿足實時處理的需求難度較大。在跟蹤匹配時主要跟蹤對象為目標區域、目標輪廓和目標特征等。

在進行區域匹配跟蹤時,所匹配的運動區域是預先提取或人為設定的,接著需要在下一幅圖像中,對目標模板進行搜索,匹配最優性能指標的位置。此類算法在所獲取到的運動目標存在著影子和遮擋,難以實現對該問題的處理,且在大面積匹配時,需要耗費大量時間。區域跟蹤法還可結合卡爾曼濾波及粒子濾波等預測算法共同使用,能夠實現對搜索過程的優化;也可借助彩色信息實現對運動目標陰影的處理,最常用的就是這種方法。在跟蹤運動目標活動輪廓時,需要用到封閉邊界輪廓曲線的提取,跟蹤這一曲線在圖像序列中的運動軌跡,進而跟蹤運動目標。近幾年,主要采用了主動法和Hausdorff距離法來跟蹤運動目標活動輪廓。通過輪廓匹配能夠在減少計算量的同時,獲得理想的匹配效果。然而初始輪廓會決定著該算法能否獲得理想的跟蹤效果,且難以實現輪廓初始化。

在跟蹤運動目標特征時,主要的跟蹤對象就是角點或邊界線等相同性質的運動目標特征點。該方法的實現并不困難,且可以避免遮擋運動目標,但難以選取特征點。

目前,最穩定、最可靠的方法就是區域匹配法,目前研究最多的就是MeanShift,這一典型方法的匹配載體就是區域直方圖[2]。在應用MeanShift技術跟蹤運動目標時,通過對概率密度的核算,能夠實現對目標特征的描述,然后借助MeanShift對目標位置進行搜索。MeanShift是1975年Fukunaga等提出的,1995年Cheng對該技術的適用范圍進行了擴展,Comanciu等通過對MeanShift技術的應用,完成了跟蹤非剛體的問題。然而,由于該技術也需要在直方圖中進行匹配,在應用MeanShift技術時,也會出現遮擋目標、運算結果不準確等問題。

事實上,如果能夠通過檢測運動物體來進行運算,那么就能夠更加簡便地跟蹤運算運動目標。相比匹配靜態圖像等方法來說,在跟蹤運動目標時,主要的匹配對象就是目標遠動物體和檢測到的運動物體,并且相同目標在連續圖像序列中不會存在過大的距離差和空間差。所以,匹配算法大幅的縮小了運算范圍[3]。

3 系統總體結構

3.1 系統硬件

如圖1所示,該系統主要包括以下幾個部分。

圖1 運動檢測與跟蹤監控系統結構框圖

1)TMS320C6711DSK目標板。此開發板中所應用的DSP浮點為TMS320C6711型,每秒可以發出100萬種指令,運算浮點900萬次,能夠實現對復雜問題的實時高效運算;SDRAM的內存在16 M,支持多幀圖像存儲。在進行開發的過程中,在并口可直接調試軟硬件,或在JTAG口可直接調試仿真器。

2)視頻采集輸出子板。其主要能夠采集圖像、輸出圖像和轉換圖像格式等,如圖2所示。

圖2 系統程序流程

板上的video芯片、FPGA芯片數量分別為2塊和1塊,SDRAM為16 M。其中采集到RGB圖像經過TVP5022Video芯片的解碼后,會轉變為HSV格式,并在SDRAM子板中存儲,圖像經過TVP3026Video芯片的編碼能夠輸出為RGB格式。FPGA能夠控制板卡、管理外部存儲接口等。在進行圖像顯示時,SDRAM可直接向FIFO傳輸SDK目標板上的數據,由TVP3026輸出編碼[4]。

3)CCD攝像頭、云控制器及顯示器。DSK目標板具有處理采集圖像數據的功能,通過對處理結果的應用,可實現對云臺的控制及對運動目標的鎖定,且具有適當縮放功能[5]。

3.2 系統軟件流程

系統軟件具有如圖3所示總體流程,首先需要初始化上電或復位后的系統,DM642可將Flash芯片由EMIFACE1空間向1kbyte程序中的RAM搬運,在完成傳輸后,CPU由零地址開始進行程序代碼的執行,由于大多數系統程序都超過1kbyte,所以,需要對1kbyte程序的初始化和跳轉進行指令設置。然后需要初始化外圍設備,在完成初始化后,需要借助DM642在視頻序列圖像中連續采集兩幀,并計算相鄰幀差,根據差分結果對目標的運動進行判斷,Cam-shift算法在檢測到出現運動目標時,會對其進行跟蹤,并向單片機輸出跟蹤結果。單片機結合了跟蹤到的目標質心和視場中心這2個坐標的差值,能夠實現對舵機轉動的控制,進而實現對目標的跟蹤[6]。

圖3 系統軟件流程圖

4 基于序列圖像的運動目標識別跟蹤

4.1 序列圖像預處理

攝像機在對物體運動圖像進行拍攝的過程中,會受到各種因素的影響,例如,光照變化及相機抖動等,難免會存在噪聲。然而想要獲取到精確的處理結果,就需要銳化和加強圖像。因此,在分析識別開始前,需要預選處理圖像,重點做好對圖像的濾波處理。

在圖像噪聲消除環節,為了保證輪廓及邊緣等圖像重要信息的完整性,進而,做出準確的處理,需要采用多圖像平均法和中值濾波法等來消除圖像噪聲。其中,前者對硬件有著較高的要求,缺乏良好的實時性;而后者可以實現對脈沖型噪聲的有效去除,且可為凸顯邊緣提供良好的保護。中值濾波指的就是在小窗口內將(x,y)作為中心點,按照由大到小的灰度順序,排列所有像素,在(x,y)將mid(x,y)中間值作為灰度值,此類低通濾波器十分典型,由于圖像細節偶爾會被中值濾波損壞,本文對中值濾波進行了改進[7]:

其中,(x,y)點的濾波前后灰度值分別為g(x,y)和f(x,y),濾波窗口內閾值和中間點灰度值分別為ε和mid(x,y),在結合了各類應用背景后,能夠根據試驗得知。

如此,中間點和像素點之間不存在大于預定閾值的灰度值差,能夠實現對原值的保留,保證圖像細節不會受到完全中值濾波的影響,同時也取得了理想的實際應用效果。

4.2 運動目標識別與跟蹤

幀間差閾值法是序列圖像中最簡單的運動目標檢測法,它在速度、硬件實現方面具有一定的優勢,然而卻難以實現對物體運動速度的獲取,對重疊物體的運動檢測。在序列圖像中最重要的運動目標分析法就是光流場,不僅能夠檢測運動目標,還可以跟蹤運動目標,尤其是對于重疊物體運動的檢測,通過分布光流場來實現檢測和跟蹤。然而在噪聲以及陰影等因素的影響下,無法實現對光流場分布的可靠、準確計算,同時需要大量時間計算光流場分布。

結合以上2種算法后,可達到揚長避短的目標,使系統具有更高的效率和實時性。也就是在目標區域內,先根據幀間差閾值對運動物體進行檢測,然后再根據局部光流場對該區域進行分析,以此來跟蹤運動目標[8]。

4.2.1 背景的估計和更換 如果像素點存在無效背景值,或覆蓋了運動物體,那么就可根據連續幀差來分析該像素點,如此能夠實現對背景實效、物體離開等突變背景的處理,其采用了如下基本原理:實時采集前幀和后幀的圖像,如果相應位置的兩幀圖像的像素點差分值比系統維護該像素點的閾值更小,那么達到了如下條件:

|I(x,y,t)-I(x,y,t-1)

那么對應Count(x,y)計數值+1,反之Count(x,y)為零。如果增加Count(x,y)與設定的N相等時,系統會根據實時像素值來對背景像素值進行估算。

4.2.2 運動物體檢測 借助背景差分法對運動物體進行檢測時,系統會拆分實時采集到的圖像和估計所得的背景圖像,通過比較差值和閾值來確定區域中相應像素點的運動情況,并獲取相應的二值圖像。

如果BW(x,y)的值為1,那么B(x,y,t)與B(x,y,t-1)的值相同

如果BW(x,y)的值為0,那么B(x,y,t)與αB(x,y,t-1)+βI(x,y,t)的值相同。

其中α+β=1,學習率是α,α關系著目前實時圖像會給背景圖像帶來怎樣的影響,此類更新方法具有選擇性,借助此類方法不僅可加快背景對場裂變化的適應速度,還可保證背景不受到運動像素的污染。

4.2.3 運動物體檢測后處理 采用背景剪除法會獲取到帶有大量孤立噪聲的二值圖像,由于人體在視頻圖像中的長寬不同,所以系統在開運算檢測結果時所采用的掩膜圖像為長方形,其長、寬像素點為16和4。經過濾波后,系統會在二值圖像中借助四連通分量來標記其連通區域,為了實現連續標簽,系統會借助獨立的等價數組來對等價標簽進行標記。在標簽完每一個運動像素后,系統會合并等價標簽,進而獲取物體的運動區域,并對物體運動參數進行計算,同時,連通區域中需要具有比設定閾值更小的像素點數目,如此能夠實現對噪聲的濾除[7]。

5 實驗結果

本試驗在具有穩定光照的室內識別和跟蹤單個運動。采用的彩色CCD攝像頭為普通PAL制,能夠達到720*576分辨率。目標平面為1 cm2大小,距離攝像頭大約2 m,在固定鏡頭后,跟蹤處于低速運動的物體,獲取到如圖4的序列圖像。

圖4 算法跟蹤效果圖

據圖4可知,當采用DM642計算運動狀態的目標的相鄰幀差,能夠實現對運動物體的準確捕獲,如果物體的移動是按照從左到右的順序,那么采用背景減除法可實現對物體的有效跟蹤。為了了解攝像頭運動是否會影響系統,在識別目標物體后,在物體保持不動的情況下,轉動攝像頭,這個時候背景減除法的跟蹤效果依然良好,如圖5所示[8]。

圖5 攝像頭運動跟蹤效果

5.1 分析時間精度

如果處理速度為10 f/s(幀/秒),那么在采集相鄰兩幀圖像時只存在大約0.1 s的時間差。在時間差較小的情況下,幀差法可根據后續連續的各幀圖像信息,實現對錯誤的自動糾正,故幀差法能夠實現對光照影響的有效規避。

5.2 分析位置精度

在做迭代算法時,搜索窗是一直存在的,假設當目標處于非?？斓乃俣冗\動時,由于速度非?？?那么就會有可能丟失跟蹤的目標。這時想要跟蹤連續運動目標,跟蹤的目標其運動速度不能太快,應為相鄰兩幀中目標位置差不能超過本身尺寸的1.5倍。

6 結束語

本文提出并實現了一種基于 DSP 的視頻圖像運動目標檢測與跟蹤系統的設計方法。系統基于高性能數字信號處理器 DM642,采用背景減除法檢測運動目標,采用幀間差分法處理背景的突變,采用實驗分析了時間精度和位置精度,進而得出運動目標的運動軌跡。實驗結果表明,系統能夠實時檢測,且跟蹤運動目標。