基于多特征融合和改進SIFT的目標跟蹤算法

李文舉, 王子杰, 崔 柳

(上海應用技術大學 計算機科學與信息工程學院 上海 201418)

0 引言

目標跟蹤在實際生活中有著廣泛應用,例如自動駕駛[1]、視頻監控[2]、道路安全識別[3]和行人跟蹤[4]等。當跟蹤目標發生形變以及受到光照變化或背景雜波等,都會使得跟蹤目標視覺特性發生改變,從而導致跟蹤精度降低。

圖像哈希特征[5]能夠很好地描述圖像主體特征,很多學者將其應用于目標跟蹤領域。Yu等將感知哈希算法與粒子濾波相融合并應用于目標跟蹤[6]。陳優良等預測了目標可能出現的位置,減小了搜索范圍從而提升了跟蹤效率[7]。胡卓等提取目標全局和局部特征進行融合并應用于跟蹤算法[8]。Sengar等使用了拉普拉斯算子對感知哈希算法進行改進,增強了跟蹤目標的邊緣信息[9]。Huang等將感知哈希和相關濾波器相結合,減少了錯誤更新目標模板時引起的跟蹤偏移,提升了跟蹤的準確率[10]。

SIFT特征是圖像的局部特征,通過對圖像SIFT特征點進行匹配能夠很好地將兩幅圖像進行配準,因此很多學者將其應用到目標跟蹤領域。王智軍等在MeanShift算法丟失目標的情況下使用SIFT進行目標重定位[11]。顧蘇杭等簡化了SIFT特征的提取和匹配,提高了目標跟蹤的可靠性和穩定性[12]。李艷萍等計算圖像SIFT特征點的光流信息,對光流信息進行特征聚類從而實現目標的準確跟蹤[13]。Mirunalini等將卡爾曼濾波與SIFT特征相結合,提升了目標在被遮擋時的跟蹤成功率[14]。

文獻[7-8]都將感知哈希特征應用于跟蹤算法中。然而當目標外觀改變較大時,目標的哈希特征也會發生改變。文獻[14]利用目標的SIFT特征和卡爾曼濾波對目標進行跟蹤,當目標外觀發生變化較大時,SIFT算法的匹配可能會失敗?；谏鲜霾蛔阒?本文對SIFT算法的特征點提取和匹配以及感知哈希和差異哈希進行改進,將SIFT特征、圖像哈希特征和顏色特征相融合,獲取更豐富的目標特征并將其應用于跟蹤算法。實驗證明,算法在目標受到光照變化或背景雜波時能保持較高的準確率,有效解決了跟蹤精度下降的問題。

1 改進的SIFT算法

1.1 改進的SIFT特征提取

圖像熵是一種圖像特征的統計形式,它反映了圖像中信息的含量。對于一幅大小為M×N的灰度圖像,圖像中的任意點可以用信息熵來描述其領域內灰度值分布的混亂程度。對灰度圖像中的每一個點都進行局部熵信息的計算,就能夠得到灰度圖像的局部熵,計算為

(1)

其中:H表示灰度圖像的局部熵;pi表示灰度值為i的像素所占比例。

圖像的局部熵越大則表示信息量越大。文獻[15-16]證明了只對高熵部分進行SIFT特征提取,能夠獲取大部分的特征點。這種改進能夠縮小特征提取的區域,從而提升效率。

1.2 改進的SIFT特征匹配

在對兩幅圖像進行配準時,特征點匹配會直接影響圖像配準的結果。特征點匹配常用的方法是最近鄰距離比值法,然而這種方法需要手動設定閾值,當閾值過大會產生錯誤匹配對;當閾值過小會丟失正確的匹配對。因此需要對SIFT特征點的匹配進行改進。

在使用最近鄰距離比值法進行特征點匹配后,對于正確匹配的特征點,其附近的像素信息非常相似。因此,可以使用均值哈希來剔除錯誤匹配的特征點。

改進的SIFT匹配方法具體步驟如下。1) 對兩幅圖像進行熵分割,并分別對兩幅圖像的高熵部分進行SIFT特征點提取;2) 對兩幅圖像的SIFT特征點使用最近鄰比值法進行粗略匹配;3) 對于粗略匹配的特征點,使用均值哈希得到哈希序列,當漢明距離小于5時,則判定為正確匹配;否則將其剔除。4) 對剔除錯誤匹配之后的圖像使用RANSAC算法獲得最終的匹配結果。

2 多特征融合

2.1 改進的圖像哈希

2.1.1改進的感知哈希 感知哈希能夠獲取圖像的主體信息,使用感知哈希算法能夠得到圖像的哈希序列。通過對兩幅圖像的哈希序列進行比較得到漢明距離。在獲得兩幅圖像之間的漢明距離后,可通過式(2)對兩幅圖像之間的相似程度進行量化表示,

(2)

其中:SHash表示兩幅圖像之間的相似度;D表示兩幅圖像之間的漢明距離。

然而感知哈希在目標與背景高度相似或光照強度過低的情況下不能很好地提取圖像的主體信息。針對感知哈希在上述情況中的不足,本文使用大津閾值對圖像進行分割,處理后的圖像目標與背景得到了很好的分離。分割前、后的效果對比如圖1所示。

圖1 閾值分割前、后對比圖Figure 1 Comparison before and after threshold segmentation

2.1.2改進的差異哈希 差異哈希算法是一種側重于圖像局部差異的圖像哈希算法。其主要過程是將圖像進行灰度化后,比較每行像素之間的差異以獲取哈希序列的算法。差異哈希算法只關注了局部差異信息,而忽視了局部信息和整體信息之間的聯系。本文針對差異哈希算法的不足之處進行了改進。具體改進步驟如下。

1) 將圖像像素壓縮成n×n。

2) 將縮放后的圖像進行灰度化處理。

3) 計算灰度變換后圖像像素的整體均值(avg)、各行像素均值(r_avgi)以及各列像素均值(c_avgi)。

4) 將圖像中的像素點按從左到右、從上到下的順序依次排列并編號,pi表示圖像的第i個像素點。對每個像素而言,按式(3)的規則進行處理得到相應的哈希碼hi。最終可以得到長度為n2的哈希序列,記為Hlocal,

(3)

5) 將圖像的r_avgi以及c_avgi依次進行比較,按式(4)和式(5)處理得到相應的行哈希碼ri和列哈希碼ci,最終分別生成n位的行哈希序列Hr和列哈希序列Hc;

(4)

(5)

6) 將圖像的r_avgi以及c_avgi依次與整體像素均值avg進行比較。按式(6)和式(7)的規則進行處理得到相應的行哈希碼r′i和列哈希碼c′i,最終分別生成n位的行哈希序列H′r和列哈希序列H′c,

(6)

(7)

7) 將上述步驟得到的Hlocal、Hr、Hc、H′r、H′c進行合并生成最終長度為n2+4n的差異哈希序列,如式(8),

Hcc={Hlocal,Hr,Hc,H′r,H′c}。

(8)

2.2 顏色特征

顏色是彩色圖像的重要特征之一。本文使用顏色矩來描述圖像的顏色特征,這種描述方法不僅簡單且十分高效。圖像的顏色矩包括一階矩、二階矩和三階矩。

圖像的一階顏色能夠反映圖像整體明暗程度,計算為

(9)

其中:N表示整幅圖像中的像素個數;Pi,j表示圖像第j個像素的第i個顏色分量;μi表示第i個顏色分量的一階顏色矩。

圖像的二階顏色矩能夠反映圖像色彩的分布范圍,計算為

(10)

其中:σi表示第i個顏色分量的二階顏色矩。

圖像的三階顏色矩能夠反映圖像色彩的對稱性,計算為

(11)

其中:si表示第i個顏色分量的三階顏色矩。

通過對圖像的RGB分量分別計算顏色矩,得到一個9維的圖像顏色特征:Fcolor=(μr,μg,μb,σr,σg,σb,sr,sg,sb),兩幅圖像之間的顏色相似度計算為

(12)

其中:F1i、F2i分別表示兩幅圖像的顏色特征向量中的第i個分量;n表示特征向量的維度;Scolor表示兩幅圖像之間的顏色相似度。

2.3 特征融合

圖像哈希特征提取時需要將圖像轉為灰度圖像,灰度圖像丟失了圖像的色彩信息。因此,本文將顏色矩作為圖像的顏色特征融入跟蹤算法中。SIFT特征能夠描述圖像的關鍵點信息,本文對于SIFT特征的量化方式為

(13)

其中:Ssift表示圖像區域內成功匹配的SIFT特征點的占比;N1表示搜索窗口內與目標成功匹配的特征點的數量;N2表示整幅圖像與目標成功匹配的特征點的數量。

兩幅圖像之間相似度計算為

S=w1(w2SpHash+w3SdHash)+w4Ssift+w5Scolor,

(14)

式中:w1、w2、w3、w4、w5別表示各特征的權重,本文取值分別為0.5、0.5、0.5、0.25、0.25;SpHash、SdHash、Scolor分別表示圖像間的感知哈希相似度、差異哈希相似度和顏色矩相似度。

3 算法實現

跟蹤目標時,當跟蹤目標受到光照變化或相似背景干擾時,會出現跟蹤準確率下降。針對此問題,本文提出了基于特征融合和改進SIFT的目標跟蹤算法。該算法將改進的圖像哈希特征、顏色特征和SIFT特征進行融合處理以找出跟蹤目標所在位置。具體實現步驟如下。

1) 在視頻的初始幀選擇需要跟蹤的目標作為目標模板,計算目標模板的圖像哈希特征和顏色特征,并在目標模板的高熵部分提取目標的SIFT特征點。

2) 進入下一幀,對上一幀目標附近區域圖像高熵部分進行特征點的提取,并和目標模板的特征點進行匹配。

3) 使用搜索框在上一幀目標附近區域內進行遍歷搜索,統計搜索框內的特征點占比,并根據式(14)獲得其與目標模板之間的相似度。

4) 選取與目標模板相似度最高的搜索框作為最終目標框,若相似度高于閾值,則更新目標模板,重新提取目標模板的圖像哈希特征和顏色特征并在目標模板的高熵部分提取SIFT特征點;否則直接進入下一幀。

5) 重復步驟2)～4),直至結束。

4 實驗分析

本文的實驗在CPU為AMD R5-2600X、內存為8 GB的電腦上,使用PyCharm的開發平臺與OpenCV3.4以及Python實現。

4.1 改進的SIFT算法實驗分析

為了測試改進的SIFT算法的匹配效果,本文對跟蹤目標變化進行了特征點匹配實驗。從圖2和表1的實驗數據中可以發現,改進的SIFT算法進行匹配可以剔除錯誤匹配的特征點,同時保留了大部分正確匹配的特征點。

圖2 匹配效果對比圖Figure 2 Comparison of matching effect

表1 改進的SIFT匹配實驗數據Table 1 Improved SIFT matching experimental data

4.2 改進的圖像哈希實驗分析

本文對改進的圖像哈希算法進行了實驗。在光照、相似背景、遮擋、形變等場景下測試了改進的圖像哈希算法的性能。實驗中使用場景如圖3所示。

從表2的實驗數據可以得出改進后的圖像哈希算法提取了更豐富的圖像哈希特征,目標變化前、后的相似度得到了提升。

4.3 跟蹤算法實驗分析

4.3.1跟蹤算法評價指標 本文使用文獻[17]中的評價指標來評估本文跟蹤算法的性能。成功率是

圖3 目標變化前、后對比圖Figure 3 Comparison of the target before and after changing

表2 目標變化前、后相似度Table 2 Similarity of the target before and after changing

指預測框和真實框的重疊精度小于設定閾值的視頻幀數占整個視頻序列幀數的比例。距離精度是指中心位置誤差小于設定閾值的視頻幀數占整個視頻序列幀數的比例。

本文在OTB-100視頻序列中選取了8個視頻序列進行實驗,并與文獻[7]、[8]和[14]中的算法進行對比。具體的測試視頻序列描述如表3所示。

表3 所使用的視頻序列描述Table 3 Description of the video sequence used

4.3.2定性分析 1) 實驗1。對比各種跟蹤算法在受到光照變化干擾時的跟蹤效果,視頻序列Crowds的實驗效果如圖4所示,可以發現文獻[7]、[8]、[14]的跟蹤算法在跟蹤過程中受到光照影響出現了偏移現象。本文算法在跟蹤過程中幾乎沒有發生偏移,受到的影響相對較小,能夠在光照變化的干擾下保持較高的跟蹤穩定性與準確性。

圖4 Crowds實驗效果圖Figure 4 Experiment results on Crowds

2) 實驗2。對比各種跟蹤算法在受到相似背景干擾時的跟蹤效果,其中視頻序列CarDark中的黑夜背景信息和作為跟蹤目標的黑色轎車高度相似,因此高度相似的背景信息可能會給跟蹤算法帶來一定的干擾。從圖5可以發現文獻[7]、[8]、[14]的跟蹤算法在跟蹤過程中受到相似背景的干擾,出現了較大幅度的偏移。本文的跟蹤算法在跟蹤過程中受到相似背景的干擾相對較小,沒有發生較大幅度的偏移,能夠保持良好的跟蹤準確性和穩定性。

圖5 CarDark實驗效果圖Figure 5 Experiment results on CarDark

4.3.3定量分析 為了定量分析本文跟蹤算法的性能,取重疊率閾值為0.5,中心坐標誤差閾值為20。實驗表明本文的跟蹤算法有著更高的成功率和距離精度,在受到相似背景和光照變化的影響下,能夠穩定、準確地跟蹤目標。

表4 各種跟蹤算法成功率與距離精度對比Table 4 Comparison of success rate and distance accuracy of various tracking algorithms 單位:%

4.3.4綜合分析 為了進一步分析本文跟蹤算法的性能,分別采用不同的重疊率閾值和中心坐標誤差閾值進行實驗,成功率曲線和距離精度曲線實驗結果如圖6、7所示。實驗表明本文提出的算法能夠在相似背景和光照變化的干擾下準確、穩定地跟蹤目標。

圖6 成功率曲線圖Figure 6 Graph of success rate

圖7 距離精度曲線圖Figure 7 Graph of distance accuracy

5 總結

針對目標跟蹤時,當跟蹤目標受到背景干擾或光照變化時發生偏移現象或丟失跟蹤目標,從而導致跟蹤精度降低的問題,本文提出了基于多特征融合和改進SIFT的目標跟蹤算法。在圖像的高熵部分進行特征點提取,并使用均值哈希將錯誤匹配的特征點剔除。同時本文對感知哈希和差異哈希進行了改進,并獲得了更豐富的圖像哈希特征。將改進的圖像哈希特征、顏色特征和SIFT特征進行融合,并應用于跟蹤算法中。實驗表明本文算法在目標受到相似背景干擾或光照變化時能夠準確地跟蹤目標,具有良好的性能。