基于改進頂帽變換的紅外弱小目標檢測

張晶晶 曹思華 崔文楠 張 濤

①(中國地質大學(武漢)自動化學院 武漢 430074)

②(中國科學院智能紅外感知重點實驗室 上海 200083)

③(中國科學院上海技術物理研究所 上海 200083)

④(復雜系統先進控制與智能自動化湖北省重點實驗室 武漢 430074)

⑤(地球探測智能化技術教育部工程研究中心 武漢 430074)

1 引言

紅外搜索系統可以適應惡劣天氣、全天候工作并且隱蔽性較高，因此它在紅外制導、紅外預警、遙感探測等領域應用廣泛[1]。紅外弱小目標檢測技術作為紅外搜索系統的核心內容，在軍事和民用領域起著至關重要的作用。然而在實際應用中通常存在以下問題：首先，由于拍攝距離遠，紅外弱小目標呈現出尺寸小、信號弱、紋理特征少等特點，難以直接檢測；其次，近地背景復雜，目標經常淹沒于雜物和噪聲中，因此虛警和誤檢較多。最后，在實際應用中目標檢測算法的實時性要求較高。因此如何實現近地復雜背景下紅外弱小目標的檢測，并保證其高真陽性率、低假陽性率和較好的實時性是一個極具挑戰性的課題。

針對以上問題，選擇實現簡單、實時性較好的單幀檢測算法進行紅外弱小目標檢測。但是當圖像信噪比較低時，單幀檢測算法檢測效果往往不佳，因此通常需要先進行紅外圖像預處理[2]。常用的紅外圖像預處理方法包括基于空間域、時間域和變換域的方法3大類，其中空間域方法實時性最佳，主要包括中值濾波[3](Self-adapting Median Filtering,SAMF)、均值濾波[4](Average Filtering, AF)、高斯濾波[5]、雙邊濾波[6]、頂帽變換[7]等方法，其中楊衛平等人[8]利用中值濾波方法較好地抑制了脈沖噪聲，但該方法不適用于較弱的目標；高陳強等人[9]利用均值濾波方法較好地平滑噪聲，但會破壞圖像細節；與均值濾波相比，高斯濾波可以更好地平滑噪聲和保持邊緣細節，但會丟失目標細節信息；針對以上問題，Tomasi等人[6]提出了雙邊濾波算法，該算法在濾除噪聲、平滑圖像的同時又能較好地保留圖像細節信息，但是可能濾除微小目標。此后Nair等人[10]提出壓縮自適應雙邊濾波(Compressive Adaptive Bilateral Filtering, CABF)，通過快速卷積的加權組合近似高維濾波從而提升算法速度，但該算法復雜度仍然較高。

相較而言，頂帽變換方法實現簡單，算法速度更快。傳統的頂帽變換方法使用一個結構窗口遍歷整個圖像，通過對每個像素進行腐蝕和膨脹操作達到提高信噪比的效果，但是該方法不能自適應地抑制重度噪聲。因此，學者提出了許多基于結構元素重構的改進方法。早期Bai等人[7]設計梅花形的結構窗口來抑制雜波。接著，白相志等人[11]提出一種新型的結構窗口，將窗口分為中心區域和周圍區域，中心區域用于捕捉目標，周圍區域用于捕捉背景，該方法更有利于捕捉目標成分，因此得到了廣泛的應用；而Deng等人[12]更是在此基礎上提出了環形結構窗口，該方法可以更精準地增強目標區域，抑制背景區域，提高目標背景的局部信噪比，但是該方法結構窗口較為復雜，實時性有待提高，且對目標大小有一定要求。

單幀檢測算法按照檢測原理的不同分為基于圖像數據結構、基于背景特征、基于目標特征的檢測算法3大類。其中基于圖像數據結構的方法實時性較差，如紅外圖像塊模型方法[13](Infrared Patch-Image, IPI)、張量核范數部分和方法[14](Partial Sum of the Tensor Nuclear Norm, PSTNN)；基于背景特征的方法如Top-hat算法[12]，不適用于復雜場景，虛警較多；而基于目標特征的方法中，人類視覺系統(Human Visual System, HVS)算法在復雜場景下表現較好，可以有效提高目標檢測準確率、減少虛警目標。近年來出現了一些效果較好的HSV算法，其中比較經典的是Chen等人[15]提出的多尺度局部對比度測量方法(Multiscale Local Contrast Measure,MLCM)，該方法通過尋找多尺度條件下局部對比度最大值來檢測紅外弱小目標，該方法背景抑制效果有待提升[16]。此后為了提高復雜場景目標的檢測率相繼提出了一些改進算法，如Wei等人[17]提出的多尺度塊對比度方法(Multiscale Patch-based Contrast Measure, MPCM)，Han等人[18]提出的相對局部對比度檢測方法(Relative Local Contrast Measure, RLCM)，但這些方法復雜度較高。針對以上問題，穆靖等人[19]提出了3層模板局部差異度量(Trilayer Template Local Difference Measure,TTLDM)的紅外弱小目標檢測方法，該方法利用單一尺寸的3層模板遍歷圖像實現對多尺寸目標的檢測，有效提高了算法的實時性，減少了虛警數量，但是該算法不適用于近地復雜背景。

綜上，從實時性出發，本文選擇空域濾波方法中的頂帽變換算法進行后續研究。針對紅外圖像信噪比低的問題，提出采用改進的頂帽變換算法(Optimized Top-hat Transform, OTH)進行圖像預處理，針對不同像素點灰度值的特點采用不同的策略處理圖像，從而實現目標增強、背景抑制；此外，從目標檢測的準確率出發，本文選擇基于目標特征的方法中檢測準確率較高，實時性也較好的MLCM算法進行后續研究。針對目標檢測虛警較多的問題，提出改進的多尺度局部對比度算法(Optimized Multiscale Local Contrast Measure, OLCM)進行目標檢測，該算法改變了尺度設計的方式，使得在保證實時性的基礎上虛警減少。而OTH算法可以很好地彌補MLCM算法背景抑制效果差的缺點，因此，提出結合OTH算法和OLCM算法的基于改進頂帽變換的紅外弱小目標檢測算法(OLCM based on OTH, OTHOLCM)，該算法可以保持較好的實時性、提高真陽性率、降低假陽性率，較好地實現近地復雜背景下的紅外弱小目標檢測。

2 基于改進頂帽變換的紅外圖像預處理

2.1 傳統頂帽變換方法特性分析

目前已有兩種改進的頂帽變換方法，雙結構元素改進頂帽變換方法[20](Double-structural-element White Top-hat, DWTH)和環狀結構改進頂帽變換算法[7](Circle-structural-element White Top-hat,CWTH)。DWTH算法和CWTH算法的計算方法分別為

其中，f代表紅外圖像， Θ和⊕分別代表腐蝕和膨脹操作。ain和acut代表半徑大小不同的圓形結構元素。Bi和B0為半徑為RL和Rθ的扁平結構元素，ΔB為內環半徑為RL，外環半徑為Rθ的環形結構元素。DWTH算法和CWTH算法的處理結果及其3維灰度圖見圖1。

圖1 改進白頂帽變換算法處理結果及其3維灰度圖對比圖

如圖1所示，綠色標記和紅色標記分別為目標點A、背景點B所在位置。DWTH算法先利用ain進行膨脹操作使得目標區域灰度值增加，然后利用acut進行腐蝕操作使得包括目標區域在內的鄰域范圍灰度值降低，得到背景抑制的紅外圖像。CWTH算法首先利用ΔB進行膨脹操作，使得不包括目標區域在內的鄰域范圍灰度值增加，利用Bi對進行腐蝕操作，使得目標區域灰度值降低，得到僅含疑似弱小目標的圖像。

對比A點、B點的灰度值可知，DWTH算法和CWTH算法對目標和背景均有一定抑制效果，后者抑制效果更強；由此可知，這兩種算法圖像處理效果不同，并且它們在抑制背景的同時也抑制了目標，使得紅外圖像中的目標也變得不明顯；此外，它們按照同一種策略處理不同的區域，針對性不夠強。因此，圖像預處理操作需要綜合以上兩種算法的優點處理圖像，使得目標增強，背景抑制。

2.2 OTH算法

基于以上問題，本文結合以上兩種算法的優缺點，提出OTH算法。首先，針對目標和背景均被抑制的問題，將CWTH算法和DWTH算法的圖像處理結果以當前圖像灰度最大值為標準轉化到(0,1)區間，從而使得圖像整體得到增強。并且以灰度最大值為同一基準，使得兩者圖像灰度值具有可比性。

其次，CWTH算法和DWTH算法針對不同區域圖像處理各有優缺點，因此提出比較CWTH算法、DWTH算法每個點的灰度值與原圖對應點的灰度值。具體分為兩大類場景，當CWTH算法和DWTH算法兩種算法中至少有一種算法對應點灰度值較原圖增大，則說明該點為疑似目標像素點，取兩種算法中的灰度最大值max(CWTH(i,j),DWTH(i,j))作為該點最終灰度值；當CWTH算法和DWTH算法對應點灰度值均較原圖減小，則說明兩者算法都沒有起到增強的作用，對應的點是需要被抑制的背景點或者對應點是潛在的信號較弱的目標點。針對第2種場景提出一種處理方法。該方法綜合原圖、CWTH算法，DWTH算法的處理結果，計算方式為

其中，Original代表原圖圖像，Output代表輸出圖像，a,b,d分別為原圖、DWTH算法、CWTH算法的權重系數。為了防止圖像過增強，將各圖像成分的權重系數之和設置為1，也即a+b+d=1。

當對應像素點為潛在弱小目標時，背景抑制程度過強，會導致目標和噪聲一起被濾除；當背景抑制程度太弱時，目標信號和背景信號無法區分，也會導致目標無法提取。因此，可以對應調節學習系數組合，使得圖像的目標背景局部信噪比保持在合適的區間。從主觀角度分析，CWTH算法、DWTH算法和原圖成分都可以提供目標成分，其中前兩者是保證目標增強、背景抑制效果的核心成分。而當CWTH算法、DWTH算法兩者結果都不理想時，原圖成分可以保證基本目標信息不丟失。因此，這3個成分之間相互補充，相輔相成，使得算法性能有所提高。

綜上，本文提出的OTH算法主要在3方面進行改進，首先整體提高圖像的灰度值以達到圖像增強的目的；其次通過比較不同區域CWTH算法、DWTH算法處理結果的灰度值與原圖灰度值，來選擇不同的策略針對性地增強目標、抑制背景；最后提出一種方法使得目標背景局部信噪比保持在合適區間，用來處理CWTH算法、DWTH算法處理結果的灰度值小于原圖的區域，從而抑制背景或者檢測潛在目標。

3 基于OTHOLCM的紅外弱小目標檢測

3.1 OLCM算法

由于MLCM算法是基于目標特征方法中準確率較高、實時性較好的一種，選擇對該算法進行改進。MLCM[15]算法采用3層窗口遍歷紅外圖像，窗口被分為9個圖像塊，中心圖像塊為目標區域，其他8個圖像塊為背景區域。該算法將圖像塊尺度q設計為3, 5, 7, 9，使得目標適配尺寸不同的紅外弱小目標；然后計算對應單元的灰度平均值，以此計算8個背景單元的局部對比度值；將8個值中的最小值作為該窗口的局部對比度值，并將該值與圖像塊W的灰度最大值相乘的結果作為該圖像的局部對比度；最后比較4個尺度下的圖像局部對比度值，取最大值作為最終的多尺度圖像局部對比度，通過閾值分割獲得疑似目標的位置。

多尺度圖像局部對比度的值越大，目標存在于該窗口的可能性越大。然而，當圖像塊的大小取值偏小時，會導致整個窗口都是目標區域，目標無法有效增強，相反，當圖像塊尺寸取值偏大時，會導致計算量增加，相鄰目標區域混在一起，因而需要選擇合適的窗口大小進行檢測。分析回丙偉等人[21]數據集的目標尺寸特點發現，目標幾何尺寸分布在[1,12]之間。因此，這里提出OLCM算法，該算法根據數據集的目標尺寸的特點重新進行窗口尺度設計，具體的計算方式為

其中，qi代表第8個窗口的尺度，q1=2,q2=4,q6=7,q4=11。相較于原尺度設計，適當調小了最小目標的尺寸，增大了最大目標的尺寸。此外，不同尺度之間的間隔隨著尺寸的增大也逐步增大，以減少不必要的計算。該算法使得目標檢測算法在保持實時性的基礎上適應更大的目標檢測范圍。

3.2 基于OTHOLCM算法的紅外弱小目標檢測

OLCM算法檢測檢測準確率較高，但存在背景噪聲抑制能力弱的缺點，因此提出結合OTH算法和OLCM 算法的紅外弱小目標檢測算法(OTHOLCM)。其中OTH算法可以起到目標增強、背景抑制的效果，而OLCM算法則可以進一步提高圖像對比度、提高目標檢測的準確率，兩者之間互為補充。

OTH算法中學習系數的組合可以根據場景進行區別設置，具體將場景分為地空交界背景、近地簡單背景、近地復雜背景這3大類。這里選取序列3, 19, 20作為地空交界背景圖像數據集，選取序列7, 9, 16作為近地簡單背景圖像數據集，選取序列6,8, 11, 13, 17, 18, 21作為近地復雜背景圖像數據集，通過OTHOLCM算法進行檢測，統計在不同學習系數組合(a,b,d)下各場景目標檢測的平均準確率Precision，計算方法為

其中，T P, FP分別代表正確、錯誤預測為目標的像素面積，Area代表預測的目標像素總面積，Precision代表預測為真實目標像素的結果中預測正確的比例。根據實驗結果，建議地空交界背景、簡單近地背景、復雜近地背景下的學習系數組合分別設置為(0.1,0.6,0.3), (0.3,0.7,0), (0.3,0.6,0.1)。為了更直觀地觀察各學習系數組合狀態下的目標檢測結果，選取部分結果展示如圖2所示。

圖2 不同場景和學習系數組合情況下的目標檢測結果對比圖

對比 TP , Area及兩者的比值Precision，可以驗證以上結論。較低信噪比的地空交界背景下，需要適當減少原圖成分、增加CWTH成分以抑制背景，因此(0.1,0.6,0.3)系數組合下的檢測準確率較高；簡單近地背景下，不需要過度地抑制背景以提取目標，因此(0.3,0.7,0)系數組合下的檢測準確率較高；復雜近地背景下，為了更好地抑制背景，增大CWTH成分，減小DWTH成分，因此(0.3,0.6,0.1)系數組合下檢測準確率較高。而在具體圖像序列中，各種場景通常是隨機切換的，因此統計所有符合要求的場景序列圖像在不同學習系數組合下的目標檢測準確率Precision，發現當學習系數組合為(0.1,0.6,0.3)時，OTHOLCM算法在各序列場景下的目標檢測平均準確率較高。

為了進一步驗證對應系數組合下的算法性能，通過控制變量法改變學習系數組合(a,b,d)中的參數，以目標檢測準確率Precision、真陽性率(True Positive Rate, TPR)、假陽性率(False Positive Rate, FPR)、目標背景局部信噪比(Signal to Noise Radio, SNR)為評估指標作對比實驗，其中，TPR=TP/(TP+FN), PPR=PP/(PP+TN),SNR=10 lg(Er-EB)/σB, TP , FP , TN , FN分別為真陽性、假陽性、真陰性、假陰性。Er,EB分別為目標、背景區域的均值，σB為背景區域的標準差。實驗結果如表1所示。

表1 不同系數組合下OTHOLCM算法性能的對比

如表1所示，對比實驗組1, 2, 3，實驗組1, 4,5，實驗組1, 6, 7發現，改變a,b,d參數可以使得局部信噪比SNR在一定區間內有規律的變化。但是SNR過大和過小都不利于目標檢測，SNR處于合適區間才能使得Precision提高。這里當學習系數組合設置為(0.1, 0.6, 0.3)時，目標檢測準確率Precision和假陽性率FPR都有較好的表現。因此，后續OTH算法將(a,b,d)參數設置為(0.1, 0.6, 0.3)進行研究。

4 實驗結果分析

4.1 實驗環境和數據集介紹

本文采用回丙偉等人[21]所公開的《地/空背景下紅外圖像弱小飛機目標檢測跟蹤數據集》，該數據集通過140 m高塔架設2維轉臺實現多角度取景，并在轉臺上搭載中波紅外相機實現遠距離圖像采集，拍攝對象為低空飛行的無人機，飛行高度在50～500 m。紅外相機的波譜探測范圍在3～5 μm。該數據集總共包括22段圖像序列，166 177幀紅外圖像，拍攝背景涵蓋天空背景、近地背景和地空交界等多種背景。實驗環境為2.60 GHz Intel i7-9750H CPU 處理器，16 GB內存。

4.2 基于OTH算法的圖像預處理實驗

本文將OTH算法與其他圖像預處理算法進行比較，以驗證OTH算法的特性和優勢。其中比較經典的算法包括自適應中值濾波SAMF，均值濾波AF，雙邊濾波CABF, DWTH, CWTH。近年來較為先進的算法包括去霧增強算法[22](Improved Dark Channel Prior, IDCP)和基于頂帽變換擴展的增強對比度方案的圖像增強方法[23](Circle-structuralelement White and Black Top-hat, CWBTH)。將以上算法的時間，目標背景局部信噪比SNR進行比較，具體指標對比結果見表2。

表2 圖像預處理算法性能對比結果

從客觀角度分析可知，SAMF, AF, CABF算法不能提高局部信噪比；當局部信噪比小于5 dB時，對應的目標稱為弱小目標，因此DWTH算法背景抑制能力不夠，CWTH算法抑制能力太強，容易造成目標無法識別；圖像增強后局部信噪比大于5 dB的包括IDCP, CWBTH算法和OTH算法這3種。而與近年提出的IDCP, CWBTH算法相比，OTH算法使得圖像的局部信噪比值適中，速度提升10倍以上。

4.3 基于OLCM算法的紅外弱小目標檢測實驗

首先，對比分析MLCM算法和OLCM算法的實驗結果，以驗證算法改進效果。選擇數據集中的檢測效果提升較為顯著的8個序列進行展示，如圖3所示，其中黃色方框標記的是OLCM算法的處理結果，紅色方框標記的是MLCM算法的檢測結果，綠色十字標記真實目標所在位置。

如圖3所示，統計正確檢測的目標個數和錯誤認定為目標的虛警個數，計算得出OLCM算法使得目標檢測的準確率平均提高26.4%，并減少虛警目標個數。因此，OLCM算法相較MLCM算法性能更優。

然后，將OLCM算法與其他經典目標檢測方法進行對比，具體包括IPI 算法[13], PSTNN 算法[14],Top-hat算法[7], MPCM[17], RLCM算法[18]和MLCM算法[15]。其中IPI和PSTNN算法是基于低秩稀疏恢復的算法，Top-hat是基于濾波的算法，MPCM,RLCM和MLCM算法是多尺度對比度算法。

利用以上目標檢測算法檢測該數據集中的22個圖像序列，統計算法平均消耗時間Time、平均AUC指數。其中AUC指數為各個序列的接受者工作特征(Receiver Operating Characteristic, ROC)曲線下面積的大小，該曲線的橫軸代表FPR，縱軸代表TPR。當AUC值在0.5到1.0之間，也即該指數越大，算法性能越好，算法性能對比結果見表3。

表3 經典目標檢測算法性能對比結果

由表3和圖3可知，與其他經典目標檢測算法相比，OLCM算法的平均AUC指數最高，也即該算法的綜合性能最好，并且每秒20幀的速度可基本保持算法的實時性。

4.4 基于OTOLCM算法的紅外弱小目標檢測實驗

為了進一步驗證本文算法的優勢，本文選擇IDCP,CWBTH, OTH3種圖像預處理算法，MLCM, OLCM這兩種目標檢測算法，隨機組合得到IDCPLCM,CWBLCM, OTHLCM, IDCPOLCM, CWBOLCM,OTHOLCM 6種組合算法。將以上算法進行對比實驗，性能指標對比結果如表4所示。

表4 先進算法和組合目標檢測算法性能對比

首先，對比相同目標檢測算法疊加圖像預處理算法前后的算法性能。通過對比IDCPLCM,CWBLCM, OTHLCM算法和MLCM算法的性能指標，對比IDCPOLCM, CWBOLCM, OTHOLCM算法和OLCM算法的性能指標發現，疊加圖像預處理算法后，目標檢測算法性能均有所提高。其中，疊加OTH算法的目標檢測算法性能指標提升最大。因此驗證了OTH算法性能的優勢。

其次，對比相同的圖像預處理算法疊加不同的目標檢測算法的算法性能。通過對比OTHLCM和OTHOLCM算法，對比CWBLCM和CWBOLCM，對比IDCPLCM和IDCPOLCM算法發現，相同圖像預處理算法疊加OLCM算法相較MLCM算法性能更優。因此，驗證了OLCM算法性能的優勢。

最后，將6種組合算法中的性能最優者OTHOLCM和其他先進目標檢測算法ECASTT, TTLDM算法進行比較發現，OTHOLCM算法的AUC指數0.893 0，遠高于ECASTT算法的0.535 6，TTLDM算法的0.619 4。OTHOLCM算法的單幀圖像處理時間0.045 s，少于ECASTT算法的9.049 s，多于TTLDM算法的0.008 s。因此，本文算法的綜合性能優于近年先進目標檢測算法，且具有良好的實時性。

為了更直觀地驗證目標檢測效果，將OTHOLCM算法的檢測結果與OLCM, ECASTT, TTLDM算法進行對比，目標檢測結果如圖4所示，綠色標記為真實目標所在位置，TTLDM 算法在某些情況下不能準確檢測目標，其他3種算法均可，而這三者中OTHOLCM算法的虛警目標數量最少。

圖4 先進目標檢測算法目標檢測結果對比圖

繪制3大類場景下4種算法的ROC曲線展示如圖5所示。記錄FPR等于0.1時的TPR值，TPR等于0.9時的FPR值，計算多序列的平均真陽性率TPR和平均假陽性率FPR，結果如表5所示。

表5 先進目標檢測算法性能對比(%)

圖5 先進目標檢測算法目標檢測結果

如表5所示，相比OLCM算法，OTHLCM算法的平均真陽性率提高0.2%，平均假陽性率降低2.6%，證明OTH算法可有效提高目標檢測算法真陽性率，降低目標檢測算法假陽性率。相較于ECASTT算法、TTLDM算法，OTHOLCM算法的平均真陽性率分別提高近60.6%, 78.5%，平均假陽性率分別降低近72.7%, 76.9%，證明 OTHOLCM算法可大大提高紅外弱小目標檢測算法的綜合性能。

5 結論

針對紅外圖像信噪比低、對比度低，紅外弱小目標信號弱、特征紋理少、難以識別等問題，提出了一種基于改進頂帽變換的紅外弱小目標檢測算法。該算法結合改進的頂帽變換方法和改進的多尺度局部對比度方法，前者通過針對圖像灰度值的特點對不同區域采取不同的策略，達到提高算法速度、目標增強、背景抑制、圖像信噪比處于合適區間的目的。后者通過重新設計目標尺度，改進步長，使得算法在保持實時性的基礎上提高目標檢測的準確率，減少虛警目標。實驗驗證，OTH算法優于其他圖像預處理算法，結合該圖像預處理算法可使得目標檢測假陽性率降低2.6%；OLCM算法優于其他經典目標檢測算法，優化后使得目標檢測準確率平均提高26.4%；兩者結合的算法OTHOLCM性能最佳，優于ECASTT, TTLDM等近年來的先進的目標檢測算法，使得真陽性率分別提高近60.6%, 78.5%，使得假陽性率分別降低近72.8%,76.9%，算法速度保持在每秒25幀的水平。