?

結合視覺顯著性和EfficientNetV2的艦船目標檢測方法

2024-03-12 08:58梁秀雅馮水春陳紅珍
計算機工程與應用 2024年5期
關鍵詞:艦船尺度顯著性

梁秀雅,馮水春,陳紅珍

1.中國科學院國家空間科學中心復雜航天系統綜合電子與信息技術重點實驗室,北京 100190

2.中國科學院大學計算機科學與技術學院,北京 100049

基于海量的數據源對海上艦船目標進行智能檢測與識別是一項重要的任務,在民用上可以輔助港口船舶管理、海上秩序維護,在軍用上可以輔助戰場態勢感知、目標智能分析。與合成孔徑雷達[1]和紅外圖像相比,可見光遙感圖像更加直觀,為目標識別提供清晰豐富的圖像細節,易于提取目標特性。光學遙感衛星獲取速度快、分辨率高、重訪周期短的特點導致短時間內獲得超大數據量的信息,且遙感圖像幅度大,面對不同的干擾場景,保證艦船目標檢測算法的準確率以及快速性極具挑戰。目前基于光學遙感圖像的艦船檢測主要面臨以下挑戰:

(1)背景干擾容易造成艦船目標的虛警和漏檢。海面上存在海雜波、霧氣、云層等復雜環境的干擾,增加了艦船檢測的難度,海面環境干擾的時變性也給背景噪聲的抑制帶來困難。

(2)寬幅遙感圖像稀疏艦船目標的檢測效率低下。航空圖像的拍攝距離較遠,目標只占整幅圖像的很小的一部分,檢測和識別方法對于海面上稀疏的艦船目標,采用傳統的滑動窗口技術檢測效率低,無法滿足實時性要求。

(3)檢測和識別算法對尺度和旋轉的適應性問題有待解決。不同拍攝視角、拍攝距離以及目標朝向使得航空圖像中的海面目標存在尺度多變性和旋轉多變性。

(4)算法復雜程度和運算效率制約了其在工程上的應用。模型大部分計算量和體積都很大,受限于設備的計算資源和電池容量,只能運行在高性能的服務器上。

現有的傳統艦船目標檢測方法大多分為感興趣區域(region of interest,ROⅠ)提取與虛警判別兩個階段。在第一階段主要分為兩種方法,第一種基于灰度信息統計特征的方法通過尋找目標和背景之間的灰度差異,設定合理的閾值,有效提取出感興趣區域。如Shuai等[2]通過二值分割算法選取閾值,Leng 等[3]采用OTSU 分割算法來區分潛在的目標像素和雜波像素。該類方法計算工作量小,當艦船目標和背景的灰度差異明顯時效果較好,但是其適應能力和魯棒性較差,難以適應復雜場景。第二種方法執行滑動窗口,對整幅圖像遍歷搜索,能夠大大降低漏檢率,如Zhou等[4]利用多尺度滑動窗口從測試圖像中獲取patch。采用滑動窗口暴力搜索的方式來進行區域提取,產生的候選區域較多。由于海面艦船目標分布稀疏,檢測算法對每一區域同等對待,計算效率較低?,F有目標檢測方法很難在保證質量的同時,保持較快的速度。由此可見,選擇適當的ROⅠ來消除或減輕不相關背景的影響是非常必要的步驟。為了解決這個問題,視覺顯著性模型在ROⅠ檢測領域引起了廣泛關注[5]。

在第二階段,大多數傳統的算法利用船舶特征和候選分類器剔除虛假警報。該階段的關鍵問題是找到有效的描述符來描述艦船目標。通常選擇的主要特征包括局部二值模式(local binary patterns,LBP)、尺度不變特征轉換(scale-invariant feature transform,SⅠFT)特征、方向梯度直方圖特征(histogram of oriented,HOG)等。由于圖像中的艦船目標方向是任意的,因此旋轉不變目標檢測具有重要的意義。Yang 等[6]利用Structure-LBP特征來表征艦船的固有拓撲結構從而判別真實艦船目標。Dong 等[7]提出一種結合方向梯度直方圖(HOG)和傅里葉基的旋轉不變描述子,以區分船舶和非船舶。分類器主要使用支持向量機(support vector machine,SVM)、自適應增強(adaptive boosting,AdaBoost)、貝葉斯等進行分類識別。該類方法通過手工設計提取特征,過程較為繁瑣,且對目標的多樣性變化魯棒性不強。

深度神經網絡具備強大的特征提取與處理能力,研究者們嘗試用深度學習的方式進行艦船檢測。深度學習方法檢測主要分為基于候選區域的方法與基于回歸的方法?;诤蜻x區域的方法以區域卷積神經網絡(region based convolutional neural network,R-CNN)、Faster R-CNN為代表,屬于兩階段檢測算法。R2-CNN[8]設計了輕量級主干Tiny-Net來進行特征提取,并采用先判斷、后定位的方式,濾除掉沒有目標的子圖像塊?;貧w方法以YOLO(you only look once)、SSD(single shot multibox detector)為代表,將檢測看作回歸任務。史文旭等[9]在SSD 基礎上添加反卷積和池化特征模塊融合深淺層信息,增強目標特征之間的關聯以實現艦船目標檢測。陳冬等[10]改進YOLOv3網絡,引入對艦船目標比例和形狀自適應的可形變卷積進行艦船目標檢測。以上都屬于Anchor-based算法,此類方法存在著正負樣本不均衡以及超參數過多的問題。隨著Anchor-Free方法的流行,CornerNet、CenterNet等對目標的關鍵點進行預測。Chen等[11]提出了一種端到端的全卷積Anchor-Free網絡,預測船頭、船尾以及艦船中心3類關鍵點及角度,利用關鍵點生成艦船包圍框。深度學習艦船目標檢測方法能夠有效提取高層語義特征,然而訓練需要豐富的數據集,數據集的樣本數量嚴重影響網絡檢測能力[12],并且網絡中大規模的權值參數會消耗大量的計算和內存資源。

基于上述分析,海面艦船目標檢測算法應具有較強的抗干擾能力與適應性,具有較低的計算量,同時滿足工程上的實時應用,以實現復雜海洋環境下艦船目標的高實時在線提取。視覺顯著性檢測是對人類視覺和認知系統的模擬,而深度學習則是對人類大腦計算方式的模擬[13],本文將二者結合,檢測框架如圖1所示。方案采用由粗到細的思想:快速篩選,精細鑒別。在感興趣區域提取階段,提出基于小波變換的多尺度四元傅里葉變換相位譜模型(wavelet transform multiscale PQFT,WT-MPQFT),利用多尺度小波分解得到方向增強且噪聲抑制的多尺度圖,改進原始四元數,引入對比度特征,通過四元數傅里葉變換及反變換生成顯著圖,引入Gini指數自適應調整顯著圖的相對權重。模型不僅能在復雜的海洋背景下快速獲得較為完整的ROⅠ,大大減少虛警,并且也可以檢測到較小的艦船目標,降低漏警率。得到顯著性映射后,進行二值分割提取目標候選區域。在目標識別階段,利用輕量化的識別模型EfficientNetV2進行目標判別,提高準確率。

圖1 海面艦船目標檢測框架Fig.1 Detection framework of ship targets on sea

1 視覺顯著性檢測

1.1 相關工作

視覺顯著性檢測主要分為基于任務驅動的自頂向下模型和基于數據驅動的自底向上模型兩種?;谌蝿镇寗拥淖皂斚蛳履P屠靡恍└呒壵Z義知識來指導檢測過程,屬于一種根據任務自覺計算特征的高級認知過程,沒有通用的模型,計算成本較高。如Song[14]提出一種區域顯著性檢測(AⅠRSD)方法來快速搜索大尺度低分辨率圖像中的ROⅠ?;跀祿寗拥淖缘紫蛏夏P屯ǔ;趫D像進行顯著性分析,根據是否進行頻域變換,分為空間域模型或變換域模型??臻g域模型包括ⅠTTⅠ、基于注意力的信息最大化模型(AⅠM)、局部對比模型(LC)、上下文感知模型(CA)等。變換域模型在頻域空間利用頻域特性完成視覺顯著性的檢測。典型的變換域模型包括譜殘差模型(SR)、基于四元傅里葉變換相位譜模型(PQFT)、超復數傅里葉變換模型(HFT)等。相比于空間域模型,變換域顯著性模型計算量小,在目標檢測領域應用較廣。如丁榮莉等[15]基于譜殘差法對圖像進行增強以提取目標候選區域,Nie 等[16]構建了一種新的基于四元數超復傅里葉變換的視覺顯著性檢測方法來定位ROⅠ。也有研究者將空頻域相結合進行顯著性檢測,如黎經元等[17]利用元胞自動機算法融合空域顯著特征和頻域顯著特征構建顯著圖。大多數的顯著性算法都在特定的環境下效果較好,針對復雜海面地貌、干擾背景下的光學遙感圖像艦船目標檢測問題一直是研究的熱點。

1.2 PQFT算法

PQFT 算法構建由強度、顏色和運動特征組成的四元數表示圖像中每一個像素點,將傅里葉變換的維度從二維擴展為四維,并取四元數四維傅里葉變換結果的相位譜進行反變換得到最終的顯著性結果。PQFT算法流程分為三步:

(1)構建四元數特征

其中,t表示時刻信息,M(t)表示運動特征,RG(t)、BY(t)為人腦正常接受的顏色特征,I(t)為亮度特征,ψ1,ψ2,ψ3相互正交且ψ3=ψ1ψ2。r(t),g(t),b(t)是彩色圖像的三個通道,利用下式將其擴展至廣義調諧紅、綠、藍、黃顏色通道:

由此可得運動特征M,顏色特征RG、BY以及亮度特征I的表達式:

由于本文研究的光學遙感圖像為靜態圖像,沒有時刻信息,故公式(1)表示為:

化簡表達式:

(2)四元數特征傅里葉變換

對q(x,y)、f1(x,y)、f2(x,y)進行傅里葉變換,得到如下公式,其中i=1,2:

公式(16)為Q[u,v] 的指數表示形式,其中?表示相位:

(3)保留相位譜進行四元數反傅里葉變換,高斯平滑得到顯著圖

其中,q2(x,y)為四元數特征反傅里葉變換結果。F?i[u,v](i=1,2 )為Q[u,v] 的振幅譜‖Q[u,v] ‖設定為1后的相位分量,f?i(x,y)(i=1,2 )為對應相位譜的反傅里葉變換結果。最終顯著圖S(x,y)由公式(19)得到,其中,G(x,y)為高斯濾波器。

2 WT-MPQFT視覺顯著性檢測

PQFT算法應用于海面艦船目標感興趣區域提取有如下優點:頻域顯著性檢測算法速度較快,滿足海面艦船檢測的實時性要求;有效突出艦船目標所在區域的顯著性,與背景進行區分;可以抑制部分背景信息的干擾[18]。但也存在著一些問題,該算法對圖像分辨率和目標尺寸較敏感,尤其是基于傅里葉變換域的顯著性模型,在不同尺寸圖像上的艦船目標檢測結果不穩定,顯著圖相差較大;當存在小目標,目標與背景對比度較低,對比度相差較大的目標存在時,容易造成大量的漏檢,丟失目標影響檢測精度;由于光學遙感圖像為靜態圖像,無運動信息,原四元數中的Move 信息為0,將導致PQFT 的提取精度降低。

針對上述問題,提出一種基于改進PQFT算法的顯著圖檢測方法—WT-MPQFT,算法流程如圖2所示。本算法主要包括6個步驟:首先對輸入圖像進行二維多尺度小波分解,利用得到的小波分解系數進行圖像方向特征增強,對增強后的各尺度圖利用不同特征構建四元數,進行四元數傅里葉變換及反變換得到多尺度顯著圖,最后引入Gini 指數自適應調整顯著圖的相應權重,進行級別內多尺度和不同級別間的顯著圖融合。所提出算法的詳細流程如圖3所示,通過WT-MPQFT方法進行感興趣區域定位后,利用OTSU算法提取目標候選區域得到艦船切片,最終利用識別網絡進行虛警剔除,確定艦船目標。

圖2 WT-MPQFT算法流程Fig.2 Procedure for WT-MPQFT algorithm

圖3 算法的詳細流程Fig.3 Detailed flow of proposed algorithm

2.1 二維多尺度小波分解

小波變換作為一種多分辨率分解技術,具有更加直觀、高效的描述框架和多分辨率分析能力?;谛〔ㄗ儞Q的空頻域分析,小波系數可以有效地表達,檢測不同頻帶和帶寬的信號,且噪聲的小波系數值則隨著尺度加大而逐漸減小。每級的二維小波變換都會將圖像分解成四部分,分別是低頻子帶圖像,水平細節、垂直細節和對角細節三個高頻子帶圖像。小波的這一特性對于圖像顯著目標檢測具有重要意義,一方面低頻圖像剔除了圖像的部分冗余信息,另一方面高頻圖像具有方向性,故將其作為顯著特征中的方向信息進行應用。對于輸入的圖像,在不同顏色通道的進行多級小波變換,生成圖像的各級分解系數??紤]到濾波尺寸、計算時間和處理效果,選用Haar 小波基分解圖像。設置分解最大級數為3,如公式(20)所示:

其中,WTj是第j級小波分解函數,(x,y)是輸入圖像的像素位置坐標,c代表輸入圖像的顏色通道,c∈{R,G,B},f c(x,y)表示輸入圖像的c通道圖像,、、WVc(j)、WDc(j)分別表示c通道j分解級數上的圖像近似、水平、垂直、對角線方向的小波系數。對R通道的圖像進行分解,前三級結果如圖4 所示,可以看出隨著分解級數的增加,圖像的細節特征會隨著分解級數的增多而相對減少,且噪聲小波系數減小。

圖4 R通道三級小波分解結果Fig.4 R channel three-level wavelet decomposition results

2.2 方向特征增強

艦船目標的顯著性是不同于其周圍分布的,該區域會在小波域中的某個尺度、方向和顏色通道上凸顯出來。本文提出的模型在不同的顏色通道(R、G、B),不同尺度(3個分解層數),以及不同方向(垂直、水平、對角線)利用分解的小波系數來有效表達艦船目標區域與背景的差異,抑制噪聲的同時增強方向特征,過程如圖5所示。

圖5 基于小波系數的方向特征增強過程Fig.5 Procedure for directional feature enhancement based on wavelet transform

對于輸入圖像,分別在R、G、B 三個顏色通道進行二維多尺度小波分解,獲得圖像的近似信息和細節信息。對不同顏色通道的各小波系數進行圖像融合后,將近似小波系數分別與各個方向小波細節系數相乘以增強各方向特征,Ex為x方向增強后的系數,如公式(21)所示:

結果如圖6 所示,圖(a)列為輸入圖像,圖(b)~(d)列為不同分解尺度下增強后的效果。該方法有效地抑制了背景噪聲,同時增強了艦船目標的方向特性。

圖6 方向增強且噪聲抑制效果Fig.6 Effect of direction enhancement and noise suppression

2.3 顯著圖生成

對于增強后的各級圖像構建四元數,視覺對于圖像對比度較為敏感,在構建過程中引入對比度特征,以降低目標與背景對比度較低時的漏檢率,同時較高對比度對于圖像的清晰度、層次表現都有較大提升,有利于顯著信息生成。利用Gamma 增強圖像對比度信息,對比度表達式如下:

式中,fin為輸入圖像,當gamma>1 時,較亮的區域灰度被拉伸,較暗的區域灰度被壓縮,圖像整體變暗,經過實驗gamma取1.5效果較好。同樣提取RG、BY、亮度特征I完成四元數構建:

四元數傅里葉變換后保留相位譜進行反變換,高斯平滑后得到顯著圖,如公式(19)所示,其中G(x,y)公式如下:

通過構建不同高斯平滑因子下的一系列顯著圖,從中選出最佳顯著圖。圖7(a)為輸入圖像,圖(b)為無平滑,圖(c)~(e)為不斷增加高斯平滑系數。從圖中可以看出若平滑因子偏小,顯著性目標出現斷點,若平滑因子偏大,會導致多個相鄰目標的顯著性區域重合,以上兩種情況都不利于后續顯著性區域的提取。以圖像平面為xy平面,將像素灰度值作為z軸坐標,將原圖與平滑后的顯著圖,進行三維立體化,以更好地觀察變換后的效果,如圖7(f)~(j)所示。通過分析選擇高斯平滑系數為5,其平滑后的顯著性圖效果最佳。

圖7 不同高斯平滑因子下的顯著圖Fig.7 Saliency map of different Gaussian smoothing factors

2.4 多尺度顯著圖融合

對于各個級別圖像生成顯著圖時,采用多尺度方式,以增強小目標檢測效果,減少漏檢,增強對目標尺寸變化的適應性。如圖8(a)為原始圖像,包含6 只艦船,圖(b)~(d)為不同尺度下采樣顯著圖結果,根據對比可以發現,下采樣的尺度偏小,會導致小目標顯著性消失,大目標顯著性增強,下采樣的尺度偏大,能夠提升小目標的顯著性,但同時易受到物體表面紋理的影響,艦船內部紋理影響目標突顯的完整性,內部不連通則不利于目標整體的分割??紤]不同尺度對大小目標的檢測的差異,結合多個尺度特征進行融合,以達到更好的檢測效果,結果如圖8(e)所示,可以完全檢測到所有小目標,同時不受艦船紋理影響,保證個體內部連通性。

圖8 多尺度顯著圖結果Fig.8 Results of multi-scale saliency map

融合相同級別的不同尺度顯著圖后,需要對不同級別的顯著圖進行級別間的融合,提高對不同尺寸的輸入圖像的適應能力,如圖9所示。

圖9 不同尺度及不同級別間顯著圖融合Fig.9 Fusion of saliency maps of different scales and levels

在進行顯著圖融合時,引入Gini指數以調整各顯著圖S的相應權重。

基尼指數反映的是數據集中隨機選取兩個樣本不屬于同一類別的概率[19]。數據集越純,基尼指數越小。將顯著圖看作數據集,公式(25)中,k表示灰度級,Y=255,pk表示取值為k的像素點占總像素數的比例。由基尼指數的定義可知,當顯著圖中只存在較高的目標像素和較低的背景像素時,基尼指數較小。而存在由復雜背景產生的中間灰度級時,基尼指數變大。顯著圖融合公式如下:

圖10 不同尺度顯著圖及融合結果Fig.10 Saliency maps of different scales and fusion results

3 目標候選區域提取

通過WT-MPQFT模型獲得的融合顯著圖能夠有效抑制海雜波等環境干擾,對較小目標以及尺度適應性較強,產生較少的候選區域,最終提取候選區域需要對顯著圖進行分割。通過對視覺上具有顯著性的物體進行像素級分割,可以獲得感興趣的實例[20]。顯著圖中顯著性灰度分布均勻,采用自適應閾值OTSU法對顯著圖進行二值分割,對于每幅顯著圖(均值為m),利用閾值t將其分為前景A和背景B,其平均值分別為mA和mB,使用最大類間方差作為判斷依據,公式如下:

式中,pi為像素數類別為i的占總像素數的比例。選擇使g取值最大的t作為最優閾值T,進行二值化,公式為:

圖11 為2 m 分辨率下復雜背景圖像的ROⅠ提取。利用WT-MPQFT 模型生成的顯著圖如圖11(c)列所示。圖11(e)列為自適應分割得到的分割結果。原圖與最終的顯著圖三維立體化進行對比,如圖11(b)列和(d)列所示,可以看出本文提出的模型對背景如云霧、海雜波、艦船尾跡抑制效果較好。

圖11 復雜背景下目標候選區域提取結果Fig.11 Target candidate region extraction results under complex background

4 目標判別

在ROⅠ提取階段可以有效抑制一些海面背景的干擾,但是由于海況的復雜性,遙感圖像數據中可能存在與艦船目標相似的干擾如碎云、島嶼、波浪等,導致候選區域提取結果中除艦船目標外可能存在虛警,利用輕量化模型EfficientNetV2 識別艦船目標,進一步剔除虛警。EfficientNetV2 網絡采用感知神經結構搜索技術(neural architecture search,NAS)結合復合模型擴張方法聯合優化模型精度、訓練速度和參數大小,自動將網絡的深度、寬度和輸入圖像分辨率3個參數進行合理配置,提升網絡的性能[21]。同時采用改進的漸近學習方法,根據訓練圖像的尺寸動態調整正則方法(dropout、rand augment、mixup),可以提升訓練速度、準確率。本文采用的EfficientV2-S 網絡結構如表1 所示,在淺層卷積使用Fused-MBConv,深層卷積使用深度可分離卷積MBConv。MBConv模塊由1×1的升維卷積、3×3的深度卷積、SE(squeeze-and-excitation)注意力模塊和1×1的降維卷積搭建而成,而Fused-MBConv模塊則是將MBConv中的1×1 的升維卷積、3×3 的深度卷積替換成一個普通的3×3卷積結構,如圖12所示。

表1 EfficientV2-S網絡結構Table 1 EfficientNetV2-S network architecture

圖12 MBConv和Fused-MBConv結構圖Fig.12 Structure diagram of MBConv and Fused MBConv

SE 模塊由壓縮(Squeeze)和激勵(Excitation)兩部分組成,如圖13所示。W、H、C分別表示特征圖寬、高以及通道數,輸入特征圖的大小為W×H×C。

圖13 SE模塊結構圖Fig.13 Structure diagram of SE module

SE模塊首先對輸入特征圖進行Squeeze操作,利用全局平均池化將同一個通道上的整個空間特征壓縮為一個全局特征。Excitation 操作,通過兩個全連接層將得到的全局特征進行通道間關系轉換為權重系數,使模型對不同通道間的特征具有不同的辨別能力。Scale操作,將計算出來的各通道權重值分別和原特征圖對應通道的二維矩陣相乘,輸出結果。

將本文使用的EfficientV2-S 網絡模型與其他模型進行對比,結果如表2所示,EfficientV2-S具有較少的參數量以及較低的計算量,具有較好的性能。

表2 模型性能對比Table 2 Model performance comparison

訓練樣本來自GF-2 號和Google Earth 遙感圖像。首先人工的從大量的圖像集中制作出1 210 個切片,其中590 個艦船、300 個云、180 個島嶼和140 其他虛警切片,將這些樣本進行了標識,輸入到EfficientNetV2網絡中進行訓練,部分樣本如圖14所示。

圖14 艦船和虛警數據部分樣本Fig.14 Partial sample of ship and false alarm data

5 實驗結果

為了驗證提出模型的性能,從主觀和客觀兩個方面進行測試,遙感圖像來自GF-2 衛星和Google Earth,分辨率為2 m。利用labelimg構建數據集,一共包共含389遙感圖片,共623 個艦船目標,不同大小的船舶目標處于各種海洋背景下,如重云、陰影、船舶尾跡、海岸線、小島和珊瑚礁等。

5.1 顯著性模型主觀評價

將本文提出的顯著性模型與其他典型的空間域及變換域顯著性模型在不同的復雜環境下進行比較,如圖15所示。在云霧覆蓋的情況下,ⅠTTⅠ、HC、FT模型受到云霧影響較大,SR 模型不受云霧影響,但是顯著性目標不完整,內部不連續存在斷點,提出的模型(WTMPQFT)與PQFT 模型相比目標的顯著性明顯增強;由第三行可以看出,在對比度差異較大的艦船目標同時存在的情況下,較暗目標在SR和WT-MPQFT模型中可以較好的被檢測到,而在其他模型中顯著性消失或變弱;對于海面存在海雜波的情況(第四行),FT和WT-MPQFT模型能夠不受海雜波的影響,有效突出艦船目標;由第五行可以看出,ⅠTTⅠ、HC、SR 模型對艦船尾跡的抑制效果較差,WT-MPQFT模型的抑制效果最好;當海面存在小目標時,提出的模型與PQFT 模型相比,小目標的顯著性明顯增強,能夠降低漏檢。在各種復雜環境下提出的改進模型與標準方法進行對比,抑制噪聲、減少虛警和檢測小目標的能力如表3所示。綜上所述,相比于其他先進的模型,本文提出的模型提無論在目標檢測的準確性還是完整性上,都在視覺上獲得了所有顯著性模型中最好的結果,其優點如下:

表3 各顯著模型性能對比Table 3 Performance comparison of saliency algorithms

圖15 不同顯著模型在復雜環境下顯著圖對比Fig.15 Comparison of saliency maps of different saliency models in complex environments

(1)在各種復雜環境下都可以保持較好的檢測效果,對背景抑制強,能夠有效抑制云、霧、海雜波、艦船尾跡等復雜環境的干擾,能夠產生較少的候選區域。

(2)準確地檢測出鄰近艦船目標,不會出現團聚現象,目標區分度強。

(3)可以均勻凸顯對比度差異較大的艦船目標,能夠準確檢測到小目標。

(4)提取到的艦船目標顯著性的灰度均勻,輪廓分明,內部完整性好,有利于后續的艦船候選區域的提取工作。

此外,為了測試模型對輸入圖像尺寸的適應性,在不同像素大小的圖像上驗證顯著性模型的性能。由于大多數顯著性模型利用輸入圖像的底層特征構建的顯著圖,這些特征對尺寸較為敏感,導致不同尺寸的圖像,其顯著性檢測結果可能存在較大差異。選擇速度較快的SR模型與本文提出的模型進行比較。輸入圖像分辨率分別為300×300、500×500、1 000×1 000。SR 模型和WT-MPQFT模型的檢測結果如圖16所示。

圖16 不同大小圖像檢測顯著圖結果對比Fig.16 Comparison of saliency map detection results of images with different sizes

從兩組結果中可以看出,隨著輸入圖像尺寸的增大,SR模型對背景的抑制能力變弱,且檢測到目標的顯著性信息越來越少,檢測性能變差,即SR模型受到尺寸影響較大,對尺度適應性較弱。由于WT-MPQFT 進行基于小波變換的多尺度、多方向分析,以及級別內和級別間的多尺度融合,其對不同尺寸圖像的檢測效果較好,受輸入圖像尺寸的影響較小,有效抑制背景噪聲的同時能夠完整地凸顯目標,即提出的模型對尺度適應性較強。

5.2 顯著性模型客觀評價

為準確定量對算法的性能評價,除了主觀觀察外,還需引入客觀評價指標[22]。從顯著性檢測精度和計算速度兩方面,將本文模型與其他5種顯著性模型進行了驗證。為了評估顯著性模型檢測到的艦船目標區域的完整性和精度,采用ROC-AUC度量來定量評價。人工標記ground-truth 圖像作為評價和分析的標準,真值圖G為二值圖,以輸入圖像中船舶區域的精確船體作為先驗信息。不斷改變顯著性映射的閾值T,顯著性值大于閾值的像素被視為目標,而圖像中其余的像素被視為背景,得到二值圖像S。將S與對應的G進行比較,同時屬于G和S的像素稱為真正例(true positive,TP),屬于G和不屬于S的像素稱為假負例(false negative,FN),不同時屬于G和S的像素稱為真負例(true negative,TN),不屬于G而屬于S的像素稱為假正例(false positive,FP)。通過改變閾值得到真陽性率(TPR)和假陽性率(FPR)多組值,FPR 作為橫坐標,TPR 作為縱坐標,繪制ROC圖。TPR和FPR計算公式如下:

繪制ROC曲線如圖17(a)所示,同時計算了各個模型的area under the curve(AUC)。ROC 曲線越靠近左上角,顯著性模型的性能越好??梢钥吹絎T-MPQFT模型的ROC 曲線高于其他5 個模型。為了更直觀地對比,各個模型的AUC 值如圖17(b)所示。模型的AUC值越接近1,顯著性檢測性能越好,從圖中可以看出,WT-MPQFT模型的AUC值明顯高于其他五個模型。

圖17 不同顯著模型的ROC曲線和AUC值Fig.17 ROC curves and AUC values of different saliency models

艦船檢測需要滿足時效性需求,對不同算法進行時間分析是非常必要的。本文所有實驗是在Ⅰntel Core 2.20 GHz處理器和8 GB內存的PC機上進行的,代碼實驗平臺為Matlab R2020a。對于不同像素大小的遙感圖像,各算法求取海面艦船顯著圖平均運行時間如表4所示。

表4 各顯著模型對于不同大小圖像的運行時間Table 4 Computational time of saliency algorithms for images of different sizes單位:s

相比于空間域模型ⅠTTⅠ,變換域模型的速度更快,且圖像尺寸越大,兩者時間差別越明顯。從結果可知,SR、PQFT 模型的速度較快,由于本文的改進模型進行了小波變換以及多尺度融合,雖然時間上稍有增加,但其檢測準確率較高,對背景抑制能力更強,且仍比HC以及ⅠTTⅠ模型速度快,更好地平衡了速度與精度。

5.3 整體算法性能比較

使用準確率Ar、虛警率Fr以及漏警率Mr作為評價指標,定義為:

式中,Nd表示正確檢測到的艦船數量,Nt表示數據集中艦船總數,Nf表示檢測到的虛警數,Nm表示未檢測到的艦船總數。

本文提出的視覺顯著性檢測方法在不同海面場景下的檢測性能如表5 所示。在平靜的海面檢測效果最好,準確率高達0.99,虛警率僅為5.45,在其他復雜的海況下同樣可以保持較高的準確率,由于厚云、島嶼、大海浪等環境的干擾,會產生較多的虛警,但可以保持較低的漏警率。

表5 提出的方法在不同海面場景下的性能Table 5 Performance of proposed method on different sea surfaces

第一階段候選區域提取和第二階段目標識別的結果如表6所示。從第一階段的檢測結果來看,本文的區域提議算法保證了檢測精度,經過第二階段的目標識別去除虛警目標,保留真實的艦船目標。圖18 顯示了一些典型的艦船檢測結果,被探測到的船只用紅框標出。

表6 提出的艦船檢測框架檢測結果Table 6 Detection results of proposed ship detection scheme

圖18 整個算法的檢測結果Fig.18 Detection results of overall algorithm

將本文提出的整個艦船檢測方法與其他檢測方法進行比較,結果如表7所示。

表7 不同方法的準確率對比Table 7 Comparison of accuracy of different methods單位:%

6 結論

本文針對實際應用中遙感圖像海面艦船目標檢測問題,提出了一種結合視覺顯著性和EfficientNetV2 的光學遙感圖像海面艦船目標快速精準檢測新方法。通過改進PQFT算法,利用小波分解的方向系數得到方向特征增強且噪聲抑制的多尺度圖,引入對比度特征改進原始四元數,通過四元數傅里葉變換對候選區域進行快速定位,能夠有效抑制噪聲,減少虛警,感興趣區域分布均勻完整,通過引入Gini指數自適應調整顯著圖的相對權重、多尺度顯著圖融合以適應尺度變化并增強小目標的顯著性,降低漏檢,利用EfficientNetV2更精準地描述艦船目標特征進行識別。實驗結果表明,該方法能夠在不同的海洋背景下得到較好的檢測效果,具有較高的檢測精度和魯棒性。

猜你喜歡
艦船尺度顯著性
艦船通信中的噪聲消除研究
艦船測風傳感器安裝位置數值仿真
財產的五大尺度和五重應對
基于顯著性權重融合的圖像拼接算法
基于視覺顯著性的視頻差錯掩蓋算法
一種基于顯著性邊緣的運動模糊圖像復原方法
論商標固有顯著性的認定
宇宙的尺度
艦船腐蝕預防與控制系統工程
9
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合