?

生成式知識遷移的SAR艦船檢測

2024-03-20 01:09婁欣王晗盧昊張文馳
遙感學報 2024年2期
關鍵詞:艦船損失卷積

婁欣,王晗,盧昊,張文馳

1.北京林業大學 信息學院,北京 100083;

2.國家林業和草原局林業智能信息處理工程技術研究中心,北京 100083

1 引言

近年來,在海洋資源管理、環境保護、水路運輸管理、船只救援、戰場主動防御等方面的重大需求的引導下,對港口及海上區域的艦船目標檢測成為一項重要的應用任務(Xie 等,2016)。由于合成孔徑雷達SAR(Synthetic Aperture Radar)可以全天候、全天時提供高分辨圖像,成為海上目標檢測的一種主要途徑。SAR 圖像由于其成像機理和光學圖像差別較大,采用人工目視判讀的方法對判讀人員的經驗水平要求較高,難以滿足海量SAR 圖像實時解譯的需求,因此研究SAR 圖像的自動目標檢測方法在戰場偵察監視、目標識別、精確制導等領域具有重大意義。

傳統SAR 圖像艦船自動檢測方法中使用的特征根據具體目標手工設計提取,如散射特性(Wang和Liu,2015),極化特征(Beltramonte 等,2020;Zhang 等,2019;Ma 等,2018)、幾何特征(Wang等,2014)、梯度方向直方圖(Xu 和Liu,2016),尺度不變特征(Demars 等,2015)等。然而,手工設計特征泛化能力較差,無法適應復雜場景下多目標艦船檢測任務。近年來,基于深度卷積神經網絡CNN(Convolutional Neural Networks)的方法在復雜背景的光學圖像目標檢測中取得了較大的進展(Liu 等,2016;Ren 等,2017;Redmon 和Farhadi,2018;Bochkovskiy 等,2020)?;跀祿寗拥纳疃染矸e神經網絡在進行特征提取時,通過引入卷積層,有效降低了神經網絡的復雜性,降低了數據前期的預處理要求,因此在SAR 圖像艦船目標檢測上的效果明顯優于傳統的方法(Gui等,2019;Zhang和Zhang,2019;Li等,2021)。

雖然基于深度卷積神經網絡的目標檢測網絡在光學圖像中取得了很好的效果(Liu 等,2016;Girshick,2015;Ren等,2017;Redmon和Farhadi,2018;Bochkovskiy 等,2020),但由于SAR 圖像中目標的特征分布與光學圖像中的區別顯著,在光學圖像中習得的目標檢測網絡并不能很好地直接用于SAR 圖像目標檢測任務。為了在SAR 目標檢測任務中取得較好的泛化效果,仍然需要大量標注數據(孫顯 等,2019)作為深度卷積神經網絡的訓練集。建立一個足夠規模的SAR 圖像數據集不僅需要耗費巨大的經濟成本,也對標注人員的專業水平提出了較高的要求。另一方面,獲取帶有標注的光學遙感圖像所耗費的經濟成本和人力需求相對較低,更易于獲取。

遷移學習(Pan和Yang,2010)通過從一些已有標注的數據域習得知識或者模式信息,應用于不同但相關的數據域或任務中,從而提升目標域中任務的學習效果。由此,考慮生成與包含標注的光學遙感圖像空間分布一致的模擬圖像從而將光學圖像中的空間標注信息遷移至模擬圖像;同時對模擬圖像的生成過程進行約束使其在特征上更接近于SAR 圖像,從而使在模擬圖像上習得的檢測模型能夠更好地適用于SAR 圖像中目標檢測。為進行知識遷移,本文首次將循環一致生成對抗損失用于生成訓練數據,以解決沒有成對光學圖像與遙感圖像情況下進行知識遷移的困難。同時提出恒等損失以及特征邊界決策損失,生成與帶標注的光學遙感圖像空間分布一致且與SAR圖像相似的模擬圖像。利用生成的模擬圖像,進一步優化艦船檢測網絡,以提高基于深度神經網絡的目標檢測網絡的泛化性能。

綜上所述,本文提出一種基于生成式知識遷移的SAR 艦船檢測框架,該框架包含兩個模塊:知識遷移網絡和艦船檢測網絡。在知識遷移網絡中,提出使用循環一致生成對抗損失、恒等損失以及特征邊界決策損失,通過學習光學遙感圖像域與SAR 圖像域間的特征映射,生成包含標注信息的模擬圖像,解決了SAR 圖像數據量不足的問題;在艦船檢測網絡中,通過融合具有空間標注信息的模擬圖像和SAR 圖像對已有基于深度卷積神經網絡的目標檢測網絡進行微調,得到適用于SAR圖像域的目標檢測網絡。在SAR-Ship-Detection-Datasets(SSDD)和AIR-SARShip-1.0 兩個公開數據集上的實驗結果表明,該框架有效提高了在小樣本量情況下的艦船目標檢測效果,可顯著降低艦船在復雜背景圖像中漏檢和誤檢的概率。

2 知識遷移網絡

針對大量包含標注信息的SAR圖像數據集獲取成本較高,不足量的數據難以對目標檢測網絡進行充分有效的訓練,提出一種知識遷移網絡(如圖1左側所示),通過挖掘光學遙感圖像特征空間與SAR圖像特征空間之間的映射關系,生成的模擬圖像能夠保存已有帶標注的光學遙感圖像空間分布信息又與SAR 圖像特征分布相似。對知識遷移網絡的訓練采用對抗訓練的方式進行,通過使用循環一致生成對抗損失,恒等損失,特征邊界決策損失對訓練過程中的網絡參數優化進行約束。下面將逐一對每個損失函數及其作用進行詳細介紹。

圖1 SAR圖像目標檢測總體框架Fig.1 SAR image object detection framework

2.1 循環一致生成對抗損失

不同于傳統的數據轉換方式需要成對數據進行學習(Isola 等,2017;Choi 等,2020),本文方法不依賴于成對的光學遙感圖像和SAR 圖像。為得到與光學遙感圖像空間分布一致且與SAR 圖像特征分布相似的模擬圖像,首先在知識遷移網絡中使用循環一致生成對抗損失(Zhu等,2017)來進行生成。

給定光學遙感圖像域O,圖像x∈O以及SAR圖像域S,圖像y∈S。知識遷移網絡可以同時習得光學遙感圖像域到SAR 圖像域的映射函數G:O→S,用以生成與光學遙感圖像x對應的模擬圖像G(x),以及SAR 圖像域到光學遙感圖像域的映射函數F:S→O,生成與SAR 圖像y對應的圖像F(y)。另外,使用判別器DS區分SAR 圖像y和映射函數G所生成的模擬圖像G(x),以及判別器DO區分光學遙感圖像x和映射函數F所生成的圖像F(y)。對于映射函數G和F以及判別器DS和DO,對抗損失函數為

式中,E(*)表示分布函數的期望值,x~popt(x)與y~psar(y)分別表示光學遙感圖像域與SAR圖像域的數據分布。映射函數G 的目標為生成的模擬圖像G(x)與圖像x空間分布信息一致且與SAR 圖像特征分布盡可能相似,而判別器DS則為最大可能區分G(x) 和SAR 圖像y。因此,希望損失函數能在最小化映射函數G的同時最大化判別器DS:minGLGAN(G,Ds,O,S)。相似的,對于映射函數F和判別器DO的優化,可以表示為:minFLGAN(F,DO,S,O)。

為了加強映射函數的生成能力,認為映射函數的學習過程應該是循環一致的,如圖2(a)所示。在圖像生成循環過程中,對于O域的每個圖像x,G和F滿足前向循環一致可以將x還原,即x→G(x) →F(G(x)) ≈x,類似地,對于S域的圖像y,后向循環一致也可以將y還原,即y→G(y) →F(G(y)) ≈y。由此,可以得到循環一致生成對抗損失函數:

圖2 知識遷移網絡Fig.2 Knowledge transfer network

式中,‖· ‖1為L1范數。

2.2 恒等損失

在生成模擬圖像的過程中,不僅希望通過循環跨域變換后圖像的特征分布不變(F(G(x)) ≈x),同時還希望SAR 圖像通過自身域映射函數G映射后仍然具有與SAR 圖像相似的特征分布,即y→G(y) ≈y,域映射函數能夠在轉化過程中盡可能多的保持該SAR 圖像域的特征分布。因此,本文提出使用恒等損失(圖2(b))來約束映射函數G 使輸入SAR 圖像所生成模擬圖像的特征分布與SAR 圖像特征分布盡可能相似。同時,也使映射函數更具魯棒性,適應更多樣的輸入數據(Taigman等,2017)。具體來說,一個真實SAR 圖像y,經過映射函數進行轉換后得到的樣本應該與圖像y盡可能一致:

2.3 特征邊界決策損失

為了使G(x)所生成的模擬圖像盡可能接近SAR 圖像特征分布,同時區別于光學圖像,本文在映射函數G學習的過程中使用特征判別器Dsar(圖2(c)),判斷G 生成的模擬圖像特征分布更接近光學遙感圖像還是SAR 圖像。通過Dsar約束生成的模擬圖像使之和SAR 圖像更為“一致”,并懲罰那些特征分布更類似于光學遙感圖像的生成樣本。因此,特征邊界決策損失函數為

特征判別器Dsar的輸出為向量[p1,p2],其中p1 表示G生成的模擬圖像與SAR 圖像域特征分布相似的置信度,p2 為與光學遙感圖像域特征分布相似的置信度。置信度較大的圖像域為判別器輸出的分類結果,即SAR 圖像或非SAR圖像。例如,若圖像在Dsar上的結果為[0.9,0.1],則認為這個樣本更接近于SAR 圖像特征分布。然而,如果當生成圖像的特征不具有顯著區分性,Dsar將會輸出類似于[0.5,0.5]的模糊判決結果。為了增加特征的區分性,也就是希望特征決策邊界能夠更好地區別SAR 圖像與光學遙感圖像特征分布,我們使用特征邊界決策損失來增強特征的區分性,通過計算Dsar與[0.5,0.5]之間的交叉熵:

c=k表示G(x)可能的類別,即SAR 圖像域和光學遙感(OPTICAL)圖像域。Dsar(G(x))c=k表示判別器的輸出,用來預測G生成的模擬圖像屬于SAR 圖像域或光學遙感圖像域的置信度。通過最小化Lboundary可以將G 生成的模擬圖像特征分布與光學遙感圖像特征分布的決策邊界最大化。

2.4 整體損失函數表示

綜上所述,本文使用循環一致生成對抗損失,恒等損失加強生成的模擬圖像與SAR 域圖像的特征相似性;使用特征邊界決策損失來抑制生成特征的混淆問題。綜合式(1)—(4)、(6),可得總體損失函數:

式中,權重λ,β 和α 用以權衡各損失函數對最終生成結果的影響程度。

目標函數:

式中,G*,F*為希望求解的最優映射,固定生成映射函數G,F,優化判別器DO,DS,Dsar使L最大,即使前兩個判別器盡可能區分真實圖像與映射函數生成的圖像,同時判別器Dsar最大化映射函數G生成的模擬圖像與SAR圖像的特征相似性。接著再求使得L最小的G,F,即固定判別器DO,DS,Dsar,盡量使兩個映射函數生成的圖像接近真實圖像,并使得生成的圖像能夠盡可能地映射到原域。

2.5 網絡結構

映射函數網絡使用卷積和轉置卷積實現特征圖的下采樣和上采樣,包含4 個卷積層,9 個殘差塊(He 等,2016)(包括兩個卷積核為3×3,步長為1 的卷積層和殘差連接),2 個轉置卷積層,最后輸出與輸入圖像尺寸一致的生成圖像。判別器網絡使用70×70 PatchGANs(Isola 等,2017),網絡完全由卷積層構成,用來判斷生成圖片中70×70 patch 是“生成的”還是“真實的”。特征判別器網絡結構包括一個7×7 的卷積層,和4 個殘差塊,殘差塊包括1 個卷積核為3×3,步長為1 的卷積層,1 個卷積核為3×3,步長為2 的卷積層和殘差連接,最后使用全連接層整合圖像的特征信息得到判別結果。

3 艦船檢測網絡

基于優化式(8),只需要獲得具有標注的光學遙感圖像樣本,就可以得到增廣的帶標注模擬圖像數據集,彌補了基于深度學習的目標檢測網絡對于標注樣本的需求也解決了數據域適應性的問題。

主流的基于深度學習目標檢測算法可分為單階段(one-stage)目標檢測和兩階段(two-stage)目標檢測。單階段目標檢測算法是基于回歸的算法,使用主干網絡提取特征,將目標分類和位置回歸作為整體來處理,網絡直接預測圖像中感興趣區域的類別和位置坐標。此算法目標識別精度略低,但是速度快,代表性算法包括YOLOv1(Redmon等,2016),YOLOv2(Redmon和Farhadi,2017),YOLOv3(Redmon 和Farhadi,2018),SSD(Liu 等,2016)等。兩階段目標檢測算法是基于候選區域的算法,首先由區域提議算法生成一系列的候選區域,使用主干網絡提取候選區域的特征,再將提取到的特征送入分類網絡和預測框回歸網絡進行分類和目標定位,從而確定圖像中感興趣區域的類別和位置坐標。此類型目標檢測算法的識別精度高,但是速度慢,難以滿足實時性需求,代表性算法R-CNN(Girshick 等,2014)、Fast R-CNN(Girshick,2015)、Faster R-CNN(Ren等,2017)等。需要特別說明的是,本文提出模擬圖像生成方法可以用于目前主流目標檢測網絡的訓練數據集構建工作中。

本文使用YOLOv3作為SAR圖像艦船檢測網絡(圖1 右側網絡)。YOLOv3 使用一種新的骨干網絡Darknet-53用于圖像特征提取,該網絡借鑒了深度殘差網絡ResNet(Deep residual network)(He 等,2016)的做法,在殘差結構中使用了Shortcut Connections(He 等,2016)來連接殘差結構中的不同層,從而有效抑制深層網絡中的梯度彌散問題。YOLOv3 作為單階段(one-stage)目標檢測網絡,通過改變網絡結構的復雜程度來權衡速度與精度。YOLOv3 采用多尺度特征圖思想,在3 個不同尺度特征圖上提取特征,使用基于訓練集標注框上聚類出的9個不同大小的錨點框,來適應不同尺寸的目標,因此YOLOv3在不同尺寸的艦船目標檢測中表現較好。

4 結果與分析

4.1 數據集及實驗環境

為了驗證本文提出方法有效性,本研究在4個數據集上進行了實驗,分別為SEN1-2(Schmitt等,2018)(圖3第1,2行),DIOR(Li等,2020)(圖4第1行),SSDD(Li等,2017)(圖5第1行),AIRSARShip-1.0(孫顯 等,2019)(圖6 第1 行)。數據集詳細信息見表1。其中對于SEN1-2 數據集,包含282384 對呈對應關系的光學遙感圖像與SAR圖像,隨機挑選了2047 對作為知識遷移網絡的訓練集。DIOR 數據集是光學遙感圖像數據集,包含20 個類別,在含有艦船類別的圖像中隨機挑選了876 張。SSDD 數據集包含1160 張圖像,劃分訓練集和測試集的比例為7∶3。AIR-SARShip-1.0 數據集包含31 幅3000×3000 的大圖,實驗中將其按網絡需求裁剪為含有艦船目標的小尺寸圖像,劃分訓練集和測試集的比例為7∶3。

表1 數據集詳細信息Table1 Datasets details

圖3 SEN1-2數據集樣例與知識遷移網絡生成的模擬圖像樣例Fig.3 Example of the SEN1-2 dataset and simulated image samples generated by the knowledge transfer network in this paper

圖4 DIOR光學圖像樣例與知識遷移網絡生成的模擬圖像樣例Fig.4 DIOR optical image examples and pseudo-SAR image samples generated by the knowledge transfer network

圖5 不同方法在SSDD測試集樣例上檢測結果Fig.5 Detection results of different methods on the SSDD test set examples

圖6 不同方法在Air-Sar-Ship1.0測試集樣例上檢測結果Fig.6 Detection results of different methods on the Air-Sar-Ship1.0 test set examples

實驗運行環境見表2。在訓練知識遷移網絡時,所有子網絡使用Adam 優化器進行優化,初始學習率為0.0002,總共迭代訓練200 次,總體損失函數中權重λ,β和α分別為10,0.5,0.5。艦船檢測網絡使用YOLOv3在ImageNet 數據集上的預訓練模型,網絡使用Adam 優化器進行優化,初始學習率為0.01,動量為0.9,衰減率為0.0005,迭代訓練240次。

表2 實驗運行環境Table 2 Runtime environment of our experiment

4.2 評價指標

目標檢測性能使用平均準確率AP(Average precision)進行度量:

式中,pinterp(rn+1)計算方式如下所示:

式中,代表在召回率下最大的準確率。準確率P和召回率γ的計算公式如下:

式中,TP 代表檢測結果為正樣本且真實值為正樣本的預測框數量,FP 代表檢測結果為正樣本但真實值為負樣本的預測框數量,FN 代表檢測結果為負樣本但真實值為正樣本的預測框數量。

F1 分數是對準確率和召回率的調和平均,公式為:

F1 綜合了準確率和召回率的結果,當F1 較高時,則說明模型或算法的效果比較理想。

4.3 實驗分析

將從3個方面評價本文方法的有效性,生成數據有效性評價,知識遷移網絡中損失函數有效性評價,艦船檢測網絡有效性評價。

4.3.1 生成模擬圖像有效性評價

如表3 所示,目標檢測網絡的訓練數據為SSDD 數據集、本文知識遷移網絡生成的模擬圖像(圖4 第2 行)時,檢測效果提升最為明顯。使用70%的SSDD 數據集中數據、本文知識遷移網絡生成的模擬圖像訓練艦船檢測網絡,AP 達到了97.50%。當使用SSDD 數據集中0%,10%,20%,30%,50%的數據進行模型訓練時,AP 分別為64.55%,91.14%,94.69%,96.21%,96.84%,均高于對比組實驗結果。說明在知識遷移網絡中使用循環一致生成對抗損失,恒等損失,特征邊界決策損失,生成的模擬圖像,使目標檢測網絡學習到更豐富的SAR 圖像特征信息,提升網絡的檢測能力。

表3 使用不同比例SSDD的訓練數據的檢測結果Table3 Detection performance of the ship detection network trained with different proportions of SSDD/%

由于本文知識遷移網絡所生成的模擬圖像在表觀特征上與光學圖像直接轉換成的灰度圖相似。本文使用DIOR 數據集中光學遙感圖像直接轉換成灰度圖作為訓練數據(表3“DIOR 灰度圖”列),進行實驗對比。分別使用不同比例SSDD 數據中數據、本文知識遷移網絡生成的模擬圖像,和不同比例SSDD 數據集中數據、DIOR 灰度圖來訓練艦船檢測模型,實驗結果表明本文生成的模擬圖像包含直接由光學圖像轉換成的灰度圖像所不具有的特性,這些特性能夠有效提升后續的目標檢測模型的泛化性能。特別需要說明的是,從表3最后一行的結果可以看出,當不使用任何帶有標注的SAR 圖像數據進行訓練時,本文所生成的模擬圖像訓練得到的檢測模型相比于由光學遙感圖像和灰度圖像上習得模型的AP值分別提高了14.71%和23.55%。這表明本文使用的遷移方法可以將光學圖像域中的標注知識遷移至SAR 圖像域,同時使所習得的檢測模型更適用于SAR 圖像域的艦船檢測。

為評估本文知識遷移網絡生成的模擬圖像在不同數據集上對檢測結果提升的有效性,使用SSD(Liu等,2016),Faster R-CNN(Ren等,2017)等目前較為流行的檢測網絡在SSDD和AIR-SARShip-1.0 兩個數據集上的檢測結果進行對比。其中當目標檢測網絡為YOLOv3,Faster R-CNN 時,輸入的AIR-SARShip-1.0 數據尺寸為500×500;當目標檢測網絡為SSD時,輸入的數據尺寸為512×512。

表4 中使用SSDD 數據訓練目標檢測網絡SSD,Faster R-CNN 以及Dense Faster R-CNN(Jiao 等,2018)。其他方法均分別使用70%的SSDD 數據集數據和AIR-SARShip-1.0 數據集數據作為訓練數據,并使用余下30%的數據作為測試集。實驗結果表明,在不同目標檢測網絡中,本文生成的模擬圖像在各項指標上均有較好的表現。說明本文知識遷移網絡生成的模擬圖像與SAR 圖像具有較為相似的特征分布,目標檢測網絡可以學習到更豐富的SAR艦船特征,從而提升目標檢測的效果。

表4 使用不同數據集訓練艦船檢測網絡的檢測結果Table 4 Detection performance of different ship detection networks trained with different datasets/%

使用Air-Sar-Ship1.0 數據集進行實驗,本文的方法相較于表中其他方法在準確率,召回率和F1 均有較明顯的提升。這是因為Air-Sar-Ship1.0數據集數據量較小,訓練后的檢測模型欠擬合。而使用本文知識遷移網絡生成的模擬圖像、Air-Sar-Ship1.0 數據集中70%的數據作為訓練集訓練艦船檢測網絡,訓練數據量增大,使得網絡模型訓練更加充分,訓練后的模型更接近擬合,檢測效果更優。

如圖5,圖6 所示,第1 行為標注框,第2 行為訓練集為SAR 圖像和光學遙感圖像的檢測網絡的檢測結果,第3行為訓練集為SAR圖像和模擬圖像訓練檢測網絡的檢測結果。相較于海上,近海干擾物更多,場景更加復雜,給艦船檢測帶來了一定的困難。圖5,圖6 中可以看出在近海區域SAR 圖像中,存在一些小亮斑區域,易被誤檢為艦船,而在岸邊的真實艦船又會存在漏檢的情況。本文知識遷移生成的模擬圖像作為訓練集訓練艦船檢測網絡,使網絡學習到更多SAR 圖像中艦船的特征,對漏檢和誤檢均有一定程度的降低。

4.3.2 知識遷移網絡中損失函數有效性評價

知識遷移網絡不使用一致生成對抗損失時,網絡難以收斂,生成的模擬圖片效果較差。因此,為了驗證本文知識遷移網絡中恒等損失和特征邊界決策損失的有效性,本節研究在知識遷移網絡中使用循環一致生成對抗損失的基礎上,再分別使用恒等損失和特征邊界決策損失對生成的模擬圖像的影響。如表5所示,在知識遷移網絡中使用循環一致生成對抗損失的基礎上,同時使用恒等損失,特征邊界決策損失效果最優,AP 提高了17.16%。而相比于分別使用恒等損失或特征邊界決策損失,AP 分別提高了6.38%和3%。說明本文方法,在提升目標檢測精度上具有積極意義。

表5 知識遷移網絡使用不同損失函數生成的模擬圖像訓練艦船檢測網絡的檢測結果Table 5 Detection performance of the ship detection network trained with simulated images the knowledge transfer network uses different loss functions generated

值得注意的是,特征邊界決策損失比恒等損失可以更好的提高知識遷移網絡中映射函數G的生成能力,進而提高目標檢測網絡的效果。主要原因為特征邊界決策損失約束生成的模擬圖像擁有更多接近于SAR 圖像的特征,訓練圖像與測試圖像數據特征分布越接近,訓練圖像對目標檢測網絡的訓練效果越好。恒等損失在提高映射函數的生成能力的同時增強映射函數的魯棒性。在對映射函數G訓練的過程中,不僅使用光學圖像域的數據同時也使用SAR 圖像域的數據,以保證該函數在自映射的過程中仍然能最大程度的保持SAR 圖像數據的分布特性。

為了更好地評價本文所生成的模擬圖像在特征上與SAR 圖像的相似性,我們使用卷積神經網絡Resnet18 對圖像進行CNN 特征提取,將網絡Adaptivepool2d 層輸出(2048 維)作為圖像特征。同時,我們使用兩類圖像對應維度的差值來評價特征相似性。圖7中,橫軸為特征維度,縱軸為特征值。從圖7 中可以看出,所生成的模擬圖像與SAR 圖像的CNN 特征具有較好的相似性。因此,基于模擬圖像的CNN 特征進一步訓練得到的基于深度卷積網絡的目標檢測模型能夠很好地適用于SAR圖像中的目標檢測。

圖7 模擬圖像與SAR圖像CNN特征相似性Fig.7 CNN features similarity between pseudo-SAR image and SAR image

4.3.3 艦船檢測網絡有效性評價

圖8 為使用SSDD 數據集中70%的圖像以及DIOR 數據集作為訓練數據,使用30%的SSDD數據集中數據作為測試數據所得的P-R 曲線(Precision-Recall Curve)。在本文知識遷移網絡中使用循環一致生成對抗損失,恒等損失,映射函數G的生成能力得到提升,同時魯棒性也得到了增強。使用了特征邊界決策損失,加強對模擬圖像中的SAR 特征的生成能力,增大生成的模擬圖像與光學遙感圖像特征的差距,使生成的模擬圖像更加接近SAR 圖像。因此,本文生成的模擬圖像作為訓練數據可以增加目標檢測網絡學習到更適用于SAR圖像的參數,進而提升網絡的檢測效果。

圖8 不同檢測網絡上的檢測結果的P-R曲線Fig.8 The P-R curve of detection performance on different detection networks

5 結論

本文提出一種基于生成式知識遷移的SAR 艦船目標檢測框架。在該框架下,首先構建一個知識遷移網絡,通過提出使用循環一致生成對抗損失、恒等損失和特征邊界決策損失進行約束,生成與SAR 圖像特征分布相似且與有標注的光學遙感圖像空間分布一致的模擬圖像。利用這些圖像訓練目標檢測網絡,以獲得適用于SAR 圖像域的目標檢測模型。在公開數據集上的實驗結果表明,在只有少量甚至沒有帶標注的SAR 圖像的情況下,本文方法所生成的模擬圖像,可以訓練出泛化性能較好的目標檢測模型,對復雜環境中的目標檢測效果提升較為明顯。后續工作將繼續挖掘所生成的圖像中的SAR 特征,以提高在包含大量小目標SAR圖像中的目標檢測準確率。

猜你喜歡
艦船損失卷積
艦船通信中的噪聲消除研究
基于3D-Winograd的快速卷積算法設計及FPGA實現
胖胖損失了多少元
艦船測風傳感器安裝位置數值仿真
從濾波器理解卷積
玉米抽穗前倒伏怎么辦?怎么減少損失?
基于傅里葉域卷積表示的目標跟蹤算法
艦船腐蝕預防與控制系統工程
一般自由碰撞的最大動能損失
損失
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合