基于雙模態高效特征學習的高分辨率遙感圖像分割

張銀勝，吉茹，童俊毅，楊宇龍，胡宇翔，單慧琳

1.無錫學院 電子信息工程學院,無錫 214105;

2.南京信息工程大學 電子與信息工程學院,南京 210044

1 引言

遙感圖像和圖像處理技術廣泛應用于城市規劃（Zhou 等，2011），變化檢測（Gerard 等，2010），植被檢測（Ahmed 等，2017），軍事偵察（王樹連，2005）等領域。隨著卷積神經網絡CNN（Convolutional Neural Networks）的發展，遙感圖像分割研究（Farabet等，2013；Mnih和Hinton，2010；Paisitkriangkrai 等，2015）進展迅速。但是獲取的遙感圖像分辨率逐漸提高，導致了不同類別之間差異變小，相同類別之間差異變大的問題，即異物同譜和同物異譜現象嚴重。

目前高分辨率遙感圖像分割存在普通遙感圖像分割和雙模態遙感圖像分割等方法。在普通遙感圖像分割研究領域，Xu等（2018）將U-Net（Ronneberger 等，2015）中特征提取的主干網絡替換為ResNet（Residual Networks）（He 等，2016），并使用導向性濾波器來加強分割效果。Wu等（2018）使用了多尺度約束的損失函數，加強了網絡上采樣階段對遙感圖像空間結構的恢復。張小娟和汪西莉（2020）設計了一個采用完全殘差連接和多尺度特征融合的端到端遙感圖像分割模型，能夠提取豐富的上下文信息，同時使用疊加的ASPP（Atrous Spatial Pyramid Pooling）（Chen 等，2018）結構應對目標尺度變化，提升分割性能。Sun和Li（2021）提出多尺度特征融合網絡MFFNet，使用三分支結構提取圖像特征，并通過注意力機制進行優化，取得了較高的分割精度。Chen等（2021）提出多層次特征聚合網絡MFANet，在深度特征提取和上采樣特征融合兩方面進行改進，對高分辨率特征圖進行細化和恢復。

在雙模態高分辨率遙感圖像分割研究領域，遙感圖像的雙模態包括近紅外、紅綠IRRG（Infrared、Red、Green）圖像和數字表面模型DSM（Digital Surface Model）圖像，其中IRRG 圖像具有紋理、顏色、形狀等語義信息，語義信息一般指的是目標區域像素和周圍區域像素之間的關聯性。DSM圖像具有高度等空間信息，空間信息是指圖像中分割出來的多個目標之間的相互的空間位置或相對方向關系。Marcos等（2018）將IRRG圖像和DSM圖像簡單結合作為輸入，產生冗余信息。Marmanis等（2016）設計雙分支網絡提取不同模態圖像的特征，并在中間層進行特征融合，造成參數冗余。Audebert等（2018）采用兩個CNN 網絡對IRRG 圖像和DSM 圖像進行處理，并通過元素相加的方式進行模態特征融合。為了進一步加強兩種模態之間的融合和上采樣恢復，Yang等（2021）提出注意力融合網絡AFNet，利用FCN（Fully Convolutional Networks）（Shelhamer等，2017）提取多路徑特征，并利用通道注意力結構和空間注意力結構相互約束和引導，融合多徑特征和多層次特征以逐步實現上采樣。Chen等（2021）提出一種高度感知多路徑并行網絡HA-MPPNet，在DSM圖像的監督下學習高度特征來改進上下文語義信息。孫漢淇等（2022）提出編碼器—解碼器結構的網絡MMFNet融合雙模態特征，并使用密集連接的方式加強特征的傳播和復用。張文凱等（2022）提出MSFAFNet，利用高程信息強化光譜特征，結合非局部塊（Wang等，2018）和壓縮激勵塊（Hu 等，2020）的優點實現遙感圖像分割。

由于單模態高分辨率遙感圖像僅利用可見光圖像進行分割，無法充分獲取高分辨率遙感圖像特征。因此，為了高效學習高分辨率遙感圖像特征，本文采用雙模態結構。但是現有雙模態分割方法沒有針對不同模態的圖像設計適合的特征提取網絡，且存在融合特征不充分，上采樣恢復細節信息不足等問題，本文提出了一個基于雙模態高效特征學習DEFL（Dual-modal Efficient Feature Learning）的高分辨遙感圖像分割算法。主要包括：

（1）雙模態高效特征提取。在編碼模塊CM（Code Module）中提出了雙路徑結構的IRRG 編碼器對IRRG 圖像的語義信息和細節信息進行特征提??；提出了DSM 編碼器對DSM 圖像的空間信息進行特征提??；并利用交互加強模塊IEM（Interactive Enhancement Module）融合多路徑特征，減少雙模態特征之間的差距。

（2）雙模態高效特征融合。在融合模塊中，提出了一個雙模態特征聚合模塊DFAB（Dual-modal Feature Aggregation Block），利用DSM 特征動態的加強IRRG 特征，實現兩種模態的信息融合，有效避免噪聲對分割的影響；還提出了一個深層特征提取模塊DFEM（Deep Feature Extraction Module），對聚合后的遙感圖像特征進行深層全局特征提取，獲得更多語義信息，提高圖像分割準確率。

（3）雙模態高效上采樣特征恢復。在解碼模塊中提出了一個多層特征上采樣模塊MFUM（Multilayer Feature Upsampling Module），用高層特征對低級特征進行校準，實現逐步上采樣特征融合，恢復更多的細節信息，實現遙感圖像的精準分割。

2 DEFLNet網絡結構

本文提出的DEFLNet 的整體框架如圖1 所示，主要由編碼模塊、融合模塊和解碼模塊3 部分組成。其中編碼模塊包括IRRG 編碼器、DSM 編碼器和交互加強模塊，融合模塊包括雙模態特征聚合模塊和深層特征提取模塊，解碼模塊為多層特征上采樣模塊。

圖1 DEFLNet的整體框架Fig.1 The overall framework of DEFLNet

網絡將遙感圖像的IRRG圖像和DSM 圖像作為雙輸入，編碼模塊包括IRRG 編碼器和DSM 編碼器。其中IRRG 編碼器是雙分支結構，分別提取IRRG 圖像的語義信息和細節信息。同時該模塊采用多尺度融合策略，將IRRG 編碼器中提取的語義信息和細節信息、IRRG 編碼器提取的IRRG 特征和DSM 編碼器提取的DSM 特征在特征提取的不同階段進行多次交互融合。融合模塊包括雙模態特征聚合模塊和深層特征提取模塊。其中雙模態特征聚合模塊利用DSM 特征動態的加強IRRG 特征，有效的融合兩種模態信息。接著深層特征提取模塊從全局上提取融合后的遙感特征圖的深層信息，獲取更多語義信息。最后解碼模塊中的多層特征上采樣模塊利用高層信息對低層信息進行加權操作，促進高分辨率圖像的細節信息恢復，通過高效特征學習獲得最終精準的分割圖。

2.1 編碼模塊

已有雙模態分割網絡采用相同的主干網絡對IRRG 圖像和DSM 圖像進行特征提取，無法準確高效的提取雙模態特征。編碼模塊如圖2所示，其內部各模塊的詳細結構如圖3 所示。編碼模塊由IRRG 編碼器和DSM 編碼器組成，分別對IRRG 圖像豐富的內容信息和DSM 圖像豐富的空間信息進行特征提取。其中IRRG 圖像的低層特征便于提取位置、邊緣等細節信息，但是語義信息較少；高層特征便于提取豐富的語義信息，但是細節信息比較粗略。因此，本文采用雙分支結構，分別提取IRRG 圖像的語義信息和細節信息，并在內部通過IEM 將兩種信息進行融合。分別獲取IRRG 圖像的語義信息、細節信息和DSM 圖像的空間信息的策略，可以加強網絡學習圖像不同特征的能力，進而不斷建立不同特征之間的聯系，減少雙模態特征差異，達到高效融合。

圖2 編碼模塊結構圖Fig.2 Code module structure diagram

圖3 各模塊詳細結構Fig.3 Detailed structure of each module

IRRG 編碼器的目的是提取IRRG 圖像豐富的內容信息，如外觀、顏色、紋理等。采用雙分支結構同時獲取語義信息和細節信息，可以有效增強信息提取能力。左側的細節分支由卷積塊和多層殘差塊M-Res（Multi-Residual Block）組成。其中M-Res 將輸入特征圖Xin經過最大池化層Pm、帶有BN和Sigmoid激活函數的1×1卷積C1σ獲取權重。然后對經過帶有BN 和ReLU 激活函數的3×3 卷積C3δ之后的特征圖進行加權。再經過帶有BN 和ReLU 激活函數的1×1 卷積C1δ建立通道聯系。最后與3×3 卷積C3δ構成殘差結構，在后續層中補充丟失的信息。

M-Res的過程可表示為

右側語義分支通過快速下采樣增大感受野，獲得IRRG 圖像豐富的語義信息。語義提取塊SEEB（Semantic Extraction Block）采用Pm和平均池化層Pa同時對特征圖進行降維，然后經過級聯Concat和C1δ建立跨通道信息聯系，最后經過C3δ再次降維。該結構達到了一個快速下采樣的效果，不斷擴大感受野，同時通過卷積不斷對語義信息進行提取。SEEB的過程可表示為

式中，Xse表示SEEB 模塊的輸入特征。在IRRG 編碼器的雙分支特征提取過程中加入IEM，它是一個雙輸入雙輸出的結構，利用注意力機制的思想實現兩種信息的特征交互學習。第一個特征圖Xie1通過全局平均池化層Pga保留顯著特征，然后經過兩個1×1 卷積C1δ、C1σ實現跨通道信息整合、獲取各通道權重，對第二個特征圖Xie2進行加權、求和，得到第一個輸出Xout2，同時第二個特征圖也對第一個特征圖進行相同的操作得到第二個輸出Xout1。IEM的過程可表示為

DSM 編碼器的目的是提取DSM 圖像的空間信息，由卷積C1δ、C3δ和空間提取塊SPEB（Spatial Extraction Block）構成的殘差結構組成。SPEB 中的Pm和Pa并列提取特征并Concat，以關注重點特征學習。然后經過兩個1×1卷積C1δ建立通道聯系，并利用殘差結構逐步獲取更多空間信息。SPEB 的過程可表示為

式中，Xsp表示SPEB 模塊的輸入特征。在DSM 編碼器進行空間信息提取的同時加入IEM 與IRRG 編碼器提取的內容信息進行交互，減小兩種模態特征之間的差異，避免雙模態特征聚合時產生噪聲對圖像分割造成影響。

2.2 融合模塊

2.2.1 雙模態特征聚合模塊

隨著遙感圖像的分辨率逐漸提高，IRRG 圖像所包含的內容信息愈加豐富，DSM 圖像也包含豐富的空間信息，但是兩種模態特征之間存在差異。對此，提出一個新的雙模態特征聚合模塊DFAB如圖4 所示，進一步融合編碼模塊輸出的DSM 特征和IRRG 特征，提高遙感圖像分割準確率。DFAB利用兩種模態特征之間的映射關系，即利用DSM特征動態的對IRRG 特征從全局上進行特征重校準。DFAB 有效的將DSM 特征融入到IRRG 通道中，同時避免冗余特征和過多噪聲對圖像分割產生影響，提高遙感圖像分割效率。

圖4 雙模態特征聚合模塊結構圖Fig.4 Dual-modal feature aggregation Block structure diagram

編碼模塊輸出的DSM 特征Xa和IRRG 特征Xb經過Concat級聯，然后分別經過1×1 卷積C1δ、空間全局平均池化層Psga和空間全局最大池化層Psgm得到一維特征圖T1=C1δ(Concat(Xa，Xb))、T2=C1δ(Psga(Xa，Xb)) 和T3=C1δ(Psgm(Xa，Xb))。接 著將T1經過空洞率r為1、2、3 的并行空洞卷積i=1，2，3，得到具有不同感受野的一維特征圖T4=T5=和T6=然后對所有的一維特征圖進行Concat級聯，經過C1σ建立通道之間的聯系并得到范圍固定在0—1 之間的特征權重s=C1σ(Concat(T1，T2，T3，T4，T5，最后利用權重對Xb進行加權，得到最后的雙模態聚合的特征圖Xc=s?Xb。

2.2.2 深層特征提取模塊

由于遙感圖像尺度差異較大，因此提取多尺度信息有利于遙感圖像的精準分割。SENet經過全局平均池化層對特征圖進行壓縮。對像素級別的分割而言，SENet僅考慮通道信息，導致像素點之間的遠程依賴較低，無法獲得全局之間的關系。因此本文引入了注意力機制的思想，提出一個新的深層特征提取模塊DFEM 如圖5 所示。該模塊從全局角度進一步提取深層語義信息，同時過濾雙模態融合產生的冗余信息，進一步提高遙感圖像分割準確率。

圖5 深層特征提取模塊結構圖Fig.5 Deep feature extraction module structure diagram

DFEM去除了SENet中的全局平均池化層，直接通過兩個3×3 卷積C3δ、C3σ獲取全局上下文之間的依賴性，對每個元素進行加權操作，重新獲得具有全局信息的深層特征圖Xd=C3σ(C3δ(Xc))?Xc。

2.3 解碼模塊

隨著對遙感圖像多層次的特征提取，圖像分辨率逐漸降低，丟失很多細節信息。圖像分割效果取決于上采樣對高分辨率圖像的信息恢復程度，因此為加強上采樣細節信息的恢復，提出多層特征上采樣模塊MFUM 如圖6 所示。通過卷積、池化、反池化等操作對特征圖進行兩次加權組合，使低層特征在上采樣過程中不斷獲得高層特征豐富的指導信息，充分恢復上采樣的細節信息，提高遙感圖像分割的準確率。

圖6 多層特征上采樣模塊結構圖Fig.6 Multilayer feature upsampling module structure diagram

該上采樣模塊有3個輸入，其中兩個輸入為編碼模塊中IRRG 編碼器的語義分支經過第一個3×3卷積或IEM 加強之后輸出的相鄰特征；第3個輸入為DFEM 或上一個MFUM 輸出的特征，分別稱為低層特征、高層特征和最新特征。在MFUM 中，首先用最新特征對高層特征進行加權，得到新的特征，其次用新的特征對低層特征進行加權，實現上采樣。執行4 次MFUM 后，經過3×3 卷積輸出遙感分割結果圖。

虛線框表示對高層特征和低層特征均執行3次具有BN 層和ReLU 激活函數的3×3 卷積操作，且保持通道數和尺寸大小不變，即前一個MFUM 的低層特征也可作為后一個MFUM 的高層特征。因此除了第一個上采樣模塊中對低層特征和高層特征進行卷積操作，其余3個模塊均只對低層特征進行卷積操作。高層特征卷積后的特征圖直接使用前一個模塊的低層特征卷積后的特征圖，在不影響上采樣效果的同時大幅度降低了參數量。

DEFLNet 的解碼部分重復使用了4 次MFUM，其運算過程可表示為

式中，M(·)表 示MFUM的運算過程，New0為DFEM 的輸出特征圖，Newi(i=1，2，3)為第i個MFUM 的輸出特征圖，均為最新特征；Bi為IRRG編碼器中語義分支輸出的第i個尺寸的特征圖，New4為精準的分割結果圖。

3 數據結果處理與分析

本文使用隨機梯度下降法SGD（Stochastic Gradient Descent）對模型進行訓練，初始學習率設為0.01，動量為0.9，權重衰減為0.0005，批量大小為16。實驗環境見表1。

表1 實驗環境Table 1 Experimental environment

3.1 數據集介紹

為了驗證提出的DEFLNet 對高分辨率遙感圖像的分割性能，本文在ISPRS Potsdam 和Vaihingen數據集上進行了實驗。Potsdam 數據集包含38幅高分辨率遙感圖像，Vaihingen 數據集包含33 幅高分辨率遙感圖像。每個數據集都分類為5個常見的土地覆蓋類型：不透明表面、建筑物、低矮植被、樹木和汽車。ISPRS Potsdam 和Vaihingen 數據集的樣例如圖7、8 所示，分別為正射影像、DSM 圖像和標簽圖。

圖7 ISPRS Potsdam 數據集的樣例Fig.7 Examples of ISPRS Potsdam dataset

圖8 ISPRS Vaihingen數據集的樣例Fig.8 Examples of ISPRS Vaihingen dataset

Potsdam 數據集的尺寸達到6000×6000，本文選取24 幅用于訓練，14 幅用于測試。Vaihingen 數據集的尺寸約為2500×2500，本文選取20 幅用于訓練，13 幅用于測試。在訓練網絡之前，將數據集對應的IRRG 圖像、DSM 圖像和標簽圖進行數據增強并隨機裁剪為224×224大小。

3.2 實驗結果

為了驗證DEFLNet 對遙感圖像分割的有效性，本文在Potsdam 數據集上進行實驗。首先，為了驗證提出的各個模塊的性能，分別對主干網絡特征提取、雙模態融合方式、上采樣方式和深層特征提取方式進行對比實驗。其次，為了評估提出的各個模塊的重要性，還對其進行消融實驗。最后，將提出的DEFLNet 與其他已有的模型進行對比實驗。本文采用準確率、精準率、召回率、F1 指數和交并比IoU（Intersection over Union）作為模型的評價指標來衡量遙感圖像分割效果。

3.2.1 主干網絡特征提取對比實驗分析

為了驗證DEFLNet 的編碼模塊對IRRG 圖像和DSM 圖像的特征提取效果，將其與MFFNet 的3 分支特征提取結構和AFNet的多路徑特征結構進行對比，實驗結果如表2所示。

表2 主干網絡對比（Potsdam）Table 2 Comparison of backbone network（Potsdam）/%

由表2 可知，本文提出編碼模塊的準確率為89.42%，比MFFNet 的特征提取模塊高2.8%，比AFNet 的特征提取模塊高0.98%。實驗結果表明，本文提出的編碼模塊具有高效的特征提取能力和很好的分割性能。

3.2.2 雙模態融合方式對比實驗分析

為了驗證提出的DFAB的融合效果，本文將其與其他融合方式進行實驗對比。以本文提出的編碼模塊為基礎，融合方式分別采用Fusenet（Hazirbas等，2016）中將編碼過程的兩種模態進行元素相加融合的Add操作；V-Fusenet在Fusenet的基礎上添加了虛擬路徑VP（Virtual Path）的操作；將兩種模態特征進行級聯融合的Concat 操作；本文提出的DFAB 操作。4 種不同融合方式的實驗結果如表3所示。

表3 雙模態融合方式對比（Potsdam）Table 3 Comparison of dual-modal fusion methods（Potsdam）/%

由表3 可知，本文提出的DFAB 的準確率、精確率、召回率、F1 指數和IoU 等評價指標都優于其他融合網絡。這表明DFAB具有高效的特征融合能力，可以有效提升分割準確性。

3.2.3 上采樣方式對比實驗分析

已有的分割網絡主要通過下采樣操作對多尺度、多層次的圖像進行特征提取，但該方法容易丟失較多高分辨率圖像的細節信息，因此后續信息恢復效果將直接影響遙感圖像的分割效果。本文利用MFUM 對圖像特征進行上采樣操作，與已有的上采樣方式反池化（unpool）、Unet 中的雙線性插值操作和全局注意力上采樣GAU（Global Attention Upsample）（Li等，2018）進行實驗對比，4種不同上采樣方式的實驗結果如表4所示。

表4 上采樣方式對比（Potsdam）Table 4 Comparison of Upsampling Methods （Potsdam）/%

由表4可知，本文提出的MFUM 的各項指標均優于其他上采樣模塊。在相同的雙模態融合方式下，與unpool 上采樣、Unet 上采樣和GAU 上采樣相比，MFUM 的準確率分別提升了1.79%，1.07%和0.1%；精確率分別提升了1.04%，0.15% 和0.68%；召回率分別提升了2.78%，1.2%和0.23%；F1 指數分別提升了2.28%，1.14%和0.17%；IoU分別提升了3.6%，3.15%和1.63%。實驗結果表明MFUM 具有高效的上采樣細節信息恢復能力，可以實現精準分割。

3.2.4 深層特征提取方式對比實驗分析

隨著遙感圖像分辨率逐漸降低，感受野逐漸變大，特征圖從細節信息逐漸往語義信息轉變。語義信息可以強化網絡對各分割類別的理解，因此有效提取圖像的深層特征有利于進一步改善遙感圖像分割效果。本文在融合模塊中增加DFEM，同時構建了DEFLNet，與添加SE 通道注意力進行對比，實驗結果如表5所示。

表5 深層特征提取方式對比（Potsdam）Table 5 Comparison of deep feature extraction methods（Potsdam）/%

由表5 可知，與SE 相比，本文提出的DFEM分割效果更好，準確率提升了0.76%，精確率提升了0.46%，召回率提升了0.76%，F1 指數提升了0.76%，IoU提升了0.32%。

3.2.5 模塊消融實驗

為了評估提出的各個模型的重要性，本節將逐步分解DEFLNet 以揭示每個模塊的效果。消融實驗中基準網絡（Baseline）的主干網絡采用本文提出的CM 去除IEM 后的結構，融合多路徑特征和聚合雙模態特征均采用元素相加的方式，上采樣采用unpool的操作。

由表6可知，融合多路徑特征時，使用IEM 替換基準網絡中元素相加的方式，使得遙感圖像分割的各項指標均最高。與基準網絡相比，準確率提升了1.28%，精確率提升了1.19%，召回率提升了1.19%，F1 指數提升了0.87%，交并比提升了0.88%。因此，IEM 是DEFLNet 中提升性能最重要的模塊，MFUM次之。

表6 各個模塊的消融實驗（Potsdam）Table 6 Ablation Experiments of Each Module（Potsdam）/%

3.2.6 DEFLNet與其他模型對比實驗分析

為了證明本文提出的DEFLNet的分割性能，將其與已有先進遙感圖像分割網絡MFFNet、MFANet，已有先進的雙模態遙感圖像分割網絡HA-MPPNet、AFNet、MMFNet 和MSFAFNet 進行對比。各類別的F1指數和總體精確率的實驗結果如表7所示。

表7 DEFLNet與其他模型對比（Potsdam）Table 7 Comparison of DEFLNet with other models（Potsdam）/%

由表7可知，本文的DEFLNet比已有的遙感圖像分割網絡擁有更好的分割性能。DEFLNet 在不透明表面、建筑物、低矮植被、樹木和汽車等類別達到了最好的分割性能，各類別的F1 指數均最高，分割精度高達94.52%。與AFNet 相比，各類別的F1 指數分別提升了0.02%，0.26%，1.22%，0.48%和0.06%，總體精確率提升了2.07%。

同時，本文在Vaihingen 數據集上進行了相同的對比實驗，結果如表8所示。

表8 DEFLNet與其他模型對比（Vaihingen）Table 8 Comparison of DEFLNet with other models（Vaihingen）/%

為了進一步驗證所提出的DEFLNet 分割的優越性，將該模型與MMFNet、MSFAFNet、HAMPPNet 和AFNet 在Potsdam 和Vaihingen 數據集進行了泛化對比實驗。圖9、圖10 和圖11 對Potsdam數據集中不同類別的特征分別進行分析，主要分為光譜特征非常相似的低矮植被和樹木、光譜特征非常相似的道路和建筑物、較小且易被遮擋的汽車。圖12是Vaihingen數據集分割結果對比。

圖9 Potsdam中低矮植被和樹木分割圖Fig.9 Segmentation of low vegetation and trees in Potsdam

圖10 Potsdam中建筑物和道路分割圖Fig.10 Segmentation of buildings and roads in Potsdam

圖11 Potsdam中汽車分割圖Fig.11 Segmentation of cars in Potsdam

圖12 Vaihingen分割圖Fig.12 Segmentation in Vaihingen

圖9表示分割網絡對低矮植被和樹木的分割結果，低矮植被和樹木具有非常相似的光譜特征，分割難度較大。以第一組圖片為例，圖中樹木較少且分布較分散。MMFNet 的右上方區域存在大量將樹木分割為低矮植被的情況，且右下方區域存在嚴重的粗略分割的情況；MSFAFNet 右上方區域錯誤分割較少，但是在左中的交界區域仍存在大量粗略分割，錯將低矮植被分割為樹木；HA-MPPNet和AFNet在錯誤分割方面有所改善，但是右下方區域邊緣分割仍然不夠清晰；DEFLNet 的分割效果最佳，分割錯誤的區域最少，左中區域的小樹木與標簽圖最符合，且右下方區域的邊緣分割最清晰。

圖10 表示分割網絡對建筑物和背景（道路）的分割結果，建筑物和道路具有非常相似的光譜特征，分割難度較大。以第一組圖片為例，圖中建筑物和道路斜對角分布，道路區域較多。MMFNet右邊區域和左中區域存在多處將道路分割為建筑物的情況；MSFAFNet 右中區域存在較多將建筑物分割為道路的情況，且分割邊緣模糊；HA-MPPNet右中區域分割錯誤區域較少，但是右下區域存在小部分將建筑物分割為道路的情況；AFNet分割錯誤區域有所改善，但是邊緣分割較粗糙；DEFLNet中建筑物和道路分割最精準，且兩者的邊緣分割最清晰。

圖11 表示分割網絡對汽車的分割結果，汽車尺寸較小且容易被遮擋，實現精準分割難度較大。第一組圖片中汽車被大量遮擋，MMFNet 和HAMPPNet 的右上方區域均存在將汽車檢測為樹木的情況；MSFAFNet和AFNet對汽車的分割效果較好，但是MSFAFNet中下方區域邊緣分割模糊，AFNet中下區域分割錯誤較多；DEFLNet 對汽車的分割效果最佳，中下方區域汽車的錯誤分割的部分最少。

圖12 表示分割網絡對Vaihingen 數據集的分割結果，第一組以樹木和低矮植被為主，對左邊區域較少的樹木進行分割時，其余4個網絡均沒有檢測出樹木，DEFLNet 識別出部分樹木，分割最精準。第二組以汽車為主，對特征不明顯的汽車進行分割時，MMFNet 和MSFAFNet 將其錯誤分割為道路，HA-MPPNet 和AFNet 能識別汽車，但是邊緣分割模糊，DEFLNet 能夠完整分割出汽車，準確度最高且邊緣清晰度有所改善。第三組以建筑物為主，本文模型分割建筑物邊緣最清晰，與標簽圖最符合。第四組以不透明表面為主，其余4個網絡均存在將不透明表面分割為低矮植被的情況，而DEFLNet的分割效果最好。

4 結論

針對已有雙模態網絡在遙感圖像分割上存在特征提取不充分、特征融合不合理、上采樣特征恢復不足等問題，本文提出了一個基于雙模態網絡的遙感圖像分割算法DEFLNet。首先，提出針對IRRG圖像和DSM 圖像特點的編碼模塊。該模塊分別提取IRRG 圖像的細節信息、語義信息和DSM圖像的空間信息，并在提取的過程中不斷交互融合。其次，提出雙模態特征聚合模塊動態調整兩個模態特征之間的映射關系，有效融合兩種模態的信息。此外，提出深層特征提取模塊從全局角度通過注意力獲取深層語義信息，進一步提高特征提取的充分性。最后，提出多層特征上采樣模塊對低分辨率圖像進行多層特征融合。在上采樣過程中，高層特征為低層特征不斷提供指導信息，實現特征的有效恢復。本文在ISPRS Potsdam 和Vaihingen 數據集上進行實驗，結果表明與其他分割模型相比，DEFLNet 更適用于分割光譜特征非常相似的低矮植被和樹木、建筑物和道路。不僅如此，對汽車等小目標也能實現精準分割。

本文提出的DEFLNet達到顯著提升分割準確度的效果，但是需要進一步降低模型的復雜度，且準確度仍有一定的提升空間。后續可以考慮融合兩種以上的模態特征，獲取更多特征信息，設計出更好的分割網絡以實現更加精準的遙感圖像分割。