基于分層特征提取和多尺度特征融合的高分辨率遙感影像水體提取深度學習算法

盛晟 萬芳琦 林康聆 胡朝陽 陳華

摘要：高精度的水體提取有助于水資源監測和管理。目前基于遙感影像的水體提取方法缺乏對于邊界質量的重視，造成邊界劃分不準確，細節保留度低的問題。為了提升遙感影像水體提取的邊界與細節的精度，提出了一種基于多尺度特征融合的高分辨率遙感影像水體提取深度學習算法，包括分層特征提取模塊與融合多尺度特征的堆疊連接解碼器模塊。分層特征提取模塊中，引入了通道注意力結構，用于整合高分辨率遙感影像中水體的形狀、紋理和色調信息，以便更好地理解水體的形狀和邊界。在融合多尺度特征的堆疊連接解碼器模塊中，進行了多層次語義信息的堆疊連接，并加強了特征提取，同時捕捉了廣泛的背景信息和細微的細節信息，以實現更好的水體提取效果。在自行標注的數據集與公開數據集上的試驗結果表明，模型的準確率達到了98.37%和91.23%，與現有的語義分割模型相比，提取的水體邊緣更加完整，同時保留細節的能力更強。提出的模型提升了水體提取的精度和泛化能力，為高分辨率遙感影像水體提取提供了參考。

關鍵詞：水體提??；高分辨率遙感影像；深度學習；多尺度特征融合

中圖分類號：P332文獻標識碼：A文章編號：1001-9235（2024）02-0045-08

Deep Learning Algorithm for Water Body Extraction from High-resolution Remote Sensing Images Based on Hierarchical Feature Extraction and Multi-scale Feature Fusion

SHENG Sheng¹，WAN Fangqi²，LIN Kangling¹，HU Zhaoyang³，CHEN Hua^1*

（1.State Key Laboratory of Water Resources Engineering and Management，Wuhan University，Wuhan 430072，China; 2.Jiangxi Institute of Natural Resources Surveying，Mapping and Monitoring，Nanchang 330009，China; 3.Fujian Provincial Investigation，Design & Research Institute of Water Conservancy & Hydropower，Fuzhou 350001，China）

Abstract： Highly accurate water body extraction can be helpful for water resources monitoring and management.The current methods of water body extraction based on remote sensing images lack attention to boundary quality，resulting in inaccurate boundary delineation and low detail retention.To improve the boundary and detail accuracy of water body extraction for remote sensing images，this paper proposes a deep learning algorithm for water body extraction from high-resolution remote sensing images based on multi-scale feature fusion.The model includes a hierarchical feature extraction module and a stacked-connected decoder module that fuses multi-scale features.In the hierarchical feature extraction module，a channel attention structure is introduced for integrating shape，texture，and hue information of water bodies in high-resolution remote sensing images to better understand the shapes and boundaries of water bodies.In the stacked-connected decoder module that incorporates multi-scale features，the stacked connection of multi-level semantic information and enhanced feature extraction are performed.Meanwhile，broad background information and fine detail information are captured to achieve better water body extraction results.Experimental results on both self-annotated and publicly available datasets show that the model yields 98.37% and 91.23% accuracy，and extracts more complete edges of water bodies while retaining more details than existing semantic segmentation models.The proposed model improves the accuracy and generalization ability of water body extraction and provides references for water body extraction from high-resolution remote sensing images.

Keywords：water body extraction;high-resolution remote sensing images;deep learning;multi-scale feature fusion

水體信息應用范圍廣，對于水資源管理、環境保護和災害監測等方面具有重要作用。遙感影像提供了及時的數據支持和廣泛的空間覆蓋，通過獲取和分析遙感數據，可以識別和監測水體的分布、變化和特征，幫助決策者和研究人員更好地理解和管理水體資源^［1］。遙感影像提取水體為水資源管理和環境保護提供數據支持，對促進可持續發展和維護生態平衡具有重要意義。

遙感影像水體提取方法有指數法^［2-3］和分類法^［4-5］。水體指數法通過分析影像中水體的光譜特性來選取特定波段構建水體指數，并設定特定的閾值進行水體提取^［6］。Mcfeeters^［7］根據植被與水體的不同反射特征構建了歸一化差異水體指數（NDWI），該指數強調水體特征，有效提取大面積區域水體、建筑物陰影與水體。分類法屬于機器學習方法，相較于指數法，它可以充分利用高分辨率影像及解譯過程中的光譜信息和空間特征（語義信息）。Sarp等^［8］采用支持向量機（SVM）對湖面進行水體提取，結果表明SVM方法在精度上優于NDWI。

近年，隨著深度學習的發展，神經網絡因其接近甚至超越人類的分類能力^［9］，且可結合語義（信息）分割進行遙感影像像素級二分類（水體和背景）來提取水體，引起了研究者的廣泛關注。王寧等^［10］選擇安徽巢湖流域為研究對象，分別采用UNet語義分割網絡與隨機森林針對高分一號（GF-1）影像進行水體提取，試驗結果表明語義分割網絡對于高分辨率影像水體提取更具優勢。陳前等^［11］借鑒Deeplabv3語義分割網絡^［12］設計基于高分辨率衛星影像的水體提取算法，驗證了語義分割網絡在水體提取方面的應用能力。Chen等^［13］設計WBE-NN語義分割網絡模型，其核心在于采用全局空間多光譜增強水體特征，提取大范圍語義信息，獲得了較高精度的提取結果。以上均說明了深度神經網絡能有效學習語義信息，提高水體提取的精度。

然而，遙感影像中的地物目標具有尺度效應^［14］，觀測結果會隨著觀測尺度改變而產生較大差異。水體在高分辨率影像下具有豐富的拓撲結構以及色彩信息，造成高分辨率影像水體特征豐富，空間復雜度指數級增加，解譯難度相對于低分辨率影像更高?？紤]到水體提取的效率和精度，越來越多研究開始嘗試利用深度學習網絡架構從高分辨率遙感影像中提取水體，特別是語義分割模型，包含FCN^［15］、Unet^［16］、PSPNet^［17］、DeepLab series^［18］等等，為水體信息的精確提取提供了新的思路和方法。然而，當前水體算法普遍重視區域精度，但是對于水體邊界提取質量缺乏重視，造成水體與岸線邊界劃分不夠準確。針對上述挑戰，提出一種基于多尺度特征融合的水體提取模型，實現神經網絡低層語義信息到高層語義信息的融合。模型借鑒了Deeplabv3+結構，采用了倒殘差結構^［19］進行分層特征提取，并加強對較高層級特征的提取，采用深度可分離卷積充分融合高中低級特征，保證模型在不同水體特征下的提取能力；采用空洞卷積進行特征圖尺寸恢復，保證了模型對于大面積水體與小面積水體的識別能力，同時可以實現水岸線的精細化識別。

1 研究方法

構建的模型總體上借鑒了DeeplabV3+網絡，整體結構見圖1。模型主要包括2個模塊，分別是分層特征提取模塊與融合多尺度特征的堆疊連接解碼器模塊，在分層特征提取模塊中，借鑒了MobileNetV3^［20］系列網絡中的倒殘差結構進行深度特征提取。其中，空洞卷積代替部分普通卷積操作提升模型感受野，保證模型對大范圍水體特征提取能力。在提取水體特征后，從中抽取3層水體特征信息進行融合，對2個較高層級的特征進行加強特征提取操作。

將3個層級的特征進行堆疊后采用2次深度可分離卷積充分融合高中低級特征，保證了模型在不同水體特征下的提取能力。模型采用空洞卷積進行特征圖尺寸恢復，在實現小面積水體特征抽取的基礎上，保證了大范圍水體提取的特征連續性。最后采用卷積核為1的普通卷積進行通道調整，輸出像素集的水體分割結果。該模型是一種端到端的水體提取網絡，模型輸入是高分辨率的衛星遙感影像，輸出結果為水體提取的掩膜圖和矢量圖層。

1.1 分層特征提取模塊

采用倒殘差結構進行分層特征提取，將第一個卷積層卷積核個數從32變為16，同時將Last Stage進行精簡，去除2組卷積塊，采用非線性激活函數Hardswish以減少運算成本。

在水體特征提取部分，由于要素自身特點以及傳感器的差異，水體在遙感影像中存在不同的尺寸特征以及色彩紋理特征，并且沒有特定拓撲結構。因此針對水體的提取需要充分融合高中低級特征，將主干特征提取網絡部分卷積操作更換為空洞卷積，以提升水體提取模型的感受野，保證模型對于大范圍水體的特征提取能力。最后從網絡的特征提取部分中間抽取3個層級的水體特征信息用于特征融合。

同時在模型主干特征提取網絡bottleneck中引入了通道域注意力機制SENet，網絡通過學習特征通道間的相關性，獲取每個特征通道的重要程度，可以強化通道中的重要特征來加強特征提取能力。網絡對輸入特征層進行2個主要操作包括壓縮（Squeeze）和激發（Excitation）。模型接受來自神經網絡的特征層后，利用全局平均池化將特征層高寬壓縮，見式（1）：

式中，u_c表示輸入特征矩陣中第c個二維矩陣；H、W分別表示矩陣的高、寬，此公式可以將C×H×W的特征圖壓縮為C×1×1，僅保留通道維度，之后利用全連接層獲取每個通道的權重值，再將結果與輸入特征層相乘即可獲得注意力修正后的特征圖，見式（2）：

式中，s_c表示經過Squeeze操作后生成的特征圖權重，因此實現了輸入特征圖在通道維度上的重新標定。

同時，重新設計了激活函數h_sigmoid，并用h_swish代替swish函數：

1.2 融合多尺度特征的堆疊連接解碼器模塊

多尺度特征融合結構見圖2。網絡引入了解碼（Decoder）模塊，將編碼（Encoder）模塊中輸出的低層和高層語義信息進行融合，并對高層語義信息進行空洞空間金字塔池化（ASPP），ASPP模塊中存在4個分支，每個分支都采用空洞卷積提升感受野，5個空洞卷積分別設置了不同膨脹率，分支中采用了全局平均池化和卷積操作，將5個分支特征進行堆疊并用核為1的卷積進行特征整合，即可獲得整張圖片的特征濃縮。最后，將加強特征提取后的高層語義特征上采樣并和低層特征疊加，進行卷積操作來融合特征^［21］。

1.3 損失函數

由于水體提取屬于二分類問題，只有正樣本與負樣本，正樣本為1，負樣本為0。因此損失函數是將輸出經過sigmoid激活后，利用二分類交叉熵損失函數計算：

ln（y|p）=－（ylnp+（1－y）ln（1－p）） ???（5）

式中 y——水體標簽值，取值為0、1；p——模型經過sigmoid輸出水體的概率值。

2 數據來源及預處理

為了保證模型的泛化性能，本試驗采用的遙感影像樣本融合了GF-1、GF-6、谷歌以及CCF BDCI競賽開源數據集。其中高分系列數據分辨率2 m，在總數據中占比80%，谷歌影像分辨率2 m，占比5%，開源數據分辨率1 m，采用最鄰近插值法進行重采樣至2 m，占比15%。多源數據相較于單一來源數據通常具有互補性與合作性的優勢，可以產生比單信息來源數據更精確和更可靠的評估與判斷，有利于提升最終水體提取模型的魯棒性與泛化能力，因此，研究選取的水體樣本覆蓋遼寧東港，湖南岳陽市，寧夏惠農區、原州區、中寧縣，江西南昌市，山西鎮安縣，遼寧振興區以及開源數據中覆蓋的地區。由于原始遙感影像存在幾何畸變，需要對原始影像進行底圖匹配、糾正、融合操作，最終獲取糾正后的遙感影像。

研究采用的水體樣本來源于地理國情調查，公開數據集以及手工標注數據。利用ArcGIS軟件，將地理國情調查數據覆蓋至高分衛星影像上，采用人工目視檢查的方式，修改調查矢量數據與底圖不匹配的地方，修改完成后，利用Python和GDAL將矢量數據轉換為像素值為0和255的二值掩膜圖，再將影像底圖與二值掩膜裁剪為256×256尺寸的訓練數據。公開數據集采用的則是2020CCF遙感解譯大賽的公開數據集，原始數據集有多類地物要素，從原始標注數據中將水體對應圖斑提取出來，制作成二值掩膜圖后，刪除不含水體的訓練樣本。手工標注的影像來源于湖北省某地區，利用ArcGIS軟件手工繪制水體該地區水體輪廓，制作水體矢量數據，其后利用與處理地理國情數據相同的方式將矢量數據轉換為二值掩模圖并裁減為256×256尺寸的訓練數據，見圖3。綜合以上數據預處理步驟，共獲取了41 912組水體樣本數據，按照9∶1比例劃分為訓練集與驗證集，分別包含37 720組訓練集與4 192組驗證集。測試數據來源于南昌市青山湖區，此地區數據沒有參與模型訓練，可以保證公平，選取該地區是為了測試模型對于大范圍真實場景的水體提取能力。

3 試驗結果與分析

3.1 試驗方案

為了判斷模型面向真實遙感影像的水體提取能力，同時保證模型效果的可復現性與可信度，分別在自行標注的數據和開源數據集上進行水體提取試驗。并且采用語義分割網絡中最為常見的對比模型FCN、PSPNet、UNet以及成熟的分割模型Deeplabv3_ResNet50、Deeplabv3_ResNet101為對比模型，以驗證所提出網絡結構的有效性。

3.1.1 真實應用試驗

為驗證不同網絡模型對同分辨率異源數據的水體提取效果，選取南昌某地區2021年度GF-1，3波段影像，分辨率為2 m，幅寬10 km×10 km。對該幅影像利用人工標注水體，以此作為水體指標評估的正樣本。通過對比試驗中各類模型在該異源數據的水體提取指標進行結果可視化與精度評估。人工標注的水體真值數據見圖4。

3.1.2 公開數據集

為了驗證模型在不同分辨率遙感影像上的泛化能力，選用公開的WHU-GID數據集進行6種網絡的預測結果可視化以及精度對比分析。GID數據集是武漢大學的夏桂松團隊采用中國GF-2影像數據構建的大規模土地類型覆蓋數據集，數據覆蓋全國60多個城市，覆蓋超過5萬km²的區域。研究采用其中的GID-5數據，原始數據中包含建筑物，農田，水體，草地與林地5大類土地分類。提取原始標簽中水體所對應的像素值，制作為單一水體標簽，將其與影像一同裁剪為512×512尺寸數據，制作水體數據集。

模型基于Python 3.8的PyTorch 1.11深度學習框架訓練。硬件設備環境為Intel Xeon Gold 6226R CPU，128GB RAM，Tesla T4-16GB×3，操作系統為Ubuntu20.04。在模型訓練過程中，訓練函數是參數優化的依據。采用的優化器為SGD隨機梯度下降，初始學習率為0.001，動量為0.9，權重衰減為1×10^-5，當模型訓練至97個epoch，學習率下降至3.84×10^-7。

3.2 評價指標

研究采用的評價指標為準確率（Accuracy）、精確率（Precision）、召回率（Recall）、交并比（IoU）和F1-Score。所有指標通過語義分割領域通用的混淆矩陣計算，見表1。

其中，準確率表示準確預測的樣本占總樣本比例，精確率表示正確預測為正的樣本占預測為正的樣本的比例，召回率表示正確預測為正的樣本占真實正樣本的比率；交并比表示預測的圖斑面積與正確圖斑面積的交集占預測圖斑面積和正確圖斑面積的并集的比例；F1-Score是介于精確率與召回率之間的綜合評估指標。指標計算見式（6）—（10）：

3.3 真實應用場景試驗

3.3.1 定性試驗分析結果

為了進行細節比較，將測試影像裁剪為512×512尺寸，制作成用于比較的圖片，選取的6種網絡在其上的可視化結果見圖5，其中第一列為原圖，第二列為真實標簽，后續分別為6種模型的水體提取結果。

從圖中可以看出，FCN網絡特征可以提取較多語義信息，但是由于精度不夠，不適合進行像素級別的分割，導致效果較差；PSPNet所采用的金字塔場景分析網絡，為像素級分割任務提供了良好的框架，但是其對于大范圍水體邊界的提取效果不佳；UNet是語義分割領域的經典網絡，采用編碼器-解碼器結構與跳躍連接機制，在遙感解譯流域有著不錯的效果，但是在上述采樣過程中，會淡化特征，在影像水體提取中，存在水體提取輪廓不完整的問題；成熟的模型Deeplabv3_ResNet50和Deeplabv3_ResNet101在水體提取中也取得了較好的效果，但是由于缺乏對特征的關注度，導致對于細小坑塘水體的提取效果稍差；根據模型對于實際應用場景的提取效果可以看出，搭建的模型能夠完整提取大范圍的水體邊源信息，提取的水體邊界與堤岸的吻合度最高，同時能夠解決其他模型對于細小坑塘水體的遺漏現象，提升水體提取召回率。

3.3.2 定量試驗分析結果

采用不同指標對測試期模型精度進行評價，結果見表2。研究提出的模型在各項指標上均優于5個對比網絡，其中Accuracy為98.37%，Precision為95.90%，Recall為97.43%，IoU為93.62%，F1為96.66%，與FCN、PSPNet、UNet相比，精度提升明顯。與成熟的語義分割網絡Deeplabv3_ResNet50和Deeplabv3_ResNet101相比，Accuracy分別提升1.47%和0.78%，Precision分別提升4.67%和0.95%，Recall分別提升1.87%和0.51%，IoU分別提升5.88%和1.13%，F1分別提升3.32%和0.77%。綜上可以驗證本算法的有效性。

3.4 GID數據集試驗分析

3.4.1 定性實驗結果分析

處理并裁剪開源GID測試數據之后，不同網絡在其上的可視化結果見圖6，其中第一列為原圖，第二列為真實標簽，后續分別為不同模型的水體提取結果。由于FCN模型在3.3節中的試驗表現較差，因此在本節中不參與對比。根據圖7中水體提取結果可以看出，研究所提出的模型在GID公開數據集中的水體提取效果差于自行制作的數據集，這可能是由于GID水體數據集中的水體影像光譜特征，陰影特征多樣所致。同時，GID數據集中提取的水體樣本有限也可能是原因之一。然而，研究所提出模型的水體提取效果依舊優于其他模型，模型提取的水體邊緣較其他對比網絡更完整，同時保留細節的能力更強。通過和其他模型對比，研究所提出的模型在公開數據集中驗證了自身的有效性。

3.4.2 定量試驗結果分析

表3所示，改進的網絡在各項指標上均優于5個對比網絡，其中研究所提出的模型Accuracy為91.23%，Precision為88.41%，Recall為90.80%，IoU為81.22%，F1為89.59%。與PSPNet和UNet相比，精度提升明顯。與成熟的語義分割網絡Deeplabv3_ResNet50、Deeplabv3_ResNet101相比，Accuracy分別提升2.94%和1.02%，Precision分別提升2.06%和1.56%，Recall分別提升1.69%和0.44%，IoU分別提升1.89%和0.61%，F1分別提升1.91%和1.02%，綜上可以驗證本算法的有效性。

上述對比試驗清晰地展示了研究提出的模型在水體提取任務中的優勢。這些優勢主要源于本模型的幾個重要特性：首先，采用空洞卷積技術來擴大感受野，而不增加參數數量或計算復雜度，使得模型能夠捕捉到更廣闊的上下文信息，從而更好地理解水體的形狀和邊界；其次，本模型通過融合不同尺度的特征圖，同時捕捉到了廣泛的背景信息和細微的細節信息。水體邊緣通常由微小的紋理和顏色變化構成，因此模型在水體邊緣檢測方面表現出了更強的能力提升。

4 結論

提出了一種用于高分辨率遙感影像水體提取任務的深度學習語義分割模型，包括2個模塊：特征提取模塊與堆疊連接解碼器模塊。前者對輸入的高分辨率影像進行特征提取，采用空洞卷積技術擴大感受野，使得模型能夠捕捉到更廣闊的信息；后者主要由堆疊級聯與加強特征提取模塊組成，在通道以及空間維度對目標特征進行強化，提升水體邊緣檢測的能力。在自行標注以及公開數據集上，模型的準確率達到了98.37%和91.23%，召回率達到了97.43%和90.8%，明顯優于其他語義分割模型。并且提出模型能夠相對完整地提取水體的邊界信息，同時保留細節的能力更強，解決了其他模型對于細小坑塘水體的遺漏現象。試驗證明了提出模型能夠顯著提高水體檢測性能，為高分辨率遙感影像水體提取任務提供了更好的解決方案。

參考文獻：

［1］陳亮，張波，穆磊，等.基于混合像元分解法的黃河河道水體遙感監測［J］.人民珠江，2016，37（10）：34-37.

［2］王小標，謝順平，都金康.水體指數構建及其在復雜環境下有效性研究［J］.遙感學報，2018，22（2）：360-372.

［3］黃汝根，孫祥鵬，牟舵.基于“高分一號”遙感影像水體提取方法的對比分析［J］.人民珠江，2017，38（3）：66-70.

［4］段秋亞，孟令奎，樊志偉，等.GF-1衛星影像水體信息提取方法的適用性研究［J］．國土資源遙感，2015，27（4）：79-84.

［5］廖鈺冰，周峰.基于時序高分一號影像的平原河網區水體信息快速提取研究［J］.人民珠江，2020，41（1）：34-38.

［6］蘇龍飛，李振軒，高飛，等.遙感影像水體提取研究綜述［J］.國土資源遙感，2021，33（1）：9-19.

［7］MCFEETERS S K.The use of the Normalized Difference Water Index （NDWI） in the delineation of open water features［J］，International Journal of Remote Sensing，1996，17（7）：1425-1432.

［8］SARP G，OZCELIK M.Water body extraction and change detection using time series：A case study of Lake Burdur，Turkey［J］.Journal of Taibah University for Science，2018，11（3）：381-391.

［9］CAO Y R，HE Z J，WANG L J，et al.VisDrone-DET2021：The vision meets drone object detection challenge results［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision，2021：2847-2854.

［10］王寧，程家驊，張寒野，等.U-net模型在高分辨率遙感影像水體提取中的應用［J］.國土資源遙感，2020，32（1）：35-42.

［11］陳前，鄭利娟，李小娟，等.基于深度學習的高分遙感影像水體提取模型研究［J］.地理與地理信息科學，2019，35（4）：43-49.

［12］CHEN L C，ZHU Y，PAPANDREOU G，et al.Encoder-decoder with atrous separable convolution for semantic image segmentation［C］//Proceedings of the European Conference on Computer Vision （ECCV），2018：801-818.

［13］CHEN Y，TANG L L，KAN Z H，et al.A novel Water Body Extraction Neural Network （WBE-NN） for optical high-resolution multispectral imagery［J］.Journal of Hydrology，2020，588.DOI：10.1016/j.jhydrol.2020.125092.

［14］王冬玲，舒清態，王強，等.基于偏最小二乘回歸的高山松生物量遙感模型空間尺度效應分析［J］.西南林業大學學報（自然科學），2020，40（4）：87-93.

［15］LI Z S，ZHANG X L，XIAO P F.Spectral index-driven FCN model training for water extraction from multispectral imagery［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2022，192：344-360.

［16］張慶港，張向軍，余海坤，等.一種輕量級網絡模型的遙感水體提取方法［J］.測繪科學，2022，47（11）：64-72.

［17］ZHAO H S，SHI J P，QI X J，et al.Pyramid scene parsing network［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：2881-2890.

［18］張永洪，孫路遙，席夢丹.DeepLab V3+網絡在遙感影像中城市水體的提取方法［J］.西安文理學院學報（自然科學版），2023，26（2）：93-98，104.

［19］SANDLER M，HOWARD A，ZHU M L，et al.Mobilenetv2：Inverted residuals and linear bottlenecks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：4510-4520.

［20］HOWARD A，SANDLER M，CHU G，et al.Searching for mobilenetv3［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision，2019：1314-1324.

［21］CHEN L C，PAPANDREOU G，KOKKINOS I，et al.Deeplab：Semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected crfs［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，40（4）：834-848.

（責任編輯：向 飛）