改進U-Net模型的無人機影像在建道路分類

胡榮明,魏青博,競霞,廖雨欣,任樂寬

(西安科技大學 測繪科學與技術學院,西安 710054)

0 引言

道路作為一種基礎性設施,是我國交通系統的重要組成部分[1],獲取及時而完備的道路數據信息在數字城市建設、經濟城市發展和無人自動駕駛等領域發揮著重要作用[2]。無人機遙感技術的出現在道路等地表附著物精細化量測的發展中至關重要[3],當前,國家在道路建設上不斷加大投資力度,呈現出逐年增長狀態。在道路工程建設中,項目進度的管理是一個非常重要的環節,它直接關系到項目建設工期、成本控制以及質量目標的具體實現[4]。在道路建設項目的施工過程中,施工進度與實際管理進度間的不協調會影響工程的建設和效益。為了滿足城市道路建設項目精細化管理的需要,利用無人機影像分類提取城市在建道路信息和檢測分析道路建設情況,可以提高道路建設和管理的質量,為在建道路項目的施工進度監測提供參考依據,促進項目高效實施與完成,從而實現更好的社會效益和經濟效益。

近年來,隨著學者們采用深度學習方法實現遙感影像信息提取的研究不斷深入[5],深度學習模型針對遙感影像道路信息提取領域產生了越來越多的應用研究[6]。目前,用于遙感影像語義分割的最佳架構之一是U-Net模型[7]。U-Net網絡在編碼部分借助兩卷積層完成特征提取,之后使用一個平均池化層進行下采樣操作[8]。ResNet網絡則采用添加快捷機制的手段進而提升網絡訓練的深度,有效解決了梯度消失問題,同時加速了網絡的收斂[9]。Zhang等[10]提取ResNet和U-Net模型的優勢,提出針對道路提取應用的深度殘差U-Net模型,優化了深層模型的訓練,但該方法受訓練數據集的影響較大,且單一模型提升的精度有限。王卓等[11]提出基于U-Net改進的深度神經網絡,借助Batch Normalization與Dropout解決訓練中過擬合現象,但對建筑密集、陰影及樹木遮擋區域的提取效果欠佳。葛小三等[12]提出基于DeeplabV3+語義分割的深度學習提取道路的方法,借助融合多孔空間金字塔池化的方法,提高了道路邊界的劃分性能,提取結果F1分數達到87.27%,但模型結構精度提升有限。楊佳林等[13]提出結合上下文信息與注意力機制的U-Net道路分割模型,提升網絡對于道路邊緣區域的分割效果,但召回率僅84.72%,模型泛化能力需要提高。何哲等[14]提出采用混合尺度注意力的U-Net網絡提取道路方法,增強對跨度大、狹窄道路的分割效果,但模型交并比為65.60%,仍有待研究提高。綜上,盡管深度學習具有極強的局部信息提取能力,但在遙感影像道路提取領域中,當前的特征提取結構、注意力機制與空間金字塔池化模塊仍有改進的余地,而在建道路往往還具有背景復雜、道路遮擋多、變化程度大等特點,因此建設完成的道路提取模型在無人機影像中提取在建道路適用性較差,不可直接遷移,需要進一步研究與改善。

針對以上問題,本文提出一種基于改進的U-Net無人機影像在建道路提取方法,該方法以U-Net模型為基礎,在下采樣階段逐層用多尺度骨干網絡結構(Res2net)模塊保存細節信息及更深層次的特征信息;同時,引入輕量級雙注意力機制(convolutional block attention module,CBAM)并聯結至解碼各層次階段,沿著淺層特征的通道維度和空間維度,并行對輸入的特征圖進行重新校準,在抑制背景信息的同時,增強在建道路信息的關注程度。另外,加入改進的密集空洞空間金字塔池化模塊(Dense ASPP),獲取多尺度特征進而增強局部模糊特征的識別能力。本文改進方法有效將在建道路高維度與低維度信息融合,提升道路邊緣區域的分割效果。

1 數據來源與預處理

1.1 數據來源

本文使用的無人機影像采集于陜西省西安市歐亞三路至歐亞六路區間的廣運潭大道。采集數據時,歐亞三路至歐亞六路區間的道路處于施工階段,無人機的兩個飛行時段分別為2021年7月25日和8月1日,數據采集平臺為大疆精靈4型旋翼無人機,獲取數據期間天氣晴朗,地面風速小于3級,陽光充足,適于無人機航拍。無人機飛行參數設置為高度150 m,航向重疊度和旁向重疊度均為80%。

1.2 在建道路結構層分類

城市道路工程中,依據道路工藝結構與建設階段,在建道路結構層主要可劃分為3層:土基層、基層、面層[15]。面層位于整個路面結構的最上層,其表面具有良好的抗滑性和平整度。路基層位于面層之下,土基之上,強度較高,剛度較大,并有足夠水穩性。土基層是道路的基礎,位于基層之下,是經過開挖或填筑而形成的土工構筑物。同時,在道路影像中,工程材料堆放往往會導致在建道路面層、基層和土基分類錯誤,導致提取結果出現較大誤差,因此,將其分類作為單獨類別進行提取分析。各道路階段類別對應的建設材料及影像特征如表1所示。

表1 城市道路各建設階段類別對應材料及影像特征

1.3 數據處理與數據集創建

將無人機采集數據整理后,使用Agisoft Metashape Professional數據處理軟件,對原始的航拍數據進行處理得到研究區DOM數據。兩期影像的空間分辨率分別為3 cm、4 cm,有紅、綠、藍3個通道。處理獲取的影像表明,研究期間包括道路土層、基層、面層各階段的施工情況,同時,在建道路部分道路形狀復雜,包括工程用料、施工器械、建設廢料等的遮蓋干擾,較好地反映了真實工程環境下在建道路的特點。

本文在建道路分類模型屬于監督學習類型,訓練樣本為人工標注的語義圖像,采集生成影像不具有標簽和語義特征,借助ArcGIS工具進行分類影像語義標注,將影像裁為512像素×512像素的圖像塊,標注0代表背景值,1代表道路面層,2代表在建基層,3代表在建土層,4代表工程材料,制成與之一一對應的真實道路標簽,獲得共3 360幅影像數據,根據8∶1∶1比例劃分為訓練集、驗證集與測試集。

2 模型構成

本文模型的編碼器單元采用Res2net網絡獲取圖像特征,引入CBAM雙注意力機制,實現特征通道維度和空間維度的平衡。利用Dense Aspp模塊融合不同區域特征,獲取更加豐富的上下文信息,增強模型的分割性能,將注意力機制模塊的輸出特征進行上采樣并與特征提取網絡最后階段特征信息拼接,采用卷積操作進行特征融合與通道調整,最后經過上采樣操作和像素分類運算獲取預測圖像,對圖像進行分類。圖1為改進U-Net在建道路提取分類模型結構示意圖。

圖1 改進U-Net城市在建道路提取分類模型結構

2.1 特征編碼模塊

由于建設道路地物種類較多且數量龐大,在建道路無人機影像整體與局部特征信息結構繁雜,傳統U-Net模型借助23層卷積結構,不能充分提取在建道路無人機影像中的地類間深度信息,而Res2net結構可以在更細粒度級別上提取捕捉多尺度特征,提取建設道路的深度語義信息。為了提取保存每層次細節信息及更深層次的特征信息,在模型下采樣階段,本文使用Res2net模塊逐層替換U-Net編碼層,進而基于50層卷積結構將最深層特征圖下采樣倍率加深至32。同時,用更小的濾波器組替換原有通道的3×3卷積層,以類殘差的層次化方式連接增加輸出特征所能代表的尺度的數量,使感受野能夠在更細粒度級別上的變化捕獲細節和全局特性。

2.2 卷積注意力模塊

為了保證模型的運行速度和防止計算機顯存溢出,如圖1所示,本文將CBAM模塊橋接與Res2net各階段層數據模塊,按序于通道和空間維度借助分派計算權重的方法強調在建道路特征,在減輕背景數據影響的同時,提高網絡提取分類預測能力,保障模型運行的穩定性。CBAM結構最初于通道維度對表層特征數據同時采用全局最大池化及全局平均池化操作,針對特征矢量借助全連接層分配權重數據,增強通道維度特征信息,之后于空間維度針對通道域獲取的特征矢量完成最大池化和平均池化壓縮,獲得二維特征矢量,采用卷積分配權重,進行空間維度在建道路特征信息數據增強。CBAM結構內部運行與變化見圖2。

圖2 CBAM注意力機制

2.3 金字塔池化模塊

無人機影像中建設道路不同階段間的邊界情況復雜零散,同時模型編碼器增加了提取特征信息深度,原U-Net解碼器無法有效滿足特征信息上采樣計算與拼接要求,不能充分獲取建設道路邊界細節信息。本文在特征解碼部分加入密集空洞空間金字塔池化結構,見圖3,為滿足編碼器第4層Res2net結構數為6的情況,將擴張卷積塊增至5個,每個擴張卷積塊結構一致,膨脹率不同。擴張卷積塊均具有兩層卷積,首層是普通卷積層,針對輸入數據完成卷積獲取特征信息,可保證輸出通道數恒定,有效控制網絡模型大小。第2層卷積是擴張卷積層,本文擴張率增加,選取3、6、12、18、24,對影像進行特征提取,擴張卷積塊的擴張率為逐層提高,見圖3。前層擴張卷積塊的輸出特征信息皆與預特征信息堆疊后進入下層卷積塊,最終獲取覆蓋范圍更廣且信息密集的在建道路特征。

圖3 密集空洞空間金字塔池化結構

2.4 交叉熵損失函數

損失函數用于量度預測值與真實值之間的差異程度,本文改進U-Net的道路提取模型采用交叉熵損失函數(cross entropy loss)進行訓練,表達如式(1)所示。

(1)

在遙感影像在建道路語義分割中存在一個問題,在建道路像素數量遠小于背景像素數量,就會使得模型嚴重偏向于背景,導致分割效果較差。針對這種情況,本文采用交叉熵損失函數加入正則化懲罰項作為損失函數來解決樣本分布不均衡的問題。

3 實驗與分析

3.1 實驗環境與參數設置

為驗證該算法對無人機影像城市在建道路提取的有效性,利用所制作的標簽數據集對網絡進行訓練。實驗硬件CPU為12核Intel(R) Xeon(R) Platinum 8255C CPU @ 2.50 GHz,GPU為NVIDIA GeForce RTX 2080Ti,11 GB顯存,開發環境為Windows下pytorch1.10.0、cuda11.3、python3.8。在模型訓練中,初始學習率設置為0.001,最大迭代次數150次,參數在逐層優化中達到最優,損失值降為0.05,此時完成訓練,通過訓練計算的模型參數進行預測,獲取分類結果圖。

3.2 精度評價指標

為定量分析模型提取在建道路的性能,選取總體分類精度(OA)、F1分數(F1-score)、交并比(IoU)、宏F1均值(Macro-F1)、平均交并比(MIoU)和Kappa系數來評估改進的U-Net模型與其他主流語義分割模型的特性。IoU為每類上真實值和預測值兩個集合交集與并集的比值,MIoU用于評價預測對象與目標對象的匹配比例[16]。OA為所有像素分類結果與其對應標簽的實際類型相同的概率。F1-score是衡量各類別精確度(precision)與召回率(recall)的綜合評價指標,反映模型對正負樣本的識別和區分能力[17]。Macro-F1是對各類別F1-score的平均,用于評價多分類問題精度,不受數據不平衡影響[18]。Kappa系數為分類與完全隨機分類產生錯誤減少的比例。

3.3 實驗結果及分析

1)消融實驗。為驗證本文所設計改進U-Net模型的有效性,以傳統的U-Net模型為基礎,設計了將U-Net模型特征編碼模塊逐層更換為Res2net結構的實驗a,進而設計在實驗a編碼器與解碼器間橋接CBAM注意力機制的實驗b,最后設計了在實驗b的解碼模塊引入密集連接的Dense ASPP結構的實驗c,借助常用語義分割指標進行評價分析,消融實驗結果見表2。

表2 消融實驗結果分析 %

根據表2中數據可知,相較于傳統U-Net,實驗a模型的平均召回率、平均交并比及F1宏平均分別提高了13.81%、5.68%和7.04%,模型精度提升效果顯著,表明采用Res2net結構替換傳統U-Net模型編碼階段能夠更有效,更深層次提取影像中在建道路整體與局部特征,提升分類結果的準確性。相對于實驗a,實驗b的平均精確率與F1宏平均分別提高了1.22%和1.01%,表明橋接CBAM模塊于編碼器和解碼器突出了在建道路特征,抑制背景數據影響,增強了網絡分類預測能力。實驗c各項評價指標均優于實驗b,說明解碼部分引入Dense ASPP增強了在建道路復雜邊界的分割能力,將模型提取特征有效地保存并表征,同時實驗c較其他實驗指標均為最優,表明了本文改進U-Net模型的先進性。

2)不同分割方法性能分析。為了進一步驗證改進U-Net模型對在建道路各階段分類效果,將本文方法與經典U-Net、FCN、DeeplabV3+等網絡進行訓練比較,訓練成果的各項參數評價見表3。

表3 在建道路分割方法對比

由表3可知,在MIoU方面,傳統U-Net算法的平均交并比為77.64%,對比模型中平均交并比較高的有DeeplabV3+(78.01%)、FCN(77.70%)、HRnet(75.96%),本文改進U-Net模型的平均交并比為86.15%,較傳統U-Net、DeeplabV3+、FCN和HRnet模型分別提高了8.51、8.14、8.45和10.19個百分點。在Macro-F1方面,傳統U-Net算法F1宏平均為82.89%,對比模型中F1宏平均較高的有DeeplabV3+(87.05%)、FCN(86.06%)、HRnet(84.28%),本文改進U-Net模型的平均交并比為91.65%,較傳統U-Net、DeeplabV3+、FCN和HRnet模型分別提高了8.76、4.6、5.59和7.37個百分點。同時,在平均召回率和Kappa系數方面,本文改進模型均優于傳統U-Net、FCN、HRnet和DeeplabV3+等模型?？傮w來說,本文改進U-Net模型對在建道路各階段分割精度更高,模型的可靠性和穩定性得到提升。

選擇7種模型在測試集隨機選取部分影像進行可視化展示,見圖4。根據不同網絡分割結構比較可以看到,第1列影像中,本文模型對在建道路面層、小部分基層與土層及工程材料識別清晰,沒有出現其他模型的空洞情況,第2列、第3列影像表明針對大面積的在建道路面層、基層、土層,本文模型分割邊緣規整,沒有出現其他模型的較大凸出或凹陷現象。

圖4 在建道路模型分類結果可視化

第4列至第6列影像表明本文模型對工整、零散、復雜堆放的工程材料的分割上沒有出現其他模型的漏分錯分現象?？梢暬Y果進一步表明,本文改進的U-Net模型能有效均衡空間通道兩維度,捕捉信息間的總體相關情況,抓取上下文特征數據,增強了特征信息表現力,加強了模型學習性能和摒除干擾能力,提高了網絡的精度和可靠性。

為了更準確定量分析本文改進的U-Net模型的性能,對本文模型及對比模型在道路面層、基層、土層、工程材料和背景數據的分割能力進行對比分析,結果見表4。

表4 在建道路各類別對象分割結果 %

對比表4中道路面層、基層、土層、工程材料及背景在各方法的IoU及F1分數可以看出,道路面層的交并比及F1分數最高,背景、道路基層、土層次之,工程材料最低。同時,雖然整體遙感影像中背景占比最大,但損失函數正則化懲罰項有效抑制了面積對類別分類精度的影響,保證了模型對道路類別分割的準確性。從實驗結果整體比較分析可得,本文模型在道路面層、基層、土層、工程材料和背景數據的交并比、F1分數皆優于其他對比網絡,說明了本文模型對提升在建道路各工藝階段的分類精度具有良好的效果。

根據不同模型的分割效果對比可知,本文改進的U-Net方法相較于FCN、DeeplabV3+、Segformer等方法來說,對道路各工藝層邊界的識別分割程度更高,對不同尺寸的同類對象的辨識力更強,有效捕捉獲取多層次維度信息特征,將地物邊緣信息恢復得更加詳細完整。同時,本文模型相較于傳統U-Net網絡,存在的漏分及錯分現象更少,對道路各層的分割效果更佳?？傮w的比較進一步證明了加入CBAM注意力機制,引入特征提取Res2net模塊、Dense Aspp結構及加權損失函數的必要性。

4 結束語

本文將深度學習卷積神經網絡應用于無人機影像在建道路分類提取,為解決無人機影像背景駁雜,城市在建道路分類易被相似目標、建設設施等信息干擾的問題,設計了改進的U-Net網絡架構。在此基礎上,選取道路面層、道路基層、道路土層和工程材料共4類典型在建道路工藝層,進行7組不同分類模型的實驗對比。本文改進的U-Net模型的平均召回率為96.05%,平均準確率為88.20%,平均交并比為86.15%,F1宏平均分數為91.65%。通過對比實驗證明,本文改進的U-Net深度學習網絡在高分辨率無人機影像分類提取中具有較強的可行性和準確性,可自動化提取建設道路各階段信息,為開展無人機影像在建道路施工進度監測提供了一種高效的智能解譯方法。同時,由于本文采用無人機影像波段數有限,特征學習豐富度受到了一定的限制,且道路進度監測應用需進一步加深量化分析等研究,后續會嘗試補充多通道或多源數據增加信息特征,提高模型對在建道路各階段分類效果以及提升模型在道路進度監測項目中的精度和可靠性。