基于注意力機制語義分割網絡的大壩裂縫檢測方法

王澤燾

(甘肅電投河西水電開發有限責任公司,甘肅 張掖 734000)

大壩運行時,通常伴隨著流水風力侵蝕、地質環境變化、混凝土老化等現象,大壩表面不可避免地會產生裂縫[1-2],若不及時維修,裂縫會擴展到壩體內部,形成滲漏,嚴重影響大壩運行。對大壩裂縫進行實時檢測,可以及時解除問題隱患,對保證大壩安全可靠運行具有重要意義。

大壩裂縫檢測歷來是水工界中外學者研究的重點問題。李生勇等[3]基于數字圖像處理的理論構建一套裂縫檢測系統,將采集到的圖像經數字圖像處理得到含裂縫的二值化圖,進而獲得裂縫的特征參數。唐忠海等[4]利用傾斜攝影測量技術對大壩立體建模,在模型上提取裂縫的空間位置,建立裂縫信息數據庫,可以較好地評估裂縫隨時間變化的狀態。徐波等[5]采用聲波機理探測壩體存在的裂縫,當脈沖波在壩體混凝土中傳播時,測定幾個時相聲波在混凝土中的波速、首波振幅和頻率等聲學參數,判斷裂縫的發育狀況。Cho等[6]將地面激光掃描儀獲得的數據轉換為八叉樹結構,用改進的剪枝算法結合中值過濾和K-means聚類結果刪除表面的非裂縫部分,根據Otsu的二值化方法檢測裂縫體。Xu等[7]提出一種基于裂縫特征增強和注意力機制的大壩裂縫檢測模型,生成對抗網絡擴充大壩裂縫圖像數據集,采用注意力機制對裂縫特征進行增強,實驗結果表明網絡對大壩裂縫具有較好的檢測效果。

隨著技術的進步,研究人員發展了多種大壩裂縫測量技術,但也存在著一些不足:人工檢測、全站儀檢測、光纖傳感器檢測耗時耗力,實時性不高,危險性較大;傳統圖像及機器視覺的方法檢測精度不高、特征提取困難;現有基于深度學習的檢測方法無法完整提取裂縫表面,存在間斷和邊緣提取不準確的問題。對此本文提出一種基于改進的U-net網絡結構的語義分割網絡模型,引入自注意力機制模塊,使網絡能夠更好地顧及裂縫固有的細而長的特征,得到裂縫完整的分割結果,進而采用形態學方法對分割結果進行處理,提取裂縫的幾何信息,并對特征信息進行分析。

1 大壩裂縫數據集構建

深度學習是以數據驅動的算法,數據集質量和數量直接影響最終的任務結果,對此需要高質量的大壩裂縫數據集,經文獻查閱沒有找到相關高精度裂縫數據集。對此選擇甘肅省某河流3座梯級電站作為實驗對象,大壩參數見表1。對上述大壩操控輕型無人機,近距離進行密集拍攝,獲得1446張RGB原始圖像,部分原始圖像見圖1,圖像大小為7952×5304,空間分辨率為0.0007m,采用空三軟件對圖片進行幾何糾正,采用EISeg對圖像中的裂縫進行標注,將原始數據按7∶1∶2比例劃分成訓練集、驗證集和測試集。對原始圖像和標注圖像進行裁剪,丟棄沒有裂縫的圖像,并對裁剪后的圖像進行常規圖像增強操作,最終得到9880張訓練集,1411張驗證集,2822張測試集。

圖1 部分原始圖像

表1 大壩參數

2 研究方法

深度卷積神經網絡的核心是卷積神經網絡結構[8],它由多層卷積層、池化層和全連接層堆疊組成。卷積神經網絡具有局部感知性、權值共享和多層抽象等特點,可以學習到對象的特征。激活函數將非線性特征引入到網絡中,提高網絡的特征表達能力。批量歸一化操作可以起到正則化[9]的效果,加速網絡收斂,提升網絡模型訓練精度,設計的網絡結構在卷積層后采用批量歸一化操作。網絡通過建立的損失函數,經一定的優化算法對權重參數進行更新,最終得到滿足任務需求的網絡模型,進行大壩裂縫檢測。

2.1 注意力機制語義分割網絡

裂縫對象在形態結構上表現為細長,既有小尺度特征,又有大尺度特征,裂縫的紋理結構與周圍背景墻面相近,針對大壩裂縫的特性設計基于注意力機制的網絡結構,見圖2。該網絡結構以U形結構[10]作為主體架構,包含解碼器、編碼器及多尺度的注意力機制模塊[11]。編碼器借鑒MobileNetV3-Small[12]搭建,在五個尺度上對裂縫特征進行提取,可以更好地捕獲裂縫細長的特征,高分辨率的特征空間細節信息豐富,有利于發現裂縫“細”的特征,低分辨率的特征空間語義信息豐富,可以充分發現裂縫“長”的特征,可以更好地將裂縫與其他對象區別開來,最后將基于每個尺度得到的特征圖橫向送入注意力機制模塊A。注意力機制模塊見圖3,該模塊對編碼器每個尺度輸出的特征圖分別在通道、兩個空間方向做自注意力機制處理,可以更好地捕獲裂縫特性及其全局依賴關系,在空間維度對特征圖進行加權處理,可以實現對非裂縫特征的過濾,強化裂縫特征。解碼器部分將注意力機制送出的結果與前一級低分辨率的結果進行拼接處理,得到不同尺度上的預測結果,編碼器依次向上傳播,最終得到檢測結果。

圖2 注意力機制語義分割網絡

圖3 多尺度注意力機制模塊

2.2 網絡模型訓練

在制作的數據集上進行實驗驗證,注意力機制語義分割網絡基于PyTorch深度學習框架實現,并在一臺帶有Nvidia 1080Ti 11G GPU的計算機上訓練。在訓練中,批量大小設定為10,優化器采用Adam[13],初始學習率為0.001,利用MultiStepLR衰減策略更新學習率。采用從ImageNet數據集上得到的MobileNetV3-Small相應權重對編碼器進行初始化,可以提升網絡數值穩定性,防止梯度消失和梯度爆炸,加快網絡收斂速度。

2.3 評價指標

大壩裂縫語義分割任務可以看作是一種像素級的二分類問題,其中裂縫為正樣本(Positive),其他視為背景,作為負樣本(Negative)。在本次任務中網絡預測正確記為True,預測錯誤記為False。所有預測結果均可以構成二分類任務的混淆矩陣。裂縫被模型預測為裂縫的數量,記為TP,將背景預測為裂縫的數量,記為FP,將背景預測為背景的數量記為TN,將裂縫預測為背景的數量記為FN?；谝陨辖Y果,可以計算測試集結果的精確率(Precision)、召回率(Recall)以及交并比(IoU)。

精確率(Precision)指的是模型預測為裂縫的像素中實際為裂縫的像素數量占總預測為裂縫像素數量的比例,見式(1)。召回率(Recall)指的是預測為裂縫的像素數中實際為裂縫數量占總裂縫數量的比例,見式(2)。交并比(IoU)表示預測的裂縫像素數量與網絡預測的像素數量、預測錯誤像素數量以及沒有預測出的裂縫像素和的比值,見式(3)。相比準確率和召回率,IoU是一個更加嚴格的評價指標,在語義分割任務中,IoU通常作為主要指標來衡量方法的性能。

(1)

(2)

(3)

3 裂縫檢測與結果分析

采用訓練好的網絡模型對測試集數據進行預測,得到的部分預測結果見圖4。圖4中第一行圖像為原始圖像,可以清晰地看到圖像上裂縫的痕跡;第二行圖像為原始圖像對應的裂縫標注真值,采用標注工具對裂縫的走向寬度進行了準確標注;第三行圖像為網絡模型預測的結果,對比原始圖像和標注圖像,可以看到,當圖像中裂縫數量少且走向規則有較大裂度時,網絡預測結果精度高,如圖4中第一、二、四列結果;當圖像中裂縫數量較多,拓撲連接復雜且裂度較小時,網絡預測效果較差,可以看到網絡對裂縫有漏提現象,如圖4中第三列結果。整體而言網絡模型對大壩裂縫具有較好的檢測效果,裂縫形態走向符合實際情況。

圖4 部分實驗結果

為了定量描述本文提出方法的有效性,從測試結果中選取幾張典型的預測結果,計算檢測結果圖像的混淆矩陣、精確率、召回率和IoU值,見表2。通過定量計算的方法,評定文中提出的基于注意力機制的語義分割網絡在大壩裂縫檢測中的準確性。

表2 檢測結果定量評價整理

圖5中對裂縫的檢測精度可以達到90.89%,召回率75.60%,圖像中干擾因素較少時,網絡模型對裂縫具有較好的檢測效果。圖6中對裂縫的檢測精度為89.38%,召回率為75.12%,該圖像中具有明顯的水流痕跡,檢測結果中沒有出現這些干擾對象,與標注結果比較,裂縫檢測準確,沒有發生誤檢現象。圖7中裂縫檢測精確度為88.77%,召回率為76.85%,可以看到圖像中存在明顯的修補痕跡,檢測結果中只有裂縫,修補輪廓沒有對裂縫檢測造成干擾。圖8中對裂縫的檢測精確率為73.62%,召回率為71.03%,存在多個干擾對象,如線性鋼管、鋼管與墻面間的縫隙、修補輪廓以及排水孔蓋,對比預測結果,這些干擾對象沒有發生誤檢,同時可以看到標簽圖像中遇到鋼管時斷開,但檢測結果中沒有將這些微小現象反映出來。通過表中數據和圖像檢測結果及標注圖像的對比,可以發現,對裂縫檢測具有較好的精度,裂縫輪廓清晰,走勢準確,具有較好的連續性,IoU值和召回率相對精確率較低,原因是標注時對裂縫占有的像素值標注更加準確,檢測時對某些像素進行分類時發生了錯分。

圖5 典型檢測結果一

圖6 典型檢測結果二

圖7 典型檢測結果三

圖8 典型檢測結果四

通過以上定性和定量的實驗分析可以看到本文提出的方法在利用高精度的影像數據對大壩裂縫進行檢測時具有一定的效果,設計的網絡具有一定的泛化性能。

4 形態學裂縫幾何特征計算

對大壩裂縫進行檢測時,不僅要回答壩體是否存在裂縫、裂縫具體位置在哪里這些基礎問題,還要回答出已存在裂縫的幾何統計特征,比如超過給定長度的裂縫有多少條,超過給定限差面積的裂縫有多少條,超過給定限差深度的裂縫有多少條。通過統計裂縫的幾何特性,可以快速對大壩裂縫造成的險情作出評估,針對性地做出補救措施。對此采用基于數學形態學的方法對檢測到的裂縫做幾何特征計算。

采用本文提出的注意力機制語義分割網絡對大壩裂縫進行準確檢測,得到裂縫準確的檢測結果。在裂縫幾何特征信息計算時,選擇橫向和縱向兩條裂縫檢測結果驗證本文方法的有效性。計算時將標簽圖像中裂縫的幾何值作為真值,以此驗證檢測結果圖像裂縫幾何特征結果的準確性。選擇合適的閾值對檢測結果圖像進行二值化處理,得到結果圖像的二值化圖像,對標簽圖像和二值化圖像中裂縫占有的像素數進行統計,依據圖像分辨率可以得到裂縫的面積。采用數學形態學的方法對標簽圖像和檢測結果圖像中裂縫的輪廓和骨架進行提取,統計裂縫骨架占有的像素數,依據圖像分辨率可以得到長度特征值。最后依據面積和長度的關系,得到寬度的信息。

圖9展示了一條橫向分布裂縫的形態信息,其中圖(a)是原始圖像,圖(b)為標注的裂縫對象,圖(c)為形態學腐蝕膨脹提取到的標簽骨架信息,圖(d)為基于注意力機制語義分割網絡檢測到的裂縫信息,圖(e)為基于形態學運算得到的裂縫骨架信息。設計程序統計圖9中標簽圖像和預測結果中裂縫占有的像素數分別為3523,3468,圖像對應空間分辨率為0.0007m,由此得到標簽圖像中裂縫面積為0.001726m2,檢測結果圖像中裂縫面積為0.001699m2。從裂縫骨架圖像中可以得到裂縫骨架占有的像素個數,標簽圖像為1046個,檢測結果圖像為1048個,圖像對應空間分辨率為0.0007m,計算得到標簽圖像中裂縫長度為0.7322m,檢測圖像中對應裂縫為0.7336m,此處裂縫長為裁剪后768×768圖像中的裂縫長度。由此可以計算標簽圖像中裂縫的寬度為0.00235m,檢測圖像中裂縫的寬度為0.00231m,用測縫計實測的裂縫寬度為0.0021m,可以看到與實測結果基本一致。

圖9 檢測結果與標簽圖像

圖10展示了一條縱向裂縫的形態信息。依據上面的思路對該裂縫的幾何特征信息進行計算。圖10中標簽圖像和二值化圖中裂縫占有的像素數分別為3984,3981,得到標簽圖像中裂縫面積為0.001952m2,檢測結果圖像中裂縫面積為0.001951m2。從裂縫骨架圖像中可以得到裂縫骨架占有的像素個數,標簽圖像為1125個,檢測結果圖像為1142個,圖像對應空間分辨率為0.0007m,計算可以得到標簽圖像中裂縫的長度為0.7875m,檢測圖像中裂縫長度為0.7994m,此處裂縫長為裁剪后768×768圖像中的裂縫長度。由此可以得到標簽圖像中裂縫寬度為0.00247m,檢測圖像中對應裂縫寬度為0.00244m,用測縫計實測的裂縫寬度為0.0022m,可以看到與實測結果基本一致。

圖10 檢測結果與標簽圖像

基于上述實驗,可以驗證基于本文方法的裂縫檢測結果可以得到裂縫基本的幾何信息值。對檢測到的所有裂縫做上述計算,可以獲得壩體整體裂縫幾何特征分布,應用于裂縫病害情況評判。

5 結 論

本文借助高精度的無人機航飛數據,結合強大的深度學習非線性特征學習能力,設計了基于注意力機制的語義分割網絡模型,將多通道的注意力機制引入到U形網絡中,該網絡結構可以抑制線性干擾對象,充分捕獲裂縫細而長的特征,最終實現對大壩裂縫的檢測。研究中制作了高精度的大壩裂縫數據集,對本文提出的方法進行了實驗驗證,結果表明本文方法可以較好地實現大壩裂縫檢測,較好地克服圖像中其他對象對裂縫檢測的干擾。采用數學形態學算法對檢測結果進行處理,可以獲得裂縫的幾何特性,對綜合評判大壩裂縫病害具有一定意義。采用機器學習手段可以實現對大壩裂縫快速、低成本、低風險、高精度的檢測,但是該方法受到數據集和模型性能的制約,后期還需深入研究。