基于改進Unet模型的混凝土裂縫分割研究

潘遠 周雙喜 楊丹

摘要：【目的】針對橋梁、隧道等環境下產生的混凝土裂縫情況復雜、干擾因素多的問題，提出一種改進Unet模型（A-Unet）的裂縫檢測方法?！痉椒ā恳訳net網絡為基礎，研究了編碼器的深度如何影響模型訓練時間、檢測精度。在解碼過程中設計一種融合空間和通道注意力模塊，將高分辨率的淺層特征與上采樣獲得的深層特征信息賦予不同權重，進一步增強裂縫特征。同時，增加dice損失函數對模型進行評價，減少因檢測目標與背景數量相差較大，導致評價不準確的問題?！窘Y果】在測試數據集中進行評價，精確度，MIou，召回率分別達到94.70%，86.16%，91.34%。A-Unet模型檢測效果明顯優于其他5種模型?！窘Y論】利用該方法檢測混凝土裂縫精度得到較大提升，且節約了模型訓練時間，提高檢測效率。

關鍵詞：混凝土裂縫；深度學習；注意力機制；裂縫識別；語義分割

中圖分類號：TU528 文獻標志碼：A

本文引用格式：潘遠，周雙喜，楊丹. 基于改進Unet模型的混凝土裂縫分割研究[J]. 華東交通大學學報，2024，41（1）：11-19.

Research on Concrete Crack Segmentation Based on

Improved Unet Model

Pan Yuan1，2， Zhou Shuangxi2， Yang Dan2

（1. School of Transportation and Logistics， East China Jiaotong University， Nanchang 330013， China;

2. School of Civil Engineering and Architecture， East China Jiaotong University， Nanchang 330013， China）

Abstract： 【Objective】A crack detection method based on improved Unet model （A-Unet） is proposed to solve the problems of complex concrete cracks and many interference factors in bridges， tunnels and other environments. 【Method】Firstly， Unet-based network， how the deep of the encoder affects the training time and detection accuracy of the model is studied. Secondly， in the decoder process， a fusion space and channel attention module is designed to give different weights to the high-resolution shallow features and the deep feature information obtained from the up-sampling to further enhance the crack features. At the same time， the dice loss function is added to evaluate the model to reduce the problem of inaccurate evaluation caused by the large difference between the number of detected objects and the background.【Result】 The proposed method was evaluated in the test data set， the Precision， MIou and Recall rate reached 94.70%， 86.16% and 91.34% respectively. Also， the detection effect of A-Unet model is significantly better than the other five models.【Conclusion】The results show that the accuracy of concrete crack detection by this method is greatly improved， and the model training time is saved， and the detection efficiency is improved.

Key words： concrete crack; deep learning; attention mechanism; crack identification; segmentation

Citation format：PAN Y， ZHOU S X， YANG D. Research on concrete crack segmentation based on improved unet model[J]. Journal of East China Jiaotong University， 2024， 41（1）： 11-19.

【研究意義】混凝土裂縫在任何建筑結構中出現都可能導致重大安全事故，對混凝土裂縫進行有效的檢測具有重要意義。傳統的裂縫檢測方法主要是人工檢測，該方法存在耗時長、精度低且對專業技術人員的要求較高，對于建筑結構大、時間緊的工程難以滿足需求。為了尋找更有效的裂縫識別方法，早期一些學者們提出了圖像處理的檢測方法，主要有直方圖、邊緣算法、閾值分割、小波變換[1-3]。這些方法通過對裂縫圖像處理獲取裂縫的位置、寬度，不僅可以降低對專業技術人員的專業要求，而且可以提高檢測效率。然而，這些方法仍存在不足，對裂縫環境復雜地區的識別度仍然不夠。

【研究進展】人工智能的迅速發展為混凝土裂縫的自動識別提供新方向。其中，基于卷積神經網絡的深度學習在裂縫識別領域中得到廣泛應用[4-7]。如大壩裂縫檢測[8-9]、橋梁裂縫檢測[10]、隧道裂縫檢測[11-12]、路面裂縫檢測[13]等。Unet作為優秀的網絡模型被廣泛關注，它是一種Encode-Decode結構的網絡，Unet模型中的編碼器可以結合實際應用選擇不同的網絡。編碼器可從混凝土數據中提取主干特征，它類似于卷積神經網絡。因而，擁有良好的編碼器可以較大提升裂縫識別精度。通常將經典卷積網絡作為Unet模型的編碼器如：VGG[14]、Mobilenet[15]、ResNet[16]等網絡。丁威等[17]構建了基于深度學習與無人機的混凝土裂縫檢測方法，進行多尺度特征融合對多種裂縫分割，分割誤差小于5%。

【創新特色】本文以經典Unet網絡模型為基礎，提出一種改進的Unet網絡模型（advances Unet，A-Unet）。通過編碼器的選擇和添加注意力機制兩方面的優化，提高裂縫特征的識別能力，在有效抑制干擾的同時提高裂縫識別的精度和效率?！娟P鍵問題】用于完成其他任務的優秀模型不能完全適用于復雜環境下的裂縫檢測。優秀模型的結構深度及參數量可能導致裂縫識別性能的不足或冗余。因此，根據檢查任務來選擇合適的網絡深度是一個挑戰。

1 研究方法

基礎Unet網絡模型最早用于細胞檢測，該網絡可能并不完全適用于裂縫檢測。為了選擇具有高檢測精度和速度的最佳模型，提出適用于混凝土裂縫檢測的Unet網絡模型。A-Unet框架通過添加殘差模塊及模型深度、解碼器中添加注意力模塊兩部分改進。A-Unet網絡應用于混凝土裂縫識別的流程如圖1所示。對裂縫圖像數據進行預處理主要包括：數據獲取、數據裁剪、數據直方圖均衡化及人工標記數據；獲取A-Unet模型參數，主要包括：訓練數據集進行遷移學習[18]，獲取混凝土目標參數，驗證數據集對目標參數進行微調；利用訓練得到的目標參數進行混凝土圖像語義分割，并對模型進行評價。

1.1 A-Unet網絡結構

Unet網絡通過編碼器-解碼器實現裂縫識別端到端的語義分割，編碼器主要通過卷積實現特征提取，該編碼器提取特征信息不全且易造成過擬合現象，導致目標分割不準確。將淺層特征與解碼過程提取的深層特征直接進行疊加，該操作的缺陷在于進行疊加的兩個特征層置于同等地位，導致目標分割精度低、邊緣模糊。針對Unet存在的不足，將殘差模塊引入編碼器中，并在解碼過程中對淺層特征添加注意力模塊，得到A-Unet網絡（圖2）。A-Unet是一個U型網絡，從左到右依次分為編碼過程，跳躍連接，解碼過程三部分。編碼過程從上到下共有5個階段，每個階段由卷積網絡、殘差模塊、批歸一化層、Relu激活函數及大小為2×2的最大池化層組成。解碼過程共有5個階段，每個階段包含2個3×3的卷積網絡、1次疊加層、注意力模塊。

該注意力模塊融合通道（channel）和空間（spatial）兩維度的注意力模塊，融合注意力機制（簡稱CS）較大程度上降低了各種干擾因素，提高裂縫特征在模型中的權重。如圖3所示，首先，在編碼器中提取的5個裂縫特征層中分別添加通道注意力，提高與裂縫特征相關的通道權重，降低與裂縫特征無關的通道權重。下一次模型訓練時，將更多關注權重大的通道，進一步提取深層次裂縫特征。然后，在5個裂縫特征層中分別添加空間注意力，提高與裂縫特征相關的空間位置權重，降低與裂縫特征無關的空間權重，進一步提取深層次裂縫特征。最后，將通道注意力獲取的裂縫特征與空間注意力獲取的裂縫特征融合，獲取多方位的特征。其中，特征圖F、P、M、Q表示不同提取階段獲取的特征圖。特征圖中的H，W，C分別代表高度，寬度，長度。

1） 通道注意力。假設淺層裂縫特征圖為F，對F進行全局平均池化，同時進行格式轉化維度為1×1×C的特征圖P（其中C為通道數）。之后進行兩次全連接，一次Sigmoid函數將特征范圍鎖定在[0，1]，即每個通道的權值大小。最后，將獲得的權值大小乘上特征圖F，生成特征圖M實現對淺層特征圖添加通道注意力機制。

2） 空間注意力。首先在特征圖F上每個特征點所在通道中分別取出最大值和平均值，生成最大值特征圖和平均值特征圖。其次，將這兩個特征圖進行疊加之后進行一次通道數為1的卷積，使用一次Sigmoid函數。最后，將獲得的權值大小乘上特征圖F，生成特征圖N實現對淺層特征圖添加空間注意力機制。

3） 疊加。將特征圖M和特征圖N進行疊加，生成特征圖Q。特征圖Q具有通道和空間兩部分的權重分布，因此獲得了多方位的特征，能更好地側重目標區域，忽略各種干擾。

2 結果與討論

2.1 數據集制作

鋼筋混凝土常年裸露于室外，鋼筋混凝土裂縫環境復雜，通常伴隨著其他缺陷，如腐蝕、銹蝕等影響。本文自制鋼纖維混凝土試塊并在裂縫周圍模擬2種缺陷，一種缺陷為數字（number）、另一種缺陷為單詞（vocabulary）。首先，制作混凝土試塊。試驗原材料分別為：P·O42.5普通水泥、5～20 mm碎石、中砂、減水劑、平直型鍍銅鋼纖維等。將制作好的混凝土試塊加載不同大小、方向的荷載，從而獲取不同大小、方向的裂縫。有些裂縫細且長，有些裂縫寬度較大但形狀及裂縫邊緣更粗糙，如圖4。其次，對獲取的混凝土試塊，進行圖像裁剪。原始圖像大部分為背景，在圖像處理過程中不僅無作用且耗費大量模型訓練時間，對原始圖像進行裁剪，圖像大小剪裁為512×512×3大小。本試驗共制作116個大小為100×100×400 mm3棱柱試塊，基于遷移學習進行裂縫參數調整，不需要大量訓練圖像。獲取的116張圖像，其中90圖像數據作為訓練及驗證集，26張圖像作為測試集。

由于鋼筋混凝土圖像的整體亮度都偏暗，而且由于鋼筋混凝土圖像的整體亮度都偏暗，而直方圖均衡化可以擴展亮度從而調整對比度，對于目標和背景像素值相近的圖像效果顯著。對圖像數據輸入網絡模型前，先對圖像進行直方圖均衡化凸顯裂縫的局部特征。圖6（a）為經過直方圖均衡化后的圖像。由圖可知，原始裂縫圖像中的裂縫灰度值雖然比背景要暗很多，但是區別沒有特別明顯。而圖5（a）中預處理后圖像中的裂縫與背景的差異增大，裂縫呈黑色，而背景仍然比較亮，說明預處理圖像對裂縫識別有增強作用。同時，RGB三個波段（圖5、圖6）預處理后的灰度直方圖都發生了變化，因此對其直方圖進行均衡處理，可增強細節信息表達。最后，對增強后的數據使用Labelme軟件進行標簽制作，如圖7所示。

2.2 試驗參數設置

本研究在同一臺計算機上完成網絡模型的訓練、測試。計算機配置為：AMD銳龍73800X處理器，NVIDIA GeForce RTX 2060顯卡。環境配置如下：Python 3.6，CUDA 10.1，Tensorflow 2.2.0。在訓練過程中，數據樣本的90%進行訓練，并將90%數據樣本進行驗證。采用Voc數據集在Unet模型中得到的訓練權重作為訓練權重，即遷移學習。為加快訓練速度，初始訓練時設置一個較大的學習率0.0 001，隨著迭代次數的增加，損失函數趨于平穩后學習率改為0.00 001。優化器為Adam，momentum設置為0.9。每個模型樣本迭代100次，損失值趨于平穩。

2.3 精度評價指標

對于語義分割任務，交并比（MIoU）、召回率（Recall）、精確率（Precision）3個指標來評價分割結果。交并比是指裂縫的真實像元數和預測像元數相交并的比值。召回率是指樣本中裂縫的像元數有多少被預測出來。精確率是指預測為裂縫的像元占總裂縫像元的比值。PT（true positive）是指將目標檢測為正確目標的像元數；PF（false positive）是指將背景檢測為目標的像元數；NF（false negative）是指將目標檢測為其他目標的像元數；NT（true negative）是指將背景預測為背景的像元數，計算公式見表1。

2.4 試驗結果

2.4.1 網絡深度試驗

編碼器的深淺直接影響特征提取，對殘差模塊引入的數量進行討論，在編碼器中分別添加殘差模塊Res36、Res48、Res99、Res138進行對比，其中數字代表殘差模塊的個數。圖8顯示了4種不同深度網絡模型的損失曲線?；谶w移學習的權重，在前幾次迭代中損失值較大，為更好顯示整個損失曲線的趨勢，去除前10次迭代的損失值。4種網絡模型的訓練損失曲線經過幾十個世代后都趨于平穩，損失值基本都趨近于0，說明4種網絡對混凝土裂縫訓練都取得較好的效果（圖8）。Unet-Res36、Unet-Res138損失值在迭代50次左右都出現不同深度的波動，隨后驗證損失曲線又趨于平穩并接近0。然而，Unet-Res36和Unet-Res48驗證曲線較為平穩且損失值一直處于較低水平，相比其他2種網絡模型，Unet-Res36和Unet-Res48網絡模型的損失曲線表現較佳。

圖9總結了4種深度網絡模型精度指標。隨著網絡深度的增加，MIou值由82.21%首先增加到84.29%后略微下降到83.53%及83.63%。Accuracy值由93.41%先增加到94.42%后降低到92.59%。Recall值在4種網絡模型中并沒有明顯變化，大致上呈現網絡深度越深Recall值越大，在Unet-Res138時為最大值89.19%。通過對比3種精度評價指標可以發現，Unet-Res48在MIou和Precision這兩個指標中的精度表現最佳，Recall表現略遜于Unet-Res138網絡，降低0.49%（圖9（a））。所有的網絡模型都能較好地識別各類缺陷，Crack識別精度最高達到95%。對于所有缺陷，Unet-Res48網絡模型的識別精度都等于或優于其他3種網絡模型（圖9（b））?？傮w而言，Unet-Res48網絡模型的綜合表現最佳。綜合考慮分析可知，網絡模型對裂縫的識別并不是深度越深越好，而是在一定范圍內取得最佳識別效果。

Unet-Res36由于殘差網絡較淺，在提取目標特征的能力不足，錯檢、漏檢目標較多，如圖10所示，隨著網絡殘差網絡的加深（圖10（c）、圖10（d）），Unet-Res48及Unet-Res99模型提取目標特征的能力不斷增強，目標檢測的準確度得到較大改善。其中，微小裂縫在一定程度上也被精確識別。然而，進一步增加網絡深度并未提高目標識別精度，相反檢測精度下降，出現漏檢、錯檢的情況（圖10（e））。由圖9圖10可知，殘差網絡對混凝土裂縫的識別能力并不是層次越多識別效果越好。出現這種情況的原因可能是裂縫本身的圖像特征較明顯且與背景差異性較大，因此不需要過度提取裂縫特征。如果過于注重深層次裂縫特征提取，反而會導致特征不明顯導致識別精度有所下降。通過試驗分析可知，Res48、Res99的網絡深度最適合裂縫特征提取作為Unet網絡的編碼器。

2.4.2 注意力機制對比試驗

選取最佳編碼器后，在Unet網絡上采樣層分別添加CS注意力機制，取名為A-Unet。由于編碼器的深度不同，為便于區分在A-Unet末尾加上網絡的層數，如A-Unet48代表編碼器為Res48的網絡。為更好地比較注意力模型對混凝土裂縫識別的影響，在Unet-Res模型基礎上，對不同深度網絡分別添加常用的通道注意力機制eca及空間注意力機制cbam進行對比試驗，從而驗證CS模塊的有效性。

圖11顯示了添加不同注意力機制后各網絡模型的精度圖。添加了注意力模塊的網絡模型對目標的識別綜合精度比未添加注意力模塊的網絡模型的綜合精度普遍更高（圖11）。除了Unet-Res99-eca、Unet-Res138-cbam網絡模型的綜合精度比Unet-Res99、Unet-Res138略低，說明添加注意力機制對目標識別有所助益。另外，所有添加了CS注意力模塊的網絡精度都相應的比未添加注意力模塊或添加其他注意力模塊的網絡精度要高，表明結合通道和空間注意力機制能更好地提取目標物。通過對比網絡模型可知A-Unet99的綜合精度評價分值最高，說明A-Unet99對混凝土裂縫識別效果最佳。而A-Unet48的綜合精度值排在第2位，綜合精度略低于A-Unet99，這與前述使用Res48殘差網絡作為編碼器為最優有些沖突?？赡艿脑蚴翘砑幼⒁饬C制后，編碼器能更好地將空間、通道之間的裂縫特征緊密聯系在一起。因此，相應的增加網絡深度可以適當的提高識別精度。

圖12顯示了以Res99為編碼器，添加各注意力模塊的預測結果。A-Unet99具有較高的檢測精度，誤檢、漏檢的現象肉眼很難分辨出，其他網絡存在多處誤檢、漏檢現象。其中，Unet-Res99-cbam表現最差，只添加空間注意力模塊不能提高檢測精度，反而混淆了目標和背景，說明添加注意力模塊時需要針對具體任務選擇合適的注意力模塊。

2.4.3 A-Unet網絡模型對比試驗

為更好的評估A-Unet網絡模型，在保證環境配置與訓練數據集不變時，分別采用Unet-VGG16、Deeplabv3+、Mask-R-CNN、PSPnet、T-M-R-CNN[17]5種語義分割模型與本文A-Unet48、A-Unet99模型進行對比。由表2可知，A-Unet48、A-Unet99模型的精度比其他模型的精度高出許多，A-Unet99的精度比Deeplabv3+的精度高達16.22%，比T-M-R-CNN的精度高出3.39%，說明A-Unet網絡模型能更好地提取裂縫特征。

對比參數訓練時間可知Deeplabv3+、pspnet訓練時間最短，但它們的識別精度較低，其他網絡訓練時間都比A-Unet的參數訓練時間要長。其中，T-M-R-CNN識別精度為91.31%，但是所需的訓練時長為896 min，訓練時間緊較長。A-Unet48、A-Unet99網絡所需的訓練時間僅為331，357 min，在大大減少訓練時長的情況下，識別精度最佳。試驗說明，A-Unet網絡在效率及精確度兩方面表現突出。

3 結論

1）隨著編碼器網絡的加深，模型的性能先得到一定的提升，隨后性能下降。

2）添加融合注意力模塊的A-Unet模型總體性能得到提升，最高精度達到94.7%。

3）與其他方法相比，用于訓練模型的訓練時間、迭代次數更少、檢測精度更高。

參考文獻：

[1]? ?KIRSCHKE K R， VELINSKY S A. Histogram-based approach for automated pavement-crack sensing[J]. Journal of Transportation Engineering， 1992， 118（5）： 700.

[2]? ?ABDEL Q I， ABUDAYYEH O， KELLY M E. Analysis of edge-detection techniques for crack identification in bridges[J]. Journal of Computing in Civil Engineering， 2003， 17（4）： 255-263.

[3]? ?ZHANG D S. Wavelet transform[J]. Fundamentals of Image Data Mining， 2019， 49（5）： 35-44.

[4]? ?ELLENBERG A， KONTSONS A， MOON F， et al. Bridge related damage quantification using unmanned aerial vehicle imagery[J].Structural Control & Health Monitoring， 2016， 23（9）：1168-1179.

[5]? ?ZHANG Q Y， BARRI K， BABANAJAD S K， et al. Real-time detection of cracks on concrete bridge decks using deep learning in the frequency domain[J]. Engineering， 2020， 7（12）： 1786-1796.

[6]? ?SHARMA M， ANOTAIPAIBOON W， CHAIYASARN K. Concrete crack detection using the integration of convolutional neural network and support vector machine[J]. Science & Technology Asia， 23（2）， 19-28.

[7]? ?楊傳禮， 張修慶. 基于機器視覺和深度學習的材料缺陷檢測應用綜述[J]. 材料導報， 2022， 36（16）： 226-234.

YANG C H， ZHANG X Q. Survey of applications of material defect detection based on machine vision and deep learning[J].Materials Reports， 2022， 36（16）： 226-234.

[8]? ?王澤矯， 張起睿， 方冬冬， 等. 基于深度學習的大壩裂縫檢測方法研究[J]. 水利規劃與設計， 2022（1）： 90-94.

WANG Z J， ZHANG Q R， FANG D D， et al. Research on dam crack detection method based on deep learning[J]. Water Resources Planning and Design， 2022（1）： 90-94.

[9]? ?FAN X N， CAO P F， SHI P F. An underwater dam crack image segmentation method based on multi-level adversarial transfer learning[J]. Neuro Computing， 2022， 505： 19-29.

[10] LI G， ZHOU J， LIU D， et al. Pixel-level bridge crack detection using a deep fusion about recurrent residual convolution and context encoder network-science direct[J]. Measurement， 2021， 176： 109171.

[11] SONG Q，WU Y Q， XIN X S， et al. Real-time tunnel crack analysis system via deep learning[J]. IEEE Access， 2019， 7： 64186-64197.

[12] ZHOU Q， QU Z， LI Y X. Tunnel crack detection with linear seam based on mixed attention and multiscale feature fusion[J]. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 1-11.

[13] HU G X， HU B L， YANG Z， et al. Pavement crack detection method based on deep learning models[J]. Wireless Communications and Mobile Computing， 2021（1）： 1-13.

[14] MATEEN M， WEN J H， NASRULLAH， et al. Fundus image classification using VGG-19 architecture with PCA and SVD[J]. Symmetry， 2018， 11（1）： 1-12.

[15] SRINIVASU P N， SIVASAI J G， IJAZ M F， et al. Classification of skin disease using deep learning neural networks with mobile Net V2 and LSTM[J]. Sensors， 2021， 21（8）：2852.

[16] SARWINDA D，BUSTAMAM A， ANGGIA P. Deep learning in image classification using residual network（ResNet） variants for detection of colorectal cancer[J]. Procedia Computer Science， 2021， 179： 423-431.

[17] 丁威， 俞珂， 舒江鵬. 基于深度學習和無人機的混凝土結構裂縫檢測方法[J]. 土木工程學報， 2021， 54（S1）： 1-12.

DING W， YU K， SHU J P. Method for detecting cracks in concrete structures based on deep learning and UAV[J].China Civil Engineering Journal， 2021， 54 （S1）： 1-12.

[18] 張永志， 辛全忠， 王永亮， 等. 基于遷移學習的鋼金相組織分類與識別方法的研究[J]. 材料導報， 2021， 35（24）： 24152-24157.

ZHANG Y Z， XIN Q Z， WANG Y L， et al. Research on classification and recognition method of steel metallographic structure based on transfer learning[J].Materials Reports， 2021， 35（24）： 24152-24157.

第一作者：潘遠（1987—），女，助理實驗師，博士研究生，研究方向為混凝土材料與檢測技術。E-mail：yuanpan227@126.com。

通信作者：周雙喜（1973—），男，教授，博士，博士生導師，南昌市521學術技術帶頭人，研究方向為混凝土材料與檢測技術研究。E-mail：green.55@163.com。