改進YOLO v5s網絡的混凝土裂縫檢測方法

李健民,賈曉芬,b

(安徽理工大學 a.電氣與信息工程學院,b.人工智能學院,安徽 淮南 232001)

隨著社會經濟的不斷發展,城鎮化的不斷推進,各種橋梁、建筑如雨后春筍般林立而起。其中,混凝土由于設計方案、受力不均、熱脹冷縮和材料選用等因素產生裂縫?；炷亮芽p的產生不僅影響建筑的外觀,而且危害建筑的結構安全,可能會造成不可挽回的生命財產損失。所以及時發現并處理這些裂縫,對建筑的穩定性與安全性具有重要意義。

近年來,深度學習和卷積神經網絡的研究與應用得到飛速發展,其相關成果在計算機視覺領域大放異彩,于是越來越多的學者將深度學習運用于裂縫檢測中。Konstantinos M[1]等人分層地構建復雜的特征,利用深度學習架構的優勢,將獲得的特征用于訓練適當的缺陷檢測器,實現對裂縫的快速預測。Qu Z[2]等提出了一種新的多尺度卷積特征融合模塊,在不同的卷積階段,將高級特征與低級特征進行融合。孫朝云[3]等提出了一種基于卷積神經網絡融合模型的路面裂縫識別方法,分別用 SSD網絡模型進行裂縫分類和U-Net網絡模型進行裂縫分割。Hamed M[4]應用單階段YOLO v2與二階段Faster-RCNN進行裂縫智能識別,試驗表明YOLO v2網絡模型識別精度更高。ZHANG C B[5]等提出了一種改進的YOLO v3網絡應用于橋梁病害檢測,通過引入焦點損失函數,以及新的遷移學習方法,有效提升了病害識別準確率。

已有研究成果表明,深度學習目標檢測算法能夠較高精度的進行裂縫檢測,然而在特定環境工程應用中仍然存在部分問題:① 網絡模型巨大,對硬件的算力和內存要求較高,難以部署在低算力平臺上。② 難以在輕量化和高精度檢測間實現平衡。為解決上述問題,本文提出了YOLO v5s-LGSE混凝土裂縫檢測模型。首先在Ghost卷積的基礎上改進出更為輕量化的LG卷積模塊,進一步減少網絡的特征冗余與參數量;其次采用Shuffle Net中的Channel Shuffle模塊與LG卷積模塊組成LGS模塊,可以增加特征圖的組間信息交流,提升模型準確性;最后引入ECA注意力機制,在保證不增加參數量的前提下加強特征圖的通道特征。將LGSE模塊替換為YOLO v5s模型中的Backbone與Neck中的Conv與C3的卷積模塊,在顯著降低了網絡參數量的同時提升了混凝土裂縫的檢驗精度,滿足工程檢驗需求。

1 YOLO v5s網絡的改進

1.1 YOLO v5s-LGSE網絡結構

本文采用輕量化卷積模塊LGS與通道注意力模塊ECA相結合的方式,串聯形成LGSE模塊,與原卷積模塊相比,用更少的特征圖提取較多的特征,減少了整個網絡的特征冗余和計算量,提高了檢驗精度。

用LGSE模塊替換YOLO v5s中除第一個之外的所有Conv,然后替換Bottleneck和C3模塊,得到LGSEBottleneck與C3LGSE。最終所得的YOLO v5s-LGSE網絡結構如圖1所示。

圖1 YOLO v5s-LGSE網絡結構

1.2 LGS輕量化模塊

1.2.1 LG模塊

目前高精度的目標檢測網絡采用了大量的卷積運算進行特征提取,這就導致網絡有較多的特征冗余、參數量大和模型體積大的問題,同時巨大的網絡模型對硬件條件也是一個巨大的挑戰,會出現顯存不足或訓練速度緩慢的情況。針對這些問題,華為諾亞方舟實驗室提出輕量型網絡結構GhostNet[6],能大量減少網絡參數量,并在準確率、計算性能方面均超過MobileNetV3[7]等輕量化網絡模型。結合GhostConv的思想改進LG(Lighter Ghost)模塊,如圖2所示,首先將輸入進行1×1,通道為1/2輸入通道的點卷積,旨在減少一半特征冗余;然后再進行兩次3×3,通道為1/4輸入通道的組卷積用于提取特征,最后三者拼接得到輸出。

圖2 LG模塊結構

LG模塊與GhostConv相比,旨在將原本1個高級廉價線性運算Фk(1≤k≤C)替換為2個低級廉價線性運算Ф1i和Ф2j(1≤ 1i≤C,1≤ 2j≤C)的串聯結構,如圖3所示。例如,將原本GhostConv中卷積核為5和1/2輸入通道的組卷積替換為2個卷積核為3和1/4輸入通道的組卷積的串聯結構;2個3×3卷積堆疊與1個5×5卷積相比,具有相同的效果和感受野,且具備更少的計算量和更多的非線性,以防止梯度消失或爆炸,LG模塊可以利用更少的特征圖獲得較多的特征,進一步去除網絡中的特征冗余,減少網絡中的參數量。

圖3 GhostConv模塊與LG模塊

針對裂縫圖像的特性,識別裂縫的關鍵在于能否提取出裂縫的輪廓信息,而并非是墻面或裂縫里的一些細節深層信息;所以采取2個3×3卷積堆疊和拼接的方式是為了淺層特征與深層特征融合,實現更高精度檢測。

1.2.2 ChannelShuffle模塊

當前優秀的輕量化網絡大部分都使用了深度可分離卷積或者組卷積,用以減少網絡的參數量和計算量,但是這2種卷積操作無法改變特征圖的通道數,因此需要采用點卷積來促進通道之間的信息融合和改變通道的維度。輕量化網絡中點卷積占據了較大的計算量并致使通道之間充滿約束,一定程度降低了模型的預測精度,上述采用的LG模塊就具有這個特點。所以選用Shuffle Net[8]中的Channel Shuffle模塊,以促進特征圖通道間的信息交流,平衡網絡模型的輕量化和檢測精度,如圖4所示。Channel Shuffle是通過將通道按順序排列為指定維度的矩陣,然后將矩陣進行轉置操作,最后展平得到通道混洗過的特征圖。Channel Shuffle巧妙地利用常規張量操作實現將每個組的信息分散到其他組里,這樣一來輸出的特征圖就能均勻的包含每一組的特征;促進了組與組之間的信息交流,進而提升特征模型表達能力。

圖4 Channel Shuffle轉化過程

1.3 ECA通道注意力模塊

在使用LGS模塊進行特征提取后,網絡模型的參數量和體積大大減少,隨之而來的可能是影響裂縫的檢驗精度。為進一步提高檢驗精度,增強裂縫目標特征的表達,更好的提取裂縫特征信息。本文采用了高效的ECA[9]注意力機制,ECA是一種輕量級通道注意力模塊,它能夠在不改變輸出特征圖維度和幾乎不增加參數量的前提下,對輸入特征圖進行通道特征加強,如圖5所示。

圖5 ECA通道注意力模塊

由圖5可知,實現ECA過程,首先對輸入的特征圖進行全局平均池化,從而將H×W×C維度的特征圖壓縮為1×1×C維度的特征圖;然后對特征圖通過1×1的卷積,進行通道特征學習,以獲得每個特征點的權值;最后是通道注意力結合,將通道注意力的權值與原始輸入特征圖逐通道相乘,最終得到通道注意力的特征圖。其中為解決不同輸入特征圖,提取不同范圍的特征時,ECA在做1×1卷積時,卷積核的大小通過一個自適應函數變化(k=ψ(C)),即動態卷積核。

(3)

式中:k表示卷積核大小;C表示通道數;| |odd表示k只能取奇數;γ和b設置為2和1,用于改變通道數C和卷積核大小和之間的比例。

2 試驗及結果分析

2.1 數據集

本文使用混凝土墻壁裂縫圖片,制作自定義數據集進行訓練和驗證,共包含4 058張裂縫圖片,由2種裂縫類別組成,如圖6所示。其中包括普通裂縫(gap)2 006張和滲水裂縫(leaky_gap)2 534張(用于檢測墻體內部有無管道破裂),用于試驗的數據集的圖片全部用LabelImg進行手工標注,且使用隨機劃分的方法劃分訓練集和驗證集,其中訓練集和驗證集的劃分比例為8∶2,最終劃分結果為訓練集3 678張,驗證集980張。

圖6 普通裂縫與滲水裂縫

2.2 試驗環境與訓練參數

試驗使用的硬件環境及軟件配置如表1所示,在網絡訓練過程中,設置參數學習率為0.01,動量為0.937,優化器為帶動量的SGD,權重衰減為0.000 5,epoch設為300次,batch_size設置為8,圖片大小設置為640×640。

表1 硬件環境及軟件配置

2.3 消融試驗及結果

為驗證YOLO v5s-LGSE模型設計的輕量性與合理性,需通過消融試驗來驗證LGS模塊與注意力ECA模塊單獨作用時的效果。故開展了表2中的4個試驗,其中“√”表示使用了該模塊,無“√”表示未使用該模塊,試驗1為YOLO v5s原網絡,試驗4為YOLO v5s-LGSE網絡。

表2 消融試驗結果

由表2可知,試驗1中原始YOLO v5s網絡的網絡參數為7.0 M,計算量為16.0 G,模型大小為13.7 Mb;檢驗精度方面mAP@0.5為97.3%,mAP@0.5∶0.95為79.8%;FPS為61.3。在試驗2中,按照圖2方式只添加LGS模塊,網絡參數量、計算量、模型體積與原始網絡相比減少了47.1%、49.4%、44.5%,得益于深層與淺層特征融合和增強組間信息交流的作用,試驗2在減參的基礎上,mAP@0.5增加1%,mAP@0.5∶0.95增加3%,但是FPS降低了20.4%。試驗3中只按照圖2方式添加注意力模塊ECA,在參數量、計算量和模型體積與原始網絡相比幾乎不變的條件下,mAP@0.5增加0.7%,mAP@0.5∶0.95增加0.8%,但是FPS降低了37.5%。而在試驗4中,YOLO v5s-LGSE模型與原始網絡相比,參數量、計算量、模型體積減少了47.1%、49.4%、44.5%,mAP@0.5增加1.2%,mAP@0.5∶0.95增加4.3%,FPS減少了42.9%。

2.4 對比試驗及結果

為了驗證本文改進網絡模型的輕量化和檢測效果,將本文模型與YOLO v5原網絡和當前主流的目標檢測網絡進行對比,以證明改進的有效性。表3為不同網絡之間的對比情況。

表3 對比試驗結果

由表3可知,在檢驗精度方面,YOLO v4-Tiny可能由于網絡自身在多目標和小目標檢測方面會出現漏檢,所以mAP@0.5只有88.3%,與其他主流目標檢測精度相差較大;YOLO v5s-LGSE網絡與輕量化網絡YOLO v5s和YOLO v7-Tiny相比有1.2%和2.1%的提升;與一階段經典網絡SSD、YOLO v3、YOLO v4以及較新的YOLO v7相比有1.3%、0.5%、4.4%、0.2%的提升;與二階段經典網絡Faster-RCNN相比也有0.2%的提升?？梢钥闯霰疚母倪M的網絡模型均優于傳統目標檢測網絡,滿足混凝土裂縫高精度檢測的要求。

在輕量化方面,YOLO v5s-LGSE網絡的參數量為3.7 M、計算量為8.2 G、模型體積只有7.6 Mb,與大型網絡SSD、Faster-RCNN、YOLO v3、YOLO v4和YOLO v7相比,無論是參數量、計算量還是模型體積均有大幅減少;與輕量化網絡YOLO v4-Tiny、YOLO v5s、YOLO v7-Tiny相比,網絡參數量減少了37.3%、47.1%、38.3%;計算量分別增加20.6%、減少48.8%和37.9%;模型體積減少了66%、44.5%、35%。

在檢測速度方面,YOLO v5s-LGSE網絡的FPS為35,比SSD、Faster-RCNN、YOLO v3、YOLO v4和YOLO v7等大型網絡要快,但慢于YOLO v4-Tiny、YOLO v5s和YOLO v7-Tiny等輕量化網絡。

2.5 泛化試驗及結果

為了驗證LGSE模塊是否真的即插即用,在其它網絡中也能實現減參和高效檢測。故開展了表4中的3組6個對比試驗。分別選取YOLO v3、YOLO v7和輕量化網絡YOLO v7-Tiny作為本次泛化試驗的基準網絡,其中“√”處表示是原始網絡還是用LGSE模塊改進后的網絡。在YOLO v3中將主干網絡的Conv和Bottleneck結構替換為LGSE與LGSEBottleneck,而在YOLO v7與YOLO v7-Tiny網絡中將CBS以及ELAN尾部的CBS替換為LGSE模塊。

表4 泛化試驗結果

由表4數據可知,添加LGSE模塊的YOLO v3網絡與原始網絡相比,mAP@0.5不變,mAP@0.5∶0.95增加3.7%,但是參數量、計算量、模型體積分別減少了20.5%、50.4%、19.7%。在YOLO v7網絡中,參數量、計算量、模型體積分別減少了5.9%、14.4%、14.4%,mAP@0.5不變,但是mAP@0.5∶0.95減少了2.9%。在輕量化網絡YOLO v7-Tiny中,參數量、計算量與模型體積減少了13.3%、13.6%、12.8%,mAP@0.5增加0.5%,mAP@0.5∶0.95增加16.6%。

檢測速度方面,更改前后除YOLO v3能保證檢測速度基本持平外,在YOLO v3與YOLO v7-Tiny網絡中均有13.8%和19.6%的下降。

為了觀察YOLO v5s-LGSE的實際檢測效果,分別給出了YOLO v5s與YOLO v5s-LGSE在滲水裂縫與普通裂縫的檢測效果,如圖7所示。

圖7 YOLO v5s與YOLO v5s-LGSE的檢測效果

由圖7可知,YOLO v5s模型對2張滲水裂縫圖片的檢測精度分別為87%和73%,對普通裂縫圖片的檢測精度分別為77%和36%;而相同圖片條件下YOLO v5s-LGSE模型對這些圖片的檢測精度分別為89%、83%、90%和43%。由檢測結果圖可知,YOLO v5s-LGSE模型具有更高的檢測精度且更能精準地預測裂縫位置。

3 結語

文中針對混凝土裂縫檢測提出的輕量化檢測網絡YOLO v5s-LGSE,能夠解決混凝土裂縫檢測遇到的通道語義丟失、目標特征提取不充分和網絡模型巨大難以部署在算力平臺上等難題;經過消融和對比試驗論證了LGS模塊在特征提取過程中,通過更為輕量化的Ghost Conv與通道混洗相結合,可以減少網絡參數量和計算量,壓縮模型體積的同時還可以促進通道語義信息交流,平衡參數量和檢驗精度;引入通道注意力ECA模塊可以增強通道特征的表達,在幾乎不增加網絡參數量的前提下進一步提升網絡的檢驗精度。對于模型檢測速度下降可以通過后期在硬件平臺部署TensorRT以提升檢測速度。

通過大量試驗證明,YOLO v5s-LGSE網絡模型參數量僅為原網絡的52.2%,檢驗精度高達98.5%,無論是在模型的輕量化還是檢驗精度的提升方面均實現了較為理想的結果,對實現實時性、便攜性的混凝土裂縫檢測具有一定意義。