基于YOLO模型的堤壩管涌監測智能識別方法

陸公義,歐陽鵬,程 赟,羌予踐,華 亮

(南通大學電氣工程學院,江蘇 南通 226019)

堤壩上發生的險情中,堤基滲透破壞是其首要原因,而管涌在其中占據很大比例[1-2]。管涌一旦發生,往往逐漸惡化,因此,及時、準確地對堤壩進行管涌滲漏檢測,對維護民眾的生命財產安全具有重大意義,也是識別檢測領域研究的熱點問題。

近年來,學者們通過多種方式對管涌滲漏檢測進行了大量的研究。例如：郭波等[3]利用數值模擬開展了堤基管涌出口位置檢測試驗,利用流速的異常參數來判斷并預測管涌的出口位置;明攀等[4]利用聲發射技術,將聲發射傳感器埋設于自主搭建的堤基管涌砂槽模型,實時監測堤防的管涌過程,找出了管涌過程中水力參數和聲發射參數的分布規律關系,從而提出通過監測聲發射參數對管涌過程進行判別的方法;王霜等[5]使用有限元分析方法,確定了管涌各階段顆粒流失的相關參數信息,并總結了其破壞規律。隨著科學技術的發展,人工智能與機器學習等技術在堤壩險情的識別上也得到了較廣泛的應用。例如：翟越等[6]建立了堤防管涌發生可能性預測的支持向量機(support vector machine,SVM)模型,并采用網格搜索尋優方法對其進行優化,最終獲得了較高的識別準確率;戴豪[7]將時域有限差分法與神經網絡相結合,建立了地質雷達(ground penetrating radar,GPR)管涌正演模型,提出了一種基于時域有限差分法的管涌隱患識別方法,提高了地質雷達管涌隱患檢測的效率。

堤壩管涌的發生具有突發性,目前對堤壩管涌的視覺巡查排險多為人工巡查,存在效率低、檢測不及時等問題。通過無人機巡檢結合機器學習方法可有效替代人工檢測,從而很好地解決此類問題。周仁練等[8〗通過無人機搭載紅外攝像的方法,提出了基于無人機載式紅外可見光成像的土石堤壩工程滲漏巡查實現流程,可有效地探測堤壩管涌滲漏,并通過現場試驗驗證了其有效性與實用性。張佳琪等[9]通過搭建無人機巡檢系統軟硬件平臺,實現了堤壩病害數據的自動采集以及裂縫與滲漏的識別。

YOLO(you only look once)系列算法[10-12]具有速度快、精度高的優點,并且可以有效地學習目標高度泛化的特征,已在目標識別多個領域內得到廣泛應用。本文通過引入改進的殘差塊、改變卷積步長及替換模型的激活函數來改進傳統的YOLO v3模型結構,構建了基于管涌感興趣區域[13](regions of interest,ROI)提取的Piping YOLO模型。在提取出管涌ROI后,通過二維主成分分析(two-dimensional principal component analysis,2D-PCA)方法提取管涌現象的特征,將其作為多權值神經網絡(multi-weight neural network,MWNN)的輸入,以期實現管涌狀態的分類識別。

1 模型構建

1.1 管涌ROI

判別管涌現象的發生以及狀態時,只需要關注是否出現管涌孔以及從管涌孔涌出的相關泥沙、水樣等信息,因此提取出管涌ROI可以快速準確地過濾掉圖片中無用的信息,便于后期直接對管涌現象進行特征提取。YOLO模型在對管涌現象進行識別時,其錨定框會框選出所識別區域,該區域便為管涌ROI,在獲取ROI后便可進行模式識別方法的特征提取。本文所構建的Pipping YOLO模型,與傳統的YOLO v3模型相比,提高了網絡的識別準確度和識別指標,從而能夠準確提取出管涌孔這一ROI。

1.2 YOLO v3模型

YOLO v3模型所用的特征提取網絡為Darknet-53網絡,該網絡由主干網絡和多尺度預測網絡組成。輸入圖像在通過一系列的卷積運算之后,會從Darknet-53網絡的后面3個殘差塊組中輸出3張特征圖,分別為S1、S2和S3。S1卷積次數最多,其特征圖的尺寸最小,感受域最寬,一般適合檢測圖像中區域占比很大的目標;S3卷積次數最少,其特征圖尺寸最大,感受域最窄,一般適合檢測圖像中區域占比很小的目標;S2特征圖尺寸居中,所以適合用于檢測中等大小的物體。

本文檢測目標為管涌孔,具有檢測尺寸小、定位難度大、情況復雜等特點,雖然YOLO v3模型已經可以處理較為復雜的目標,但面對堤壩管涌這一較為復雜的工程情況,仍需進一步改進提升以滿足實際需要。

1.3 Piping YOLO模型

隨著卷積網絡的加深,在網絡性能提高的同時會出現梯度下降或消失等一系列問題,而引入殘差塊(Sandglass模塊)可以很好地解決這一問題。在殘差塊中采用下采樣的操作來改進殘差塊,將其作為新的殘差塊(Pipping-Sandglass模塊)來改進YOLO v3模型,改進后的Piping-Sandglass模塊結構如圖1所示。該模塊采用一個步長為2的3×3深度可分離卷積完成對管涌現象及ROI下采樣的操作;考慮到提取過程中信息的丟失問題,創新地將第二個逐點的卷積步長s設為1;為確保訓練的穩定性,采用了批歸一化操作;為捕獲目標精細的紋理細節信息,采用了兩個1×1深度卷積;為緩解多個模塊堆疊可能造成的梯度消失和梯度爆炸現象對模型產生的影響,添加了輸入和第n個模塊輸出之間的跨層連接。

圖1 Piping-Sandglass模塊結構

Pipping YOLO模型結構包括特征提取、下采樣以及殘差結構,結構與Darknet-53相似,其模型結構如圖2所示。圖2虛線框內為卷積核及下采樣殘差塊,作為特征提取的主要部分,同時為盡可能地得到管涌孔的相關特征信息,將一個3×3的普通卷積用來代替Pipping-Sandglass的下采樣,即第一個模塊使用3×3的卷積核,并將步長像素變為2。使用上采樣及普通卷積的方式作用于Pipping YOLO模型來改進最后輸出的特征圖,以盡可能地使特征圖的信息保留完整。將改進后的特征圖與上一輸出特征圖直接相加,最終的回歸分支是由Piping YOLO模型網絡的末端采用普通卷積操作得到,模型末端的2個預測框里包含了管涌孔周圍邊框信息、管涌孔的置信度等信息。

圖2 Piping YOLO模型結構

為進一步增強模型的非線性能力,本文還將模型所用的激活函數由Leaky ReLU函數替換為Mish函數[14],因為Mish函數的曲線相對更加平滑,對負值容許度更高,能夠更好地提高網絡的精準度。

YOLO v3模型會在目標中預先生成錨定框(anchor box),其步驟為：先將目標圖像等分成若干網格,再以每個網格為中心,劃分3個不同尺度的框,這些框就是錨定框,能夠覆蓋整幅圖像,在通常情況下不會剛好和目標真實框重合,一般起到作為目標位置的參照物的作用。顯然,生成錨定框所用的三個尺度會較大程度地影響預測框。而在實際訓練識別的過程當中,預測框中心點和物體中心點往往無法落在同一網格內,所以通常會采用Sigmoid函數防止其過量偏移,本文的Piping YOLO模型創新地移除了Sigmoid歸一化的過程,并用ax和ay表示預測框中心點相對于錨定框中心的水平和垂直偏移量,如圖3所示。模型預測的邊框信息等表達式為

圖3 預測框的生成方式

(1)

(2)

式中：mx、my分別為預測框中心點的x軸和y軸坐標;nx、ny分別為錨定框中心點的x軸和y軸坐標;mw、mh分別為預測框的寬和高;pw、ph分別為錨定框的寬和高;tw、th為預測的尺度調整參數;(px,py)為預測的目標中心點的真實坐標;λ為參數,本文取0.2時,其預測框生成效果較好。

1.4 評價指標

選取查準率、查全率、平均精度 和F1分數作為目標檢測的評價指標,查準率、查全率可用來衡量ROI的誤檢及漏檢程度,查準率、查全率、F1分數[15]和平均精度的值越高,則代表模型預測目標的性能越強。

為評價對管涌狀態分類的結果,選取模式識別中應用較廣泛的總體分類精度、Kappa系數以及識別時間作為分類的評價指標。

2 基于MWNN的堤壩管涌識別分類

考慮到堤壩管涌現象具有很高的瞬時性與不確定性,在實際中堤壩出現管涌現象很難及時進行圖片取樣,所以在樣本不充足的情況下運用Piping YOLO模型提取出管涌ROI后,采用基于MWNN[16]的堤壩管涌特征現象的分類識別方法識別出管涌的類別狀態。使用MWNN這一小樣本學習網絡可以有效地解決樣本不足問題,2D-PCA方法[17-18]提取出ROI內的特征信息后,將特征矩陣作為輸入,經過MWNN訓練后,輸出管涌的狀態分類。

MWNN的建立可以看成對傳統神經元網絡的一種擴展,在實際應用中,樣本的空間排列情況一般很復雜,而MWNN可以完成在高維復雜空間中構建相應的空間進行訓練。在處理復雜情況和覆蓋樣本方面相比傳統神經網絡有著顯著提高,而且不依賴于樣本數量。MWNN構建完成后,基于2D-PCA方法的MWNN堤壩管涌現象識別分類流程圖如圖4所示。

圖4 基于MWNN的堤壩管涌現象識別分類流程

3 試驗結果與分析

3.1 試驗數據

考慮到真實堤壩上管涌現象產生原因和表現形式的復雜性及取樣的困難性,本文在自主搭建的管涌滲漏試驗平臺上進行驗證嘗試。如圖5所示,試驗平臺主要包括：上游進水裝置、穩水石子、透水隔離板、砂樣、玻璃蓋板等,在盡可能貼近實際工程環境下,模擬較為簡單情況下的堤壩管涌現象。在成功模擬出管涌發生的全過程后,拍攝采集管涌的特征現象樣本,建立堤壩管涌滲漏數據集。

圖5 管涌滲漏試驗平臺

結合試驗特征現象以及管涌機理過程,管涌特征現象分為三個階段,分別為①管涌開始階段：與玻璃蓋板緊密接觸的砂樣土體微微隆起,并伴隨大量氣泡;②管涌劇烈發生階段：管涌口持續涌出大量渾水,且夾帶大量粗細不等的較細砂樣;③管涌結束階段：管涌口出水變清,且沒有夾帶砂樣顆粒。

在經過多次模擬試驗后,共采集管涌圖片800張,其中管涌開始階段200張,管涌劇烈發生階段以及管涌結束階段均為300張。每一類別選取80%用作訓練,20%用作測試,在經過管涌ROI提取后,只保留樣本圖片ROI的部分,將其作為管涌分類的特征提取樣本,采用2D-PCA方法提取特征信息,作為MWNN的輸入,進而輸出管涌的類別狀態。

3.2 ROI提取結果與分析

圖6為管涌ROI提取的定性效果圖,圖中紅色預測框為三個階段的ROI范圍,并且每個方框ROI提取置信度都超過了0.9,表明Pipping YOLO模型在管涌ROI提取方面具有較高的可行性。

圖6 管涌ROI范圍及置信度

圖7為ROI提取的相關指標曲線圖。由圖7可知,查準率、查全率、平均精度和F1分數分別達到了97.96%、85.71%、97.91%和0.91,表明本文所提出的Pipping YOLO模型對堤壩管涌ROI的提取有著良好的性能。

圖7 ROI提取相關指標曲線

表1為Piping YOLO模型與YOLO v3以及RetinaNet[19]模型的ROI提取指標對比,作為同時期的目標檢測算法,RetinaNet模型采用焦點損失作為候選框的類別預測,有效地解決了正負樣本的不平衡問題。由表1可知,在同樣的數據集上的訓練結果表明,Piping YOLO模型ROI提取的各項指標均高于其他模型。

表1 管涌ROI提取各指標對比

3.3 管涌狀態分類識別結果與分析

圖8為ROI提取后的部分特征提取樣本圖,MWNN構建完成后,每一類管涌特征現象選取10個樣本作為訓練集,10個樣本作為測試集。測試樣本序號1～10為管涌開始階段類別,11～20為管涌劇烈發生階段類別,21～30為管涌結束階段類別。

圖8 特征提取部分樣本圖

管涌狀態識別結果如圖9所示。每一張圖片都被分類到某一神經元,30個測試樣本有29個被成功識別分類,總體分類精度達到96.7%。測試樣本序號2應為管涌開始階段,其識別結果歐氏距離到管涌結束階段這一類別神經元最小,即被錯誤地識別為管涌結束階段。

圖9 MWNN測試集樣本分類結果

為了驗證MWNN對管涌階段分類的性能,將同樣的樣本采用SVM、原型網絡[20](prototypical networks,PN)以及深度神經網絡[21](deep neural networks,DNN)進行識別,其各項指標與識別效果等如表2所示。由表2可知,針對堤壩管涌現象的狀態識別方法指標,MWNN的指標均高于其他模型,PN的總體分類精度與MWNN相同,但其Kappa系數低于MWNN,表明其分類結果相較于PN表現出了較高的類內一致性與類間差異性。

4 結 語

本文提出了基于堤壩管涌ROI提取的Piping YOLO模型,并將ROI內管涌的特征信息經過MWNN訓練輸出為管涌的類別。在自主搭建的管涌滲漏試驗平臺數據集上驗證了該方法的可行性與有效性。與其他模型的對比表明,本文的模型表現出了更好的性能。

本文從設計及效果上已完成了半實物仿真試驗,并取得了較好的結果,不僅在堤壩管涌無人機巡檢領域有一定的應用前景,而且適用于很多工程問題,例如對混凝土壩的裂縫檢測起到一定的參考作用。本文在自主搭建的管涌滲漏試驗平臺上進行了較簡單情況下管涌現象的檢測識別,但現實堤壩的管涌成因及現象往往較為復雜,因此管涌ROI和其特征信息可能存在著更為復雜的對應關系。未來應該嘗試根據更多的實際場景去進行模型的試驗與改進,使本文方法能夠更好地拓展到實際的工程應用中。