基于視覺數據融合和機器學習算法的在役橋梁病害智能檢測方法

趙琳

(上海市建筑科學研究院有限公司,上海 201108)

隨著城市化建設的不斷推進,我國在役橋梁保有量已經處于世界領先水平,這些在役橋梁經過長時間的使用必然會出現各種損傷問題,比如裂縫、腐蝕、風化、脫落、露筋等,所以需要定期進行安全檢測和保養維護。傳統檢測方法依靠人工,不僅檢測時間長、速度慢、準確率低,還存在不少安全隱患[1,2],所以改進在役橋梁病害檢測方法是亟須解決的重要問題。

新的研究方向主要集中在使用機器人等進行在役橋梁圖像采集,結合計算機視覺技術對病害圖像進行分類、識別,從而實現快速、高效、低成本在役橋梁病害智能檢測。韓曉健等采用了計算機視覺的檢測方法,通過訓練神經網絡AlexNet,建立了在役橋梁病害智能檢測模型,可以快速準確地識別病害[3]。鄒俊志等改良了YOLO v3基本網絡模型,在檢測層增加了兩個分支,即空間金字塔池化以及SE注意力機制,將橋梁病害數據集用K-means算法聚類,得出病害檢測結果[4]。上述兩種方法不能解決多病害的分類檢測問題,導致誤檢和漏檢現象時有發生,同時檢測結果的準確性和效率也有待提高。

近年來無人機以其快速方便、經濟高效的特點被廣泛應用于在役橋梁病害檢測領域。相對于人工檢測和機器人巡檢的緩慢低效,無人機可以快速輕便地到達二者無法到達的區域進行拍攝,同時還可以降低檢測成本,是非常經濟實用的一種探測設備[5-7]。

由此,本文利用無人機探測數據,設計基于視覺數據融合和機器學習算法的在役橋梁病害智能檢測方法,測試結果表明該方法能夠準確采集和定位在役橋梁圖像,實現多病害的精細化智能檢測。

1 在役橋梁病害智能檢測

1.1 雷達與視覺數據融合的無人機高清圖像采集與定位

1.1.1 無人機探測設備

由于在役橋梁病害檢測普遍存在結構復雜、規模較大、病害類型多以及檢測難度高的情況,如何精準找到病害位置是利用無人機解決在役橋梁病害檢測的關鍵[8],因此在無人機的設備選擇上需要滿足以下幾個條件:

(1)飛行性能穩定且續航能力強,能夠進行長時間的飛行檢測工作。

(2)搭載可自由旋轉的云臺和高清相機,可以實現上下左右多方向的高清圖像采集。

(3)攜帶測距雷達,可以準確測量周圍障礙物的距離。

(4)具有精準的GPS定位導航、位置控制和自動躲避障礙物的功能,可以實現在復雜橋梁結構中安全靈活飛行。

(5)在橋梁底部接收不到GPS信號時,可以自動懸?；蚍岛?。

根據以上條件選擇合適的無人機探測設備,采集在役橋梁病害位置圖像,應用于后續病害檢測中。

1.1.2 雷達與視覺數據融合的在役橋梁圖像采集

為了保證在役橋梁病害的實際位置與無人機采集圖像中的病害區域位置一致,需要將雷達掃描的數據與無人機高清相機采集的視覺數據進行融合,實現準確定位[9]。雷達與視覺數據融合包括兩個方面:空間融合和時間融合。

(1)空間融合

由于相機和雷達安裝的位置與角度是不同的,所以雷達與視覺數據的空間融合主要是實現雷達與相機坐標系的統一。

本文以激光雷達為例,其坐標系O1X1Y1Z1與激光雷達中心一致,掃描采集的點云數據以該中心為圓點向外呈圓形分布。相機坐標系OCXCYCZC同樣與相機中心統一,是采集高清圖像數據的位置坐標。將激光雷達坐標系與相機坐標系實行聯合標定,即為兩種設備的空間數據融合。二者之間的轉換關系如下:

(1)

式中,(xc,yc,zc)為采集圖像數據的位置坐標;(x1,y1,z1)為激光雷達掃描點云數據坐標;兩個坐標系的相對轉移矩陣和旋轉矩陣分別用T和R表示。

在激光雷達點云數據集內,3D點云b=(x1,y1,z1)在轉換過的相機坐標系中的投影位置a表達式如下:

(2)

激光雷達的點云數據通過公式(2)進行坐標轉換,即可投影到相機采集的高清圖像上。

(2)時間融合

由于雷達和相機各自按照不同的時間標準進行數據采集,而且頻率不同,采集到的數據存在時間差異,并不是統一時刻的數據。因此二者采集的數據在時間上達到同步,即雷達數據與視覺數據的時間融合。

為了使視覺數據與雷達數據達到時間同步,需要以掃描頻率更低的雷達掃描時間為標準,對應調整相機的采集頻率,每次雷達在掃描的同時啟動相機進行一次圖像采集。

在無人機雷達與相機數據的采集和處理上使用三線程同時進行的方法,具體過程如圖1所示。

圖1 時間融合過程示意圖

如圖1所示,雷達在進行掃描時,每一次啟動都會采集當下時刻的雷達數據,按照25Hz時間啟動雷達數據接收線程;同步啟動相機數據采集線程,雷達數據線程進入阻塞等待狀態,直到下一次啟動時間。一直處于阻塞狀態的相機數據采集線程,等待雷達數據接收線程啟動后,采集當下時間的圖像,將當前圖像數據和雷達數據按順序排列并添加到緩沖區隊列尾部;相機線程再次進入阻塞狀態,直到下一次雷達觸發。一直處于循環運行狀態的數據處理線程,在緩沖區頭部獲取前兩個線程的統一時間數據,完成雷達和視覺數據的時間融合。

1.1.3 在役橋梁高清圖像定位

為了根據采集和融合的在役橋梁圖像有效識別病害,需要掌握采集圖像的位置信息,對無人機采集的在役橋梁圖像進行定位。

(1)確定無人機的拍攝距離

在無人機高清圖像采集過程中,為了獲取大小相同、符合精度要求的在役橋梁圖像,需要在圖像采集之前進行拍攝距離WD的運算。設定無人機視覺傳感平臺達到攝像距離時進行主動拍攝,這樣獲得的在役橋梁高清圖像才能夠有效識別病害的詳細信息[10]。符合要求的拍攝距離依據成像系統的簡化模型運算,如圖2所示。

圖2中,圖像傳感器的尺寸用S表示;鏡頭焦距、圖像拍攝距離和相機坐標系視場坐標向量分別用f、WD和FOV(xc,yc,zc)表示;則三者之間的關系如下式:

(3)

由拍攝目標最小特征尺寸lmin、代表最小特征的像素數Pmin以及傳感器分辨率Rmin決定FOV(xc,yc,zc)的大小,因此圖像工作距離求解公式為:

(4)

根據圖像工作距離獲取在役橋梁圖像位置。

圖2 成像系統簡化模型

(2)獲取在役橋梁圖像位置

為了對無人機采集的在役橋梁圖像進行定位,必須準確掌握該圖像對應在役橋梁的詳細位置。假設無人機拍攝的圖像位于橋塔部位,則建立一個與橋塔立面平行的坐標系。由于無人機搭載了GPS定位系統,所以對在役橋梁進行圖像采集時可以隨時得到自身的位置坐標Po(xo,yo,zo),該坐標信息會在采集的圖像當中同步顯示。則采集到的圖像中心坐標為P1(xo+WD,yo,zo),即在役橋梁圖像的具體位置,其原理如圖3所示。

圖3 在役橋梁圖像定位

1.2 基于Mask R-CNN的在役橋梁病害檢測模型

1.2.1 Mask R-CNN工作原理

Mask R-CNN(Mask Region Convolutional Neural Network)是一個組合型神經網絡,其改良了之前的Faster R-CNN網絡[11-13]。將1．1．3小節獲取的在役橋梁圖像輸入到網絡中進行檢測訓練,同時增加一個預測分割分支,將在役橋梁病害檢測和語義分割結合起來,從而達到實例分割的效果,最終輸出病害圖像識別結果。

Mask R-CNN分為三個部分,其結構用圖4表示。

(1)主體網絡

主體網絡包括金字塔特征網絡和殘差網絡。提取在役橋梁圖像特征信息,通過這兩種網絡結構組合實現[14]。

(2)區域生成網絡

RPN(Region Proposal Network,RPN)是Faster-RCNN網絡用于提取錨點框(Anchor Boxes)的部分,RPN優化了其原有的性能局限,引入卷積神經網絡,通過提取特征實現錨點框和置信度的生成[15]。

(3)RoIAlign層與功能網絡

RoIAlign(Region of Interest Align,RoIAlign)是一種區域特征聚集方法,采用雙線性插值法映射特征圖,準確匹配各個像素的空間對應關系,從而提升檢測模型的準確性。

圖4 Mask R-CNN結構示意圖

1.2.2 Mask R-CNN有監督訓練

為了準確識別在役橋梁病害,需要事先籌備訓練圖像,對Mask R-CNN網絡進行有監督訓練,從而構建一個在役橋梁病害檢測模型。采用已有橋梁病害圖像作為訓練樣本,利用訓練圖像樣本對Mask R-CNN網絡進行遷移學習訓練,調整訓練參數,得出最優的在役橋梁病害檢測模型。

基于遷移學習算法中的動態學習率調整策略提升模型檢測的準確率,公式如下:

(5)

<1)，且各件產品是否為不合格品相互獨立．

由此通過動態學習率訓練優化檢測模型,得出最優的在役橋梁病害檢測模型。

為了加強在役橋梁病害檢測模型的泛化能力,需要對數據集中的圖像采用隨機噪聲消除技術進行數據增強。

隨機噪聲可通過消噪掩模法進行消除,用h(x,y)描述像素點(x,y)的濾波系數。依次逐點移動掩模是消噪掩模法的基本原理。濾波器掩模尺寸為m×n,線性濾波公式為:

(6)

公式中,a=(m-1)/2,且b=(n-1)/2。w表示像素權值。(s,t)表示濾波掩膜范圍。

由此通過消噪掩模法的濾波處理方法將圖像中所有像素的值替換為相鄰范圍內像素的權值,實現數據降噪增強功能。

將濾波增強后的無人機采集在役橋梁高清圖像數據輸入在役橋梁病害檢測模型中,即可實現各種橋梁病害在圖像中的分類和識別。

2 實驗分析

2.1 實驗環境設置

本文實驗選擇某大橋作為檢測對象,主橋為雙獨塔、雙索面、鋼筋混凝土斜拉橋,全長1038 m,橋面有效寬度為26 m,塔高105 m,主跨186 m。

測試無人機選用四旋翼無人機,型號為大疆PHANTOM 4 RTK,相機選用1英寸2000萬像素的CMOS傳感器,搭載PIX-hawk飛控、GPS定位系統、激光測距雷達以及視覺傳感平臺Guidance等。

無人機根據天氣、風速、溫度等環境情況制定好拍攝計劃和巡航路線,在航拍過程中為了達到安全避險和精度達標的目的,將有效拍攝距離控制在8.5m左右,航拍范圍選擇整個塔面,由塔頂向塔底順序拍攝在役橋梁的高清圖像,圖像重疊率設置在50%,耗時12 h一共采集579張有效圖像,作為測試樣本。

本文采用公開的橋梁病害數據集COncrete DEfect BRidge I Mage Dataset中的1200張圖像作為訓練樣本,其中包含六種橋梁圖像類別,包括裂縫、脫落、露筋、風化、腐蝕五種病害圖像以及無病害圖像。

2.2 激光雷達與視覺數據融合定位實驗

本文根據張正友標定算法進行相機和激光雷達的聯合標定,使用2D黑白棋盤格標靶圖像作為標定板,制作20張不同方位和角度的標定板圖像,輸入MATLAB工具箱進行標定,計算出相機與激光雷達之間的轉換關系矩陣。

實驗在大橋的橋塔、橋面、橋墩和在役橋梁底部分別選擇25個不同的病害點和不同的拍攝距離,分別進行無人機高清圖像采集和實際位置測量。然后將相機與激光雷達數據融合后進行轉換得出的病害位置與實際測量的病害位置進行匹配,計算定位誤差。對比相機圖像位置和激光雷達位置的定位誤差,其統計結果如圖5所示。

圖5 定位誤差

實驗結果表明,與單純使用激光雷達定位數據或相機拍攝數據的定位誤差相比,融合雷達與視覺數據對在役橋梁病害的定位數據與實際位置之間的誤差最小,低于5%,可以更加準確地定位在役橋梁病害的位置。

2.3 病害圖像檢測效果對比

在實際采集的在役橋梁病害高清圖像中,任意選擇兩張進行對比實驗,采用的對比方法是文獻[3]的計算機視覺檢測方法、文獻[4]的YOLO v3檢測方法。本文方法、文獻[3]方法、文獻[4]方法的檢測結果分別用圖6描述。

分析圖6(a)可得,文獻[3]方法將圖像最左側的裂縫誤檢為腐蝕,并且未檢測出脫落病害;文獻[4]方法識別出了腐蝕和脫落兩種病害,但同樣誤將裂縫識別為腐蝕,未識別出裂縫災害。而本文方法能夠精準檢測出裂縫、腐蝕和脫落三種病害;分析圖6(b)可得,文獻[3]方法只能檢測出單一的脫落病害;文獻[4]方法檢測出了露筋病害,并將脫落病害誤識別為露筋病害,未檢測出脫落病害;而本文方法可以詳細的檢測出脫落病害中包含的露筋病害。

(a)病害檢測一

(a)病害檢測二

實驗結果表明,本文方法對在役橋梁病害圖像的檢測比文獻[3]方法、文獻[4]方法更加細致準確,明顯減少對目標病害的誤檢和漏檢,實現一圖多病害的精細化檢測,具有更好的檢測效果。

2.4 不同類型病害檢測效果

在役橋梁病害分為很多不同種類,本文選用裂縫、露筋、脫落、腐蝕四種常見病害進行實驗。本文實驗的評估指標使用準確率、召回率、mAP(Mean Average Precision)和F1。召回率是指識別出的病害圖像與實際存在病害數量的百分比,mAP是在役橋梁病害檢測模型的平均精度均值,F1是準確率和召回率的調和平均數。在相同條件下同時采用本文方法、文獻[3]方法、文獻[4]方法進行各種病害圖像的檢測,三種方法的檢測結果如表1、表2、表3所示:

表1 本文方法病害檢測結果

表2 文獻[3]方法病害檢測結果

表3 文獻[4]方法病害檢測結果

對比表1、表2、表3可以看出,使用本文方法進行在役橋梁病害檢測,針對裂縫、露筋、脫落、腐蝕四種病害檢測的準確率都達到90.5%以上,召回率都達到86.7%以上,在役橋梁病害檢測模型的平均精度均值達到89.4%以上,檢測時間最低可以縮短到15.5ms。而其他兩種方法的準確率、召回率、平均精度均值均低于本文方法的檢測結果,且檢測時間高于本文方法,均在20ms以上。

3 結 論

本文方法使用雷達與視覺數據融合的無人機航拍技術進行在役橋梁病害的高清圖像采集和定位。構建基于Mask R-CNN神經網絡的在役橋梁病害檢測模型,實現對在役橋梁各種病害的智能檢測。實驗結果表明,本文方法對在役橋梁各種類型的病害檢測都具有良好的適應性,準確率和召回率都較高,檢測速度快,在病害圖像檢測方面更加細致準確,減少了誤檢和漏檢的情況,實現一圖多病害的精細化識別,具有非常好的檢測效果。