基于改進Faster R-CNN的隧道襯砌中離散實體目標自動檢測研究

崔廣炎，王艷輝，3，4，徐 杰，丁冠軍，秦湘怡，任秋陽

(1.北京交通大學 先進軌道交通自主運行全國重點實驗室，北京 100044；2.北京交通大學 交通運輸學院，北京 100044；3.北京交通大學 北京市城市交通信息智能感知與服務工程技術研究中心，北京 100044；4.北京交通大學 城市軌道交通運營安全管理技術及裝備交通運輸行業研發中心，北京 100044)

隧道開裂、滲漏水、老化、沉降、鋼筋缺失等一系列突出問題嚴重危害公路、鐵路隧道的運營安全,因此對隧道基礎設施質量的定期檢測和維護勢在必行。對于一些無法直接從表面觀察且十分隱蔽、復雜的缺陷問題,使用常規的檢測手段通常難以達到效果[1]。針對這類隱蔽缺陷問題,常使用無損檢測技術進行解決,其中探地雷達因其高效、便捷、分辨率強等優勢在隧道、橋梁、路基、路面、大壩等基礎設施質量安全檢測領域得以廣泛應用,且探地雷達對于基礎設施內部的孤立體目標檢測效果尤為顯著。在探地雷達剖面圖像中,孤立體目標的雷達圖像特征呈現離散分布狀態,其雷達圖像特征的尺寸面積較小且一般呈開口向下的半雙曲線形狀,對于具有此類特征的實心體目標可將其定義為離散實體目標。最為典型的離散實體目標如隧道襯砌結構中的鋼筋、拱架等,離散實體目標的缺失直接危害隧道襯砌的質量安全,因此隧道工程領域常將襯砌內部鋼筋和拱架的數量和位置檢測作為驗收指標。

盡管地質雷達無損檢測技術能夠對隧道襯砌中的離散實體目標進行有效檢測[2],然而常規的雷達圖像人工解譯方法因主觀性強、費時費力等缺點限制了地質雷達在隧道襯砌無損檢測領域的進一步發展。面對這一卡脖子問題,眾多科研技術者嘗試利用現有人工智能技術進行雷達圖像的自動解譯研究。就目前來看,其研究思路主要分為兩個方面,一種是以原始雷達數據為基礎,利用機器學習算法進行數據預處理、特征提取和模式識別進而實現目標的自動檢測,該方法可以很好地利用地質雷達其特有成像原理并充分發揮數據的優勢,然而其難以實現對目標體的精準定位且解譯效率較低。王艷輝等[3-4]提出一套基于遺傳算法的隧道襯砌雷達剖面數據中多目標體自動檢測的算法,實現了對仿真數據及實測數據中鋼筋、管線及小型空洞的自動檢測。周熙人等[5]提出一種GPR-B掃描圖像自動解譯模型來檢測埋藏管線,該算法可實現對管線半徑和埋深的預測,但是該算法處理流程較為煩瑣且受雷達圖像分辨率影響較大。

除此之外,另一種研究思路是利用現在逐漸成熟的深度學習算法對雷達圖像進行特征提取、分類預測與回歸損失計算,進而實現對雷達圖像中離散實體目標的自動檢測和定位。此類算法處理效率高且可對雷達圖像進行直接處理,然而需要依托強有力的硬件系統和大量的圖像數據投喂,其檢測結果的精度也受到數據規模、網絡結構和模型參數的影響。近年來,以深度學習為基礎的目標檢測方法已經逐漸成為研究熱點。Barkataki等[6]在數據預處理階段通過不同的邊緣檢測算子對原始雷達圖像進行邊緣檢測處理,進而通過CNN(convolutional neural network)算法實現對雷達數據中的目標體尺寸(直徑/半徑)預測。Dinh等[7]提出一種包含兩階段的鋼筋自動定位和檢測的算法,首選通過常規的圖像處理方法將有可能包含鋼筋目標的位置定位出來,其次基于定位出的位置找到原始數據中對應的雷達圖像,進而通過CNN算法進行分類。王靜等[8]提出一個基于深度學習的自動檢測框架(region deformable convolutional neural network, R2_DCNN),該方法包含可變形卷積、特征融合、旋轉區域檢測模型等三個模塊,可實現對隧道襯砌內部鋼筋和病害目標的檢測。張軍等[9]利用CNN_ResNet50的網絡結構進行特征提取,在此基礎上通過YOLOv2算法實現對圖片數據中目標的自動識別和定位。許貴陽等[10]針對高度鐵路中CRTSⅡ型軌道板裂縫傷損病害,提出一種基于改進的Faster R-CNN方法實現對裂縫傷損的定位檢測。

目前關于隧道襯砌中離散實體目標檢測的深度學習算法依然受到雷達圖像分辨率、色澤亮度、目標體尺寸等因素的影響,存在錯檢、漏檢或目標定位不夠準確的問題,文獻[11]顯示現場實測雷達數據不足嚴重影響了后期深度學習框架的訓練精度。因此,本文基于多年來現場收集到的隧道襯砌雷達數據,并結合正演模擬技術得到的仿真數據,通過幾何變化的方法實現對數據的增強處理以構建離散實體目標自定義雷達數據集?；诖?本文提出一套改進的Faster R-CNN算法對隧道襯砌中不同尺寸的離散實體目標進行自動檢測,以提升對隧道襯砌中離散實體目標檢測效率及辨識精度,并為類似基礎設施中隱蔽缺陷目標的定位檢測提供技術支撐。

1 改進的Faster R-CNN算法框架

隧道襯砌中的離散實體目標分布隨機且呈離散狀態,在雷達圖像中呈現半雙曲線特征且尺寸較小,由于Faster R-CNN算法在對離散小目標體檢測領域兼具速度和精度的優勢[12-13],因此本文為實現對隧道襯砌雷達數據中離散實體目標的精準辨識,采用Faster R-CNN網絡框架并對其特征提取模塊和特征金字塔結構進行改進。該算法主要包含三個核心模塊:特征提取模塊(Backbone)、區域目標候選模塊(RPN)和Fast R-CNN預測模塊。

針對現有Faster R-CNN算法,許多學者對其進行了改進提升,如姚萬業等[14]在進行行人檢測時,以Soft-NMS算法代替傳統的NMS算法并通過Hot Anchors代替均勻采樣錨點以避免額外計算。王巍等[15]分別通過聚類分析和ROI Align對原有Faster R-CNN算法進行改進,以實現對算式批改的自動化處理。然而,這些改進更多地屬于技巧性的改進,對原有算法的骨干網絡并未進行本質性提升,而本文算法分別對特征提取網絡和FPN模塊進行了修改,以適應對隧道襯砌雷達圖像中離散實體目標的檢測。

1.1 整體網絡框架

改進的Faster R-CNN算法整體框架流程見圖1,首先對自定義數據集進行數據預處理,包括標準化[16]及數據增強,其中輸入圖片的寬高尺寸會被限制在[800,1 333]像素范圍內,以防止因圖片尺寸太小或太大而影響檢測效果。然后,使用改進后的特征提取模塊(ResNet_FMBConv)對預處理后的圖片進行特征提取[17-18],進而通過改進的特征金字塔結構(feature pyramid network, FPN)可得到7種不同尺寸的特征矩陣。在RPN模塊中,使用3×3的滑動窗口實現對目標候選框的分類損失和邊界框回歸損失計算(RPNHead)。結合錨框生成器得到的achors運用Softmax進行目標框濾除,判斷錨框屬于背景還是前景。對正負樣本進行選擇處理,并通過ROI(region of interest)池化層將其縮放到7×7大小的特征圖,然后使用展平層和2個全連接層(two MLPhead)將計算得到的特征矩陣映射到樣本標記空間中,最后通過Fast R-CNN預測模塊實現對預測結果的分類損失計算與邊界框回歸損失修正。

圖1 改進的Faster R-CNN算法框架流程圖

1.2 改進的特征提取模塊

特征提取模塊(backbone)作為Faster R-CNN網絡的重要組成結構,其主要作用是對輸入圖像進行特征提取,常使用具有殘差結構的Resnet-50網絡[19]。然而,該網絡結構對于隧道襯砌雷達圖像此類目標尺寸較小且清晰度較低的圖片數據特征提取效果不佳,且其計算參數較多,直接影響了Faster R-CNN網絡的檢測效率。鑒于此,本文借鑒EfficientNetV2[20]和MobileNetV3[21]網絡的思想對Resnet-50網絡進行改進,兩款輕量級網絡在保證檢測精度的前提下可有效降低模型訓練參數以提升檢測效率。改進后的特征提取網絡ResNet_FMBConv流程圖見圖2,共包含三個重要模塊:Fused-MBConv、MBConv和SE(Squeeze-and-Excitation)模塊[22]。該網絡將Resnet-50網絡的殘差結構改進為卷積效果更佳的Fused-MBConv和MBConv模塊,同時保持與Resnet-50網絡同樣的層結構以便于進行精度和效率驗證。ResNet_FMBConv網絡的模型參數見表1,以224×224×3的彩色RGB雷達圖像為例,依次通過Convk7×7、Max poolk3×3、Fused-MBConv1,k3×3(3層)、Fused-MBConv4,k3×3(4層)、MBConv4,k3×3, SE0.25(6層)、MBConv6,k3×3, SE0.25(4層)和Conv1x1&Pooling&FC等操作符處理進而實現對圖像的特征提取操作。其中,num_classes表示要分類的目標個數,k表示卷積核尺寸,SE表示注意力機制模塊。

表1 ResNet_FMBConv網絡模型參數表

圖2 改進的特征提取網絡ResNet_FMBConv流程

激活函數在神經網絡中通過非線性函數將神經元的輸入映射到輸出段,進而有效提升神經網絡的非線性表達能力。因此,本研究對現有模塊中的激活函數進行改進以提升模塊的卷積性能,針對3×3卷積核采用h-swish激活函數,針對1×1卷積核采用SiLU激活函數(swish),針對SE模塊中全連接層后的激活函數均采用SiLU激活函數。其中,SiLU激活函數是Sigmoid函數的加權線性組合,但是SiLU激活函數的計算求導較為復雜,對量化過程不友好,因此需對模塊中的部分SiLU激活函數進行替換。由于h-sigmoid激活函數作為Sigmoid函數的替代[23],可以顯著提高神經網絡的準確性,因此可以將SiLU激活函數改寫為h-swish激活函數。各激活函數計算式分別為

(1)

ReLU6(x)=min(max(x,0),6)

(2)

(3)

swishx=x·σ(x)

(4)

(5)

1.3 改進的特征金字塔結構

隧道襯砌雷達圖像中的離散實體目標的尺寸會因雷達天線頻率、檢測位置以及圖像分辨率的不同而改變,因此對于不同尺寸的檢測目標可采用特征金字塔結構(FPN)[24]深度挖掘目標體的特征信息。高層的特征包含豐富的語義信息,但分辨率較低,難以準確保存物體的位置信息。與之相反,低層的特征語義信息較少,但分辨率高,因此可以準確地包含物體位置信息。而FPN可以將低層的特征和高層的特征進行融合,得到一個識別和定位都準確的目標檢測系統。因此,借助FPN對不同尺寸目標在不同特征層進行精準預測,改進的具有FPN結構的ResNet_FMBConv_FPN網絡模型見圖3。由圖3可知,該模型分別以Con2_x、Con3_x、Con4_x、Con5_x結構提取輸出特征圖C1、C2、C3和C4,并通過1×1的卷積核和上采樣操作分別得到不同尺寸的特征圖P2、P3、P4、P5。在P5基礎上采用3×3卷積核得到特征圖P6,再進一步通過h-swish激活函數和最大池化層操作得到特征圖P7。在特征圖P2～P7上使用3×3滑動窗口便可對不同尺寸目標進行目標框選,進而實現對不同尺寸檢測目標的精準預測。

圖3 改進的ResNet_FMBConv_FPN網絡流程

2 自定義數據集構建

為檢測改進的Faster R-CNN算法對隧道襯砌雷達數據中離散實體目標的檢測效果,本研究利用隧道現場采集的真實雷達數據和GprMax正演模擬的仿真雷達數據共同構建離散單體目標自定義雷達數據集。通過數據增強處理,使數據集總量擴容至3 318 張,其中真實圖片3 118 張,仿真圖片200張,見圖4。劃分訓練集∶測試集∶驗證集的比例為6∶2∶2。實測雷達數據存儲格式為.rd3格式,需要使用matgpr軟件讀取數據并轉化為.mat數據格式,并使用imagesc()函數轉化為.jpg圖片。正演模擬腳本(.in文件)通過GprMax仿真軟件[25]生成雷達圖片。本文選擇LabelImg軟件將數據增強后的雷達圖像標定為VOC模式(.xml文件),該軟件是一個可視化的圖像標定工具,基于Python編寫,并用Qt實現圖形界面。

圖4 自定義雷達數據集構建流程

2.1 數據來源

2.1.1 實測數據

本研究所使用的實測雷達數據均源于在隧道現場使用探地雷達設備檢測得到的隧道二襯數據,經過試驗分析可知當雷達天線為800、1 000、1 600 MHz時其對應雷達圖像的分辨率較佳,因此本節構建的自定義雷達數據集主要包含此三種頻率的雷達天線采集到的雷達圖像。

受現場環境條件、雷達設備精度以及技術人員解譯水平等因素的制約,部分雷達圖像分辨率較差,無法顯示檢測目標的圖像特征。因此,在進行實測數據標注處理時需對其進行篩選剔除處理,只保留探測目標的圖像特征較為明顯的數據樣本。舉例說明,該實測雷達數據(圖5)采用瑞典RAMAC型探地雷達系統輔以800 MHz屏蔽天線進行檢測,天線間距0.14 m,采樣間距0.02 m,單道信號采樣點512。

圖5 隧道現場實測雷達數據

2.1.2 仿真數據

離散實體目標仿真試驗模型見圖6,模型尺寸為5.0 m×2.0 m×0.01 m內部設置多個離散實體目標,采用混凝土介質。編寫相應的.in腳本文件,并使用GprMax仿真軟件進行正演模擬,最后使用imagesc()函數得到雷達仿真圖片,見圖7。本研究共設計5組試驗模擬隧道襯砌結構中的離散實體目標(單層鋼筋和雙層鋼筋),試驗參數見表2,其中x為鋼筋水平方向坐標,y為鋼筋深度方向坐標。

表2 仿真試驗中鋼筋布置信息

圖6 離散實體目標仿真試驗模型示意(單位:m)

圖7 仿真試驗雷達圖像實例

2.2 數據增強處理

為擴充數據集,增加數據容量,采用翻轉、旋轉、裁剪和縮放等幾何變換方法對雷達圖像進行數據增強處理,見圖8。對于那些對方向不敏感的任務,可以通過翻轉、旋轉操作實現對雷達圖像的增強處理。旋轉指的是圍繞一個點,按照順時針或者逆時針方向進行水平方向運動變化,而翻轉則表示沿著對稱軸,做一個對稱軸圖形。為了減少圖像中無關成分的干擾,可以在訓練的時候采用隨機裁剪的方法去掉或減弱與主題無關的陪體,使畫面主體更加鮮明集中,也可使畫面的重心轉移使之得到均衡。

圖8 雷達圖像數據增強示例

以上操作都不會導致圖片失真,而縮放操作則會導致圖片失真。多數情況下訓練網絡要求輸入圖片的尺寸大小是固定的,然而自定義數據集中的圖像尺寸卻大小不一,此時可選擇裁剪或者縮放操作獲得到網絡要求輸入的尺寸大小?？s放會產生失真,效果比裁剪差。在網絡訓練過程中,將圖片縮放到800×1 330像素范圍內,即對短邊小于800像素或長邊大于1 330像素的圖片進行縮放。

3 試驗與結果分析

3.1 評估指標

本文采用精準率Precision、召回率Recall和F1分數三個評價指標對模型的精度性能進行評價。精準率是指模型預測的所有目標中,預測正確的比例;召回率表示預測結果為正樣本占全部真實樣本的比例;F1分數被定義為精準率和召回率的調和平均數,取值范圍為0～1,1代表模型的輸出最好,0代表模型的輸出結果最差。各指標的計算式分別為

(6)

(7)

(8)

式中:TP為正樣本被正確檢測的數量;FP為正樣本被錯誤檢測的數量;FN為沒有檢測到目標的數量。

3.2 系統配置及訓練步驟

本研究的硬件環境為RTX3080顯卡,16GB內存,CPU為Intel(R)Xeon(R)Platinum8358P@ 2.60GHz,軟件運行環境為PyTorch1.8.1,Python3.8(ubuntu18.04)以及Cuda11.1。整個訓練過程主要分為兩個階段:①在預先訓練好的ResNet_FMBConv結構的基礎上訓練RPN模塊,然后使用訓練好的RPN模塊來獲取初步的候選數據;②使用訓練類別檢測和位置校正模塊來精確調整RPN模塊生成的候選框位置,同時檢測包含目標的候選框數據。為了防止數據的過擬合,增加了早期停止操作和隨機丟棄方法(Drop-out)并采用凍結部分權重的方式提高整體訓練效率,其余初始訓練超參數見表3。

表3 初始訓練超參數匯總表

3.3 數據增強前后檢測結果對比

為了驗證數據增強對于網絡訓練的效果,分別使用數據增強前后的數據集訓練改進的Faster R-CNN網絡。結果見表4。使用增強后的數據集訓練網絡,在IOU=0.50∶0.95情況下的檢測精確率、召回率、F1分數三項評估指標均有2%～4%的提升。因此,可以說明本文給出的通過幾何變化進行數據增強的方法可有效提升訓練模型的辨識精度和檢測性能。

表4 數據增強前后檢測結果對比(IOU=0.50∶0.95)

改進的Faster R-CNN網絡模型在數據增強后數據集上的訓練損失與學習率隨迭代次數的變化趨勢見圖9,圖9中紅色曲線表示模型訓練的損失loss隨迭代次數變化情況,可直接反映模型學習好壞的狀態,藍色曲線表示模型訓練的學習率隨迭代次數變化情況。本試驗中學習率從0.01開始下降,一般隨著學習率的調整,loss會越來越小。如果loss下降,說明模型還沒完全學到數據的所有特征,模型會在這個學習率下繼續學習;如果loss上升,說明模型已經充分學習到數據的特征,開始學習訓練集里的無用特征,導致在測試集上準確度不夠,產生過擬合。在Faster R-CNN網絡訓練過程中,隨著迭代次數的增加,損失能迅速收斂,并在18個迭代次數epoch左右趨于穩定。模型在IOU=0.5時平均精確率mAP值隨迭代次數的變化趨勢圖見圖10,同樣模型的mAP值在迭代至18個epoch左右趨于穩定,不再提升。因此,結果表明數據增強后的雷達圖像數據可以用于模型的訓練研究,且迭代次數設置為25次可得到最優的檢測精度。

圖9 模型訓練損失及學習率變化趨勢

圖10 模型mAP值變化趨勢(IOU=0.5)

3.4 不同特征提取模塊的檢測結果對比

為了證明本文改進的特征提取模塊ResNet_FMBConv的檢測性能,試驗以原有Faster R-CNN網絡框架為基礎,使用相同的數據集進行訓練和測試,不同特征提取模塊的檢測結果見表5。ResNet_FMBConv_FPN模塊的三項評估指標值均高于ResNet50_FPN、Efficientnet_b0_FPN、VGG16和Mobilenetv3_FPN網絡,因此其檢測性能更優。對比ResNet_FMBConv_FPN和ResNet_FMBConv模塊,可見在增加FPN結構后,其檢測精確率、召回率和F1分數指標的提升分別為13.7%、13.3%和13.7%。試驗證明,本文改進的特征提取模塊ResNet_FMBConv對離散實體目標的檢測效果更佳。

表5 不同特征提取模塊的檢測結果對比(IOU=0.50∶0.95)

3.5 與其他算法檢測結果對比

為了驗證改進的Faster R-CNN算法對離散實體目標檢測的優越性,本小節另選擇3種不同的深度學習算法SSD[26]、YOLOv3_spp[27]、Retinanet[28]算法進行比較。為了使算法盡可能地在相同的條件下進行比較,結合GPR圖像的大小,將輸入圖像的大小縮放為734×547,而訓練集、測試集、學習率參數和訓練步驟等都是保持一致。四種算法均使用Pytorch深度學習框架,且增設FPS作為檢測效率評估指標,檢測結果見表6。在保證召回率基本持平的情況下,改進的Faster R-CNN算法的精確率和F1分數同比其他深度學習算法分別提升2%～9%和1%～6%,而YOLOv3_spp算法的精確率、召回率和F1分數指標值均最低。結果表明,就辨識效果而言本文改進的Faster R-CNN算法更適用于隧道襯砌中離散實體目標的自動檢測研究。YOLOv3_spp作為一階段算法要求對輸入的圖像進行縮放處理,因此在圖像自動縮放的過程中容易造成圖像失真,進而影響檢測的精度。而SSD算法的參數較多,在進行訓練過程中可能出現難以收斂的問題,導致實際檢測效果不太理想。

表6 不同深度學習算法的指標評估結果(IOU=0.50∶0.95)

同時本文還對比了不同算法的檢測效率,YOLOv3_spp算法作為一階段算法中的代表其處理速度最高為37.47 fps,改進的Faster R-CNN算法略低于YOLOv3_spp和SSD算法的檢測速度為21.65 fps,而Retinanet算法的處理速度最低為5.72 fps。Faster R-CNN作為一種兩階段的算法,為更精準地辨識出檢測目標,需要生成許多不同尺寸錨框并計算其分類損失和回歸損失參數,因此會降低其檢測效率。而SSD和YOLOv3_spp作為一階段算法已經實現了端到端的處理,進而大大減少了參數計算的時間。在實際工程應用中,目標檢測的準確性是進行隧道襯砌無損檢測作業的首要考慮,因此在權衡檢測速度和精度的情況下,本文將改進的Faster R-CNN作為隧道襯砌中離散實體目標自動檢測優先選用的方法。

3.6 實例驗證

為了更直觀地對比不同算法對離散實體目標的檢測效果,從測試集中各選取一張實測圖片和一張仿真圖片作為實例,通過預測模型進行離散實體目標的自動檢測,見表7,紅色圓框標注的為錯誤識別的目標體。

表7 不同深度學習算法對離散實體目標的檢測結果

其中,實測數據和仿真數據中分別有9和17個離散實體目標(經人工解譯確定),通過統計得到各算法對實例數據中目標體的正檢、誤檢和漏檢數,如表8所示。改進的Faster R-CNN算法可檢測出全部9個目標體不存在誤檢,另外三種算法均存在漏檢。針對雙層鋼筋的仿真數據,四種算法均可對最上層的目標體進行準確檢測,但是對下層目標體的檢測效果則較差,主要是因為下層離散實體目標的雙曲線信號受上層信號干擾而變弱,進而影響其檢測效果。其中,改進的Faster R-CNN算法正確檢測的個數為15個,存在2個漏檢目標。將表8中的指標進行計算,可到各算法對實例數據中目標體的正檢率、誤檢率和漏檢率,見表9。對比可知,改進的Faster R-CNN算法對實例數據中離散實體目標自動檢測效果要優于其他三種算法,可用于今后隧道襯砌雷達數據中離散實體目標的自動檢測研究。

表8 不同深度學習算法對離散實體目標的檢測結果

表9 不同深度學習算法對離散實體目標的檢測結果對比 %

4 結論

本文提出的改進的Faster R-CNN算法有效提升了檢測速度,能夠對自定義雷達數據集中的離散實體目標進行準確辨識。當IOU=0.50∶0.95時,通過幾何變化方法對雷達圖像進行數據增強可有效提升改進算法的辨識性能,檢測精確率、召回率和F1分數分別提升2.5%、2.4%和2.4%。同時,本文提出ResNet_FMBConv模塊的檢測精度和效率均優于Resnet-50、Efficientnet_b0和Mobilenetv3等目標分類網絡。該算法與YOLOv3_spp、SSD等目標檢測算法相比具有更高的檢測精度,對于改進算法的檢測精確率、召回率、F1分數和FPS分別為45.1%、54.0%、49.1%和21.65 fps。

盡管改進的Faster R-CNN算法在自定義雷達數據集上取得了良好的檢測性能,但其檢測結果仍然受限于雷達圖像的分辨率、目標體圖像特征完整性和重疊度。因此,在實際檢測過程中提前清理干擾源、選擇合適的天線頻率和輸入參數,以及在數據預處理過程選擇合適的去噪步驟和參數均會提升最終獲取的雷達圖像分辨率和算法的檢測性能。同時在未來的研究中,對于雷達圖像中下層離散實體目標的準確辨識,可使用引導錨框對目標進行精準化檢測。同時,可提前對錨框尺寸進行聚類分析,并在RPN模塊中優化目標提取框的面積尺寸和長寬比例。