基于改進Faster R-CNN算法的巖石裂隙發展方向跟蹤預測研究

黃曉紅，李鐵鋒，劉祥鑫，李偉

（1.華北理工大學 人工智能學院，河北 唐山 063210；2.華北理工大學 礦業工程學院，河北 唐山 063210）

0 引 言

在深部礦產資源開采、交通橋隧工程、水利水電工程中，巖土工程災害（如巖爆、巖體崩塌、巖體滑坡等）時有發生，給國家經濟和工人人身安全帶來巨大損失和威脅，因此，巖體破裂失穩問題一直都是國內外巖體力學研究的重點問題。

20世紀90年代初，一些學者屢次發現地震前存在巖石熱紅外圖像異?，F象并展開了巖石加載過程中紅外輻射變化規律研究。劉善軍等［1-3］研究發現，巖石破裂紅外輻射前兆機理是巖石熱彈效應和摩擦熱效應的綜合，并且巖石在破裂前平均紅外輻射溫度（AIRT）與熱像類型存在異常前兆；花崗巖的AIRT異常表現為發生剪切失穩破裂前，AIRT迅速上升，而紅外輻射熱像異常表現為沿未來破裂帶出現熱紅外輻射高溫或低溫條帶；不同性質的輻射條帶預示不同的破裂性質，高溫條帶預示剪性破裂，低溫條帶預示張性破裂。巖石張裂隙發育時，產生熱彈（吸熱）效應，導致溫度下降；剪裂隙發育時，破裂面間發生相互錯動和摩擦，導致溫度上升。對花崗巖失穩破裂前的紅外熱像中高溫和低溫區域內的AIRT分別進行了監測，發現破裂前高溫區域內的AIRT持續上升，而低溫區域在破裂前AIRT先急劇下降然后再上升。徐忠印等［4］研究發現，花崗巖破裂過程中，目標區域AIRT隨時間變化曲線持續上升，直至破裂前夕。這讓越來越多的學者意識到，巖石破裂紅外輻射前兆對巖石破裂預警的重要性，同時也涌現許多基于巖石破裂紅外輻射前兆的機理分析與預警方法。張艷博等［5］采用巖石破裂紅外輻射特征與聲發射信號的聯合監測對巖石破裂的損傷演化進行了分析；陳國慶等［6］對節里巖橋裂紋擴展的熱紅外輻射前兆信息進行了研究。

本文針對花崗巖單軸壓縮試驗中巖石表面裂隙發展方向的跟蹤預測方法進行研究?；趲r石失穩破裂前的熱紅外輻射前兆具有平均紅外輻射溫度-時間曲線異常的現象，且裂隙延展往往與內部失穩破裂有關，因此在監測到巖石破裂時，定位巖石裂隙所在紅外熱像圖中的位置，監測紅外熱像圖中巖石裂隙及附近區域的溫度變化，并繪出紅外輻射溫度-時間曲線，然后進行分析，有助于跟蹤預測巖石裂隙發展方向?；趲r石破裂紅外熱像圖定位巖石裂隙稱為目標檢測。為避免裂隙發展帶來的部分巖土工程災害，必須及時定位紅外熱像巖石裂隙，所以對目標檢測精度和實時性均有一定要求。傳統圖像處理手段需要根據特定場景設計不同的圖像特征提取方法，但往往在某一場景有很好的表現，換另外一個場景可能就表現得很差。

近年來神經網絡快速發展，其模擬人腦進行學習分析，實現數據特征分層理解、解釋、表達，具有強大的信息處理能力。神經網絡在計算機視覺領域應用取得了非常好的效果，特別是圖像目標檢測，從而大量的優秀算法被提出，其中應用比較廣泛的有從R-CNN到Faster R-CNN等［7-9］一系列二階段算法。單階段算法比較常見的有Yolo［10］，SSD［11］等一系列算法。鑒于本文巖石裂隙檢測對精度與實時性均有一定要求，提出使用基于改進的Faster R-CNN巖石裂隙發展方向跟蹤預測方法，并進行仿真，最后通過實驗驗證本文方法的有效性。

1 巖石裂隙發展方向跟蹤預測方法

1.1 改進的Faster R-CNN算法

巖石裂隙類型分為張性裂隙和剪性裂隙，本文針對這兩類裂隙進行目標檢測?？紤]到巖石單軸壓縮試驗中產生的裂隙尺寸差異較大，且巖石裂隙形態復雜，所以對模型檢測不同尺寸巖石裂隙性能和模型的擬合能力有一定要求。對于工程應用，對裂隙檢測的精度和速度也有一定要求。針對這些要求，提出使用改進的Faster R-CNN算法進行裂隙目標檢測。

原始的Faster R-CNN（圖1）引入了區域建議型網絡（region proposal network，RPN），將傳統的區域建議方法用神經網絡方法實現，減少了CPU使用率，利用GPU運行神經網絡速度快的特點，加快模型運行速度。不僅如此，RPN還讓Faster R-CNN成為二階段目標檢測算法，即對每張紅外熱像圖的目標檢測經過兩次識別與回歸，檢測精度很高。

圖1 Faster R-CNN結構Fig.1 Faster R-CNN structure

1.1.1 深度殘差網絡

一般而言，卷積神經網絡擁有更多的層數，即網絡的深度越深，可提取到的語義特征越豐富，模型的擬合能力越強，從而擁有更好的魯棒性。雖然網絡寬度即卷積核數量也影響模型的擬合能力，但其帶來的影響遠不及深度，因此本文著重考慮增加卷積神經網絡深度，以提升其擬合能力?？紤]到對模型速度也有一定要求，且網絡層數越深，速度越慢，本文將原始Faster R-CNN的特征提取網絡即VGG16改為ResNet50，而不使用擬合能力更強的ResNet101。

ResNet由 多 組 殘 差 塊［12］（residual block）（式（1），圖2）堆疊而成，旨在解決深層神經網絡存在的梯度消失問題，使深層神經網絡的層數可以更多，精度更高，訓練更容易。

圖2 殘差塊Fig.2 Residual block

式中：Ouput為輸出；relu為激活函數；f（x）為殘差塊中‘⊕’之前的輸出；x為殘差塊的輸入。

1.1.2 優化建議框與巖石裂隙特征的空間對應關系

由于RPN產生的建議框大小包含的多種特征圖區域尺寸各異，而后面分類器與回歸器使用的全連接層要求每次輸入的特征尺寸相同，針對上述問題，原始Faster R-CNN引入了ROIPooling結構［9］。

ROIPooling結構將每個建議框包含的特征圖尺寸統一為后面回歸器與分類器需要的大小，包含了兩次量化操作，從而引入了兩次量化誤差。對于尺寸較小的巖石裂隙，由于其本身所占圖像像素個數較少，因此量化誤差可能會導致檢測框誤差較大。針對此問題，本文將ROIPooling結構改為ROIAlign［13］結構。

ROIAlign結構將ROIPooling結構的發生兩次量化誤差的操作改為保持原有的浮點數不量化，并用雙線性插值法填充特征圖目標像素點，從而盡量避免量化誤差的產生。ROIAlign結構如圖3所示。

圖3 ROIAlign結構Fig.3 ROIAlign structure

圖3所示為ROIAlign結構利用雙線性插值法求特征圖的過程。橫向虛線落在像素點上，說明其并未直接量化，而是保留了浮點數對應關系，然后用雙線性插值法求出圖中‘×’位置的像素值，盡量避免產生量化誤差。

1.1.3 多尺度特征融合

原始Faster R-CNN僅用頂層特征圖做分類與邊框回歸，隨著網絡層數加深，特征圖尺寸被壓縮，并伴隨有信息丟失，若巖石裂隙在原圖中尺寸較小，可能會在中間層丟失特征信息，導致漏檢。本文引入FPN（feature pyramid networks）結構［14］，將特征提取網絡中多個不同層特征圖進行融合，由于不同層特征圖感受野不同，故稱多尺度特征融合。

圖4 FPNFig.4 Feature pyramid networks

1.2 平均紅外輻射溫度-時間曲線

裂隙發展方向預測方法主要是基于花崗巖加載過程中表面紅外輻射溫度場的定量分析。通常是選定目標區域，即神經網絡模型檢測到的裂隙及附近區域，將區域內的平均紅外輻射溫度（AIRT）作為分析指標，觀察AIRT隨時間的變化過程。AIRT（式3）考慮了溫度場內所有像素的溫度值，能夠反映巖石溫度表面紅外輻射的整體強度［15］。

式中：aij為目標區域對應溫度矩陣中每個像素點的溫度值；m為矩陣寬；n為矩陣長。

部分學者研究表明［4］，單軸壓縮下巖石在失穩破裂前，目標區域的AIRT不斷上升直至發生失穩破裂，隨后AIRT發生陡降。這是因為失穩破裂發生前，內部微小破裂已經發生，由于內部微小破裂的摩擦熱效應越發強烈，致使熱量積聚，溫度升高并傳至巖石表面，導致目標區域溫度升高。失穩破裂發生后，巖石內部空隙增大，從而熱量開始釋放，溫度驟降，且巖石裂隙延展通常與內部失穩破裂發生有關，因此目標區域的AIRT不斷上升可作為裂隙延展的前兆。

2 試驗與分析

2.1 巖石試樣制備

試驗巖石為花崗巖，均取自沈陽，將自然狀態下的花崗巖加工成50 mm×100 mm×50 mm的標準試樣，試樣兩端平整度誤差小于0.02 mm，試樣制備滿足常規巖石力學試驗的要求。共制備試樣14塊，編號分別為GUD-1～GUD-14。

2.2 巖石單軸壓縮試驗與方法

巖石單軸壓縮試驗采用軸向等位移控制的方式進行加載，加載系統為TAW-3000型常規三軸試驗機。試驗機的最大軸向壓力3 000 kN，測量精度±1%。為了保證試樣和加載面完全接觸，先將試樣加載至2 kN，隨后以0.15 mm／min速率加載至破壞。試驗中采用德國Infra Tec Image IR 8 300紅外熱像儀，分辨率為640像素×512像素，光譜為2.0～5.7μm，溫度靈敏度小于25 mK（溫度在30°C時），試驗設備如圖5所示。

圖5 試驗設備Fig.5 Layout of test system

2.3 數據集制備

試驗中的巖石裂隙分為張性裂隙和剪性裂隙兩種類型（圖6）。由于花崗巖破裂狀態不可控，加載時6個面均可能出現裂隙，但僅可選取1個面作為觀測面，因此花崗巖裂隙紅外熱像圖收集具備一定的隨機性，從而導致收集難度較大。從試驗產生的紅外熱像圖中篩選277張差異較明顯的圖像，其中包含張性裂隙203個、剪性裂隙217個，圖像格式均統一為jpg格式。

制作訓練集。從277張紅外熱像圖中隨機選取227張，其中包含張性裂隙152個，剪性裂隙170個，用于訓練集制作。由于數據樣本有限，考慮到實際應用場景的復雜狀況，以及紅外熱像儀拍攝過程中視角與清晰度的變化，為提高模型泛化能力，采用角度旋轉、亮度變換、圖像裁剪、放大縮小和添加高斯噪聲的方法擴充訓練樣本圖像至3 632張。

制作測試集。為增加測試集數量，更好反映模型性能，使用余下的40張巖石裂隙紅外熱像圖做上下翻轉、鏡像翻轉、增加高斯噪聲、調整明暗等操作，將圖像擴充至200張。

《人力資源社會保障部 食品藥品監管總局關于表彰全國食品藥品監督管理系統先進集體和先進工作者的決定》影印件

針對基于改進Faster R-CNN算法的巖石裂隙檢測任務，利用選取的訓練集圖像與測試集圖像建立標準PASCAL VOC2007格式的巖石熱紅外裂紋圖像數據集。

為適應ResNet50的模型擬合能力，增加圖像差異，提升學習效果，驗證方法有效性，訓練集和測試集均未將紅外熱像圖右側顏色條與背景裁剪掉，如圖6所示。

圖6 巖石紅外熱像裂隙圖像樣本Fig.6 Thermal infrared images samples of rock cracks

2.4 神經網絡模型訓練試驗及結果

本文仿真試驗硬件配置為：Tesla V100 SXM2 GPU，Intel（R）Xeon（R）Gold 6271C CPU＠2.60 GHz×24，32 GB內存，100 GB硬盤。軟件平臺為：Ubuntu18.04LTS，paddlepaddle1.8.0框架，CUDA 11.0，cuDNN 7.6，Anaconda4.7.5（Python3.7.4）開發環境。

本文中使用的評價指標為平均精度均值mAP［16］（mean average precision），該評價指標兼顧了檢測準確率（precision）和召回率［16］（recall），相較于單純使用準確率，使用此評價指標能更好地反映模型算法的全局性能。mPA計算方法如下。

式中：IOU為預測框與真實框重疊部分與其總面積的比值，用于評估預測框與真實框的重合度，IOU≥0.5，并且模型判斷為True，歸類為TP，其余以此類推；AP為平均精度；對每一類AP（式7）求均值，得到mAP。

為縮短訓練時間，增強模型泛化能力，使用預訓練模型的參數進行參數初始化。預訓練模型均是基于ImageNet［17］的骨架網絡預訓練模型。所有預訓練模型均通過標準的Imagenet-1k數據集訓練得到。訓練過程中，衡量模型預測誤差的函數即損失函數（loss）總體趨勢下降，且mAP總體趨勢上升，表示訓練有效，如圖7所示。

圖7 訓練過程中評價指標及裂隙檢測結果Fig.7 Evaluation index and detection results of fissures during training

訓練過程不僅訓練了改進的Faster R-CNN模型，而且還訓練了兩種現有目標檢測模型，即Yolo v3和SSD，并將它們進行對比分析。

不同模型在測試集上的測試結果見表1。每項改進對于Faster R-CNN的mAP均有較明顯提升，以ResNet50為特征提取網絡的Faster R-CNN其mAP達到80.31%，檢出率一般，有一定的漏檢率。改用ROIAlign后的Faster R-CNN，其mAP達到84.95%，上升了4.64%，表明提高了檢出率，這是因為建議框與巖石裂隙特征的空間對應關系更加準確。引入FPN結構后的Faster R-CNN，其mAP達到88.81%，上升了3.86%，表明檢出率進一步提升，這是因為FPN結構對模型特征進行了多尺度融合，提升了模型對不同尺寸巖石裂隙的檢測能力。最終改進后的Faster R-CNN的mAP可以達到88.81%，平均每秒能處理26.07張紅外熱像圖。由上述分析可見，改進后的Faster RCNN對紅外熱像圖中的巖石裂隙有著良好的檢測效果，但實時性一般，Yolo v3和SSD雖然實時性良好，準確度卻遠低于前者。實際應用場景下，改進后的Faster R-CNN平均每秒處理26.07張圖像的速度基本可以滿足應用需求，并且其達到88.81%的mAP表明模型可以適用大部分情況下的巖石裂隙檢測任務。

表1 測試結果Tab.1 Test results

為了更加直觀地對比模型檢測性能，挑選一張未添加到數據集且尺寸不同、裂隙形態復雜的紅外熱像圖，送入改進后的Faster R-CNN，及Yolo v3、SSD進行處理，然后觀察檢測結果。為了清晰顯示檢測結果，僅截取巖石部分，如圖8所示。由圖8可知，改進后的Faster R-CNN漏檢較少，而Yolo v3與SSD漏檢較多，表明改進后的Faster RCNN巖石裂隙檢測性能明顯優于Yolo v3與SSD模型。綜合試驗結果與實際應用情況，本文選用改進后的Faster R-CNN。

圖8 檢測結果對比Fig.8 Comparisons of detection results

2.5 巖石裂隙方向發展跟蹤預測仿真實驗及結果分析

利用通過訓練獲得的神經網絡模型，即改進后的Faster R-CNN，對本文獲得的單軸壓縮花崗巖試驗過程中的紅外熱像圖依次進行處理。當神經網絡模型檢測到花崗巖破裂裂隙時，獲得裂隙位置坐標，并開始監測該坐標區域內AIRT隨時間的變化，從而繪出監測區域內裂隙坐標時間之前1秒為起點的AIRT隨時間變化曲線。為清晰顯示檢測結果，僅截取圖中巖石部分。限于篇幅，選取典型試樣，如圖9～10所示。

由圖9（a）可知，花崗巖剪性裂隙出現，在內部失穩破裂進一步延展前，表面裂隙尺寸較小，改進后的Faster R-CNN模型可以準確識別并定位它在圖中的坐標位置，由于兩個裂隙坐標太近，故取兩個框坐標的最左上與最右下坐標組成目標區域坐標監測，并繪出AIRT隨時間變化曲線。圖9（b）為花崗巖張性裂隙出現且未進一步延展時，由于其僅檢測出一個框，故可直接以該框為目標區域進行監測，其余同理。

圖9 檢測結果Fig.9 Detection results

圖10（a）中劇烈陡降點為GUD-4監測區域巖體內部發生失穩破裂導致巖石裂隙延展的時刻，這印證了前人的研究結果［4］，即花崗巖發生失穩破裂時，AIRT隨時間變化曲線會發生陡降，且在失穩破裂前，該區域巖體表面溫度持續上升，這同樣符合前人的研究結論［4］。從監測改進后的Faster R-CNN模型定位的裂隙區域繪制的AIRT隨時間變化曲線觀測到的在花崗巖發生失穩破裂前期AIRT持續上升的特征，可作為花崗巖失穩破裂導致巖石裂隙延展的前兆信息。

圖10 AIRT隨時間變化曲線Fig.10 AIRT curves with time

圖10（b）中劇烈抖動點為GUD-5監測區域內巖體發生失穩破裂致使裂隙延展的時刻。圖10中AIRT多次出現陡降并再次升溫，這是因為巖體內部多次發生失穩破裂，導致內部空隙增大從而釋放內部熱量，致使溫度降低，但內部仍持續發生微小破裂，并再次積聚熱量，升高溫度，孕育新的失穩破裂，通過觀測破裂過程也印證了這一點。圖10中最后溫度急劇下滑不再上升，預示該區域對應巖體內部微小破裂很少或不再發生，失穩破裂致使裂隙延展再次發生概率也急劇下降。

3 結 語

巖石裂隙因內部失穩破裂而進一步導致裂隙延展前，表面會出現尺寸較小的裂隙，改進的Faster R-CNN模型可有效并準確地檢測出裂隙位置并獲得其坐標，較Yolo v3和SSD模型有更好的檢測效果。模型還考慮了mAP評價指標、模型的運行速度和運行環境等。在本文自建測試集上，改進的Faster R-CNN模型的mAP達到88.81%，且在Tesla V100 GPU下運行速度達到26.07 f／s，表明模型可以檢測出大多數巖石裂隙，綜上可知，模型性能一定程度上可滿足應用需求。

利用改進后的Faster R-CNN模型處理花崗巖裂隙紅外熱像圖，對獲得的裂隙坐標區域進行AIRT監測，結果表明，AIRT隨時間變化曲線符合前人研究規律，即花崗巖內部失穩破裂前目標區域溫度持續上升，表明對花崗巖裂隙因內部失穩破裂而延展帶來的災害在一定程度上可以預測，證明了本文方法的有效性。

本文巖石裂隙發展方向跟蹤預測方法有其局限性，不適用于所有情況，未來會完善。巖石裂隙紅外熱像圖像稀缺，相信以后有更多的數據參與到模型訓練中，從而進一步提升模型性能。