基于格拉姆角場和卷積神經網絡的斜拉索損傷識別研究

李延強, 韓家浩

(石家莊鐵道大學 工程力學系,河北 石家莊 050043)

斜拉橋因其跨越能力大、建筑高度小、結構受力合理、外形美觀等優點而備受青睞,而斜拉索是斜拉橋最為重要的受力構件之一,其安全性也越來越受到人們的重視。但同時斜拉索也是最易損傷的構件之一,因此能夠及時發現斜拉索的損傷具有十分重要的意義。

斜拉索損傷識別技術現階段主要有3種:基于靜力方法[1]、基于動力方法[2-3]和基于人工智能方法[4-7]?；陟o力方法的結構損傷識別技術測試時間長、工序較為復雜、測試得到的參數較少、經濟性較差;基于動力方法的斜拉索損傷識別技術相關學科發展不完善、技術要求高、應用場景少。近些年人工智能發展迅速,傳統指標與智能算法結合將會是斜拉索損傷識別技術發展的方向,其中深度學習技術最受關注。

在眾多深度學習算法中,卷積神經網絡(CNN)發展最快、應用最廣而且技術已經相對成熟。熊炘等[8]對于一維卷積神經網絡(1DCNN)進行改進并成功運用于齒輪箱的損傷識別;ABDELJABER et al[9]以結構振動信號作為特征輸入到1DCNN中,實現了損傷識別的功能。因為損傷識別需要的原始信號多是一維時間序列,所以以上模型都是基于1DCNN建立的,但是由于CNN本身的特性就決定了其更適合處理二維數據,因此將原始時序信號轉換成為能表征損傷狀態的二維圖形可以更加充分地發揮CNN的性能[10]。

時間序列分類和圖像分類有很多相似之處,其本質都是從數據之中提取特征,然后再根據提取到的特征進行分類。正是由于這些相似性,使得將時間序列轉換成為二維圖像成為可能。張弘斌等[11]采用連續小波變換提取信號的時頻特征構建二維圖像。HOANG et al[12]對信號的振幅進行了歸一化處理,將處理后的振幅作為相應圖像中的像素值。這些方法雖然都成功將一維信號轉換成為了二維圖像,但是也存在著一些缺陷:轉換成的二維圖像多是灰度圖,包含信息較少;轉換技術復雜,工作量巨大;不能很好地保留信號對時間的依賴性。格拉姆角場(GAF)圖像編碼技術[13]就可以克服這些缺陷,但目前尚未有文獻報道此種技術應用于斜拉索損傷研究中。

鑒于此,提出了一種基于GAF圖像編碼技術和CNN(GAF-CNN)的斜拉索損傷識別方法。利用GAF方法將斜拉索加速度信號轉換為二維彩色圖像,構建斜拉索信號的GAF圖像庫,通過遷移學習作為CNN網絡輸入,構建適用于斜拉索損傷識別的GAF-CNN網絡,實現斜拉索的損傷識別。

1 GAF圖像編碼技術

GAF是利用坐標變化和格拉姆矩陣,實現將時間序列變化成為二維圖像的一種圖像編碼技術,能夠最大程度地保留給定信號的時序特征。斜拉索的加速度響應是典型的一維時間序列,通常在直角坐標系下,其橫軸表示時間,縱坐標則代表了每一個時間點所對應的加速度大小。通過GAF將加速度響應轉換為圖形數據,實現過程如下:

步驟1,假定傳感器采集加速度數據為X={x1,x2,x3,…,xn-1,xn},按照式(1)將其進行歸一化處理并縮放至[-1,1]。

(1)

步驟2,將步驟1中縮放后的加速度時間序列轉換成為極坐標。在極坐標上進行編碼,將縮放之后的加速度值用角余弦進行編碼,值在[0,π]之間。將其對應的時間戳編碼成為半徑,公式為

(2)

式中,ti為xi對應的時間戳;M為歸一化因子。

步驟3,對格拉姆角場進行定義,基于不同的算式可以生成2種不同的圖像,分別是格拉姆角和場(Gramian Angular Summation Field, GASF)和格拉姆角差場(Gramian Angular Difference Field, GADF),其表達式分別為式(3)和式(4)。由2個公式可知,隨著時間的增加位置從左上角一直運動到右下角,所以時間維度就通過GAF編碼到了矩陣的幾何結構中,從而實現了從一維時間序列數據到二維彩色圖像的高精度轉換。

(3)

(4)

圖1 GAF映射說明

為了進一步說明GAF編碼過程,以圖1為例進行說明。在某斜拉索加速度時程波形中存在著3個較為明顯的波峰,其中第1個波峰要小于后兩者。在轉化后的二維圖像中,同樣出現了3個交叉特征,波峰較小的顏色也更淺,從左上角到右下角與加速度時程波形一一對應,說明加速度信號通過GADF和GASF轉化后的二維圖像相應位置處以點、線、顏色等不同的特征形式進行了完整映射。

2 面向斜拉索損傷識別的二維CNN構建

2.1 殘差網絡

圖2 殘差塊示意圖

為了解決網絡退化問題,有學者提出了深度殘差網絡(ResNet)[14]。ResNet與普通直連神經網絡的區別就在于多了殘差塊,這也是它解決退化問題的關鍵所在,其結構示意圖如圖2所示。當特征x輸入到殘差塊中,進行復制,其中一個輸入到參數網絡層中,輸出結果為F(x);另一個作為分支結構(也被稱為捷徑),依然輸出x,最后將兩者進行疊加,即F(x)+x,再通過激活函數最終輸出H(x)。輸入x期望輸出H(x),普通直連神經網絡的學習目標是F(x)=H(x);而殘差網絡的學習目標則變成了F(x)=H(x)-x,即殘差。殘差塊存在捷徑連接,使得某一層的輸出可以跨越幾層作為后面某一層的輸入,改變了傳統網絡只能一層一層傳遞的情況,因此可以大大加深網絡的層數。

采用原始的ResNet34網絡架構,并結合遷移學習的方式對網絡進行改造。

2.2 遷移學習

在深度學習的訓練中,數據集的數量與質量往往決定了網絡模型的準確性與可靠性。通常斜拉索加速度數據集較小,這就導致建立的深度殘差網絡模型識別率較低、泛化性較差。為了解決這個問題,引入遷移學習的方式。遷移學習是一種機器學習技術,它利用在一個任務上學到的知識來幫助另一個任務。這種技術可以加速學習過程,避免數據稀缺的問題,并提高模型的準確性。

ImageNet是一個大規模的圖像數據庫,其中包含超過1 400萬張圖像,被廣泛用于圖像分類的訓練和評估。針對由斜拉索加速度轉換的GAF數據集的分類識別任務,雖然它與ImageNet數據集的內容并不相同,但是圖像的顏色、紋理等底層特征是相通的。因此可以將由ImageNet項目訓練得到ResNet模型看做一個通用的圖形特征提取器,把提取到的圖像底層特征作為網絡的初始化參數遷移到斜拉索損傷識別任務中去,使得即使在斜拉索加速度數據較少的情況下也能訓練出高質量的斜拉索損傷識別模型。

首先,基于斜拉索精細模型得到加速度數據,經過GAF轉換得到GAF數據集;然后,利用在ImageNet數據集中預訓練的ResNet34網絡模型學習到的圖像底層特征,對除全連接層以外的結構進行凍結,遷移到新的網絡中作為初始化參數,輸入GAF數據集進行訓練;最后,將全連接層的輸出改為訓練集中的類別數,并采用Softmax激活函數將神經網絡的輸出轉換為概率分布,選擇具有最高概率的類別作為預測結果。斜拉索損傷識別改進ResNet34遷移學習模型框架如圖3所示。

圖3 模型框架圖

圖4 損傷識別方法流程圖

2.3 基于GAF-CNN的斜拉索損傷識別方法

基于GAF-CNN進行斜拉索疲勞損傷識別時,其具體流程主要分為4個步驟:加速度響應的獲取以及預處理;GAF數據集的建立與劃分;模型的構建與訓練;識別結果的分析,具體流程如圖4所示。

(1)加速度響應的獲取以及預處理。根據建立的斜拉索精細模型,通過修改材料彈性模量的方法來考慮損傷材料的漸進劣化特性。根據應變等效原則,材料損傷前后的彈性模量關系如式(5)所示,改變斜拉索不同鋼絲的彈性模量,以此來模擬斜拉索不同的損傷位置,通過改變彈性模量的大小來模擬不同的損傷程度。得到加速度數據,對其進行預處理,取其倒數以此來增加不同工況下的差距,便于更好地識別。

E′=E0(1-D)

(5)

式中,E′為損傷之后的材料彈性模量;E0為材料的初始彈性模量;D為損傷度。

(2)GAF數據集的建立與劃分。對于同一損傷工況的加速度數據通過GAF轉換成GADF和GASF 2種不同的圖像。為了增加數據集的復雜性和多樣性,采用滑動窗口采樣的方式將每一工況下的加速度信號分為147組,經GAF轉化后得到分辨率為512×512的GADF和GASF加速度信號時序圖像,按照5∶1∶1的比例分為訓練集、驗證集以及測試集。

(3)模型的構建與訓練。通過遷移學習的方法,在深度學習框架Pythorch平臺上構建了適用于斜拉索損傷識別的ResNet34模型,將訓練集和驗證集進行隨機裁剪、角度調整和鏡像等預處理成為224×224,RGB三通道的圖像,將當批訓練樣數設置為16,訓練周期設置為150次,對模型進行訓練以及驗證,并通過調整學習率等參數對網絡進行優化,直至達到良好的識別效果。

(4)識別結果的分析。將測試集輸入搭配已經訓練好的網絡中進行測試,通過各個工況的識別準確率并分析損失值的變化來判斷網絡的好壞,驗證此方法的可行性與有效性。

3 數值仿真

3.1 工程背景

以某矮塔斜拉橋作為工程背景,該橋跨徑為(118.1+224+118.1)m。斜拉索采用平行鋼絞線索,結構示意圖如圖5所示。

圖5 平行鋼絞線索結構示意圖

但是由于張拉順序的不同,各根鋼絞線之間也會存在著索力誤差,基于此,建立了更為精細的斜拉索模型,建立了斜拉索中的各根鋼絲并考慮了索力不均勻的現象。模型兩端采用全部固結的約束方式,采用運動耦合的方式模擬各根鋼絲之間的接觸狀態。精細模型如圖6所示,模型驗證參見文獻[15]。經瞬態分析得到其加速度數據,如圖7所示,以此為依據進行斜拉索的損傷識別。

圖6 斜拉索精細模型示意圖

圖7 加速度響應圖

3.2 識別結果分析

結合對損傷位置與損傷程度的識別,一共設置了9個工況,如表1所示。模型訓練周期設置為150次,優化算法采用Adam算法。加速度時程數據經GAF轉化后成為GADF和GASF 2種樣本,進行分別訓練。網絡訓練完成后,將測試集輸入到網絡中去,測試網絡的準確性。識別結果如圖8和圖9所示。

表1 損傷工況設置和數據集劃分

圖8 GASF和GADF混淆矩陣

圖9 驗證集的準確率與損失值變化圖

從識別結果來看,ResNet34模型在GADF和GASF 2種編碼方式下都取得了良好的準確率,但是基于GADF的ResNet34模型具有更好的非線性擬合能力,當所訓練樣本有限時,訓練受到局部最優值的影響小,相較于基于GASF的ResNet34模型有更高的識別精度;兩者收斂速度相當,在進行到第20輪迭代時就基本收斂完畢,網絡具有良好的性能。

3.3 噪聲的影響

在數據采集中不可避免有環境噪聲的影響,通常對輸入的原始數據通過增添噪聲的方式來模擬環境噪聲對加速度響應數據的影響。在不同噪聲水平下檢驗網絡以此強化網絡的學習能力,并檢驗網絡的抗噪性能是非常有必要的。根據應用場景的不同,選取了高斯噪聲與椒鹽噪聲2種不同類型的噪聲,研究其對網絡識別效果的影響。

圖10 噪聲對識別結果準確率的影響

根據之前的研究,選擇了GADF編碼方式,傳感器位置布置在斜拉索中間位置,損傷工況設置和數據集劃分依舊如表1所示,2種噪聲,噪聲水平都設置為5%、10%、15%、20% 4個水平。識別準確率隨2種噪聲水平的變化如圖10所示。

由圖10可知,隨著噪聲水平的提高,網絡的識別準確性在下降,當噪聲達到20%時,椒鹽噪聲的識別準確率能達到94.71%,高斯噪聲也能達到92.59%,識別準確率仍在90%以上,保持著較高的準確率,說明網絡具有一定的抗噪性能。當噪聲水平處于較低水平時,椒鹽噪聲造成的影響要略大于高斯噪聲;而隨著噪聲水平的提高,高斯噪聲識別準確率要低于同噪聲水平下的椒鹽噪聲,而且差距在逐步拉大,當噪聲水平到達20%,兩者已經拉開了較大差距。

4 結論

(1)提出了一種基于GAF-CNN的斜拉索損傷識別辦法,將斜拉索加速度信號通過GAF圖像編碼技術轉換為二維圖像,并將其作為ResNet34網絡的輸入,可以大幅提高網絡提取時間序列特征的能力,具有良好的識別精度。

(2)ResNet34網絡在GADF和GASF的2種編碼方式下都有較好的識別精度,但是針對此網絡,GADF的編碼方式顯然更適合,識別精度要優于GASF。

(3)面對不同類型、不同水平的噪聲,網絡都能保持90%以上的準確率,說明網絡具有良好的抗噪性能。

(4)利用回歸的思想,針對未知類別的數據進行了識別,取得了良好的效果,對網絡運用到實際場景中更進了一步。