基于深度學習的航司航空發動機智能損傷檢測一體化解決方案

王錦申 黃旭 萬夕里

1研究背景和意義

近年來，人們的出行需求隨著國家經濟的快速發展而急速增長，而航空出行也日益成為人民群眾主要出行方式之一。中國民用航空局的發布的公告顯示，我國民航2022年雖受新冠疫情影響，但國內航線旅客運輸量預計將達到4.4億人次。為了滿足廣大人民航空出行的需求，我國民航業快速發展，行業規模不斷擴大，民航公司持有的飛機數量以及飛機飛行的頻次隨之急劇增長，這給民航飛機的飛行安全保障帶來巨大的挑戰。如何有效保證航空飛行安全是航空維修業最為關注的問題之一。

航空發動機作為飛機的關鍵部件，其故障診斷和維護是保障民航飛機飛行安全的核心任務。隨著航空發動機使用時間的增加，航空發動機長期工作在高溫、高壓、高負荷和高轉速的條件下，葉片、燃燒室等重要部件出現內部損傷的概率不斷上升，如各種形式的裂紋、缺損和燒蝕等，如不能及時準確地發現并定位發動機內部損傷，則無法根據損傷情況制定相應的檢查及維護措施，而繼續在此狀態下使用發動機，不僅會降低發動機性能，還可能會造成部件損傷超標或者突然失效，導致發動機的緊急換發，不僅對機隊正常運行造成影響，甚至會威脅飛行安全，造成嚴重的安全事故。能否及時發現、快速評估并準確診斷航空發動機內部的各類損傷，將直接影響航班的正常運行和飛行的安全。因此，對航空發動機內部損傷故障診斷的研究已經成為當前航空業的迫切需求。

目前民航行業主要采用以孔探檢測為主的無損檢測技術進行航空發動機的損傷檢測?？滋綑z測的基本原理是將連接光纖的光學鏡頭從小孔送入不便于觀察的區域，將其觀察拍攝到的圖像通過光纖傳輸出來，最后對傳輸出來的圖像進行分析評估?？滋綑z測作為無損檢測技術的一個重要手段，在發動機等工業設備內部損傷檢測和維護中得到了廣泛的應用。在對航空發動機進行孔探檢測時，專業的孔探員將航空專用孔探儀前端的孔探攝像頭伸入發動機內部，獲取發動機數據，再由孔探員在孔探儀拍攝和傳輸出圖像上，人工識別和標記裂紋、缺損和燒蝕等發動機內部損傷。之后，根據發動機內部損傷檢測的結果和航空發動機廠商給出的發動機生命周期管理標準，決定航空發動機的維修方式以及下一次檢修的時間節點。

2深度學習在工業損傷檢測的使用

近年來，基于深度學習的圖像識別方法已經被用于檢測各種應用中的損傷，例如地下下水道、混凝土表面以及路面等應用場景?；谏疃葘W習的損傷檢測方法主要分為圖像分類、目標檢測、語義分割以及進一步的語義視頻分割等技術路線。這些方法從根本上改變了一些傳統上困難或棘手的視覺任務的處理方式，有望輔助傳統上由人工進行的現場檢查，有效降低人為誤差以及減少工作量。下面將分別介紹這幾種技術路線：

（1）圖像分類

在計算機視覺的經典上下文中，圖像分類任務的目標是為圖像分配正確的確定損傷類別標簽。圖1為發動機葉片上裂紋損傷的圖像示例。2016年有學者提出了一種基于深度學習的道路裂縫檢測方法，其本質是圖像分類。具體是，首先通過將原始圖像分割成多個小塊，以生成更多的數據；其次，通過對原始圖像的每個小塊進行分類，以獲得原始圖像中裂紋的定位信息。該方法采用具有完全連通層的卷積神經網絡模型（CNN），并且通常為少于10層的輕量級模型。雖然這種塊級別的分類可以生成定位信息，但結果是粗糙的和塊狀的，因此圖像分類的方法一般不用于估計損傷特征。

（2）目標檢測

目標檢測是在圖像分類的基礎上通過突出損傷的位置提供進一步的信息。這對于損傷信息定位是有益的，因為基本分類任務僅強調損傷的存在，但仍將尋找實際損傷位置的任務留給觀察者，而檢測任務的目的是提供某種損傷的定位。目標檢測的關鍵是在包含損傷的區域周圍生成邊界框，之后再對每個生成的邊界框執行損傷類型分類。如用于混凝土裂紋檢測的深層卷積神經網絡結構，用于飛機結構裂紋檢測的YOLOv3-Lite方法等，所有這些方法都在裂紋區域周圍生成邊界框。具體效果如圖2所示，不僅將兩處裂紋用紅色框標記同時還在邊界框的上方標注了具體損傷的類型為裂紋。與圖像分類方法相比，目標檢測任務使用了邊界框來標記損傷區域，可獲取更直觀地損傷定位信息，但該任務仍然不能準確地反映損傷的特征。

（3）語義分割

語義分割可以劃分為二進制分割和多類別分割。簡單的二進制分割只有兩類，如有裂紋和無裂紋。在多類別分割環境中，裂紋（或缺損、燒蝕等其他損傷）與背景只是相鄰的兩個像素類標簽。隨著孔探技術的進步，孔探儀可以獲得分辨率更高的2D和3D數據，語義分割的預測效果也會隨之提升。因此，語義分割已成為當前損傷檢測發展的主流趨勢。如圖3所示，由語義分割產生的精確的損傷位置和結構不僅可以用來對損傷類型進行分類，還可以用來獲取重要的損傷特征。

目前最流行的語義分割模型是基于編解碼器的模型，如一種針對混凝土結構的像素級檢測方法，它是將深度卷積神經網絡用于識別混凝土、隧道表面的裂紋損傷識別， 并且取得了較高的識別精度。對于語義分割任務，研究人員正在研究整個隱藏層保持空間分辨率的模型，以避免下采樣過程導致的空間信息丟失。沿著這個方向，損傷分割使用沒有池化層的模型來保持空間分辨率或者使用具有全連接層的CNN模型執行分類任務，并與其他方法相結合，如使用自適應閾值執行損傷分割等。

目前，孔探設備采用CCD攝像頭，其拍攝頻率大多為30 fps。使用基于深度卷積神經網絡的語義分割技術預測圖像中的每個像素需要大量的處理能力，將該技術應用于孔探視頻時，很難匹配拍攝頻率。因此，該方法無法實現孔探視頻的實時損傷檢測?；谏鲜鰡栴}，應用于視頻的語義分割技術應運而生。

（4）語義視頻分割

目前主流的視頻檢測可以分為兩類，即通過降低輸入圖像的分辨率和采用輕量級CNN。降低分辨率可降低計算代價，而采用輕量級CNN則減少了網絡的層數和復雜度。因為孔探檢測的關鍵是損傷區域的提取，對檢測精度要求很高，而這兩種方法都犧牲了損傷預測的準確性，因此不能直接用于孔探損傷檢測。41975B38-6E44-4844-B134-A0D14B4E2DEF

在實際應用中，孔探視頻中連續損傷視頻幀通常會展現出相似性。如圖4所示，t時刻的圖像是孔探視頻中關鍵幀（上）及其對應的裂紋特征（下），在時刻t+5、t+10、t+15的連續視頻幀具有相似的損傷特征。裂紋在連續的視頻幀中移動，它的語義特征（用紅色標注）在兩個連續幀中僅略有不同[1]。這種特征相似性提供了沿時間維度傳播語義特征的可能性，可以減少耗時的語義分割網絡的使用頻率?，F有的方法，如使用相似關鍵和非關鍵幀樣式架構的方法解決具有挑戰性的語義視頻分割任務，雖然大大提高了速度，但也犧牲了較多精度?；谶@些觀察結果，本方案研究了高層語義提取和捕捉連續幀之間的相似度，以開發高效、智能的孔探視頻損傷檢測。

3基于深度學習的發動機損傷檢測智能解決方案

本節具體描述利用深度學習的方法對發動機內部損傷進行識別的解決方案，整體框架圖如圖5所示，具體的主要包括4個核心模塊。

3.1特征工程模塊

特征工程是指通過已有工程模型和分析工具從原始數據中提煉出數據特征，以此來提升模型的訓練效果，是深度學習不可或缺的一部分?，F有的發動機孔探視頻圖像主要有裂紋、缺損和燒蝕等多種損傷。由于這些圖像來自航空發動機不同零部件的不同角度，其損傷的大小、方向、形狀和位置各不相同。此外，圖像的背景差異也很大，加大了檢測損傷難度。為解決這些問題，需要對原圖像數據做以下處理[2]：

a. 將收集的孔探視頻圖像轉換為相同的存儲格式。

b. 從數據集中剔除所有模糊的或未正確聚焦的圖像。

c. 對亮度不足的圖像進行預處理，通過直方圖均衡技術調整其元素值，使得每個RGB通道的每個亮度級別的像素數大致相同，同時改善對比度。

3.2面向發動機孔探損傷圖像的語義分割和目標檢測模塊

針對發動機孔探損傷圖像，本模塊才采用了一種上下文編碼器神經網絡的語義分割方法[2]?；谏舷挛木幋a器神經網絡模型主要由特征提取子網和特征擴展子網兩個子網組成，其結構如圖6所示。

特征提取子網絡通過堆疊不同尺度的空洞卷積來構建多尺度的圖像上下文語義特征的提取，由密集空洞卷積和多尺度池化兩部分組成。具體來說，特征提取子網絡包含卷積塊堆積的五個分支，其中第一個和第二個卷積分支均采用整流線性單元激活函數和一個最大池化層，后三個卷積分支中則是均包含兩個整流線性單元激活函數和一個最大池化層。五個分支中四個為級聯分支，一個是直聯分支。每個分支中的卷積大小和擴張率各不相同，池化的尺度也不盡相同，從而增強網絡多尺度特征的提取功能，也就是捕捉不同形狀和大小的各種損傷特征。

特征擴張子網絡主要用于從上述特征提取子網絡輸出的特征中恢復高級語義特征。該子網絡由反卷積塊組成，每個反卷積包含一個上采樣操作。通過添加在特征提取子網絡中的每個反卷積塊與其在特征擴展子網絡中對應的反卷積塊之間建立對應的跳躍連接，使得上采樣得到的特征向量和特征提取子網絡中對應層級的卷積塊的輸出按照通道維度進行層疊。擴張子網絡最后一層是由單元卷積核和Softmax激活函數構成的卷積層，從而提取與原始圖像相同大小的損傷掩碼。

因發動機孔探圖像中損傷通常以小目標居多，本模塊還借鑒了YOLOv5目標檢測方法，以對各種損傷類型進行標注。該方法對孔探圖像進行了Mosaic數據增強，即隨機縮放、隨機裁剪、隨機排布的方式進行拼接。在主干網絡中設計使用了CSP結構，以增強卷積神經網絡的學習能力，在輕量化同時確保目標檢測的準確性，降低計算瓶頸和內存成本。通過該方法以初步實現對發動機損傷的目標檢測，定位等功能，從而為后續孔探視頻損傷檢測、定位、追蹤和孔探報告自動生成做準備工作。

3.3面向發動機孔探損傷視頻的語義分割和目標檢測模塊

在對孔探圖像的損傷分割研究基礎上，繼續實現了對孔探視頻中發動機損傷的精準分割和目標檢測模塊。本小節分別介紹孔探視頻快速語義分割以及發動機損傷目標檢測、追蹤、在線計數和孔探報告自動生成方法。

本模塊基于深度融合網絡框架（DFNet），對所有視頻幀快速準確語義分割的同時通過估計幀之間的光流來加速孔探視頻的損傷語義分割[1]。圖7展示了深度融合網絡的整體框架，包含語義分割網絡和空間追蹤神經網絡兩個模塊。對于視頻中的每一幀，分為關鍵幀和非關鍵幀分別進行處理。若當前幀是關鍵幀，則只需要通過語義分割網絡直接處理，否則該幀將被發送到空間追蹤神經網絡進行光流預測和識別。語義分割神經網絡主要是用于對稀疏關鍵幀提取損傷語義特征以獲得損傷對象，而空間追蹤神經網絡通過光流預測損傷的位移并將分割神經網絡提取到的關鍵幀語義特征傳播到其他非關鍵幀，以減少幀預測的數量從而加速損傷預測過程?？臻g追蹤神經網絡實際是充分利用孔探視頻中連續幀具有高度相似的損傷結構這一特點減少語義分割的使用，從而降低計算成本并加速對視頻的損傷分割計算。

光流預測是通過光流標簽估算物體的相對位移，目前已在常見的監控視頻追蹤中得到廣泛應用。但與通常的監控視頻內容不同，孔探視頻中因發動機內部各種部件、高溫高壓燃燒以及孔探過程中的抖動、光線等因素造成其視頻背景極其復雜，這使得現有的光流預測方法難以直接應用于追蹤神經網絡模塊中的光流計算。而現有的光流方法對于小數據集容易出現過擬合現象，同時目前也缺乏對具有復雜背景的孔探視頻中光流標簽的研究。為解決此問題，本模塊提出一種光流標簽變換方法，如圖8所示。41975B38-6E44-4844-B134-A0D14B4E2DEF

通過觀察采集的孔探視頻特征發現，孔探視頻中顯示的損傷在連續視頻幀中發生的位移幅度較小?；诖颂卣?，本模塊提出采用隨機模擬變換的思路來學習該位移特征。首先，將當前幀作為關鍵幀以隨機方式調整其亮度和對比度，然后圍繞關鍵幀圖像中心進行隨機仿射變換，并通過對一定寬度范圍內的圖像進行水平和垂直平移、隨機旋轉采用以及基于橫向軸的剪切的方法，產生新的圖像幀作為下一幀，再計算當前幀和下一幀之間的EPE（Endpoint Error）終點誤差作為損失用于神經網絡訓練。

為實現對發動機孔探視頻中的損傷進行目標檢測、追蹤和在線計數等功能，本模塊還提出了結合目標檢測、目標追蹤和深度融合網絡框架的方法，其流程解析圖如圖9所示。

首先對發動機內部損傷進行目標檢測，讀取當前幀目標檢測框的位置以及各檢測框圖像塊的深度特征；然后根據置信度對檢測框進行過濾；對檢測框進行極大值抑制以消除同一損傷有多個檢測框的現象；再使用卡爾曼濾波預測目標當前幀的位置；接著對基于外觀信息的馬氏距離計算軌跡信息和探測信息的代價矩陣[3]；相繼進行級聯匹配和IoU（Intersection over Union）匹配；最后更新卡爾曼濾波追蹤器參數和特征集，進行目標消失和新目標出現的判斷，同時通過深度融合網絡對關鍵幀進行處理，判斷當前計數是否需要更新。本方法利用YOLOv5方法作為檢測器實時檢測當前的損傷類型，使用DeepSort算法進行目標追蹤，同時使用深度綜合網絡處理關鍵幀，有效地改善了發動機內部進行孔探檢測時受的角度、遮擋和光線影響等問題，更加精確的對航空發動機損傷進行實時目標檢測、追蹤和在線計數。

其中DeepSort算法主要包括級聯匹配算法和IoU與匈牙利算法匹配兩個部分。級聯匹配即不同優先級的匹配，針對每一個檢測器都會分配一個跟蹤器，每個跟蹤器會設定一個參數。在級聯匹配中，會根據這個參數來對跟蹤器分先后順序，參數小的先來匹配，參數大的后匹配； IoU與匈牙利算法匹配中匈牙利算法的目的在于盡量多的匹配，容易造成ID switch， 缺乏準確性與魯棒性，因此加入IoU進行衡量，計算檢測器與跟蹤器的IoU，并用其判斷置信度的高低。

3.4模型評估模塊

4應用結果

通過對實際的孔探圖像數據進行的實驗，上下文編碼器神經網絡模型和YOLOv5不僅獲得了高精度的結果，而且在檢測精度上也優于其它深度學習方法。主要應用結果如下：

a. 上下文編碼器神經網絡模型的mIoU指標達到了81.76%，比當前最高的精度高出13.87%，有效地減少人為因素造成的潛在誤差。

b. 引入了一種基于正交陣列的方法指導神經網絡最優參數的快速選擇。

c. 使用數據增廣、Mosaic數據增強擴充訓練數據集，減少潛在的過度擬合和不平衡。

為了更好地說明上下文編碼器神經網絡模型損傷檢測的效果，這里展示一組上下文編碼器神經網絡對從不同角度拍攝的6張不同部位的發動機孔探圖像損傷進行的自動檢測的效果圖[2]。圖10給出了6張不同部位不同損傷的效果圖，在所有圖像中，帶有裂縫的分割區域以紅色突出顯示，而帶有燒傷的分割區域以綠色突出顯示。6張孔探圖像的背景各不相同，且有的背景模糊昏暗，損傷大小也各不相同，有的損傷相對較小，即使人工識別都相對困難。但從上下文編碼器神經網絡識別的結果來看，所有孔探圖像中的損傷均能準確的識別和分割出來。在圖10（a）中，可以看到整體裂紋能夠在暗黑背景和類似于裂紋的邊緣形狀背景中提取出來。在圖10（b）中，孔探圖像存在多條裂縫，其中兩條裂縫與渦輪附近的燒傷區域相連接，且背景為高溫燃燒后的復雜背景。但上下文編碼器神經網絡依然可以準確的識別出這三條裂縫。如圖10（c）和圖10（d）所示，在背景受到不同的光照反射以及燃燒后的復雜背景下，微小的表面裂縫依舊可以被上下文編碼器神經網絡完全識別出來。圖10（e）和圖10（f）中分別顯示了上下文編碼器神經網絡對不規則燒傷區域的提取。尤其是圖10（e）中同時存在交叉裂紋和燒傷兩種類型的混合損傷。如圖所示，上下文編碼器神經網絡依然能夠高精度識別出不同類型的混合損傷。

通過對孔探視頻的實驗，DFNet框架不僅減少了計算資源的消耗，加快視頻損傷檢測的速度，同時還保證了損傷識別的準確度[1]?；谀繕藱z測和追蹤結合深度融合網絡算法不僅可以對視頻中的損傷進行精準識別、定位、追蹤和在線計數，還可以自動生成孔探視頻損傷報告。主要的應用結果如下：

a. DFNet 可以在保持高精度的同時顯著提高推理速度，在46.21 fps 時能夠達到 79.01% 的準確率。

b. 與逐幀方法相比，該方法實現了較高的準確率和顯著的加速，并且可以實現實時檢測任務，如圖11所示。

c. 在損傷視頻背景切換頻繁的情況下，不僅識別、匹配多種損傷對象，而且實現了對損傷的持續定位跟蹤、在線計數功能。如圖12中（a）、（b）、（c）、（d）所示，分別為不同時刻下損傷識別情況，其在線計數的誤差僅在8%左右。

d. 與現有的目標檢測追蹤方法相比，本方法在加入改進的DFNet后大幅降低了損傷ID重復的情況，提高了實時計數功能的準確性。

e. 自動生成孔探視頻損傷報告，包括損傷出現的時間、位置、損傷類型和當前孔探視頻中各類損傷總數等。41975B38-6E44-4844-B134-A0D14B4E2DEF

南航從2018年開始孔探智能檢測的研究和初步投入使用，在實際運行上效果明顯如圖13所示，特別是發動機的非計劃換發率（包含AOG）得到顯著降低，在2017-2021年，非計劃換發率從57.1%降低到了19.7%，孔探原因導致的非計劃換發率從39.3%降低到了12.8%，有效降低人為誤差以及減少工作量，保障了機隊的正常運行。

5結語

傳統的孔探檢測方式的準確性主要是依靠孔探員嚴格按照手冊的操作以及對損傷模式的認知判斷，因此各個航司都制定了嚴格的孔探檢測和復審流程及標準，但是還是會因孔探員的能力差異、工作難度和強度、外部工作環境、疲勞程度等因素而導致檢測結果的差異，而且檢測工作的時長也會影響后續飛機的運行安排，因此在運用科學的人工智能方式進行智能維修，不僅能大幅提高發動機內部損傷檢查的準確率，有效降低由于工作疲勞導致的人為誤差以及減少工作量，對民航企業保障飛行安全，減少非計劃維修，達到降本增效的目的有著重要的意義。

本文主要從孔探圖像和孔探視頻兩個角度，以提高損傷檢測精度、加快視頻損傷檢測速度、定位追蹤視頻損傷和自動生成損傷檢測報告為目標，展示了具有上下文編碼器神經網絡結構的深度學習框架、深度融合網絡和基于目標檢測和追蹤結合深度融合網絡算法的智能損傷檢測一體化解決方案，極大地提高了孔探 探傷檢測的效率。

由于深度學習對高計算量的要求，綜合以上孔探圖像和孔探視頻上的智能檢測方法，后續將將進一步設計支撐實時損傷識別和分布式的深度學習訓練平臺，以實現低延時的在線神經網絡系統的訓練和損傷識別，最終形成以神經網絡損傷識別技術為支撐，孔探過程的全自動探測、識別系統，為航空發動機內部損傷的智能檢測提供一體化全自動解決方案。

參考文獻

[1] Xiao， R.， Wan， X.， Li， Y.， Guan， X.， & Huang， X. （2022）. Semantic Damage Segmentation for Aircraft Engine Borescope Videos. AIAA Journal of Aerospace Information Systems， April 27， 2022， doi： 10.2514/1.I011051.

[2] Guan， X.， Jian， Z.， Wan， X.， Xiao， R.， & Li， Y. （2021）. Intelligent Damage Detection for Aircraft Engine with Context Encoder Neural Networks. AIAA Journal of Aerospace Information Systems， 18（11）， 803-812.

[3] Wojke， N.， Bewley， A.， & Paulus， D. （2017）. Simple online and realtime tracking with a deep association metric. In 2017 IEEE international conference on image processing （ICIP） （pp. 3645-3649）. IEEE.41975B38-6E44-4844-B134-A0D14B4E2DEF