融合多尺度及注意力機制的表面缺陷檢測算法

步 斌, 張夢怡, 王 超, 王村松, 薄翠梅, 彭 浩

1. 山東兗礦智能制造有限公司,濟寧 272004 2. 南京工業大學,南京 211800

0 引 言

發動機的葉輪葉片是空間航天器的重要組成部件,易受到各種復雜因素影響,導致有些表面伴隨物理和化學性質的缺陷[1],如劃痕、凹陷、氧化和切削瘤等,會影響使用周期和性能,因此對葉輪葉片進行表面缺陷檢測是非常必要的環節.

缺陷檢測方法一般分為人工檢測和傳統機器視覺檢測,前者存在檢測精度低、檢測效率不足,容易產生誤檢和漏檢等問題,而后者需要根據特定的情況,花費較長時間設計對應的檢測方案,進行特征工程的設計提取,泛化能力差[2].隨著計算機軟硬件的迅猛發展以及圖像處理技術、人工智能[3]等技術的不斷提高完善,缺陷檢測也朝著智能化方向發展,深度學習相比于傳統技術在檢測性能方面有巨大優勢[4],但葉輪葉片表面缺陷檢測仍是一個具有挑戰性的任務.如何利用機器視覺技術快準穩地識別缺陷,大幅度降低檢測成本、提高制造業生產線效率和工業成品質量,已經成為廣大學者關注的問題[5].

卷積神經網絡(convolutional neural networks, CNN)的出現解決了傳統機器視覺人工設計特征的難題.CNN網絡與傳統的人工設計特征相比,具有全局性和強代表性特點[6-7].基于深度學習的缺陷檢測方法可對圖像進行分類,但要實現完整的檢測過程還需要檢測到缺陷位置、大小等其他信息[8].為了實現完整檢測,在深度學習檢測算法中加入了物體檢測器,可實現缺陷的定位和分類,如Faster-RCNN[9]、YOLOv3[10]及其他基于錨框的物體檢測算法等.使用深度學習檢測算法的優點,將缺陷圖像輸入到網絡中,即可直接獲得檢測結果[11].但這些算法設置了大量錨框來預測目標邊界框,導致計算量大、速度慢,對小目標缺陷檢測效果不理想.

無錨框目標檢測算法的出現,解決了大量依賴錨框預測目標導致計算量大、速度慢的問題,利用關鍵點對目標的屬性進行回歸計算[12].但無錨框檢測器只能預測單個特征上的缺陷,這容易導致檢測不同尺度缺陷的準確性低[13].在像素級執行檢測過程,分割算法被用于缺陷檢測領域,可以更準確地分割目標[14],但是分割算法仍然有明顯的缺點,例如分割結果的計算過程復雜、成本高和速度慢等.

本文對CenterNet算法進行改進,將主干網絡改進為EPSANet[15],使神經網絡更加注重有用信息的提取,同時引入了特征金字塔結構[16](feature pyramid networks, FPN),提高了算法模型的多尺度特征提取能力,提出一種EF-CenterNet算法,來解決葉輪葉片表面缺陷尺寸小、種類多等問題.實驗表明,所提出的檢測網絡能夠明顯超過基線算法的檢測性能.本文的主要貢獻如下:

1)選擇一種新的輕量級金字塔分割注意力模塊(pyramid split attention, PSA).在ResNet50使用PSA模塊代替3×3卷積.該模塊能為缺陷檢測提供更強的多尺度特征提取能力.

2)添加特征金字塔結構(feature pyramid networks,FPN)來融合低分辨率的高層語義信息和高分辨率的低層特征信息,提高算法特征提取能力與檢測的精度.

1 CenterNet算法結構

由于葉輪葉片表面缺陷尺寸小,表面缺陷種類多,本文的EF-CenterNet算法以原CenterNet[17]為基準,進行改進優化.該算法缺陷檢測精度高,漏檢和誤檢率低,更適合于葉輪葉片表面缺陷檢測.CenterNet骨干網絡可分為ResNet[18]、DLA[19]和Hourglass[20]等,主要用于特征提取.由于實際應用中對檢測精度要求高、參數數量要求少,因此本文選取ResNet-50作為主干,殘差網絡由Identity Block和Conv Block組成.假定輸入數據集圖片的大小是H×W,依次進行卷積、標準化、激活函數與池化操作,然后再通過4個殘差結構.每次下采樣后,特征圖將變為原來的尺寸的1/2.通過ResNet網絡進行5次下采樣后,利用轉置卷積對特征映射進行上采樣,再經過3次上采樣得到高分辨率的特征圖.網絡最終輸出熱力圖(Heatmap)預測、寬高(WH)預測和中心點(Reg)預測.CenterNet算法結構如圖1所示.

圖1 CenterNet算法網絡結構Fig.1 CenterNet Algorithm Network Structure

2 EF-CenterNet改進的算法結構

本文基于CenterNet算法進行改進,將ResNet主干特征提取網絡更換為EPSANet網絡,將提取到的特征層融合了FPN多尺度模塊,更好的利用特征信息,提出的EF-CenterNet網絡框架如圖2所示.

圖2 EF-CenterNet網絡結構Fig.2 The EF-CenterNet network structure

首先將網絡結構中的ResNet主干特征提取網絡更換為EPSANet網絡,具體算法實現將在2.1節進行詳細介紹.為了進一步提高模型特征提取能力,減少特征信息丟失,添加特征金字塔來融合高分辨率的低層特征信息與低分辨率的高層語義信息,進行多尺度特征預測,提高算法精度.

CenterNet屬于無錨框型的檢測算法,其檢測層與一階二階有錨框檢測算法不同,包括熱力圖預測、中心點預測與寬高預測3個分支.

(1) 熱力圖(heatmap)預測

CenterNet檢測層首先得到輸入特征圖,通過卷積操作,使特征層的通道數變為分類數量.熱力圖的結果會預測每一個特征點是否有相對的目標、目標類別和概率.

熱力圖的Loss采用焦點損失函數(focal loss)進行運算,對易檢測樣本的中心點,能夠適當減少其訓練比重.熱力圖損失值(LK)的公式如下:

(1)

式中,Yxyc是高斯核,α與β是Focal Loss損失函數的超參數,N是每張圖片中關鍵點數量.

(2) 中心點(Reg)預測

中心點預測能夠對特征點的x軸、y軸坐標進行預測,消除偏移對輸出的影響.中心點偏移損失值(Loff)公式如下:

(2)

(3)寬高(WH)預測

寬高預測的回歸結果與錨框的寬高一一對應.目標寬高損失值(Lsize)的公式如下:

(3)

式中,PK是錨框的中心點,sk是錨框的長度.總的損失值(Loss)為

Loss=Lk+λsizeLsize+λoffLoff

(4)

式中,λoff、λsize為比例因子,分別取0.1、0.2[18].

2.1 主干網絡的改進

目前大多數表面缺陷檢測算法都基于ResNet網絡系列,雖然ResNet網絡能夠達到較好的特征提取效果,但是由于其引入了多分支結構,內存消耗極大,導致訓練擬合困難.針對上述問題,本文在EF-CenterNet算法中引入了EPSANet特征提取模塊,該模塊包含了通道、空間注意力機制,通過捕獲多尺度信息來豐富特征空間.相比于后續出現的Res2Net和HS-ResNet[21],該網絡具有輕量、簡單高效等特點.

網絡中的PSA模塊的主要步驟是將input tensor從通道上分成4組,提取到不同尺度的信息.再通過SE模塊,提取每組通道的加權值并進行重新分配,具體如圖3所示.

圖3 SPC 模塊Fig.3 The Split and Concat (SPC) module

在圖3中,SPC模塊先將input tensor分成4組,進行分組卷積,其中卷積核k分別為3、5、7和9,并將特征向量按通道方向拼接.經過SPC模塊后,PSA模塊再將SPC模塊的輸出通過SE 權重模塊[15]獲得通道注意力權值.PSA融合不同尺度的上下文特征信息,并產生更好的像素級注意力.SPC模塊如圖4所示.公式描述如下:

圖4 PSA模塊Fig.4 The structure of the Pyramid Split Attention (PSA) module

(X0,X1,…,X3)=Split(X)

(5)

Fi=Conv(Ki×ki,Gi)(Xi),i=0,1,…,S-1

(6)

F=Cat[(F0,F1,…,FS-1)]

(7)

本文將用PSA模塊替換ResNet中瓶頸塊的3×3卷積,得到高效金字塔分割注意塊(efficient pyramid split attention, EPSA).PSA模塊將多尺度空間信息和跨通道注意力集成到EPSA模塊中,使EPSA塊可以在更細粒度的水平上提取多尺度空間信息.相應地,將提出的EPSA模塊塊以ResNet的方式堆疊,形成一種新型高效骨干網絡EPSANet,網絡結構如圖5所示.

圖5 ResNet和EPSANet結構Fig.5 ResNet and EPSANet structure

2.2 FPN特征金字塔

FPN的網絡結構采用橫向連接的方式,將自底向上與自頂向下過程中各層的feature map相互連接、相互融合,如圖6所示.

圖6 FPN 網絡結構Fig.6 The structure of FPN network

本文使用的FPN包括3個主要層次的特征預測:該網絡的前向推理過程是自下而上的,在提取特征圖階段中,每個階段中都要提取出來自最后一層特征信息;在自上而下的過程中,使用帶有橫向連接的上采樣,并加入1×1的卷積,將高分率與低分辨率的特征圖進行融合;將每個融合結果都通過卷積操作來剔除混疊效應.該模塊的特點是將不同分辨率下的特征圖相互融合,使特征信息得到充分利用,減小計算量.

FPN多尺度特征金字塔結構[22]如圖7所示,在每個階段中,對主干EPSANet-50輸出特征進行預測,其中P2、P3、P4和P5代表最終預測特征的結果.

圖7 FPN多尺度特征金字塔結構Fig.7 The process of implementing FPN multi-scale feature prediction

3 實驗設置與結果分析

3.1 實驗數據集

本文根據實際產線中葉輪葉片數據自制數據集,選取過切、劃痕、毛刺、氧化和切屑瘤等5個最具代表性的缺陷類型.該數據集使用工業相機采用不同的光照與角度進行采樣.初始視頻的格式是MP4,幀速率是50幀/s,分辨率是1 920×1 080像素.

3.2 數據預處理

3.2.1 視頻幀提取

通過對初始視頻數據進行預處理,得到不同缺陷類型的葉輪葉片數據.為提高圖片數據的質量,采取每隔3幀提取一張葉輪葉片圖片,在幀抽取過程中,由于視頻圖片中出現旋轉的模糊與重影問題,因此需剔除不清晰的數據,對每種缺陷類型打亂排序.

3.2.2 圖像標注

監督學習缺陷檢測算法在深度學習訓練與測試時,須提供葉輪葉片缺陷的實際位置信息,采用labelImg圖像標注軟件對自制數據集6446張圖像進行標注,將標注好的數據采用標準PASCAL VOC樣式保存,保持圖片與同名xml文件一一對應.

3.2.3 數據集劃分

通過以上流程,將標注好的含6 446張圖像的數據集劃分為訓練集、驗證集和測試集,比例按照8∶1∶1,如圖8所示.算法訓練使用訓練集和驗證集,算法檢測結果驗證使用測試集,數據集詳見表1.

表1 葉輪葉片表面缺陷數據集構成Tab.1 Description of impeller blade image dataset

圖8 葉輪葉片表面缺陷Fig.8 Impeller blade surface defects

3.2.4 NEU-DET數據集

為了驗證改進模型算法的泛化性,選取與葉輪葉片缺陷數據較為接近的東北大學鋼帶表面缺陷公開數據集NEU-DET[23]作為研究驗證對象.該數據集含裂紋、夾雜、斑塊、點蝕表面、軋制氧化皮和劃痕等6種缺陷類別共1 800張圖片,其中每種缺陷圖片300張,分辨率為200×200像素.圖9為NEU-DET數據集中6種表面缺陷圖像展示.數據集劃分為訓練集、驗證集和測試集,按照8∶1∶1比例劃分.

圖9 鋼帶表面缺陷Fig.9 Steel surface defects

3.3 實驗環境與訓練參數設置

實驗所用服務器的操作系統為Ubuntu 20.04LTS,GPU是NVIDIA GeForce RTX 3070,CPU是Intel(R) Xeon(R) Silver 4214 CPU@2.20 GHZ,64G內存空間,深度學習框架PyTorch版本為1.7.0,CUDA版本為CUDA11.4,運行環境為Python3.6.

本次實驗分別將EF-CenterNet算法在自制葉輪葉片數據集和NEU-DET數據集上進行了300輪訓練.本實驗采用遷移學習算法,采用預訓練權重作為初始值,Batch size設置為16,初始學習率4×10-5,使用adam優化器,采用cos學習率下降方式,初始權值衰減為4×10-5.

3.4 評價指標

本文自制的數據集按照PASCAL VOC數據集標準格式制作而成,為檢測改進的缺陷檢測算法效果,實驗評價指標主要由精確率P(precision)、召回率R(recall)、平均精確率mAP(mean average precision) 組成.其計算公式為

(8)

其中,TP是圖像中被正確檢測為缺陷的目標數,FP是圖像中被檢測為缺陷的非缺陷目標數.

召回率其計算公式為

(9)

其中,FN為圖像中一種缺陷被檢測為其他類型缺陷的數量.

精確率是PR曲線和坐標軸形成的區域,平均精確率是多類AP的平均值

(10)

(11)

3.5 實驗結果分析

3.5.1 網絡檢測效果分析

為了更加直觀的顯示出改進后網絡的性能,從測試集中挑選出具有代表性的葉輪葉片和NEU-DET數據集的表面缺陷圖片來測試模型的檢測效果,如圖10和圖11所示.圖中顯示的數值代表檢測出表面缺陷種類的置信度,由于本文引用了EPSANet特征主干網絡,該網絡主干關注通道和空間注意力,整體網絡更加關注表面缺陷,同時抑制其他無關信息的干擾,能夠更好的提取出表面缺陷的特征信息,添加的FPN特征金字塔模塊能夠使得整體網絡融合多尺度信息,進一步增強網絡的特征提取能力,提高對小缺陷目標的檢測性能.

圖10 在自制葉輪葉片表面缺陷數據集上檢測結果Fig.10 Detection results on a home-made impeller blade surface defects dataset

圖11 在鋼帶表面缺陷數據集上檢測結果Fig.11 Detection results on a strip surface defects dataset

衡量一個CNN網絡的優劣主要取決于其損失值和收斂情況,本實驗根據葉輪葉片表面缺陷數據集和NEU-DET數據集在訓練過程中的損失值繪制成曲線圖,如圖12所示.從圖中可以看出,在葉輪葉片表面缺陷數據集上在訓練到100輪時模型并未收斂,而到達150輪時模型才收斂,在NEU-DET數據集上模型在160輪時已經完全收斂,從而驗證了EF-CenterNet算法的有效性.

圖12 葉輪葉片表面缺陷數據集和NEU-DET數據集訓練損失曲線Fig.12 Impeller blade surface defects dataset and NEU-DET dataset training loss curves

3.5.2 消融實驗

為了驗證不同模塊對于整體網絡算法的提升效果,本文在自制葉輪葉片表面缺陷數據集上進行了消融實驗,實驗結果如表2所示.

表2 葉輪葉片表面缺陷數據集消融實驗結果Tab.2 Results of ablation experiments on the impeller blade surface defects dataset 單位:%

從表2中CenterNet+EPSANet的實驗結果可以看出,相比于原始CenterNet算法,引入主干特征提取網絡使得所有δAP均有提升,在劃痕和切削瘤上提升至96.13%和95.29%,在召回率上兩者提升至76.47%和61.79%.這是由于EPSANet中的自注意力機制能夠自適應地對輸入圖像中的不同區域進行建模,從而更好地捕捉局部和全局上下文信息.

從表2中CenterNet+FPN的實驗結果可以看出,FPN模塊的引入使得網絡能夠更好的學習葉輪葉片中的多尺度特征,導致過切、劃痕、切削瘤缺陷的召回率有著顯著提高,提升至73.64%、39.91%和65、31%.

當將上述二者共同引入時,在過切、毛刺和切削瘤上的召回率和δAP都達到了最大值,δmAP比原CenterNet提升至96.74%,證明了所提出EF-CenterNet算法具有更強的特征提取能力,從而較好解決葉輪葉片表面缺陷檢測問題.

本文選取和實際葉輪葉片缺陷數據較為接近的東北大學鋼帶表面缺陷公共數據集NEU-DET作為對比,在NEU-DET數據集上也進行了消融實驗,NEU-DET數據集的缺陷在尺寸上更小,種類更多,更具有挑戰性,實驗結果如表3所示.

表3 NEU-DET數據集消融實驗結果Tab.3 Results of ablation experiments on the NEU-DET dataset 單位:%

從表3中的CenterNet+EPSANet的實驗結果可以看出,相比于CenterNet算法,EPSANet網絡的引入主干能夠明顯提升缺陷的檢測效果,使得召回率顯著提升,在夾雜、軋制氧化皮和劃痕的召回率上分別提升了10.87%、16.08%和13.79%,說明EPSANet在處理具有變化和復雜紋理的圖像時具有優勢,它通過自注意力機制捕捉圖像中的長距離依賴關系,并獲取多尺度的語義信息,從而提升了分割的準確性.

從表3中的CenterNet+FPN的實驗結果可以看出,當FPN特征金字塔單獨引入時,顯著提升了召回率,可以發現在裂紋、軋制氧化皮和劃痕上的召回率分別達到了19.30%、37.50%和72.40%,FPN通過構建特征金字塔結構,使得網絡能夠在不同尺度下進行目標檢測和回歸.這種金字塔式的特征結構使得模型能夠在不同尺度上更全面地感知目標,從而提高了召回率.但是在斑塊缺陷上的δAP有所下降,這是因為FPN通過在不同的網絡層次之間進行特征融合來實現多尺度信息的聚合.然而,在這個過程中,可能會出現信息損失的情況.對于斑塊缺陷這種小尺度的目標,可能會因為特征融合導致目標細節信息的丟失,從而降低了檢測的精確度.

從表3中的CenterNet+EPSANet+FPN的實驗結果可以看出,當EPSANet和FPN同時引入時,夾雜、斑塊、點蝕表面和軋制氧化皮的召回率分別到達了最大值,所有類型缺陷的δmAP指標達到了77.37%,比基線CenterNet的δmAP提高了1.99%,進一步論證了該算法能夠優化FPN中的特征融合過程,并通過自適應的注意力機制來選擇性地關注特征圖中的重要區域,使得模型能夠更好地利用周圍環境的上下文信息,從而提高了缺陷檢測的準確性與魯棒性.

3.5.3 對比實驗

為了進一步驗證所改進算法的缺陷檢測效果,本文選擇在公開的NEU-DET數據集上對SSD算法、Faster-RCNN算法、YOLO-V2算法、YOLO-V3算法、YOLO-V4算法、RetinaNet算法和所提出的EF-CenterNet算法進行訓練,各個算法在NEU-DET數據集對比實驗結果如表4所示.

表4 NEU-DET數據集對比實驗結果Tab.4 Comparative experimental results of the NEU-DET dataset

從表4中可以看出,本文所提出的EF-CenterNet算法對比于基線CenterNet算法在所有缺陷的召回率均有提高,整體δmAP指標提高了1.99%;相較于SSD、Faster R-CNN以及YOLO系列等主流算法,大部分缺陷類別的δAP均有提高,而δmAP提升了1.5%以上.以上實驗結果說明EF-CenterNet算法能夠減少特征信息丟失,充分利用特征信息,使得檢測結果更加精確.但在缺陷類型點蝕表面的上δAP不及SSD,這是由于EF-CenterNet算法主要依賴于目標的中心點坐標進行檢測,當目標被其他物體遮擋時,導致無法正確識別目標.

4 結 論

本文提出EF-CenterNet算法,利用EPSANet主干特征提取網絡改進了原算法的ResNet主干特征提取網絡,使網絡主干更關注有用的缺陷特征而抑制無用的信息,提升了整體網絡特征提取的能力,并引入了FPN特征金字塔結構融合多尺度信息,進一步增強融合特征信息的表達能力,從而提升算法的缺陷檢測精度.實驗結果表明,在自制葉輪葉片和NEU-DET數據集上表現良好,所提出的EF-CenterNet算法在葉輪葉片5種缺陷上檢測精度達到96.74%,相比于基線CenterNet算法提升了1.81%,在鋼板表面6種缺陷上的上檢測精度比基線CenterNet提升了1.99%.但EF-CenterNet算法的整體網絡結構不夠輕量化,如何在保證缺陷檢測精度不變的情況下,盡可能實現網絡模型的參數量的輕量化是下一步的研究工作.