一種改進Mask R-CNN的化妝棉棉片缺陷檢測方法

李 亮，陳廣峰，丁彩紅

(東華大學 機械工程學院, 上海 201620)

化妝棉是紡織行業中常見的產品之一,在人們的日常生活中發揮著重要作用。由于機械設備不穩定、工人操作水平不足等原因,化妝棉在制造過程中易出現質量缺陷。常見的化妝棉缺陷包括褶皺、異物油污、無壓點、缺少非織造布、壓邊不良、壓點不良。目前國內主要依靠人工對化妝棉棉片的缺陷進行檢測,人工檢測的方式容易受外界因素的影響,導致檢測精度和檢測效率大打折扣。

基于機器視覺的自動缺陷檢測方法可有效提高生產效率并降低誤檢率和漏檢率?；趥鹘y機器視覺技術的缺陷檢測方法利用人工設計的特征進行分類,算法效果往往依賴于研究者對缺陷特征的人工選擇和準確描述[1],例如:范程華等[2]將太陽能電池板表面缺陷作為研究對象,在一維傅里葉變換的基礎上構建缺陷區域在小波域的投影系數欠定方程,借助匹配追蹤思想篩選圖像中的缺陷,通過尋找缺陷區域在小波中的投影大值,實現缺陷檢測;Celik等[3]運用小波變換和形態學處理等方法對5種織物的缺陷區域進行檢測,再利用灰度共生矩陣和前饋神經網絡對5種織物缺陷進行分類。這種基于傳統機器視覺的缺陷檢測方法檢測時間較長,且檢測對象的紋理相對簡單,往往難以完成紋理背景較為復雜的缺陷及小面積缺陷的檢測任務?；瘖y棉棉片存在很多小面積缺陷(如異物油污、壓點等),這導致傳統的基于機器視覺的缺陷檢測方法適應性較差。

基于深度學習的缺陷檢測方法檢測效率較高,能有效地識別小面積缺陷。例如:汪琦等[4]通過構造基于Mask R-CNN的絕緣子串分割模型,在獲取的掩模圖像中引入最小外接矩形提取絕緣子串圖像,搭建自爆缺陷檢測模型,實現絕緣子自爆缺陷的檢測,識別準確率高達94.12%。Huang等[5]基于全卷積網絡(FCN)提出一種地鐵盾構隧道裂縫和滲漏缺陷檢測算法,在自建的裂紋和泄露數據集上得到99.2%的綜合識別準確率,檢測效果良好。Zhang等[6]將YOLOv2目標檢測算法與深度卷積神經網絡相結合,實現對色織織物的缺陷檢測,識別準確率達86.8%。Mei等[7]提出一種基于無監督學習的織物缺陷檢測方法,通過在多個高斯金字塔級別使用卷積去噪自編碼器重建圖像,實現對織物缺陷的檢測,在織物數據集上測試時獲得83.3%的識別準確率。

本文提出一種基于改進Mask R-CNN[8]的化妝棉棉片缺陷檢測方法,旨在構建一種基于深度學習的缺陷檢測方法,以實現對化妝棉棉片缺陷的快速、準確自動化檢測。

1 改進的Mask R-CNN網絡模型框架

Mask R-CNN是一種兩階段目標實例分割框架。第一階段,使用基礎網絡結合特征金字塔網絡(feature pyramid networks,FPN)[9]結構生成特征圖,再使用區域建議網絡(region proposal networks,RPN)[10]在特征圖上生成一系列候選框并進行篩選。第二階段,使用分類網絡完成分類、檢測和分割任務。由于Mask R-CNN網絡對化妝棉棉片缺陷檢測的準確率不高,易出現漏檢、誤檢現象,為緩解這種現象,本文對Mask R-CNN網絡模型進行改進。首先,去掉Mask R-CNN網絡中的分割分支,引入深度卷積思想改進基礎網絡;其次,改進FPN結構,以實現更加精準的預測。原始的FPN僅僅是將基礎網絡中的前后兩個特征圖進行融合相加;改進后FPN增加了1個淺層特征圖,采用多信息融合的方式將所有的特征圖進行融合相加,同時改進低分辨率圖像的上采樣方式。此外,在RPN前添加注意力機制模塊,以使網絡更加關注缺陷目標區域。改進的Mask R-CNN網絡結構如圖1所示。

圖1 改進的Mask R-CNN網絡結構Fig.1 Improved Mask R-CNN network structure

2 改進的Mask R-CNN網絡模型細節

2.1 深度卷積網絡

在一定范圍內,增加特征提取網絡深度能夠提高檢測的準確率,但同時模型的復雜度和訓練的難度也會增加。這是因為反向傳播過程中誤差的累積會引發“梯度彌散”或“梯度爆炸”現象。ResNet[11]特征提取網絡中的殘差模塊可以緩解該現象。為了使ResNet模型可以根據圖像的特征信息,自適應地調整各個通道的特征響應,從而提高模型的特征提取能力,參考Swin Transformer[12]在ResNet50基礎上進行改進,改進后的網絡結構如圖2所示。

圖2 深度卷積網絡Fig.2 Depthwise convolutional network

ResNet50中stage 0采用步長為2的7×7大卷積與最大池化方法對原始圖像進行預處理。大卷積核不僅參數量很大,而且會破壞原始圖像的通道信息和細節紋理信息,導致網絡后續學習的性能較差。本文使用步長為4的4×4小卷積替代7×7大卷積,以減少信息的損失和參數量。

ResNet50中stage 1、stage 2、stage 3、stage 4堆疊的殘差模塊的次數依次為3、4、6、3。參考Swin Transformer結構,將4個stage堆疊的殘差模塊次數依次修改為3、3、9、3。對ResNet50中的兩種殘差結構進行改進,如圖3所示。原始殘差網絡中的3×3卷積有較多的參數量,這將降低檢測速度,并且卷積過程中每個通道采用同樣的卷積核,無法充分提取所有的通道信息,因此,將原殘差結構中3×3的普通卷積修改為7×7的深度卷積,同時將深度卷積上移。非線性激活函數可以防止梯度消失,但是使用過多會使原始圖像過度非線性化,從而破壞通道信息,因此減少對非線性激活函數的使用。為了提高模型的泛化能力,將非線性激活函數修改為加入隨機正則的GELU激活函數[13]。標準化可以加速網絡的收斂并減少過擬合,但是使用過多可能會破壞原始圖像的分布,損失圖像信息,因此減少標準化的使用。此外,ResNet50采用的Batch Normalization[14]是在批次維度上對圖像采用相同的均值和方差進行標準化,而圖像的每個通道的信息是不同的,因此會在一定程度上破壞通道維度的信息,故將Batch Normalization修改為在通道維度上進行標準化的Layer Normalization[15]。

圖3 ResNet50和深度卷積網絡殘差結構圖Fig.3 Residual structure diagram of ResNet50 and depthwise convolutional network

2.2 多信息融合特征金字塔網絡

Mask R-CNN的主干網絡由特征提取網絡ResNet和FPN構成。FPN作為一種多尺度檢測方法,能夠實現多尺度特征圖的提取。原始的FPN獲取的特征圖對語義信息的表達不夠完整,很難同時兼顧大目標、中等目標和小目標的檢測精度,如圖4(a)所示。為增加上下文信息的參考,使模型獲得不同語義程度上的特征圖信息,從而提高對化妝棉棉片上的小目標缺陷的檢測精度,提出一種多信息融合的特征金字塔結構,如圖4(b)所示。

在圖4(a)與圖4(b)中,兩種特征金字塔網絡均采用自上而下的橫向連接結構,C1～C5均為基礎網絡每個階段生成的特征圖。圖4(a)中,P2-P6為C1～C5相鄰兩個特征圖經過上采樣融合相加生成的特征圖,上采樣方式均采用雙線性插值;圖4(b)中P1～P6為C1～C5所有特征圖經過上下采樣融合相加生成的特征圖。C4和C5兩個低分辨率特征圖采用的上采樣方式是Pixel Shuffle[16],C1～C3采用的上采樣方式則是雙線性插值。與雙線性插值相比,Pixel Shuffle在上采樣時不會損失任何細節信息,信息總量保持不變,能夠提高低分辨率特征圖的表征能力。

2.3 注意力機制

化妝棉棉片表面紋理復雜,在模型的檢測過程中會造成一定的干擾。將注意力機制引入到網絡中,能更好地提取圖像的特征,同時增加與缺陷相關的特征權重[17]。注意力機制通過給圖像特征施加相應的注意力權重,從而突出待檢測目標的重要特征,并抑制一些無關信息。常見的注意力機制包括通道注意力機制[18]、空間注意力機制[19]及混合注意力機制[20-21]。通道注意力機制是在圖像特征通道尺度上施加注意力權重,使得模型關注有意義的特征;空間注意力機制是在圖像特征空間尺度上施加注意力權重,使得模型關注特征在空間中具體的位置;混合注意力機制則能夠充分結合特征通道和特征空間兩個維度的注意力機制,對圖像特征進行全面解析,從而使模型精準關注圖像中的目標特征。

在區域建議網絡生成前引入混合注意力機制[20],并在此基礎上對其進行改進,以更好地解析融合后的圖像特征,從而在區域建議網絡中生成更加準確的預選框。本文將混合注意力機制的通道域注意力模塊中的多層感知機替換成1個1×1卷積和Batch Normalization,再與一個7×7的Depthwise卷積[22]進行跳躍連接。Depthwise卷積是不同通道的特征圖采用不同的卷積核進行卷積操作,這能夠避免普通卷積中不同通道的特征圖因采用相同的權重表征原始圖像而導致信息損失的問題。改進后的注意力機制模型如圖5所示。

圖5中,WC為通道注意力權重,WS為空間注意力權重。給定特征融合金字塔生成的特征圖Fi,首先,將該特征圖送入通道注意力模塊,分別通過平均池化和最大池化得到特征圖每個通道的信息;然后,利用1×1卷積將通過池化獲取的信息參數進行疊加,再經激活函數Sigmoid進行非線性激活,獲得通道注意力特征權重MC(Fi),再與輸入特征圖Fi逐元素相乘,得到通道注意力特征圖FC;接著,將FC送入空間注意力模塊,依次進行平均池化和最大池化,再通過1×1卷積進行通道轉換,并利用Sigmoid函數進行非線性激活,得到空間注意力特征權重MS(Fi),再次與FC逐元素相乘,獲得空間注意力特征圖FS。將原始特征圖Fi經過一個7×7的Depthwise卷積獲得的結果與FS逐元素相加,得到最終的特征圖FO。

2.4 損失函數

由于去掉了Mask R-CNN網絡中的分割分支,改進后Mask R-CNN只有4個損失函數,如式(1)所示。

LLoss=Lrcls+Lrbbox+Lcls+Lbbox

(1)

式中:Lrcls為區域建議網絡的分類損失;Lrbbox為區域建議網絡的邊界框回歸損失;Lcls為整個網絡的分類損失;Lbbox為整個網絡的邊界框回歸損失。

一般目標檢測網絡存在兩個問題:一是正負樣本不平衡問題;二是簡單和困難樣本不平衡問題。為解決這兩個問題,在區域建議網絡中對原來的交叉熵損失函數進行改進,設計一種新的損失函數,如式(2)所示。整個網絡的分類損失采用交叉熵損失函數,如式(3)所示。

(2)

(3)

式(2)中,α為衡量正負樣本的權重系數,一般負樣本較多,因此取較小的值,從而提高正樣本的權重,這里取0.25;γ為調節簡單樣本和困難樣本之間的權重系數,可使模型在訓練時更專注于難分類的樣本,這里取2;式(2)和式(3)中的y為類別參數,正樣本取1,負樣本取0;K為類別數;P為目標屬于某個類別的概率。

整個網絡和區域建議網絡的回歸損失均使用SmoothL1損失函數:

(4)

式中:x、y為矩形框的中心坐標;w、h為矩形框的寬和高;Gi為真實框的回歸參數;pi為預測框的回歸參數。

3 試驗方法與結果

3.1 數據集的說明與準備

化妝棉棉片主要通過裁切制成,在工業生產中會出現各種表面缺陷,常見的有褶皺、異物油污、無壓點、缺少非織造布、壓邊不良、壓點不良等6類缺陷,如圖6所示。

試驗采用自制的化妝棉棉片缺陷檢測數據集。圖像使用工業相機在黑色檢測平臺上采集,剔除一些不符合要求的圖像后獲得原始的數據集,共800張,按照8∶1∶1的比例劃分為訓練集、測試集和驗證集,圖像數量分別為640、80、80。3種數據集均包含所有的缺陷圖像。為了模擬化妝棉棉片的工業生產環境,對訓練集和測試集采用對比度增強、隨機鏡像、隨機縮放、旋轉變換方法進行擴增,驗證集保持不變。對增強后的數據集進行篩選從而使各類缺陷達到均衡。數據增強后數據集的數量分布為訓練集3 840張、測試集480張、驗證集80張。

3.2 試驗平臺配置

試驗在Ubuntu 9.3.0系統上進行。系統具體配置如表1所示。

表1 試驗平臺配置Table 1 Experimental platform configuration

3.3 試驗設置

針對化妝棉缺陷檢測模型,將Batchsize設置為4;模型訓練輪數為45,每輪訓練960次,初始學習率設置為0.005;優化器使用SGD,學習動量設為0.9;學習率更新策略使用MultiStepLR。模型訓練損失和學習率曲線如圖7所示。共訓練50輪,前15輪模型的下降速度很快,而15～25輪時下降趨勢減緩,訓練至45輪后基本趨于穩定,表明模型已經收斂。

圖7 模型總損失和學習率曲線Fig.7 Total loss and learning rate curve of the model

3.4 對比試驗與結果分析

3.4.1 評價指標

評價缺陷檢測精度的指標通常為誤檢率和漏檢率。誤檢率一般用平均準確率(mean average precision,RmAP)來衡量;漏檢率一般使用召回率(Rre)來衡量。平均準確率越高,誤檢率越低;召回率越高,漏檢率越低。具體計算公式為

(5)

(6)

式中:P(R)為PR曲線;n為類別編號;N為類別數;NTP為預測結果為正樣本且實際結果為正樣本的個數;NFN為預測結果為負樣本且實際結果為正樣本個數。

3.4.2 特征提取網絡對比試驗

為了衡量深度卷積網絡的性能,使用ResNet50、ResNet101、ResNext101、SENet50、RepVGG、深度卷積網絡等6種卷積神經網絡模型作為Mask R-CNN的特征提取網絡。設置6組對比試驗,試驗結果如表2所示。

表2 不同特征提取網絡的對比試驗結果

由表2可知,使用本文提出的深度卷積網絡來搭建Mask R-CNN時,特征提取能力顯著增強,檢測效果提升明顯,RmAP達89.5%,Rre達77.4%。相比其他網絡,深度卷積網絡的Rre和RmAP最高,即漏檢率和誤檢率最低,展現出強大的特征提取能力。相比ResNet50、ResNet101、ResNext101、SENet50、RepVGG,RmAP分別提高了6.3%、5.2%、4.4%、5.5%、6.5%,Rre分別提高了9.6%、6.8%、4.9%、8.1%、6.2%。由此可見,本文提出的深度卷積網絡,由于采用了多個深度卷積堆疊而成的殘差結構,同時減少了標準化和激活函數的使用,能夠提取出更多的有用信息,顯著降低漏檢率和誤檢率。

3.4.3 改進模塊對比試驗

本文在原始Mask R-CNN檢測框架下分別改進了FPN、加入了多通道注意力機制以及優化了損失函數。為驗證上述改進模塊的作用,以本文提出的深度卷積網絡為特征提取網絡,設置6組對比試驗,結果如表3所示。

表3 不同模塊的對比試驗結果

表3第一行是以深度卷積網絡為特征提取網絡的Mask R-CNN的檢測結果。由表3可以看出:原網絡加入多通道注意力機制后,RmAP和Rre分別提高了4.2%和7.1%;改進FPN后,RmAP和Rre分別提高了4.9%和7.0%;優化損失函數后,RmAP和Rre分別提高了1.5%和1.0%;改進FPN,且加入注意力機制后,RmAP和Rre分別提高了5.6%和12.7%;改進FPN、加入注意力機制、優化損失函數后,RmAP和Rre分別提高了6.9%和13.8%;綜合各模塊的優點,改進Mask R-CNN的RmAP可達95.7%,Rre可達88.1%。由此可見:對于化妝棉棉片缺陷數據集而言,多信息融合特征金字塔網絡能夠提取出更多的缺陷信息;在區域建議網絡前加入多通道注意力機制,有助于模型更加關注缺陷部位的特征,從而使模型學習地更加充分;改進區域建議網絡的損失函數有利于生成更加準確的候選框,從而降低誤檢率和漏檢率。

3.4.4 經典網絡對比試驗

為進一步驗證改進的Mask R-CNN的效果,選取Faster R-CNN、SSD、YOLOv5、Mask R-CNN 4種經典網絡進行對比,試驗結果如表4所示。

表4 改進的Mask R-CNN與經典網絡的對比試驗結果

從表4可以看出,改進Mask R-CNN的檢測效果優于Faster R-CNN、YOLOv5、SSD、Mask R-CNN網絡。與Mask R-CNN相比,改進Mask R-CNN的RmAP分別提高38.7%、64.4%、18.0%、13.7%,Rre分別提高58.5%、96.7%、31.1%、24.8%。由此可見,本文提出的網絡模型在化妝棉棉片數據集上漏檢率和誤檢率均較低,有著更好的檢測效果。此外,缺陷檢測的平均時間增加幅度較小,檢測1張圖只需0.08 s,遠高于人工檢測的速度,滿足實際工業的需求。

3.4.5 試驗效果與分析

為了驗證改進的Mask R-CNN的檢測效果,選取3張含有缺陷的化妝棉棉片進行測試驗證,如圖8所示。圖8(a)為待檢測圖像,圖中待檢測缺陷目標用虛線框標注,圖8(b)～(f)分別為Faster R-CNN、YOLOv5、SSD、Mask R-CNN、改進的Mask R-CNN等5種檢測算法的檢測結果。

圖8 不同檢測算法的檢測結果對比Fig.8 Comparison of test results of different detection algorithms

從圖8可以看出,采用Faster R-CNN、YOLOv5、SSD、Mask R-CNN等4種算法檢測時均出現不同程度的漏檢和誤檢,尤其是YOLOv5算法沒有檢測出任何缺陷目標。這是因為化妝棉數據集存在很多異物油污、壓點等小目標缺陷,YOLOv5算法本身對小目標的檢測效果不好,同時YOLOv5算法在實際運算過程中會利用非極大值抑制算法選取得分最高的那個預測框,而YOLOv5算法的回歸思想基礎是將圖像劃分成S×S個網格,每個網格最多只能預測1個目標物,因此它對在同一個網格內出現多個目標物體的情況表現不佳,無法全部識別目標。本文改進的Mask R-CNN算法,能夠更準確識別化妝棉棉片的缺陷類別和位置,平均準確率和召回率均較高,較好地解決了漏檢、誤檢問題。

4 結 論

采用改進的Mask R-CNN檢測模型,在自制的化妝棉棉片數據集上取得95.7%的檢測準確率和88.1%的召回率,具有良好的檢測效果,可以代替人工檢測,具體結論如下:

1)在特征提取網絡部分,通過堆疊深度卷積的殘差結構,同時減少標準化和激活函數的使用,獲得更豐富的語義特征,有利于后續檢測框的生成和預測,增強檢測能力。

2)采用多信息融合的特征金字塔網絡可以獲得更多的特征圖信息參考,同時用像素重組的上采樣方式替代原始的雙線性插值的上采樣方式,能夠提高小分辨率特征圖的表征能力,從而提高檢測準確率;引入混合域注意力機制,能夠提高小缺陷目標的檢測效果;采用Depthwise卷積,能有效解決漏檢、誤檢問題。

3)針對正負樣本不平衡和簡單困難樣本不平衡兩個問題,對區域建議網絡的分類損失函數進行優化,可提高檢測算法的準確度。