基于注意力密集連接Unet 的磁瓦表面孔洞和裂痕缺陷分割算法

陳榮演，邱天，楊創富

（五邑大學 智能制造學部，廣東 江門 529020）

磁瓦是各種電子產品線圈、電動機以及變壓器等的重要組成部件，其質量的好壞直接影響相關產品的品質. 磁瓦缺陷檢測具有較大的復雜性和多樣性，從早期人工檢測方式發展到目前主流的基于機器視覺的檢測方式，雖然提高了檢測效率，但是受限于人為設定規則劃分缺陷的檢測思想和人工設定規則難度大、魯棒性差等缺點，基于視覺的檢測方式一直局限于一些特定使用場合，雖有不少研究成果[1-5]，但仍然無法滿足現代化生產需要. 隨著人工智能的興起，利用深度學習這種通過數據驅動來自動提取特征的方式在工業缺陷檢測中取得了很多不錯的結果[6-10]，基于以上成果，本文采用Unet 深度學習網絡為基礎對磁瓦表面孔洞和裂痕缺陷分割進行研究，針對磁瓦數據集數量較少和缺陷不明顯等情況，構建一種密集連接的改進Unet 網絡來實現對磁瓦表面孔洞和裂痕缺陷的分割算法，以提高磁瓦缺陷分割精度.

1 基于Unet 網絡算法改進

Unet 作為圖像分割的經典網絡，已經在醫學、工業以及自然圖像等方面廣泛應用. Unet 之所以會被廣泛使用，是因為其獨特的U 形編碼—解碼結構，其左邊部分為編碼部分，是通過多次卷積下采樣獲取不同尺度特征的網絡結構. 編碼部分得到的特征會通過跳躍連接送到解碼部分，使得高層語義信息和底層信息進行融合，解碼部分會通過上采樣和卷積以融合不同的層次特征，并恢復回原圖大小. 由于Unet 交互、融合了多層次的特征，故其對特征的表示能力較好，但是Unet 對細節處理不足以及對小物體分割效果不理想. 本文為了加強特征的表述和對小物體缺陷的分割，構建了密集連接的改進U 型卷積神經網絡，改進后的網絡模型如圖1 所示，改進主要包括以下幾個方面：解碼階段的密集連接、增加注意力機制CBAM、使用混合空洞取代下采樣池化.

圖1 改進密集連接Unet 模型

1.1 解碼階段的密集連接

一般來說，在進行磁瓦缺陷檢測時所能采集到的數據是非常有限的，所以要在有限的數據中盡可能地充分利用數據，而密集卷積連接[11]可以有效提高特征的利用和傳播，還可以解決梯度消失等問題，從而提高分割的準確性. 本文在網絡中把編碼階段的每一層的特征都進行級聯，并且通過一個1 ×1 的卷積對級聯后的數據進行降維，另外在每個下采樣前的卷積層添加批歸一化（Batch Normalizing，BN）. 采用密集連接不僅可以通過復用特征來獲得較高的利用率，而且可以起到正則化的作用，也可以在小樣本中防止過擬合的發生.

1.2 增加注意力機制CBAM

注意力機制的主要思想是通過給特征進行加權，使得有效特征的權重增大，抑制無效特征或者噪聲. 本文在特征提取的開始位置嵌入如圖2 所示的CBAM 模塊[12]，特征經過通道注意力和空間注意力模塊生成注意力圖，然后以注意力圖為權重將輸入的特征進行加權操作，使受關注的特征能夠更突出地表達出來.

圖2 CBAM 模塊

在通道注意力模塊中，特征分別經過最大池化和平均池化后送到多層感知網絡，然后將多層感知網絡的兩個輸出特征進行加和，最后通過sigmoid 函數進行激活. 在空間注意力模塊中，將從通道注意力模塊得到的輸出分別進行最大池化和平均池化，然后在空間的維度上進行拼接，并使用1×1卷積進行降維，最后通過sigmoid 函數進行激活.

1.3 使用混合空洞卷積代替下采樣池化

磁瓦的孔洞缺陷很小，而過多的下采樣池化會造成特征和細節信息的丟失，因此在編碼階段的最后一個下采樣用空洞卷積代替池化層，同時因為空洞卷積是間隔采樣，因此會造成感受域圖像不連續的現象，也就是網格效應的發生，從而導致一些細節丟失. 所以在檢測中使用混合空洞卷積（Hybrid Dialated Convolution），也就是用空洞率為[1,2,5,1,2,5]的卷積，這樣的設計可以把原本間隔采樣的點補齊，從而達到感受野覆蓋全圖的目的.

2 實驗與分析

在進行實驗前，首先對數據進行增強和預處理，然后搭建網絡和定義損失函數對網絡進行反向傳播訓練，最后對網絡輸出的分割結果進行客觀評價，從而判斷分割網絡的優劣.

2.1 數據增強和預處理

文中采用的磁瓦缺陷數據來源于中科院自動化所收集的磁瓦數據集[13]，里面包含了6 種常見磁瓦缺陷的圖像. 因為孔洞和裂痕是磁瓦中最常見也是最難被檢測出來的表面缺陷，因此選取這兩項來進行實驗. 數據集里面含有標注的孔洞缺陷圖像共有115 張，含有裂痕缺陷標注的圖像共57 張. 為了擴大訓練樣本，對原數據集的圖像數據進行旋轉、移位、調節亮度等一系列增強數據操作，使得孔洞和裂痕數據都擴大到300 張，并保持高寬地把圖像調整到256 ×256大小和進行歸一化處理. 其中270 張圖片數據用于訓練，30 張圖片數據用來測試.

2.2 損失函數

磁瓦缺陷的分割屬于二分類問題，由于磁瓦的缺陷占圖像的比例比較小，樣本分布不均衡. 正樣本所占比例很少，這會使模型更傾向于判斷其為負樣本. 為了平衡正負樣本的不均衡，需要在交叉熵損失函數上進行加權，使占比多的樣本擁有的權重低、占比少的樣本擁有權重高，以此平衡樣本. 加權交叉熵損失如公式（1）所示：

式中，Yi表示目標，P(Yi)表示屬于目標的概率，α表示平衡樣本的權重.

2.3 評價指標

本文采用的模型評價指標如下：TP 表示預測為目標真實也為目標；TN 表示預測為背景真實也為背景；FP 表示預測為目標真實為背景；FN 表示預測為背景真實為目標.

MIoU：用來評價分割每個類真實結果和預測值之間的交集和并集比例的平均值.

Dice：用來衡量預測集和真實集的相似度.

Precision（精確度）：反映真實為正例所占的比例.

Sensitive（靈敏度）：反映被正確分成正例所占的比例.

2.4 分割結果對比分析

本文算法主要針對磁瓦的孔洞和裂痕缺陷進行分割，分割結果對比如圖3 所示，評價指標得分如表1 所示. 其中MIoU、Dice 系數用來衡量分割結果和標簽數據集合的相似程度，精確度是衡量模型分割正確的指標，靈敏度是衡量模型找出缺陷目標像素能力的指標. 表1 中，Res Unet 靈敏度約為64%，而精確度約為92%，說明分割結果中屬于FN（假負）的比例高，表明Res Unet 不能很好地找出屬于缺陷目標的像素. Unet 的各項指標在表1 中都比較平均，說明Unet 能夠較好的完成分割任務，但從圖3 中可以看出Unet 分割結果的邊界存在模糊不清. 本文改進算法的MIoU 和Dice相比于Unet 分別有2.692%和3.342%的提升，因此本文算法分割目標在一定程度上優于U-net，從圖3 中也可以看出本文算法的邊界都比較清晰，且更加接近于真實缺陷的形狀.

圖3 磁瓦孔洞缺陷分割效果圖

表1 磁瓦孔洞缺陷不同模型分割對比

在裂痕缺陷圖片分割中，分割效果對比如圖4 所示，評價指標得分如表2 所示. 文獻[9]算法的精確度約為57%，而靈敏度約為93%，說明分割結果中屬于FN（假正）的比例高，表明該算法把屬于背景的像素錯誤劃分為目標像素的情況較多. Unet 的分割情況與文獻[9]算法類似，但分割后的圖像邊緣略顯模糊，整體上優于文獻[9]算法. 本文改進算法的MIoU 和Dice 系數都比較高，在分割精確度較高的情況下，靈敏度也處于較高水平，因此說明本文算法能較好找出缺陷目標. 從圖4 可以看出，本文算法可以清晰分割較小的缺陷目標，分割效果更接近真實情況.

圖4 磁瓦裂痕缺陷分割效果圖

表2 磁瓦裂痕缺陷不同模型分割對比

3 結論

本文通過在Unet 算法的基礎上構建了密集連接的U 型改進卷積神經網絡算法，完成了對磁瓦的孔洞和裂痕缺陷分割. 實驗結果表明，本文改進算法可以提高磁瓦孔洞和裂痕缺陷分割的精確度.為了使改進算法可以真正部署到工業上，下一步工作將對網絡進行優化修剪，采集和制作包含多種缺陷類型的磁瓦數據集并進行訓練，以增強算法的魯棒性.