基于改進殘差網絡的熱軋帶鋼表面缺陷研究

袁思邈，方 春，孫福振

(山東理工大學計算機科學與技術學院，山東 淄博 255049)

1 引言

熱軋帶鋼[1-2]是指通過熱軋方式生產的帶材和板材。它不僅可以應用于醫療器械、化工、船舶、航天等工業領域，還可以作為冷鋼的坯料。由于其應用領域的特殊性，對于熱軋帶鋼的表面質量通常非常嚴格，因為熱軋帶鋼應用于工業領域時常作為外圍構件直接使用，而表面缺陷的熱軋帶鋼不僅僅影響制板的外觀[3]，還容易成為腐蝕與破裂的策源地。

傳統的熱軋帶鋼的缺陷分類方式多為人工識別[4]，通常由有經驗的工人通過判斷帶鋼的紋理特征從而進行分類。該方法主觀性強且分類成本較高，已不適用于當下大規模機械流水化作業的環境。

隨著計算機視覺領域近年來的飛速發展，已經開始廣泛的應用于工業界的各類缺陷問題檢測分類[5-6]。而卷積神經網絡(CNN)更是躍居圖像分類問題的主流地位，更多的研究者開始將深度學習與缺陷檢測問題結合處理。

周穎等人[7]通過改進損失函數、引入平衡因子、輸出層結合隨機森林分類器等等方式來改進CNN模型，提高網絡模型準確率與泛化能力，滿足了工業過程中對于太陽能電池板的表面缺陷檢測的基本需求。陶顯等人[8]對近年來深度學習與表面缺陷檢測問題的結合方法進行了梳理，總結了每種方法的使用場景與優劣性。Zhang等人[9]為了應對焊縫缺陷難以檢測的問題，構建了一個11層的CNN分類模型，用于焊縫缺陷的識別，并引入了圖像增強和注意力機制來提高模型的魯棒性。Fusaomo Nenta等人[10]用DCNN的特征向量作為SVM的輸入搭建了一種深度模型，在大量數據的訓練下對于樹脂膜制品的表面缺陷分類問題得到了良好的分類效果。綜上可知，通過深度學習的方式在表面缺陷檢測與分類問題上能夠取得不錯的效果。

上述研究往往都是通過改變卷積網絡基本結構與調整參數來進行缺陷分類。一旦當對于分類準確度有更高的要求時，如想要通過疊加卷積層數來提高模型分類精確度就通常會出現梯度消失與梯度爆炸等問題，并且通常單純依靠層數堆疊對于模型精度提高效果并不理想，甚至有時會出現負優化現象。由此，本文提出了一種基于改進殘差網絡結構的模型，通過改進殘差塊結構與引入swish激活函數，使得該模型能夠在滿足深層卷積的同時提升模型精度與魯棒性，并加快收斂速度。

2 改進殘差網絡模型

2.1 殘差網絡

為了解決深層神經網絡難以訓練的問題，2015年由He K,Zhang X等人提出了一種全新的深度神經網絡框架：殘差網絡[11-13](Residual Neural Network，Resnet)。殘差網絡通過在淺層網絡和深層網絡之間添加映射(Identity Mapping)，使得深層網絡能夠直接從淺層網絡獲得特征，從而解決了網絡退化的問題。殘差網絡由殘差塊構成，分為直接映射殘差塊與恒等映射殘差塊。每個殘差塊可表示為

xl+1=f[h(xl)+F(xl，Wl)]

(1)

xl+1=f[xl+F(xl，Wl)]

(2)

通過迭代式(2)可知對于更深的L層與淺層l的關系課表能可表示為

(3)

由式(3)可知，對于殘差網絡中的某一層L，均可由任意比它淺層的l與它們之間的殘差部分之和表示。殘差塊的基本結構如圖1所示。

圖1 殘差塊結構

根據反向傳播的鏈式法則，有

(4)

2.2 引入swish激活函數

激活函數神經網絡種常用于添加非線性因素，由于反向傳播的計算機制，容易導致常見的一些激活函數(如sigmoid)出現飽和現象，從而導致神經網絡性能下降，出現梯度消失等問題。

傳統殘差網絡使用的ReLu作為激活函數，雖然在梯度反向傳播時有效的解決了梯度彌散現象，但由于其自變量的非負性導致依然存在硬飽和性。一旦自變量x<0，則會出現神經元梯度歸0而導致的神經元死亡現象。研究表明激活函數swish相較于ReLu可以有效的提升神經網絡精度[14]，且由于其輸入值的可負性與函數的非單調性，意味著swish在非負半軸也不具備硬飽和現象。swish函數表達式如式(5)所示，其中sigmoid(x)=1/(1+exp(-x))

f(x)=x*sigmoid(x)

(5)

令σ(x)=sigmoid(x)，則swish函數的一階導數為

f′(x)=σ(x)+x·σ(x)(1-σ(x))

=f(x)+σ(x)(1-f(x))

(6)

Swish原函數與導數圖像如圖2所示。

圖2 swish函數示意圖

由圖可知，與傳統殘差網絡中的ReLu相比，swish同樣具有無上限，有下限的特點，因而不會帶來梯度消失等問題；不同的是swish原函數及其導數均具有平滑的特點，且其函數在定義域內有非單調特性。這使得swish作為激活函數可以在提高殘差塊中的參數利用率、避免函數在負半軸的飽和的同時能夠提升殘差模型的整體精度。

本文將殘差網絡中的ReLu激活函數替換為swish，變更后的殘差塊結構如圖3所示。

圖3 swish型改進殘差塊

2.3 改進殘差快結構

對于傳統殘差網絡而言，其殘差塊中主路徑的結構通常為權重層與激活層交替，之后與捷徑輸出相接將所得結果再進行非線性激活操作后得到輸出。

根據He K等人的研究，對于殘差網絡中殘差塊捷徑采取直接映射的方式效果最佳，且提前批量歸一化可提升殘差網絡性能[15]。由此，區別于傳統殘塊塊結構，提出一種改進殘差塊結構，簡稱為Y-ResNet。Y-ResNet型殘差塊在捷徑直接映射與引入swish激活函數前提下，將主路徑上的批量歸一化與非線性激活操作提前至卷積操作之前。與此同時將原本位于路徑交匯點，即xl+F(xl，Wl)之后的激活操作提前到主路徑中并前置于最后一個卷積層之前。這樣做的目的是可以使卷積層可以充分利用批量歸一化處理后的數據，并且可以使最后一層的非線性激活函數直接接收處理批量歸一化的結果，提高卷積效果，從而使得殘差網絡的整體性能得到提升。傳統殘差快與Y-ResNet型殘差塊結構如圖4所示。

圖4 傳統殘差塊(左)與Y-ResNet型改進殘差塊(右)

3 實驗及結果分析

3.1 實驗數據

本實驗數據集來自于東北大學(NEU)的表面缺陷數據庫，共包含了六種典型的熱軋帶鋼表面缺陷類型，分別為：氧化皮(Rs)、斑塊(Pa)、裂紋(Cr)、凹坑表面(Ps)、內含物(In)和劃痕(Sc)[16]。其中六種不同的典型表面缺陷特征各自有300個灰度圖像樣本，分辨率為200*200像素。原始樣本總量共計1800個。圖像具有不同類之間存在較大差異、類內相似的特點。熱軋帶鋼表面缺陷原始圖像示例如圖5所示。

圖5 熱軋帶鋼的六種表面缺陷

圖像增強[17-18]是一種能有效的增加噪聲數據和數據量的方法，可以明顯提升神經網絡模型的泛化能力與魯棒性。為了更好的適應殘差網絡模型，將原始圖像的尺寸調整為224*224，然后通過圖像增強技術來進行數據擴充?？紤]到盡可能保留熱軋帶鋼的表面缺陷特征與空間信息特征，本文采取隨機平移、旋轉，局部隨機縮放3種增強方式來擴充數據。圖像增強效果如圖6所示。其中(a)為原始圖像，(b)～(e)為增強圖像。

圖6 圖像增強

3.2 實驗環境

本實驗使用的硬軟件環境如表1所示：

表1 實驗環境

3.3 實驗過程及分析

3.3.1 基于ResNet18的改進殘差網絡性能對比

為了驗證本文中改進殘差塊結構的性能，在ResNet18模型基礎上分別設置四組對照試驗：

A. 第一組實驗保持原ResNet18模型不變，簡稱Res18；

B. 第二組實驗將原ResNet模型中的激活函數Relu全部用swish替代，其它條件不變，簡稱Res18+swish；

C. 第三組實驗將原ResNet模型殘差塊中的BN+Relu層前置于卷積層前，其它條件不變，簡稱ReLu+res18；

D. 第四組實驗使用Y-ResNet改進殘差模型，簡稱Y-ResNet18。

選用SGD梯度優化算法，學習率統一設置為0.001，momentum=0.9，epochs=300，batch＿size=80。用模型總分類精度、損失與Kappa系數作為模型評價標準。為了避免隨機變量的影響，共進行了十次實驗，模型精度、損失與Kappa系數均采用十次實驗結果的中位數。實驗訓練過程中的精確度與損失率變化分別如圖7、圖8所示，四組實驗間的詳細數據對比如表2所示。

表2 ResNet18的四組實驗結果對比

圖7 基于ResNet18的改進模型的分類準確率曲線

圖8 基于ResNet18的改進模型的損失函數曲線

實驗結果顯示，前置BN+ReLu層與引入swish激活函數均可以提升模型性能。其中，相對于原始ResNet18網絡，ReLu+res18殘差模型可以使模型精確度提高0.46%，Res18+swish殘差模型可以提升精度約1.3%，并且該方法可以有效提升模型的收斂速度與魯棒性。而本文提出的Y-ResNet18模型相對傳統殘差模型可將精度提升約1.5%。相較于Res18+swish殘差模型，Y-ResNet模型在兼備swish函數帶來的快速收斂與較高的魯棒性的同時可以略微提升模型精確度約0.2%。通過混淆矩陣求得本文方法具有更高的Kappa系數，混淆矩陣如圖9所示。由此可知，本文提出的Y-ResNet殘差模型可有效提升殘差網絡的性能。

圖9 Y-ResNet18模型混淆矩陣

2.3.2 不同卷積神經網絡模型性能對比

為能夠更科學的驗證本文提出的改進殘差網絡算法的性能，分別與遷移學習方法下的InceptionV3、VGG16、ResNet50三種模型進行了對比。為了避免不同模型中全連接層參數不相同的影響，在所有上述遷移模型的凍結層后統一使用與ResNet18模型中相同的全局平均池化層(GlobalAveragePooling2D)，且全連接層參數均相同，迭代次數統一設置為300次，具體實驗結果如表3所示。

表3 不同卷積模型性能對比

由表3可知，在相同條件下，Y-ResNet18與ResNet50模型性能效果明顯優于VGG16與InceptionV3.其中Y-ResNet18型殘差網絡在未增加深度的前提下精確度上較傳統ResNet50高出約0.89%的同時具有更高的Kappa值。說明Y-ResNet18型改進殘差網絡在對于熱軋帶鋼的表面缺陷分類問題上相較于其它經典卷積模型具有更好的效果。

4 結論

相比較于傳統的殘差神經網絡，本文通過引入swish激活函數并前置殘差塊中BN層和線性激活層的方法搭建了一種改進的殘差網絡模型Y-ResNet。實驗結果證明，殘差網絡的捷徑機制能夠有效地避免深層網絡訓練時的梯度彌散等問題，且Y-ResNet型殘差模型應用于ResNet18時可以在熱軋帶鋼的表面缺陷分類問題上得到更優的精確度且提升效果較為明顯。在后續的研究中，可繼續在不同的殘差網絡模型(如ResNet50、ResNet101)上繼續探究改進型殘差塊模型在不同深度的殘差模型的性能的上的表現。