基于深度學習的機織物起毛起球客觀評級分析

吳 駿,徐 天,于 坤

(1.天津工業大學,a.天津市光電檢測技術與系統重點實驗室;b.電子與信息工程學院,天津 300387; 2.天津市產品質量監督檢測技術研究院紡織纖維檢驗中心,天津 300192)

中國是紡織品生產大國,紡織品的穩定出口對中國的經濟穩定至關重要[1]。每年因織物起球問題被消費者投訴約占紡織品質量問題總量的29.51%[2]?？椢锲鹈鹎蛟蚴强椢锉砻胬w維在外力摩擦強于纖維抱合力時,纖維形成絨毛;當絨毛足夠長時,絨毛相互纏繞,達到一定程度時就形成了毛球[3]。目前主要是通過專業人員在特定環境下對照標準樣照對起毛起球樣本進行評級,該方法局限性多、主觀性強,而且準確率與專業人員疲勞程度有關。因此研發一種客觀評級系統很有必要。

國內外學者為克服人工標準樣照檢測的局限性,逐漸地開始使用計算機作為工具,采用基于圖像分析原理的客觀起球分級系統對織物的起球傾向進行了評價[4],取得了很好的效果?？椢锲鹈鹎蚰壳爸饕谴嬖趦煞N客觀評級的方式[5]：一種是根據灰度信息在空間域內進行毛球分割以及評級;另一種是在頻域內利用頻率等信息進行圖像處理。

在空間域中,Konda等[6]通過獲取起毛起球圖像類間方差與類內方差的最大比值當作分割閾值,提取織物毛球面積和毛球個數作為兩個特征參數作為判定標準。蔡林莉等[7]首先利用直方圖均衡化和加法運算增強毛球信息和背景信息的對比度,通過二值化等方法分割毛球。Hu等[8]通過二維高斯模板匹配的方式來定位毛球以及確定分割閾值。Liu[9]利用邊緣流的方法提取織物的顏色、相位、紋理以及毛球信息,將毛球大小、數量以及體積作為最終的評級標準。

在頻域中,因毛球和紋理具有一定的周期性結構,在頻域中表現為一定的頻率信息。Xu[10]通過頻譜信息過濾織物的紋理信息,使用圓形模板匹配法定位毛球并選取全局閾值進行毛球分割。Palmer等[11]使用二維離散小波變換的方式來對織物起毛起球圖像處理,在頻域上對織物進行分析從而進行客觀評級。Jing等[12]在頻域信息中利用小波分解方法將無關信息和織物表面毛球分開,通過SVM分類器對織物起毛起球進行評級。Zhang等[13]使用小波來進行紋理分析并提取毛球特征信息,通過毛球的密度參數來進行織物的等級評級,即使在頻域內進行織物起毛起球評級效果要優于空間域[14],也仍然需要人工選擇各種系數,沒有真正實現端到端的起毛起球客觀評級研究。

傳統的織物起毛起球評級方法幾乎分為3步：首先分割出毛球信息,其次人工選取毛球的特征參數,最終根據這些選定的參數進行等級評估,人工選取參數的好壞直接影響最終的分類結果。為了避免人工挑選參數帶來的誤差,有學者通過結合人工神經網絡進行評級。Furferi等[15]通過訓練前饋反向傳播人工神經網絡判斷織物起毛起球過程,但需要人工輸入織物圖像的熵曲線峰值以及亮度信息。Yu等[16]結合使用DFF特征提取器和SVM分類器進行客觀評級。Xiao等[17]應用BP模型和其他優化模型來預測織物起毛起球。以上方法只是減少了人工參與,并沒有完全實現端到端織物評級。

為解決傳統的織物起毛起球評級方法評級速度慢、成本高、主觀性強的問題,卷積神經網絡為客觀評級提供了一種新的思路。本文主要做了以下工作：制作了兩種機織物數據集共4376幅不同等級起毛起球圖像,其中機織物A為純紡織物(100%滌綸),機織物B為混紡織物(20%滌綸,80%羊毛)。最終設計出一種Wide-SqueezeNet網絡模型,該種網絡模型是在SqueezeNet[17]網絡基礎上改進了Fire模塊,在Fire模塊中增加了不同尺度的特征融合,以提高網絡特征提取的能力;并且使用深度可分離卷積將普通卷積替換掉,這樣可以減輕網絡的一些計算量,提高速度。使用新的卷積神經網絡來對毛球圖像進行評級可以避免人工參與,降低人工成本,提高檢測工作的效率。

1 圖像數據采集

按照GB/T 4802.3—2008《紡織品 織物起毛起球性能的測定 第3部分：起球箱法》標準,應用滾球箱式起毛起球儀(方圓YG511S-ⅣA)進行測試,滾球箱式起毛起球儀如圖1所示。按照標準將織物樣本裁剪成125 mm×125 mm大小,將裁剪好的織物樣本固定在聚氨酯載樣管上,為防止樣本在翻滾過程中脫落,將樣本兩端用膠帶以固定,制作好的試管樣本如圖2所示。將固定好的樣本每4個放進滾球箱,通過設定不同的翻滾次數來獲取不同等級的起毛起球樣本[19]。

圖1 滾箱式起毛起球儀Fig.1 Roller box pilling instrument

圖2 試管樣本Fig.2 Test tube sample

借鑒織物起毛起球面料在紡織行業的評級環境,搭建了一套織物起毛起球圖像采集系統。由于在采集過程中采用靜態的方式,所以采用的是面陣相機。面陣相機分為彩色工業相機、灰度工業相機和紅外工業相機,由于紅外工業相機主要用于獲取某個波段的紅外信息且價格相對昂貴,因此不在考慮范圍內。本文對比了灰度相機和彩色相機采集到的圖像,對比結果如圖3所示。通過對比可以看出,彩色相機收集到的圖像將樣本的毛球信息和背景信息無差別記錄下來,而灰度相機忽略了背景信息,更加突出毛球信息。相比之下灰度相機采集的起毛起球圖像在毛球辨識度方面優于彩色相機,所以本次使用的是?？低暽a的MV-CE013-50GM工業面陣灰度相機。

圖3 彩色相機與灰度相機采集圖像對比Fig.3 Comparison of images captured by color camera and grayscale camera

采集系統的光源選取的是LED方形傾斜光源,此光源不僅有助于突出織物表面的毛球信息,而且可以抑制部分噪聲的影響,提高采集圖像的質量。最終圖像采集系統如圖4所示。

圖4 圖像采集系統Fig.4 Image acquisition system

本文選取了不同成分和含量的機織物作為樣本,共采集到4376幅不同等級的起毛起球圖像作為數據集。其中純滌綸的機織物A有5個等級的起球樣本,混紡織物B(20%滌綸,80%羊毛)在達到二級后會產生毛球脫落現象,因此沒有一級起球樣本。這些起球樣本均由專業評級人員進行評定。兩種機織物不同等級的樣照示例如圖5所示。

圖5 不同等級的樣照示例Fig.5 Samples of different sample grades

2 Wide-SqueezeNet網絡的設計

2.1 SqueezeNet介紹

SqueezeNet是常用的輕量級卷積神經網絡,主要由1×1卷積和3×3卷積組成,在保持與AlexNet相同精度的前提下,參數量減少了50倍。本文在SqueezeNet網絡的基礎上設計了Wide-SqueezeNet網絡模型,SqueezeNet網絡的整體結構如圖6所示。

圖6 SqueezeNet網絡結構Fig.6 SqueezeNet network structure

該模型共包含10層,第1層為卷積層,主要用來提取圖像特征;第2—9層為Fire模塊,Fire模塊如圖6所示,每經過兩個模塊之后,通道數會增加;第10層是1×1卷積層,將特征維度與類別相匹配。

2.2 Fire模塊改進

由于SqueezeNet網絡參數量少,導致對復雜問題的表達能力較弱,在起毛起球圖像中顆粒大小、形狀、分布密度、紋理變化等信息復雜,基礎網絡往往很難應對,為克服SqueezeNet網絡的表達能力不足,本文對Fire模塊進行了如圖7所示的改進。

圖7 Fire模塊改進前后對比Fig.7 Comparison of the fire module before and after the improvement

原始Fire模塊主要含有兩層的卷積：一個是squeeze層,其中采用1×1的卷積核,第二個是混合使用1×1卷積和3×3卷積核的expand層。在SqueezeNet網絡中共8個Fire模塊,通過模塊化設計,減少了參數量,但SqueezeNet網絡共10層,因此網絡的非線性表達能力較弱[20]。

改進后的Fire模塊與原始Fire模塊相比,增加了一個短連接,目的是解決在訓練過程中梯度發散、難以優化等問題。受VGG網絡的啟發,大卷積核可由幾個小卷積替代,在具有相同感受野的同時,不僅減少計算量,而且增加了非線性表達能力[21],因此在短連接中加入了兩個3×3卷積,以獲取不同尺度的特征圖信息,最終與原始Fire模塊輸出特征圖進行特征融合,不僅增大網絡的感受野、提取到不同尺度的特征圖信息,而且增強了網絡的非線性表達能力。

2.3 深度可分離卷積

SqueezeNet網絡大小為AlexNet網絡的1/50,但計算量卻只是AlexNet的1/6,這是由于SqueezeNet 在模型壓縮的同時,采用了較多的3×3卷積操作,這些操作計算量相對較大,在增加特征融合之后,網絡的計算量將更大,通過觀察SqueezeNet的計算量分布,計算量主要集中在3×3卷積,為了減少計算量,本文采用深度可分離卷積,替換掉普通卷積,采用深度卷積與逐點卷積可以減少計算量,其中深度可分離卷積如圖8所示。

圖8 深度可分離卷積Fig.8 Depthwise separable convolution

深度可分離卷積首先通過逐深度卷積將單個濾波器使用到每一個輸入的通道,其中逐深度卷積部分參數(N_depthwise)的計算如式(1),使用1×1卷積組合不同深度卷積的輸出,從而可以得到一組新的輸出結果,其中逐點卷積中參數(N_pointwise)的計算如式(2),而普通卷積計算參數(N_normal)如式(3),通過卷積參數的計算可以看出,深度可分離卷積在計算量上遠小于普通卷積,因此本文使用深度可分離卷積替換普通卷積以達到減少計算量的目的。

N_depthwise=K×K×Cin=3×3×3=27

(1)

N_pointwise=1×1×Cin×Cout=1×1×3×4=12

(2)

N_normal=K×K×Cin×Cout=3×3×3×4=108

(3)

式中：K為卷積核的尺寸,Cin為輸入通道數,Cout為輸出通道數。

3 實驗分析

3.1 實驗對象

實驗對象是兩種起毛起球的機織物圖像,將兩種機織物起毛起球數據集放在一起訓練,每一種織物的每一個起毛起球等級均劃分一類,共分為9類。機織物數據集共4376幅圖像,按照8∶1∶1的比例將所有的數據集劃分為訓練集、測試集以及驗證集。

3.2 實驗環境的配置

實驗在Linux系統下操作完成,使用的深度學習框架為Pytorch,GPU型號為NVIDIA GeForce GTX 2080Ti,顯存為11 GiB,CPU型號為Intel(R) Core(TM) i7-6700,頻率為2.10 GiBHz,RAM型號為DDR3,容量為32 GiB。

3.3 算法參數的設定

本次訓練損失函數采用的是交叉熵損失函數,激活函數為RELU[22],經反復測試,最佳參數如表1所示。

表1 模型參數設置Tab.1 Model parameter settings

3.4 起毛起球評級效果

起毛起球分類網絡的評價參數主要是準確率、計算量、模型大小和檢測時間。本次實驗將兩種機織物起毛起球數據集放在一起訓練,對比了一些經典的分類網絡在相同數據集下的表現,不同分類網絡的準確率如表2所示。

表2 不同分類網絡的準確率Tab.2 Accuracy of different classification networks

由表2可知,SqueezeNet基礎網絡在起毛起球分類任務中的準確率為97.111%,改進后的網絡在準確率上達到了99.333%,相比于基礎網絡提高了2%,說明增加的特征融合在起毛起球評級過程中是有效果的。本文對每次改進均做了消融實驗,網絡模型及各項指標如表3所示。

表3 網絡模型及各項指標Tab.3 Various indicators of the network model

通過表3可知,Fire模塊在加入特征融合之后,分類效果有較大的提升,說明增加的分支增強了網絡的特征提取能力,但模型大小和計算量也增加了10倍;將普通卷積替換為深度可分離卷積之后,準確率達到了99.333%,而且模型大小和計算量與原始網絡基本接近,使網絡輕量化的同時,更快地處理數據。

一個5×5卷積的感受野是和兩個3×3卷積的感受野相同的,本文對比了兩個3×3卷積和一個 5×5 卷積對結果的影響,不同尺寸卷積核的準確率如表4所示。

表4 不同卷積核尺寸準確率Tab.4 Accuracy of different convolution kernel sizes

通過結果可以看出,兩個3×3卷積的效果要優于一個5×5卷積,因為兩個3×3卷積不僅降低了計算量,也增強了非線性表達能力,與VGG網絡提出的思想是一致的,因此本文采用的是兩個3×3卷積用于提取特征。

本文對比了網絡改進前后預測一幅圖像所用時間,時間對比如表5所示,改進后的網絡預測時間降低0.036 s。

表5 單幅圖像所用時間對比Tab.5 Comparison of times spent in a single image

通過表3可知,利用深度可分離卷積之后的網絡模型大小和計算量是普通卷積網絡的1/10,通過測試兩個網絡預測一幅圖像所用時間,進一步驗證了使用深度可分離卷積的網絡在預測速度上更快,且預測一幅起毛起球圖像僅需0.072 s,而人工預測一幅起毛起球圖像需要幾分鐘到十幾分鐘不等,此網絡預測速度上遠快于人工檢測。

3.5 可靠性分析

卷積神經網絡的可靠性通常指其在輸入數據有一定程度的噪聲或擾動時,仍能夠準確地分類目標,這種情況也被稱為模型的魯棒性。本文通過輸出網絡的部分特征圖和熱力圖驗證Wide-SqueezeNet網絡在機織物起毛起球客觀評級中的可靠性,如圖9和圖10所示。

圖9 部分特征圖Fig.9 Partial feature map

通過圖9中Wide-SqueezeNet的特征圖可以看出,改進的網絡在提取特征時將背景信息和毛球信息有效的區分開來,并且更加突出毛球信息,這樣不僅能有效緩解圖像的噪聲帶來的影響,而且有效的改善了光照問題。

熱力圖是卷積神經網絡進行分類的重要依據,熱力圖中紅色表示權重較大的部分,藍色表示權重較小的部分。通過圖10中Wide-SqueezeNet的熱力圖可以看出,毛球信息均被分配了較大的權重,說明網絡分類的主要依據為毛球信息;而且毛球周圍信息分配的權重比其他地方的權重大,說明在分類時網絡不僅關注毛球信息,也關注毛球周圍的紋理信息,這與專業評級人員所描述的樣照評級方法相符合。

4 結 論

本文通過建立兩種機織物的數據集,改進Fire模塊以提升SqueezeNet的特征提取能力,并使用深度可分離卷積來降低計算量。實驗結果表明,這些改進使網絡分類準確率提高,同時保持模型大小和計算量基本不變。通過特征圖和熱力圖驗證了Wide-SqueezeNet在機織物評級中的可靠性。此外,該網絡測試一幅圖像僅需0.072 s,比人工評級時間更短。因此,綜合評估表明這個網絡能夠滿足行業要求。