基于深度學習的織物疵點檢測研究進展

賀智明，彭亞楠

(江西理工大學 信息工程學院，江西 贛州 341000)

在紡織工業中，機器故障、紗線斷裂等各種不利因素易造成面料缺陷并影響產品品質，給企業造成巨大的經濟損失，因此織物疵點檢測是品質控制的重要環節之一。疵點種類多樣、形狀不一，傳統的檢測過程主要依靠人眼識別，但此方法受到燈光強度、檢驗員疲勞程度和經驗等因素的影響，人工檢驗的準確率只有60%～75%。理想的織物疵點檢測方法應從人工構建的數據集中自動學習知識檢測缺陷，這使得基于機器學習的疵點檢測成為近年來的熱門檢測方法。深度學習是機器學習的一個新領域，能通過構建多層網絡自動學習織物圖像的特征，對實現織物疵點自動化檢測具有重要意義[1]。本文在總結近幾年相關文獻的基礎上，簡要綜述了幾種常用的織物疵點檢測方法及其優缺點，并著重介紹了基于深度學習織物疵點檢測的研究現狀，為相關學術研究提供參考。

1 織物疵點檢測方法

目前織物疵點檢測方法主要分為5類：基于結構的方法、基于頻譜的方法、基于統計的方法、基于模型的方法和基于學習的方法。常用的織物疵點檢測方法對比如表1所示。

1.1 基于結構的方法

基于結構的方法將織物紋理看作是紋理基元按某種放置規則的排列組合，具有周期性和方向性。結構紋理分析分提取紋理特征、整體織物圖案建模2個步驟。在基于結構的方法中，紋理基元的建模方式不一，如CHEN J等[2]將紋理基元定義為二值化織物圖像中前景像素的運行，通過分析與運行位置和長度相關聯的直方圖來識別缺陷；而BODNAROVA等[3]將紋理基元定義為與二值化圖像重疊區域的紋理塊，通過比較紋理基元的最大頻率差來識別缺陷?；诮Y構的方法雖計算簡單，但可靠性較低，只適用于紋理規整的織物圖案。

表1 常用的織物疵點檢測方法對比

1.2 基于頻譜的方法

織物疵點檢測需要空間域和頻域信息，基于頻譜的方法是利用織物圖案的周期性來檢測疵點，具有適用性強、準確率高等優點，應用最為廣泛，主要有傅里葉變換、小波變換、Gabor變換和其他濾波方法等。

1.2.1 傅里葉變換

傅里葉變換將圖像空間域信號轉換為頻域信號進行頻譜分析，它反映了整個信號的時間頻譜，具有平移不變性和表征周期性，因此可以很好的描述平穩信號的整體特征，但該方法不能對空間域上的疵點區域定位，只適用于全局檢測。近年來，單獨基于傅里葉變換的疵點檢測越來越少，大多采用混合的方法進行檢測。

劉偉斌等[4]根據傅里葉變換后的疵點頻譜圖提出一種新的頻域濾波器設計方法，該方法具有很好的檢測效果和時效性，不足之處在于抑制正常紋理背景的同時也抑制了部分織物疵點信息。朱丹丹等[5]對織物圖像進行傅里葉變換得到頻譜圖，計算待檢圖像特征值與正?？椢飯D像特征值之間的相關系數來確定閾值，實現織物疵點檢測。當閾值設定為 0.80時，該算法能夠實現稀密路、斷經、吊經、緯縮、破洞等常見疵點的準確檢測。

1.2.2 小波變換

小波變換是繼傅里葉變換后的一種突破性信號分析技術，從根本上克服了傅里葉變換只能以單個變量描述信號的缺陷。小波變換利用聯合的時間-尺度函數分析非平穩信號,能有效地從信號中提取信息，具有多尺度多分辨率的特點，不同的子小波可以識別不同的疵點類型，因此十分適用于局部疵點檢測[6]。近年來，利用小波變換檢測織物疵點的研究也越來越多。

花良浩等[7]通過分析各種疵點在頻域上的特性，利用小波算法檢測出空間域內無法檢測出的孔洞、異物類型疵點，與Gabor算法相比較，小波算法的實時性和準確率都有所提高。楊亞等[8]采用正交小波變換對織物圖像進行分解，分解后的子圖像只分別經過經向和緯向的2次間隔采樣。該方法能夠保留大部分疵點信息，計算量較小，檢測速度較快，具有實時性。

1.2.3 Gabor變換

Gabor濾波器可以看作是由復正弦函數調制而成的高斯分布函數，根據紋理結構可以設計不同尺度和角度值的Gabor濾波器對織物紋理進行空間和頻域分析[9-10]。湯曉慶等[9]和王傳桐等[10]分別采用不同尺度方向的Gabor濾波器對疵點圖像進行濾波，經過后續處理，均取得了良好的檢測效果。唐旭晟等[11]利用Gabor濾波器的能量值來描述簾子布紗線疵點特征，對不同尺度參數的Gabor濾波器進行疵點檢測，當尺度參數取0.6且方向參數取90°時，檢測準確度達到99.2%，但該方法存在一定的誤停次數，在紗線交叉嚴重的情況下還存在一定數量的漏報。Gabor變換雖在一定程度上解決了傅里葉變換的時頻分離問題，但在分析信號或數值計算時采用非正交的冗余基，增加了不必要的計算量和存儲量，且Gabor變換的時頻窗難以調節，對于非平穩信號難以得到滿意的結果。

1.3 基于統計的方法

基于統計的方法利用一階統計量和二階統計量來提取織物圖像的標準差、方差、平均值等紋理特征，經典的統計方法主要有直方圖統計法、灰度共生矩陣法、數學形態學等。

1.3.1 直方圖統計法

直方圖包含圖像的灰度像素分布的統計數據，常見的直方圖屬性有均值、標準差、方差和中值等[6]。孫國棟等[12]提出基于灰度直方圖反向投影的疵點圖像分割算法，與Gabor濾波方法和灰度共生矩陣方法相比，該方法不僅效果好，而且用時短，復雜度低。劉海軍等[13]將梯度方向直方圖作為圖像特征，采用最近鄰分類器和卡方距離進行分類，準確率達到96.85%。直方圖技術簡單、計算成本低，有著廣泛的應用，不足之處是對噪音敏感，誤檢率高。

1.3.2 灰度共生矩陣法

灰度共生矩陣法是通過測量顏色強度之間的相關性來分析圖像紋理特征的二階統計法[14]?；叶裙采仃嚨臄祿枯^大，一般將它構建的統計量作為紋理特征，如能量、熵、對比度、相關性、和方差、最大相關系數等。王孟濤等[15]利用灰度梯度共生矩陣對預處理后的圖像提取15個特征值，通過單分類器SVDD訓練和測試，檢驗正確率達97%，漏檢率為4.5%，誤檢率為1.4%。NEELAMBUR等[16]提取基于灰度共生矩陣的統計特征并輸入人工神經網絡進行檢測分類，也取得良好的實驗效果?；叶裙采仃嚨臏蚀_率高，但計算量大，在高分辨率圖像中性能較差。

1.3.3 數學形態學

數學形態學是一種基于物體幾何信息的特征提取方法，它通過物體和結構元素相互作用的某些運算得到物體更本質的形態，基本運算包括腐蝕、膨脹、開運算和閉運算[6]。牛生鵬等[17]提出了一種單色織物疵點區域的快速檢測方法，將圖像自適應閾值分割、數學形態學和邊緣檢測算法相結合進行疵點檢測，該方法適用于常見的疵點類型，具有效率高、準確定位疵點等優點。LI等[18]和ZHAO等[19]利用數學形態學消除疵點圖像中的噪聲，提高了疵點檢測準確率。數學形態學對非周期性圖像疵點的檢測有效且適用于隨機紋理，但由于織物紋理大多具有周期性，所以它的實用性不高。

1.4 基于模型的方法

基于模型的方法是在建立正?？椢锛y理模型的基礎上采用假設檢驗的方法判斷被測織物圖像是否符合該模型。該方法適用于斷紗、針刺斷頭等疵點的檢測，但計算量大、檢測的疵點類型有限，適用性和實用性并不高，近幾年的研究也相對較少，常用的基于模型的方法有自回歸模型和高斯馬爾科夫隨機場模型。

1.4.1 自回歸模型

自回歸(AR)模型反映的是紋理圖像中不同像素間的線性相關性，它只需要對線性方程組求解，計算時間短、成本低，但近幾年的相關研究較少，且大多實驗基于有限樣本，準確率不高。

朱俊嶺等[20]針對線狀疵點采用灰度值的方差序列求得AR譜估計，再根據疵點圖像與正常紋理圖像的相關系數來確定疵點及其位置，并將方差序列與步紅剛等[21]的平均值列在同等條件下進行比較，相比之下，方差序列的檢測效果較好，平均值序列誤檢率高，效果不理想。ZHOU等[22]充分利用織物紋理的周期性和方向性特征，提出一種基于織物圖像一維投影序列的疵點檢測方法，該方法將紋理信息從二維降到一維，大大降低了計算復雜度，并采用Burg算法對AR譜進行譜估計，最后通過t檢驗驗證了AR譜分析的有效性和適用性。

1.4.2 馬爾科夫隨機場模型

馬爾科夫隨機場模型(MRF)利用無噪聲織物圖像中像素點間的依賴性，計算局部區域每個像素的密度值來測量像素與突變之間的關系。楊曉波[23]研究了基于高斯馬爾科夫隨機場(GMRF)模型的疵點自動檢測方法，該方法能通過模型參數簡潔地表示多種織物，適用于統計特征畸變疵點的自動檢測，但不適合區域面積較小的疵點。VERMAAK等[24]對灰度共生矩陣、離散小波變換和高斯馬爾科夫隨機場模型3種織物疵點檢測方法的性能進行了比較，研究表明基于灰度共生矩陣的疵點檢測性能最高，小波變換次之，但在隨機紋理織物中，基于馬爾科夫隨機場模型的方法要比基于小波變換的方法好。

1.5 基于學習的方法

基于學習的方法主要通過字典學習實現疵點圖像的稀疏表達，從而完成疵點檢測。字典學習算法包括構建字典和利用字典稀疏表示樣本2個階段，每個階段都可選擇不同的算法。占竹等[25]使用K-SVD算法學習得到正常紋理信息的字典，利用該字典對疵點紋理圖像進行重構，并計算出重構圖像與疵點圖像間的均方誤差、峰值信噪比和相關系數等指標。該方法能有效對疵點圖像進行評定，但適用性和準確率還有待提高。LI等[26]構造出正常樣本和疵點樣本的學習字典，并利用稀疏編碼計算每個圖像塊的顯著性，最后基于改進的強調波谷法對疵點區域進行分割。該方法適用性廣，能有效定位和識別復雜織物的疵點區域。

2 基于深度學習疵點檢測的研究現狀

深度學習是機器學習研究中的一個新的領域，通過模仿人腦機制構建神經網絡對數據進行表征學習，解決了傳統疵點檢測模型中特征提取和分類器分開訓練等問題[1]?；谏疃葘W習的織物疵點檢測是近年來研究的重點，主要包括BP神經網絡、自動編碼器和卷積神經網絡等技術。

2.1 基于BP神經網絡的織物疵點檢測

BP(Back Propagation)神經網絡是按照誤差反向傳播算法的多層前饋性神經網絡，目前應用最為廣泛，其本質是以網絡誤差平方為目標函數，采用梯度下降法來計算目標函數的最小值[27]。

近年來，很多學者將不同的圖像處理方法與BP神經網絡相結合，徐曉峰等[27]對織物疵點圖像進行線灰度分析，將提取到的特征參數送入BP神經網絡，可有效檢測出4種常見疵點；李鵬飛等[28]和KANG Z等[29]采用小波變換對預處理后的圖像進行分解，最后將提取到的特征參數送入BP神經網絡中，能準確快速的檢測出常見疵點，但識別率有待提高；張五一等[30]采用Gabor濾波器對簾子布疵點紋理進行濾波，再使用最大熵閾值分割提取特征值并輸入到BP神經網絡中，識別率達到94%。BP神經網絡具有優良的分類能力和多維函數映射能力，同時也存在網絡收斂速度慢、容易陷入局部極小值等不足。

2.2 基于自動編碼器的織物疵點檢測

自動編碼器(AutoEncode)是深度學習中最簡單的一種訓練方法，通過復現輸入信號來逐層地調整整個網絡，其可以學習輸入數據的隱含特征，同時能根據這些特征重構出原始數據。自動編碼器通過對輸入數據的壓縮或解壓縮來實現對織物疵點的檢測，正因如此，它只能壓縮那些與訓練數據類似的數據，而且解壓縮的輸出與原始的輸入相比是退化的、有損的。常用的幾種自動編碼器有降噪自編碼器(Denoising Autoencoder，DAE)、堆疊自編碼器(Stacked Autoencoder，SAE)和稀疏自編碼器(Sparse Autoencoder，SAE)等。

LI等[31]利用堆疊自編碼器根據以像素為中心的上下文預測每個像素屬于疵點區域的概率，提出基于Fisher準則的堆疊自編碼器(FCSAE)，使提取的特征更具識別性；景軍鋒等[32]提出基于Fisher準則的棧式去噪自編碼器算法(FSDAE)，利用稀疏自編碼器得到小塊圖像的稀疏性特征對卷積自編碼網絡參數進行初始化,最后將提取到的特征送入FSDAE網絡進行疵點檢測分類。該方法能有效提取織物圖像的分類特征,提高檢測率，但對于紋理背景復雜，疵點信息較少的織物圖像檢測效果不理想；而LI[33]作出了進一步改進，提出的基于Fisher準則的堆疊去噪自動編碼器(FCSDA)對周期性圖案織物和提花經編織物的缺陷檢測更具有效性。

2.3 基于卷積神經網絡的織物疵點檢測

在BP神經網絡中，每一層都是全連接的，導致訓練困難。卷積神經網絡(CNN)通過共享卷積核和池化技術降低了網絡參數的數量級，但卷積神經網絡訓練參數多、樣本量大，極易陷入過擬合。目前，已有很多研究者對卷積神經網絡模型作出不同的改進方案，改進后的模型計算成本降低，準確率提高且具有一定的普適性。

JING等[34]用批量歸一化層替代卷積神經網絡AlexNet中的本地響應規范化層，提高了系統的計算效率和分類準確性，在染色織物缺陷分類方面具有良好的性能；景軍鋒等[35]在遷移學習的基礎上，利用微調卷積神經網絡Alexnet對織物疵點圖像進行特征提取，該方法比原始Alexnet模型和深度學習(GoogLenet)模型的準確率高、訓練樣本量小且能避免陷入過擬合，但該方法只限于原網絡的用途與目標領域相似才能使用遷移學習。

為了更有效地檢測復雜紋理的織物圖像缺陷，LIU等[36]提出基于卷積神經網絡的端到端自動檢測，采用快速區域的卷積神經網絡(Fast R-CNN)來檢測織物圖像缺陷。與現有技術相比，該方法能夠更準確地定位織物缺陷區域，并且具有更好的適應性；李明等[37]將生成對抗網絡(GAN)與Faster R-CNN相結合對7種色織物進行疵點檢測，平均準確率可到93%。

3 結束語

通過查閱國內外近年來的相關文獻，本文簡要綜述了基于結構、頻譜、統計、模型、學習的5種常用的織物疵點檢測方法，并對這些方法的原理做了概括和比較，分析了其優缺點。著重回顧了近幾年基于深度學習的織物疵點檢測方法，并對織物疵點檢測方法的未來發展方向作出了展望，得出：

①為更好地評估一種檢測方法的有效性和通用性，應考慮發展公共免費的大型數據庫。

②不同的檢測算法適用于不同的織物紋理，因此發展更具通用性的檢測算法是未來的研究方向之一。

③目前只有小波變換、深度學習等少數疵點檢測方法具有實時性，如何將計算效率高并有準確率的檢測方法應用于實時場景，未來還需要進行大量研究。