織物疵點在線檢測的神經網絡方法研究

上海交通大學學生創新中心 王佳瑩

本文提出一種基于機器視覺的在線檢測方法，用于圓形緯編機針織面料疵點的自動檢測。在歸納總結針織面料疵點圖像學特征的基礎上，設計一種可檢測織物疵點的深度學習神經網絡?；趩坞A段目標檢測模型YOLOv3，修改網絡結構中的兩條支路后該網絡可參照圖像中的背景織物用以識別其上的疵點。并使用深度可分離卷積層降低模型參數、加快檢測速度。實驗表明，基于YOLOv3改進的緯編針織面料疵點檢測算法的mAP（各類別平均準確率的平均值）為81.44%，相較于YOLOv3明顯提升。

紡織工業中，面料在織造后往往出現各類疵點，影響產品質量。目前疵點檢測的主要方式為肉眼檢查和自動驗布。但兩種檢測方式都需要額外的成本并占用場地，且線下進行的方式無法實時檢出疵點以便于企業及時處理缺陷面料。及時發現疵點，是控制面料生產質量、降低企業損失的有效手段。在此種現實情況下，在線、自動、智能檢測針織面料的技術具有相當的價值。針織圓形緯編機具有獨特的結構，在織造過程中人工難以一絲不漏地觀察面料并及時發現疵點。加之智能化的需求，因此亟需一種適合圓形緯編機的在線檢測方法以自動檢測面料疵點。

機器視覺憑借著非接觸、高效率、便捷、客觀等優點，在缺陷檢測方面得到了廣泛的應用。目前市場上比較成熟的服裝面料自動缺陷檢測系統主要包括以色列EVS公司的1-tex2000系統，它只能用于單色服裝面料的缺陷檢測，檢測速度達到120m/min，適應服裝面料的高速測試；來自瑞士烏斯特的Fabriscan system 211也專注于單色服裝面料的缺陷檢測。經過幾十年的發展，以色列、美國、法國、澳大利亞等國家的織物疵點檢測系統的技術和水平在應用上處于領先地位。

本文以單面圓形緯編機所生產的針織面料為檢測對象，設計基于機器視覺的在線檢測方法，實現針織面料上典型疵點的在線檢測。

1 織物疵點圖像特征

本文根據GB/T 24117-2009將緯編過程中的面料缺陷分為9類：漏針、花針、破洞/豁口、稀路/密路、缺紗、橫條/橫路、水漬/油污、跳絲、毛絲。

與人工觀察類似，如果檢測算法能夠準確檢測出疵點，那么它必須能夠分辨疵點與其背景之間的差異，而并非單獨記憶疵點的外觀。是否能夠察覺到這種“差異”即針織面料疵點在線檢測的分辨能力之一。上述疵點按照紋理和顏色可大致分為三類：第一類的紋理與正常區域有所差異而顏色基本一致，如花針、漏針、稀路/密路、跳絲、缺紗等；第二類的紋理和顏色明顯異常，包括破洞和豁口；第三類的紋理并沒有遭到破壞，僅僅顏色不同，包括橫條、橫路、水漬、油污、毛絲等。在上述三大類之下的各個異種疵點相互之間具有微妙的差別，這是在線檢測的一大障礙。

為了克服這一障礙，將上述疵點再次按照包容區域的形狀分類，并以此作為檢測算法的第二種分辨能力，借此分化那些紋理和顏色特征歸屬一類的疵點。上述疵點的形狀可大致為四類：不規則（毗鄰區）、橫向線形、縱向線形和橫向條狀，總結如表1所示。

表1 各類疵點圖像特征

2 織物疵點在線檢測方法

織物疵點在線檢測算法流程如圖1所示。在神經網絡中，被輸入的圖像數據可視為多維數組，經過諸多特定步長和大小不一致的全卷積層映射后被ReLU層或其他函數激活，輸出大量圖像特征。這些數據將在用于簡化參數的“瓶頸層”經由池化層簡化，最后被全連接層或1h1卷積層等濃縮，導出判斷結果。

圖1 檢測算法流程

本文使用YOLOv3模型作為基本網絡結構，整體神經網絡結構如圖2所示。其中，平行四邊形代表疵點檢測算法神經網絡的重要節點，內部的文字分別代表該節點的名稱和編號和輸出數據的張量形狀，節點名稱括號中的數字為卷積層的序號，記錄當前使用的卷積層總數，而括號外的數字則代表該類型的卷積層（有深度可分離卷積層和普通卷積層兩種類型）的序號；箭頭代表數據傳輸路線，箭頭附近的標注則代表被省略的節點；方形則表示數據在張量的最后一軸堆疊，同樣記有節點編號和輸出的張量形狀。

圖2 神經網絡結構簡圖

網絡可被分為骨架和瓶頸層兩部分，骨架網絡為使用可分離卷積層的Darknet53，用于圖像處理，而瓶頸層為一種特征金字塔(FPN)，用于特征提取。網絡的輸入圖像經過預處理，為RGB模式，其寬和高分別為768和512px。相較于原YOLOv3網絡的尺寸（416h416）有所擴大以在提高精度的同時適應圖像樣本。經過骨架內的卷積層與殘差層分別引出三條支路，分別對應不同尺度，層數越深，尺度越大。尺度最小的上路經過最大池化處理并經由卷積層投影后將取得織物的紋理特征，而尺度最大的下路經過平均池化處理并同樣被卷積層投影后得到織物的背景信息。紋理信息被直接載入特征金字塔的底端，而背景信息則投入特征金字塔的三個末端，也就是整體的輸出端。

整體網絡相較其原型yolov3而言，半數以上3h3二維卷積層被替換為卷積核尺度相同的深度可分離卷積層，而用于降維的1h1卷積層和輸出層則未被替代。在瓶頸部分新增一個2h2的平均池化層和2h2的最大池化層分別用于織物背景和紋理的提取。

3 織物疵點在線檢測結果

本文使用各類疵點的分類結果的平均精確率（AP）以及顧及所有分類的平均精確率（mAP）作為評價指標，在測試集上的mAP值如表2所示。

表2 疵點檢測神經網絡的mAP

其中，“YOLOv3-FD”代表基于YOLOv3的織物疵點神經網絡，而“YOLOv3”代表原網絡。在各個縱列中，只有各個類別置信度高于下標數字的檢測結果參與計算。兩種神經網絡在一整次訓練中總體損失、學習率與迭代次數之間的關系如圖3所示。

圖3 疵點檢測神經網絡算法的訓練情況（左：YOLOv3-FD，右：YOLOv3）

從圖3中可以看出，未經結構調整的YOLOv3網絡在訓練過程中各個數據點的總體損失保持在5以上，且在學習率不停變化的迭代過程中沒有明顯的變化，而本文所使用的神經網絡則能夠較好地習得疵點特征。

“YOLOv3-FD”在置信度門檻為25%時各類型疵點的平均精確率（AP）如圖4所示。

圖4 置信度為25%時各類型疵點的AP

從圖4中可以看出，當置信度為25%時，一些類型的疵點如毛絲、花針等的識別準確率度較高（90%以上），而橫條、稀路/密路和漏針疵點的準確率較低，神經網絡僅能識別43%的橫條、70%的稀路/密路和71%的漏針。經過分析，發現精確度較低的原因在于這三種疵點的特征不明顯。其中橫條的圖像特征為條狀的、顏色較針織物淡的印記，光線的不均勻和織物的不規范折疊都將產生類似的效果，因此容易被神經網絡忽略。而漏針則表現為線圈脫散而在布面出現垂直條痕及小孔，具有與缺紗相似的圖像特征，同樣使神經網絡難以分辨。

4 結論與展望

本文在對織物疵點圖像學特征整理的基礎上，構造了一種適用于緯編針織面料疵點的檢測算法。在單階段目標檢測算法YOLOv3的結構基礎上改寫了兩條支路，使之能夠準確檢測出部分類型的常見針織物疵點，當置信度門檻為25%時mAP可達81.44%，相較于原YOLOv3有明顯提高。此外使用了模型量化技術減輕了輸出層的運算量，并將部分卷積層替換為深度可分離卷積層以在加快預測速度的同時減小模型體量。后續將進一步研究搭建效率更高的神經網絡，以在保證檢測精度的基礎上縮短運算時間。