改進型YOLOv5s的瓷磚表面缺陷檢測方法

吳航星，張宏怡，譚湘瓊，林海峰

（廈門理工學院光電與通信工程學院，福建 廈門 361024）

目前，瓷磚表面缺陷檢測仍然依賴于人工視檢的方法，然而這種方法容易受到檢驗人員經驗、情緒及視覺疲勞等因素的影響，從而導致瓷磚缺陷漏檢或者誤檢等問題。因此，開發一種基于機器視覺的自動化瓷磚表面缺陷檢測方法，成為瓷磚產業發展的迫切需求?；跈C器視覺的缺陷檢測方法主要分為傳統圖像處理方法和深度學習方法兩類。傳統方法需要人工提取圖像特征，利用經過訓練的分類器進行缺陷檢測和分類［1-3］。由于傳統方法需要手動提取特征，其應用場景受限，難以在實際生產環境中得到廣泛應用。近年來，深度學習技術在機器視覺領域中取得巨大的進展，成為缺陷檢測的新興方法。相較于傳統的圖像處理方法，深度學習方法具有自動化特征學習和端到端訓練等優勢，能夠更好地應用于實際生產環境中［4-6］?；谏疃葘W習的缺陷檢測算法主要分為以SSD［4］、YOLO（you only look once）系列［5-7］為代表的一階段檢測算法和以Fast RCNN［8］、Mask RCNN［9］為代表的兩階段檢測算法。例如，歐陽周等［10］針對瓷磚圖像的復雜背景紋理的“成像性”與“聚集性”特征，建立基于視覺注意機制的檢測模型，提出一種基于人眼視覺注意機制的顯著性目標檢測方法，但在檢測之前需要對數據在顏色空間進行預處理；陳學仕等［11］提出一種基于Faster RCNN［12］的印刷電路板瑕疵檢測算法，在邊界框回歸定位中使用DIoU 損失函數替換原始的smooth-L1損失函數加速模型的收斂，但是在檢測速度上還有待提升；趙楚等［13］針對瓷磚存在極小瑕疵和形態差異大的問題，引入可變形卷積，提出基于Faster RCNN 的瓷磚缺陷檢測算法；文獻［14-15］提出改進特征融合結構、多尺度特征及損失函數，一定程度上提高模型的檢測性能。以上方法雖然可以提高缺陷檢測性能，但是基于兩階段檢測算法的改進方案普遍存在檢測時間較長的問題，且在工業生產中難以部署；相比之下，單階段檢測算法由于其端到端的檢測特性，具有更快的檢測速度，也更容易部署到其他設備上。另外，上述缺陷檢測算法需要將待檢測圖像縮放或裁剪至固定的尺寸，才能輸入檢測模型進行缺陷檢測，對于高分辨率的圖像來說，這種數據處理方式易使一些目標的特征丟失，從而導致漏檢的情況。為縮短檢測時長，本文采用單階段目標檢測網絡框架，在此基礎上提出一種改進型YOLOv5網絡的瓷磚缺陷檢測方法，通過改進錨框匹配算法和特征提取模塊來提高模型的檢測精度；同時，在模型預測階段，使用滑窗預測的方法對高分辨率圖像進行切片預測，實現模型對高分辨率圖像的端到端預測，從而解決目標漏檢的問題。

1 YOLOv5算法的網絡結構及瓷磚缺陷檢測原理

1.1 YOLOv5算法的網絡結構

YOLOv5是一種基于深度學習的單階段目標檢測算法，由多個卷積神經網絡結構和相關的數據處理算法組成。YOLOv5（6.2版本）由特征提取網絡、特征融合網絡、檢測頭3個部分構成。其中，特征提取網絡通過卷積（Conv）模塊、C3（CSP bottleneck with 3 convolutions）模塊和SPPF（spatial pyramid pooling fast）模塊對輸入圖像提取不同尺度的特征，使特征圖的分辨率下采樣到輸入圖像的1/32；特征融合網絡分別將1/8、1/16和1/32下采樣率的特征圖進行多尺度融合；3個檢測頭分別對融合網絡的3 個融合輸出特征圖進行解碼，輸出預測結果，其中，淺層特征圖主要負責檢測小尺寸目標，深層特征圖主要負責檢測大尺寸的目標。

1.2 基于YOLOv5算法的瓷磚缺陷檢測原理

使用YOLOv5 檢測算法進行瓷磚缺陷檢測，需要在瓷磚缺陷數據集上進行模型的訓練，使得YOLOv5 能夠在瓷磚缺陷數據集上獲得更佳的性能表現，完成瓷磚缺陷的檢測任務。YOLOv5 檢測算法首先對輸入圖像進行預處理，將待檢測圖像縮放至固定的尺寸（640 px×640 px）；然后，輸入檢測網絡，在檢測網絡的特征提取網絡中提取瓷磚的紋理及語義信息，在特征融合網絡中融合不同尺度的特征信息，再在三個不同尺度的檢測頭上設置不同長寬比的錨框以進行密集預測；最后，將網絡輸出的密集預測結果依次通過置信度閾值和非極大值抑制算法，去除目標周圍多余的預測框，最終實現對瓷磚圖像的缺陷定位和類別預測。

2 YOLOv5算法的改進

本文對YOLOv5 算法主要進行3 個方面的改進。首先，傳統的YOLOv5 算法在模型的訓練階段，通過標準K-Means算法和遺傳算法（genetic algorithm， GA）為每個檢測頭上的網格單元格設置3組不同長寬比的錨框，使模型能夠快速收斂。標準K-Means算法中的歐式距離度量無法體現不同維度上的比例信息，傳統的YOLOv5算法在極端長寬比的數據集上聚類出的結果不太理想。因此針對此問題提出優化。其次，在C3 模塊的殘差單元里，不同尺寸的卷積核在層級上進行串接，單個模塊的處理能力受限，無法捕捉到不同分辨率特征之間存在的內在聯系和依賴關系，需要多個模塊協同工作來提取多尺度特征。傳統的YOLOv5 只通過多尺度特征融合結構來進行目標的多尺度檢測。因此對C3 模塊進行優化，提升模型的模塊級別多尺度檢測能力。最后，傳統的YOLOv5算法在模型的推理階段，通過自適應圖像縮放算法將不同尺寸的圖像縮放到固定的尺寸，然后將圖像輸入模型進行檢測。對于高分辨率圖像而言，在圖像中占比較小的目標縮放后只占一個像素甚至失真，容易導致缺陷漏檢情況發生。因此，針對此問題進行優化。

2.1 優化自適應錨框匹配算法

基于K-Means 聚類的方式預先獲得標簽框尺寸的大致分布情況，然后在寬-高的二維空間中對標簽框尺寸進行K-Means 聚類，得到k 個簇，計算每個簇在不同維度上的均值，得到k 個聚類中心。在標準K-Means聚類中采用歐式距離（euclidean distance）作為度量標準，即

式（1）中：ρ為點（wb，hb）和點（wc，hc）之間的歐式距離；wb和hb分別表示標簽框寬高尺寸；wc和hc分別表示錨框寬高尺寸。

YOLOv5 采用自適應錨框匹配算法，通過對數據集中每個目標的尺寸和形狀進行K-Means 聚類，得到適配數據集尺寸的錨框。這一算法使得YOLOv5能夠更好地滿足不同目標的檢測需求，提高模型的適應性。K-Means 聚類算法使用歐式距離來確定樣本所屬的簇，并使用平均IoU 來評估聚類效果。然而，歐式距離在n維空間中計算兩點之間的距離，沒有考慮n個維度的比例信息，并不適合用于聚類出具有合適寬高比的錨框。因此，在聚類過程中使用歐式距離作為度量函數并不太合適。本文引入CIoU作為K-Means的度量函數， CIoU計算公式為

式（2）～（4）中：boxes 為標簽框；centroid 為聚類的質心；ρ為質心與標簽框中心點的歐氏距離；c 為錨框與目標框的最小閉包矩形對角線距離；v用來度量長w與寬h比值的相似性；α為權重系數；ε為無窮小數。

CIoU 表示虛線框A 和虛線框B 的交并比與正則項((ρ(boxes，centroid) c2) + αv )的差值，其示意如圖1 所示。式（2）中的ρ(boxes，centroid) c2為圖1中AB中心點的距離d與最小外包框C對角線的距離c的比值。相比于歐式距離，CIoU 考慮長寬比的一致性，并利用參數v 來表示長寬比的一致性。這種改進使得K-Means 能夠有效地提取出具有較高重疊度和合理的長寬比的先驗框，從而更好地捕捉數據集中真實的長寬比分布。

基于CIoU 距離度量對數據集標簽尺寸進行K-Means 聚類，并比較自適應錨框匹配算法優化前后的結果。不同特征圖尺寸的錨框寬高尺寸對比結果如表1所示。表1中的數據表示錨框映射到輸入圖像分辨率的寬高尺寸。經過K-Means 聚類后，舍棄2 個較大的先驗框，先驗框的尺寸更集中在中小型目標的范圍內。

表1 自適應錨框算法優化前后不同特征圖上的錨框尺寸對比Table 1 Anchor frame sizes on feature maps by original and optimized adaptive anchor frame algorithms in Pixel

2.2 優化特征提取C3模塊

融合不同尺度的特征是提高檢測性能的重要方法之一。圖2 展示了原始YOLOv5 和優化后的殘差模塊的結構對比。在圖2（a）中，ResNet 通過2 個1 × 1 的卷積層和一個3 × 3 的卷積層組成瓶頸結構的殘差塊，其中，1 × 1 的卷積對輸入的通道進行降維和升維操作，在低維度使用3 × 3 卷積進行特征提取。當恢復維度后將輸出與輸入信息進行合并。圖2（b）中，Res2Net［16］通過將降維的1 × 1 卷積輸出特征在通道維度上分成n等份，每一份特征的尺度大小都相等，但通道是輸入特征的1n，定義為xi，i∈{1，2，…，n}，其中x1不參與卷積計算，直接傳遞到下一層1 × 1 卷積輸入。其余n- 1 份，首先將1 份特征使用3 × 3 的卷積核進行計算，提取特征信息，將輸出結果與下一份特征合并，并使用下一個3 × 3 卷積提取特征。不斷重復上述過程直到n- 1 份特征全部計算完畢。每個3 × 3 卷積用fi表示，用oi表示對應的卷積fi的輸出，oi如公式（5）所示。最后將所有輸出結果進行通道堆疊，作為升維1 × 1 卷積的輸入，將原始輸入與升維1 × 1卷積的輸出合并后，作為整個Res2Net的卷積塊輸出。

圖2 殘差模塊結構對比圖Fig.2 Structure of residual elements compared

Res2Net是在傳統的ResNet基礎上進行優化的一種方法，旨在提升特征提取網絡的多尺度表征能力。它通過對原始殘差單元中的3 × 3 卷積在通道上進行分組，構建具有階梯制的殘差連接。通過引入Res2Net 殘差單元到YOLOv5 的C3 模塊中，替換原始的殘差單元，使YOLOv5 更充分地提取缺陷目標的多尺度特征。這樣一來，不僅可以在模塊級別上提取多尺度特征，豐富初始模型的多尺度檢測能力，而且有利于小目標在淺層融合語義特征。

2.3 優化高分辨率圖像缺陷檢測方式

在模型預測過程中，YOLOv5 采用圖像自適應縮放算法，通過最小化黑邊提高模型的推理速度，實現更有效地圖像縮放。具體流程如下：（1） 根據原始圖像的大小和模型輸入端的圖片大小計算圖像縮放比例；計算原始圖像與目標尺寸的長-長比例、寬-寬比例，取最小比值為縮放比例。（2） 根據最小比值等比縮放原始圖像。（3） 計算黑邊填充的數值。由于網絡執行5次下采樣操作，因此將最短邊的像素數量填充到最近的32的倍數（25=32），以保證在網絡深層特征圖的尺寸為整數。

對于一些高分辨率圖像，YOLOv5若采用自適應圖像縮放算法對圖像縮放到固定的尺寸，對于那些在圖像中占比較小的目標，導致在縮放后的圖像中只占一個像素甚至失真，造成圖像中目標漏檢情況的發生。由于瓷磚缺陷尺寸屬于小目標范疇，而圖片分辨率為8 192 px×6 000 px，因此，在預測時若采用將全圖縮放至640 px×640 px 進行預測的方法，將無法檢測出缺陷，造成大量的缺陷漏檢。因此，本文采用滑窗預測算法［17］，對高分辨率圖像進行滑窗預測，最后將所有預測結果映射到原圖，從而有效解決此問題，實現YOLOv5對高分辨率圖像的端到端預測。

3 實驗結果與分析

本實驗在Ubuntu20.04操作系統下進行，GPU為NVIDIA GeForce RTX 3090，單張24 GB顯存。使用CUDA11.1.1 和CUDNN8 進行GPU 加速。Batch-Size 參數設置為32，Image-Size 設置為640 px×640 px，訓練300次迭代。

3.1 數據集分析與處理

本實驗采用2021 廣東工業智造創新大賽智能算法賽提供的瓷磚缺陷檢測數據集。經統計，瓷磚缺陷數據集共5 388 張圖片，其中1張沒有標簽。分別有尺寸為8 192 px×6 000 px 的圖像3 962 張，尺寸為4 096 px×3 500 px 的圖像1 435 張；瓷磚缺陷共6 個類別，分別是邊異常、角異常、白邊、淺色塊、深色塊和光圈。圖3為原始數據標簽尺寸統計結果。從圖3可見，數據集中的缺陷標簽非常小，且更多地分布在圖像的4個角上，缺陷存在極端長寬比的情況。

圖3 原始數據的標簽位置和尺寸統計結果Fig.3 Statistical results of label position and size of raw data

由于缺陷的平均絕對尺寸為21.8 px，且圖像分辨率過大，為減少數據計算量，在模型訓練的過程中，在數據預處理階段需要將訓練數據自適應縮放到統一的640 px×640 px。缺陷特征和標簽同時縮小一個數量級，會導致數據集中的大部分目標在輸入網絡之前只有2～3個像素，甚至無法參與訓練。因此，對數據集進行切片處理，保留有標簽的圖像塊，過濾切片后標簽與原始標簽的比例小于0.1 的圖像塊和沒有標簽的圖像塊，切片尺寸為640 px×640 px，邊緣重疊比率為20%。切片后的數據集共23 185 張圖片，按照64%、20%、16%的比例劃分訓練集、驗證集和測試集。切片后類別與標簽尺寸統計結果如圖4 所示。在沒有改變數據類別分布的情況下，使更多的小目標參與到模型的訓練，同時標簽在圖像中的位置分布更加隨機。

圖4 圖像切片后的標簽位置和尺寸統計結果Fig.4 Statistical results of label position and size after image slicing

3.2 評價指標

實驗采用目標檢測算法中常用的評價指標，包括精度（precision，P）、召回率（recall，R）、平均精確率均值（mean average precision，mAP），其中，除了計算50%交并比閾值下各個類別的平均精確率均值（mAP50），還考慮了在50%至95%交并比閾值范圍內，以5%步長共計10組閾值上的平均mAP（mAP50-95）。精度、召回率和交并比精度均值分別表示為

式（6）～（8）中：TP 為正例中模型的正確預測；FP 為負例中模型的錯誤預測；FN 為正例中模型的錯誤預測；AP為P-R曲線的積分面積；mAP為各個缺陷類別的AP均值。

3.3 實驗結果對比分析

通過引入CIoU 作為自適應錨框匹配中KMeans 的距離表示，所有標簽的平均CIoU 和錨框數量K的關系曲線如圖5所示。

圖5 平均CIoU與錨框數量K的關系曲線Fig.5 Average CIoU vs. number K of anchor frames

由圖5可見，真實框的平均CIoU 與錨框數量K之間呈正相關關系。當初始錨框數量K為9 時，平均CIoU 約為0.5。隨著錨框數量K的增加，平均CIoU緩慢增長。然而，隨著K的增加，模型的復雜度也會增加，并且帶來更多的負訓練樣本。

隨著特征圖上總錨框的數量增加，如何將它們分配到不同尺度的檢測頭上成為一個亟待解決的問題。對比存在2 種可行的解決方案，第1 種是在3 個檢測頭上各增加一個錨框，這意味著每個尺度的特征圖上分配4個錨框；第2種是增加一個更小尺度的目標檢測頭，同時保持每個檢測頭上的先驗框數量不變。

為了對實驗進行評估，設置4 組實驗：第1 組是對照組，即不進行任何改變；第2 組改變距離度量方法；第3組改變錨框數量；第4組改變檢測頭的數量。實驗結果如表2所示。

根據表2，可以得出以下結論：

1）在檢測頭上錨框數量不改變的情況下，第2組實驗的性能優于第4組實驗。第2組實驗的檢測精度、召回率、mAP50 和mAP50-95 都有明顯提升，檢測精度從73.8%提升至79.4%，提高5.6%；召回率從69.0%提升至76.5%，提高7.5%；mAP50 從72.6%提升至78.9%，提高6.3%；mAP50-95從34.1%提升至41.6%，提高7.5%。而第4 組實驗的性能提升較小，檢測精度從73.8%提升至77.2%，提高3.4%；召回率從69.0%提升至73.9%，提高4.9%；mAP50從72.6%提升至75.4%，提高2.8%；mAP50-95從34.1%提升至38.0%，相比較于初始模型提高3.9%。

2）增加高分辨率檢測頭會增加模型的參數量（Params）和浮點運算量（FLOPS）。參數量從7.0 M提升至7.2 M，提高0.2 M；每秒浮點運算從15.8 G提升至18.6 G，提高2.8 G。

3）在檢測頭數量不變的情況下，第3 組實驗（使用CIoU 度量的K-Means 聚類算法）的性能顯著提升。檢測精度從73.8%提升至78.5%，提高4.7%；召回率從69.0%提升至76.3%，提高7.3%；mAP50從72.6%提升至78.7%，提高6.1%；mAP50-95從34.1%提升至41.3%，提高7.2%。

綜上所述，根據實驗結果可知，9個錨框比12個錨框在性能上更佳，且沒有增加模型的參數量和計算量。另外，使用CIoU度量的K-Means聚類算法能有效提高模型對瓷磚缺陷的檢測性能。

為驗證將Res2Net殘差塊應用在不同深度的特征圖上是否對模型的檢測性能有影響，本文設置多組對比實驗，實驗結果如表3所示。表3中：“√”表示在對應下采樣率的C3模塊中應用Res2Net殘差塊。所有實驗均經過錨框優化且錨框數量K=9。

表3 Res2Net殘差塊應用在不同下采樣層的性能對比Table 3 Performance of Res2Net unit applications in different downsampling layers compared

由表3的結果可知，Res2Net殘差塊會帶來更多的參數量和計算量。另外，Res2Net殘差塊應用在特征提取網絡中的不同層均對模型的檢測性能存在不同程度的影響。其中，將殘差塊應用到1/32 下采樣層的C3 模塊中，各項評價指標都有所提升，模型對缺陷的檢測精度從79.4%提升至80.0%，提高0.6%；召回率從76.5%提升至78.1%，提高1.6%；mAP50 從78.9%提升至80.5%，提高1.6%；mAP50-95 從41.6%提升至42.6%，提高1.0%。實驗結果表明，Res2Net 殘差塊更適用于處理檢測任務的深層全局信息，能有效提高瓷磚缺陷的檢測性能。

為了驗證上述2種優化方法對瓷磚表面缺陷檢測的綜合性能影響，在瓷磚瑕疵數據集上對模型進行訓練和測試。實驗的初始算法為YOLOv5s（6.2版本）檢測模型，所有實驗設置相同的參數和訓練技巧，實驗結果如表4所示。

表4 不同改進方法的實驗結果Table 4 Experimental results of different improvement methods%

從表4 中可以看到，基于CIoU 度量的K-Means 算法對數據集進行錨框匹配后，模型的精度從73.8%提升至79.4%，提高5.6%；召回率從69.0%提升至76.5%，提高7.5%；mAP50 從72.6%提升至78.9%，相比較于初始模型提高6.3%；mAP50-95從34.1%提升至41.6%，相比較于初始模型提高7.5%。在此基礎上，在C3 模塊中引入Res2Net 卷積塊后，模型的精度從79.4%提升至80.0%，提高0.6%；召回率從76.5%提升至78.1%，提高1.6%；mAP50 從78.9% 提升至80.5%，提高1.6%；mAP50-95 從41.6%提升至42.6%，提高1.0%。綜上所述，本文提出的自適應錨框匹配算法和C3模塊的優化方案在瓷磚缺陷檢測任務中取得良好的效果。

為了驗證本文改進方法對瓷磚表面各個類別瑕疵的檢測性能，將優化后的算法與其他檢測模型進行比較，采用AP 和mAP50 來評估各個類別的性能。進行模型推理時，在類別預測正確的情況下，預測結果與原始標簽的IoU大于0.5視為正確預測，小于0.5 則視為錯誤預測。實驗結果如圖6 所示。綜合評估指標顯示，本文算法在檢測性能上優于其他6 種算法，并且對各個類別的檢測性能更加均衡。這證明本文算法在滿足對瓷磚缺陷高精度要求的同時，能夠更好地檢測各類瑕疵。

圖6 不同算法對瓷磚各個瑕疵的檢測性能對比Fig.6 Detection performance of different algorithms on individual defect of ceramic tiles compared

為了直觀展示本文算法的有效性，圖7 展示改進前后網絡在瓷磚切片圖像上的檢測效果。從圖7中可以清楚地看出，本文算法相較于傳統的YOLOv5模型，在瓷磚缺陷檢測方面具有更好的表現。本文算法能夠檢測出更多YOLOv5漏檢的瓷磚缺陷，例如更細粒度的深色塊類型的缺陷和邊異常類型的缺陷。此外，對于角異常類型的缺陷，傳統的YOLOv5只能檢測出角異常的局部區域，而本文算法能夠檢測出更完整的角異常類型缺陷。

圖7 改進前后算法的檢測效果對比Fig.7 Detection effects of original and improved networks compared

為了進一步解決YOLOv5在高分辨率圖像上的漏檢問題，并實現對高分辨率圖像的端到端缺陷檢測，本文采用文獻［17］中提出的滑窗算法。該算法通過對高分辨率圖像進行滑窗推理，對每個窗口進行獨立的檢測，并將所有推理結果映射回原始高分辨率圖像上。本文算法在瓷磚高分辨率圖片上進行缺陷檢測的結果如圖8所示。從圖8中可以觀察到，采用滑窗算法進行缺陷檢測，本文方法能夠檢測到高分辨率瓷磚圖像中的極小缺陷。這進一步驗證本文算法在解決YOLOv5在高分辨率圖像上漏檢問題方面的有效性，并展示其在端到端缺陷檢測任務中的能力。

圖8 本文方法在瓷磚高分辨率圖片上進行缺陷檢測的結果Fig.8 Results of defect detection on high-resolution pictures of tiles using this method

4 結論

為了解決瓷磚質檢過程中瓷磚缺陷漏檢和檢測精度低的問題，提出一種改進型的YOLOv5網絡瓷磚表面缺陷檢測方法。首先，該方法引入基于CIoU 度量的適應錨框匹配算法。通過對數據集標簽進行聚類，重新獲取9個更適合數據集的先驗框。這樣可以降低極端長寬比缺陷漏檢的風險，提高檢測性能。其次，在特征提取網絡的C3模塊中引入Res2Net殘差塊。這個改進使得網絡在模塊級別上能夠提取更細粒度的多尺度特征，從而提高模型的檢測精度。最后，在模型推理階段，采用在線滑窗檢測算法，對高分辨率圖像進行滑窗預測，實現對整個高分辨率圖像的端到端預測。這樣可以更好地處理高分辨率圖像上的缺陷，并提高檢測的準確性。實驗結果表明，本研究提出的自適應錨框匹配算法和C3模塊的優化方案能夠有效提高YOLOv5算法在瓷磚缺陷檢測方面的性能。瓷磚表面缺陷檢測的精度由73.8%提升至80.0%；召回率由69.0%提升至78.1%； mAP50 由72.6%提升至80.5%；同時，與其他主流算法相比，本研究具有更好的檢測效果和魯棒性。這些改進措施有效地解決瓷磚缺陷漏檢和檢測精度低的問題。

未來的工作可以考慮使用注意力機制和其他有效的策略進一步優化模型，以避免模型對背景中的小目標產生誤檢，并進一步提高缺陷檢測的準確率。另外，還可以探索如何優化高分辨率圖像的滑窗預測過程，以降低檢測時長，提高效率。