基于改進YOLOv5和ResNet50的女裝袖型識別方法

曹涵穎,妥吉英

(1.重慶第二師范學院美術學院,重慶 400065; 2.重慶理工大學車輛工程學院,重慶 400054)

袖子是服裝的重要組成部分,對服裝整體的風格塑造和款式設計都有著重要影響。隨著服裝數字化設計、智能制造和電子商務的飛速發展,服裝企業和電商平臺累積了數以萬計的服裝款式圖像[1-3]。如何有效利用這些服裝袖子數據,讓服裝設計師快速獲取服裝設計要素,提高設計開發效率,高效銜接設計與生產制作,以及幫助消費者更快地獲得個性化推薦和自主化設計,是服裝設計領域的重要發展方向之一[4-5]。應用人工智能技術開展服裝袖型的自動識別研究,對于服裝設計、智能制造和電子商務領域,具有重要的現實意義和廣泛的應用價值。

近年來,對服裝圖像的檢測與識別研究主要集中在服裝整體的款式識別。例如,為準確而快速地分類電商平臺中的西裝圖像,劉正東等[6]基于尺寸分割和負樣本增強技術的SSD方法開展了西裝識別研究,識別準確率超過90%。趙宏偉等[7]基于關鍵點注意力機制與通道注意力機制相結合的深度神經網絡開展了服裝分類研究,并在DeepFashion數據集中獲得了良好的服裝分類和屬性預測的準確率。鄧瑩潔等[8]針對半身裙款式特征分類識別問題,提出了一種帶有Inception-v2模組的快速區域卷積神經網絡模型,在自建的包含28種類別標簽的女裝半身裙樣本庫中的平均分類準確率達到了92.8%。陳金廣等[9]提出了一種改進的輕量級服裝目標檢測模型MV3L-YOLOv5,提升了服裝整體檢測的準確率。

在服裝組成部分的識別方面,尹光燦等[10]基于AlexNet卷積神經網絡實現了服裝衣領造型的自動識別與分類。庹武等[11]提出了一種面向服裝袖型自動識別的網絡模型SE-Inception v3,但該模型要求待識別圖像有較好的前期裁剪,且每張待識別圖像中有且只有1個袖子。目前,傳統袖型識別方法普遍依賴于人為添加標簽,不僅耗時且不同的人對袖型的判斷存在認知差異,分類效果也不理想,加之有關服裝局部特別是女裝袖型的識別及模型比較方面的研究報道相對較少,因此亟需研究快速、準確的新型服裝袖型識別方法。

本文面向女裝袖型識別問題,提出了一種改進YOLOv5和ResNet50相結合的深度學習方法。在建立女裝袖型數據集的基礎上,首先通過卷積注意力模塊CBAM改進的YOLOv5網絡按照袖型長短大類開展目標檢測,再通過ResNet50網絡將大類檢測結果依據其形態小類開展詳細的袖型目標分類,從而實現準確、高效的女裝袖型識別。通過本文所提出的方法可以提高服裝設計效率,進而促進智能制造和電子商務的發展,該方法亦可為服裝局部快速識別提供參考。

1 女裝袖型樣本

1.1 女裝袖型概述

袖子的款式造型繁多,常見的袖子可以按其長短、裝縫形式、裁片數量和形態特征等方式進行分類。袖型分類方式較多,且不同的分類方式之間也有一定的關聯性。如抹胸、掛脖、吊帶這一類款式只會出現在無袖這個大類中,半包袖、蓋肩袖和飛飛袖這3種形態的袖子在超短袖這一大類中最為常見。相較于采用單一的分類方式,在女裝袖型識別中,綜合利用不同女裝袖型之間的關聯信息,將有助于提高袖型識別準確率。

在本研究的女裝袖型識別任務中,結合了按其長短和形態兩種袖型分類方法。首先,按長短將袖子總體分為無袖、超短袖、短袖和長袖4個一級分類,并在一級分類的基礎上根據形態特征細分為15個二級分類。其中無袖、超短袖、短袖3個一級分類下各有3種常見二級袖型,長袖一級分類下有6種常見二級袖型。袖型分類詳見圖1。

圖1 袖型分類Fig.1 Sleeve type classification

1.2 女裝袖型樣本圖像的采集與標注

從淘寶、天貓、京東、唯品會、各大品牌官網等電商平臺收集服裝圖像,綜合考慮不同角度、光照、背景等因素,在均衡不同袖型的基礎上,收集、篩選和標注了3600張女裝的袖型圖像,并獲得了服裝袖型數據集。通常一件女裝中會包含1個或2個袖型樣本,而所收集的圖像中又會包含了1件或多件女裝,最終收集了約6500個服裝袖型樣本。本研究采集的女裝袖型數據集的樣本圖像示例如圖2(a)所示。

圖2 女裝袖型采集與標注示例Fig.2 Collection and marking of women's sleeve shapes

每種女裝袖型的二級分類唯一對應于一個一級分類(見圖1),故在數據人工標注階段,只標注了袖型的二級分類,其對應的一級分類標簽由Python自動歸類。數據集中的15種女裝袖型款式,均通過Labelimg軟件進行標注,并采用xml文檔來描述標注圖像中袖型識別區域的準確二維坐標信息,每個xml文檔中可能有多個袖型標簽(如左右臂同時出現在圖像中),也可能有多種袖型標簽(如多個穿不同服裝的人同時出現在圖像中),每個袖型識別區域有且只有1種二級分類標簽。 圖像裁剪和預處理均采用Python和OpenCV實現。袖型標注過程如圖2(b)所示。

2 深度學習模型

深度學習(Deep learning)是機器學習的一個重要分支領域,是從數據中學習表示的一種方法,強調從連續的層(Layer)中進行學習,學習樣本數據的內在規律和表示層次。作為深度學習的代表算法之一,卷積神經網絡在圖像識別領域的應用非常廣泛。卷積神經網絡通常由輸入層(Input)、卷積層(Conv)、激活函數(Relu)、池化層(Pool)、全連接層(FC)五部分構成。

本研究中女裝袖型的識別采用兩個階段：階段一,依據長短對女裝袖型進行粗略的目標檢測;階段二,將階段一檢測到的袖型一級檢測結果接入相應的ResNet50網絡,按照二級標簽依據形態開展目標分類,并得到女裝袖型的識別結果。女裝袖型識別算法流程如圖3所示,本算法共采用了5個卷積神經網絡模型來協同完成女裝袖型的識別,包括：1個CBAM改進的YOLOv5網絡以女裝袖型的原始圖像為輸入實現對袖型一級分類的目標檢測,即檢測出該圖像中包含的所有女裝袖型圖像,并按照長短歸類為長袖、短袖、超短袖和無袖4種;4個ResNet網絡均以改進YOLOv5網絡的袖型檢測結果作為輸入,這4個網絡分別對長袖、短袖、超短袖和無袖4種一級袖型檢測結果進行目標分類,從而最終得到女裝袖型的識別結果。

2.1 YOLOv5算法

YOLOv5是YOLO系列算法之一,具有速度快、靈活性高、端到端等優點[12]。YOLOv5包含YOLOv5s、YOLOv5m、YOLOv5i和 YOLOv5x等4種具有不同寬度和深度的模型,其中YOLOv5s是YOLOv5系列算法中深度最小且特征圖寬度最小的網絡模型。本研究將YOLOv5s模型應用于女裝袖型一級分類的檢測中,在自行標記的服裝袖型數據集上進行訓練,通過卷積神經網絡的反向傳播和梯度下降特性,逐漸調整YOLOv5s網絡模型參數,得到適用于女裝袖型檢測的網路參數,該網絡所做的工作可總結為：特征提取-特征加強-預測特征點對應的女裝袖型情況。YOLOv5s網絡結構如圖4所示,YOLOv5s可以分為4個部分,分別是Input、Backbone、Neck、Prediction。Input為輸入端,包含Mosaic數據增強、自適應錨框計算、自適應圖像縮放等處理。Backbone為包含Focus和CSP結構的主干特征提取網絡。Neck模塊包含FPN加強特征提取網絡和Panet特征融合網絡。Prediction為采用GIOU_Loss的分類器與回歸器。

2.2 卷積注意力模塊CBAM

為進一步提升YOLOv5(為便于表述,以下“YOLOv5”均表示“YOLOv5s”)網絡在女裝袖型檢測過程中的特征提取網絡性能,本研究在YOLOv5的特征提取網絡Darknet-53上融合了卷積注意力模塊CBAM[13]。CBAM是結合了通道注意力機制和空間注意力機制的輕量級卷積注意力模塊[14]。將卷積注意力模塊CBAM嵌入YOLOv5網絡,有利于解決原始網絡無注意力偏好的問題,從而增強袖型識別的效果。

在通道注意力模塊中通道維度不變,壓縮空間維度,該模塊關注輸入圖像中有意義的信息。通過引入通道注意力模塊可有效提取待檢測袖型目標的輪廓特征,獲取其主要內容?？臻g注意力模塊(Spatial attention module,SAM)可以作為通道注意力模塊的補充,SAM利用袖型特征間的空間關系生成空間注意圖。該模塊關注的是袖型目標的位置信息,即通過引入通道注意力模塊可有效提高袖型目標的檢測準確率。

2.3 ResNet50網絡

為緩解網絡加深而導致的梯度消失、梯度爆炸等問題,陸建波等[15]通過在卷積層之間添加跳躍連接等方式提出了殘差網絡。ResNet50網絡的主要結構為殘差單元,其結構如圖5所示,其基本組成是由卷積層、池化層、歸一化層等組成。本研究采用ResNet50卷積神經網絡對YOLOv5輸出的袖型一級檢測結果開展袖型分類。本研究中的一級檢測結果共有4種可能,且每個一級分類內部的袖型分類相互獨立,故采用了4個獨立的ResNet50網絡分別對無袖、超短袖、短袖和長袖4種一級檢測的結果開展分類,并最終得到詳細的女裝袖型識別結果。

圖5 ResNet50結構簡圖Fig.5 ResNet50 structure diagram

2.4 模型訓練

從圖2可以看到,本研究中共有5個卷積神經網絡模型來完成女裝袖型的識別,分別是改進的YOLOv5網絡和4個ResNet網絡。因此在模型的訓練過程中要獨立地完成對5個卷積神經網絡模型的訓練。其中改進YOLOv5網絡模型訓練依據袖型數據集的一級分類結果。而4個ResNet網絡分別在長袖、短袖、超短袖和無袖4種一級袖型分類結果內部采用二級袖型分類結果進行訓練。訓練和測試過程中,均將訓練集與測試集按照8∶2的比例隨機進行劃分。此外,為了對比不同深度學習模型在女裝袖型識別任務中的識別效果,還訓練了YOLOv5和改進YOLOv5網絡直接對袖型二級分類的數據集進行了袖型目標檢測。

3 實驗和結果分析

3.1 測試平臺與參數設置

本次試驗的CPU為8核Intel i9-9900K處理器,GPU為RTX 2080Ti,顯存11 GB,操作系統為Windows 64位,編程語言為Python3.8,并采用Pytorch框架進行訓練,CUDA的版本為11.3。改進YOLOv5可以自適應地縮放給定袖型圖像,模型網絡中輸入的女裝袖型圖像分辨率為640×640;采取凍結訓練方法,以提高訓練效率,加速收斂。閾值設為0.5,凍結階段和解凍階段的批次大小(batch_size)分別設置為16和8。改進YOLOv5和ResNet50模型訓練中選取的初始學習率均為0.01,優化器均采用隨機梯度下降SGD算法,迭代次數(epoch)均設置為200,且在改進YOLOv5的前90%的epoch中采取Mosaic數據增強方法訓練。

3.2 結果與分析

為驗證本研究所提出的方法在女裝袖型識別任務中的整體準確率,將測試集中的所有袖型數據的檢測、分類結果與人工標注的結果展開對比,并通過R來描述單個女裝袖型類別的精確率、通過Rall來描述女裝袖型類別的整體精確率,即不同R的均值：

(1)

(2)

其中：NT表示被模型正確識別出的女裝袖子數量、NF表示被模型錯誤識別出的女裝袖子數量、NN表示未被模型成功識別出的女裝袖子數量。

表1為YOLOv5、改進YOLOv5、改進YOLOv5和ResNet50三種深度學習模型在女裝袖型檢測中的準確率對比,其整體精確率分別為81.1%、85.3%和93.3%?？傮w來說,引入女裝袖型之間關聯信息的改進YOLOv5和ResNet50相結合的方法對女裝袖型檢測的精確率顯著優于傳統YOLOv5和改進YOLOv5模型。此外,通過表1可以看到,在YOLOv5算法中引入卷積注意力模塊CBAM,可以在絕大多數袖型識別中取得更好的識別效果,其整體精確率提高了約4.2%,但在蓋肩袖、泡泡袖等少數情況下,精確率并未顯著提高甚至有所降低。而通過引入女裝袖型之間關聯信息的改進YOLOv5和ResNet50相結合的方法則可以在改進YOLOv5網絡基礎上將整體精確率進一步提高8.0%,且在本研究涉及的15種袖型識別任務中均取得更好的效果。此外,值得注意的是,3種深度學習模型在超短袖和短袖識別任務中的準確率明顯要低于無袖和長袖,這可能和超短袖、短袖及其不同二級分類在袖型上相對更接近有關系。

表1 女裝袖型識別的準確率對比Tab.1 Comparison of theaccuracies of women's sleeve type identify

改進YOLOv5和ResNet50相結合的深度學習方法對女裝袖型的識別結果如表2所示。從表2中可以看到：在第一階段,改進YOVOv5模型可對無袖、長袖、超短袖、短袖等不同女裝袖型按照長短區分一級標簽準確地進行目標檢測;在第二階段,RseNet50網絡可以在一級標簽袖型目標檢測的基礎上按照吊帶、蝙蝠袖、插肩袖等二級標簽準確地進行袖型分類。該結果表明,通過改進YOLOv5和ResNet50相結合的深度學習方法可以實現對女裝袖型的準確識別。

表2 女裝袖型的檢測識別結果Tab.2 Identification results of women's sleeve shape

4 結 論

本文面向女裝袖型識別問題設計了改進YOLOv5和ResNet50相結合的深度學習方法。首先,通過收集、分類、標注袖型數據和數據處理等方法,建立了包含無袖、超短袖、短袖、長袖4個一級分類,插肩袖、蝙蝠袖、吊帶等15個二級細分分類在內的女裝袖型數據集;提出了改進YOLOv5和ResNet50相結合的深度學習方法;最后,通過YOLOv5、改進YOLOv5、改進YOLOv5和ResNet50 3種方法開展了女裝袖型檢測實驗。實驗結果表明：

a)改進YOLOv5和ResNet50相結合的深度學習方法在女裝袖型識別準確率方面更具優勢,其整體精確率相對于YOLOv5和CBAM改進的YOLOv5模型分別提高了12.2%和8.0%。

b)在通過YOLOv5、改進YOLOv5、改進YOLOv5和ResNet50相結合的方法識別女裝袖型的任務中,相較于無袖和長袖,超短袖和短袖的識別難度更大,其整體精確率的提高更加困難。