基于卷積神經網絡的風格遷移泳裝圖案設計

程鵬飛 王偉珍 房媛

摘要： 將深度學習中的風格遷移技術運用到服裝圖案設計領域正逐漸成為熱門話題，但傳統風格遷移圖案設計的方法存在風格單一、紋理簡單的缺點。本文提出一種輔助泳裝設計師進行圖案設計的方法，通過優化風格遷移中格拉姆矩陣結構，分別學習提取多張繪畫作品和照片作為風格圖生成創新的泳裝圖案設計圖，同時運用Canny邊緣檢測算法和OpenCV圖像處理庫將作品從復雜背景中識別并分割出來，最終實現多風格圖像輸入的風格遷移輔助泳裝圖案設計方法。經過對比實驗證明，本文生成的圖案比其他風格遷移方法在風格滿意度等方面獲得更高評價。

關鍵詞： 卷積神經網絡;風格遷移;泳裝;圖案設計;Canny邊緣檢測;泳裝圖像分割

中圖分類號： TS941.734

文獻標志碼： A

文章編號： 1001-7003（2023）03-0097-08

引用頁碼：

031201

DOI： 10.3969/j.issn.1001-7003.2023.03.013（篇序）

隨著人工智能技術向各領域的滲透，將人工智能同藝術設計相結合，為服裝的智能設計提供了更廣闊的前景。風格遷移作為人工智能深度學習的一個活躍課題，已開始被用于服裝圖案設計、藝術繪畫等領域。其原理是通過一個深度學習模型提取輸入圖像的紋理、色彩等藝術風格，遷移到另一張圖片上，使得新生成的圖像兼具所輸入圖像的風格和紋理特征。

在服裝圖案及色彩設計過程中，多風格融合的個性化設計一直是難點。因為泳裝對于圖案的依賴性明顯超出大多品類服裝，且泳裝因其款式相對簡潔的特點，適合作為當前階段人工智能技術的產業應用場景切入點，因此本研究以泳裝作為實驗載體。泳裝圖案印染主要分為兩類：一類是獨立印染圖案，該圖案輪廓就是泳裝裁剪樣板的規定尺寸;另一類是與普通成衣服裝面料圖案一樣非獨立圖案的整片坯布連續圖案。由于泳裝獨立圖案的設計難度更大、市場需求更多，因此，本研究將針對第一類圖案需求，探究基于神經網絡方法進行泳裝特定區域圖案風格遷移設計的可行性，尋求一種運用融合格拉姆矩陣和Canny邊緣檢測解決風格遷移中多風格融合與背景分割的問題。

在神經網絡技術出現之前，傳統非參數的圖像風格遷移工作主要是基于繪制物理模型及合成紋理。在深度學習［1］興起之后，Gatys等［2］在2015年開創性地提出了基于卷積神經網絡的圖像風格遷移模型，極大提升了圖像風格遷移方法的效果和可用性;在定義圖像的風格和紋理方面，Erfos等［3］提出了一種對樣本紋理進行重組拼接以合成新紋理的算法;Hertzmann等［4］提出一種通過推導圖像特征映射之間的關系，并將其定義為風格的紋理特征。

傳統的卷積神經網絡風格遷移方法，大多選擇VGG（Visual Geometry Group Network）模型作為特征提取器，運用VGG模型中某層提取出的結果構建格拉姆矩陣（Gram Matrix，GM）來量化圖像的風格。但是該方法導致在風格遷移中輸入的風格圖像只能有一張，且將風格遷移技術運用到服裝圖案設計領域時，無法消除遷移過程中產生的冗余背景。本研究提出一種新的適用于輔助設計師進行泳裝圖案設計的風格遷移方法，通過改變格拉姆矩陣來實現多輸入的風格遷移，并使用Canny邊緣檢測技術對生成圖像進行處理。最終生成的泳裝圖像相較于傳統風格遷移色彩更豐富，解決了傳統風格遷移服裝圖案設計風格單調、紋理簡單的缺點。

1 技術背景

1.1 卷積神經網絡

本研究使用卷積神經網絡來實現泳裝風格遷移圖案設計。卷積神經網絡是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一［5］。卷積神經網絡核心操作是卷積，即自定義一個卷積核，將卷積核在原圖上覆蓋并逐像素滑動，將覆蓋到的值和卷積核上的權重對應位置相乘求和并填在一張Feature map上。其作用是把卷積核定義的特征從原圖中提取出來反映在Feature map上，每一個卷積核提取一種特征對應一張Feature map。

目前基于深度學習的圖像風格遷移所使用的神經網絡，主要是卷積神經網絡和生成對抗網絡［6］。本研究選擇VGG-19卷積神經網絡模型作為特征提取器，該模型由牛津大學的Oxford Visual Geometry Group在2014年提出［7］，其結構如圖1所示。相比于傳統卷積神經網絡，VGG-19模型的準確率大幅提高，并減少了網絡的訓練參數，更加適合用來進行風格遷移的相關研究。

1.2 風格遷移

風格遷移是近年來深度學習領域的熱點問題，它是指運用某種算法使一張圖片兼具另一張圖片的風格。風格遷移的輸入圖像分為兩種：內容圖和風格圖。最終生成的圖片會在內容圖中渲染上風格圖的特征，其效果如圖2所示。在遷移時需要定義兩個損失函數：內容損失函數Jcontent（C，G）用來衡量內容圖與生成圖之間的內容差異，風格損失函數Jstyle（S，G）用來衡量風格圖與生成圖的風格差異。最終模型的損失函數公式如下所示：

Jloss（G）=α×Jcontent（C，G）+β×Jstyle（S，G）（1）

式中：α和β為超參數，用于調整Jcontent（C，G）和Jstyle（S，G）的相對比重。

整個風格遷移流程如圖3所示，首先需要初始化一個白噪聲圖像并計算像素數（長×寬×顏色通道），然后將白噪聲圖像輸入卷積神經網絡模型中，并利用各卷積層特征來計算內容損失函數和風格損失函數并得到總的損失函數Jloss（G），再計算損失函數相對于每一個像素的梯度，來求得每個像素的變化對損失函數的影響，通過不斷修正像素值來優化損失函數［8］。

內容損失函數來比較內容圖與生成圖之間內容差異，其原理為比較兩張圖片在VGG模型中生成的Feature map的差異。內容損失函數的公式如下所示［9］：

Jcontent（C，G）=12∑i，j（a|l|（C）ij-a|l|（G）ij）2（2）

式中：a|l|ij表示第l層第i個Feature map的第j個輸出值，（C）表示內容圖，（G）表示生成圖。

風格損失函數來比較風格圖與生成圖片之間風格差異，由圖1可知，VGG-19中每層的輸出結果為三維的Feature map（N×H×C），即使用了C個卷積核，共有C個通道，每個通道都反映了卷積核從圖像中提取出來的一種特征，形式表現為N×H的矩陣，如圖4所示［10］。

將N×H排列成一個一維列向量就可以得到一個矩陣，再將矩陣與自身轉置作向量內積就可以得到輸入圖像的格拉姆矩陣。格拉姆矩陣中的每一個元素都反映了原先特征兩兩之間的共現相關性。格拉姆矩陣一般用來量化一個圖像的風格，其公式如下所示［11］：

Glij=∑kFlikFljk（3）

式中：i和j表示通道的序號，l表示層數，k表示特征圖寬和高構成的空間中的位置索引。

風格損失函數公式如下所示：

Lstyle（S，G）=14N2lM2l∑i，j（Gl（S）ij-Gl（G）ij）2（4）

式中：（S）表示風格圖片，（G）表示生成圖片，N表示卷積核的個數，M表示卷積核的大小。

2 基于卷積神經網絡的風格遷移泳裝圖案設計方法

在將傳統卷積神經網絡風格遷移運用到泳裝圖案設計中

時，由于只能輸入一張風格圖片，用于定義風格損失的格拉姆矩陣形式表現為單一元素的矩陣，故生成的泳裝圖案風格單一、紋理簡單，且無法消除遷移過程中產生的冗余背景。本研究提出一種新的適用于泳裝圖案設計的風格遷移方法，通過改變格拉姆矩陣和損失函數優化方法來實現多輸入的風格遷移，并使用Canny邊緣檢測技術對生成圖像進行處理，流程如圖5所示。

首先根據內容圖隨機初始化一張高斯白噪聲圖像輸入模型中，同時使VGG-19提取輸入的內容圖與多張風格圖的特征。利用內容圖在conv5_2層得到的特征圖與白噪聲圖像在conv5_2層得到的特征圖求出內容損失函數;利用風格圖在conv1_1層、conv2_1層、conv3_1層、conv4_1層、conv1_2層、conv2_2層、conv3_2層、conv3_3層、conv3_4層、conv4_2層、conv4_3層、conv4_4層輸出計算出的新格拉姆矩陣Gnew與白噪聲圖像在風格層的格拉姆矩陣求出風格損失函數;并使用設置好的超參數α和β求出總損失函數和損失函數相對于原始圖像每個像素的梯度，將結果輸入優化器中，使用L-BFGS算法來優化損失函數，不斷迭代此過程生成泳裝風格遷移圖像。將生成圖像輸入邊緣檢測模型中，畫出所有輪廓并將所有輪廓閉合，通過計算閉合后的輪廓周長和面積篩選出泳裝輪廓來分割出最終的泳裝圖案設計圖。

2.1 格拉姆矩陣優化

本研究為實現多風格遷移將n張風格圖像輸入VGG-19模型中，使指定為風格輸出的層分別提取各張風格圖像的特征并輸出，分別計算每一張圖像的格拉姆矩陣如式（5）所示，矩陣中X1-2表示通道1與通道2之間的共現相關性。通過特征值之間的共現相關性來表示一個圖像的風格，再將所有格拉姆矩陣加權形成新的矩陣Gnew，權重參數的個數需要與風格圖像張數相同，如式（6）所示，并將該矩陣作為本層的結果代入風格損失函數進行計算。

G=X1-1X1-2…X1-CX2-1X2-2…X2-CXC-1XC-2…XC-C（5）

Gnew=aG1+bG2+cG3+…+nGn（6）

式中：G1、G2、G3、Gn為各張輸入風格圖像的格拉姆矩陣，a、b、c、n為各個格拉姆矩陣權重，可自行設定，此時矩陣Gnew擁有本層提取出的所有輸入風格圖像的特征。

2.2 損失函數優化

在卷積神經網絡中，越深的層就越能提取圖片中抽象、全局的特征，能夠更好地衡量內容圖與生成圖之間的差異，所以一般選擇高層的輸出定義內容，本研究選擇conv5_2層的輸出來計算內容損失。為了同時提取風格圖底層特征與高層特征，增強生成泳裝圖案的風格，本研究增加了風格損失函數計算的層數，選擇使用由conv1_1層、conv2_1層、conv3_1層、conv4_1層、conv1_2層、conv2_2層、conv3_2層、conv3_3層、conv3_4層、conv4_2層、conv4_3層、conv4_4層輸出計算出的格拉姆矩陣代入風格損失函數。此時風格損失函數如下所示：

Lstyle（S，G）=∑lw|l|·L|l|style（S，G）（7）

式中：w|l|為參與計算的各層的權重系數。

在迭代過程中，由于需要不斷修正像素值來優化損失函數，為了使最終的生成圖像更加平滑，具有空間連續性，本研究將相鄰像素值差的平方作為正則化項加入最終的總損失函數中［12］，公式如下所示：

Lt=wt×∑CC=1∑H-1i=1∑Wj=1（xi+1，j，c-xi，j，c）2+∑CC=1∑Hi=1∑W-1j=1（xi，j+1，c-xi，j，c）2（8）

式中：wt為權重;C、N、H分別表示通道數、寬和高，與圖4中定義相同;xijc表示表示第C層第i行第j列的像素值。

一般卷積神經網絡風格遷移使用隨機梯度下降法來優化損失函數［13］，但隨機梯度下降法存在精準度較低、收斂速度較慢等缺陷，對多輸入風格遷移的效果較差。本研究選擇具有更快收斂速度的L-BFGS算法來優化損失函數。在深度學習中函數最優化問題的本質是尋找其導函數為零的點或近似點來作為算法表現最好的點，Hessin矩陣是牛頓法求駐點在深度學習領域的延伸，BFGS算法是通過迭代不斷逼近Hessin矩陣的近似正定矩陣的算法，其公式如下所示［14］：

Hk+1=Hk+ykyTkyTksk-Hksk（Hksk）TsTkHksk（9）

式中：yk為梯度更新量，sk為速度模型更新量。

BFGS算法在運算時需要儲存和計算的量很大，而L-BFGS算法直接利用保存在存儲器中的數據，節省了大量儲存空間和計算量，因此常用于深度學習中的損失優化。本研究同時計算損失函數和損失函數相對于每個像素的梯度，將結果輸入優化器，通過不斷迭代來降低損失［15］。

2.3 Canny邊緣檢測

上述步驟生成的圖像除了泳裝之外，還有大量冗雜的背景，本研究使用Canny邊緣檢測算法來處理風格遷移生成的圖像，提取出泳裝款式圖。其主要處理過程分為5步［16］：

1） 使用高斯濾波器，以平滑圖像，消除噪聲。

2） 增強圖像。在風格遷移生成圖中泳裝邊界像素點與背景像素點之間具有較大差值，計算圖像中每個像素點的梯度強度與方向。本研究選擇Sobel算子來計算梯度，將被卷積核掃描的3×3的像素點值xij設為矩陣A［17］：

A=x11x12x13x21x22x23x31x32x33（10）

設橫向梯度為Gx，縱向梯度為Gy，利用Sobel算子x與y方向矩陣Sobel-X和Sobel-Y與矩陣A做卷積則可得Gx和Gy，分別為［18］：

Gx=Sobel-X×A=-1-2-1000121×A（11）

Gy=Sobel-Y×A=-101-202-101×A（12）

梯度方向Angle（θ）為：

Angle（θ）=tan-1GyGx（13）

梯度大小G為：

G=G2x+G2y（14）

3） 應用非極大值抑制，以消除檢測泳裝邊緣時帶來的雜散效應［19］。

4） 應用雙閾值檢測來確定邊緣。

5） 通過抑制弱邊緣來完成最終邊緣檢測。

3 實 驗

3.1 搭建環境

本研究的軟件環境為PyCharm，以TensorFlow 2.6.0作為風格遷移的深度學習框架。硬件環境使用了配備NVIDIA Quadro RTX 5000顯卡的高性能計算機，內存64 G，處理器為Intel（R） Xeon（R） Silver 4215R CPU@3.20GHz。

3.2 設 定

3.2.1 實驗風格圖選取

遴選繪畫藝術流派作為實驗對象，共選取畢加索、葛飾北齋、蒙德里安、安德烈·德朗等畫家的作品和中國傳統文化代表之一的青花瓷，作為風格圖片輸入模型進行訓練內容圖選擇了基礎款泳裝圖片。

3.2.2 超參數設置

超參數是內容損失函數權重，超參數β是風格損失函數權重。α越大最終遷移圖會越接近內容圖的內容，β越大最終遷移圖會越接近風格圖的風格。本研究從遷移效果與邊緣分割精確度的角度考慮，經過多次實驗，最終設置α=0.01，β=1。

3.2.3 迭代次數設置

在實驗中當迭代次數不斷增加，遷移圖像的風格化程度也不斷加深，當迭代次數大于50次時，泳裝邊緣輪廓會逐漸失真，且泳裝部分區域會出現色塊;當迭代次數在20～40次時，視覺效果與評價指標差異并不大。從節約計算資源與時間角度考慮，本實驗最終選擇20次迭代，生成的泳裝圖像大小為400×400像素。

4 結果分析

4.1 風格遷移結果

本研究將《女子》《拿書的女人》《哭泣的女人》《星月夜》《查林十字橋》《紅、藍、黃的構成》《百老匯爵士樂》不同流派風格的7幅畫和青花瓷圖片，采用隨機配對形式每三幅為一組輸入模型，最終生成結果，如圖6所示。

4.2 生成圖像處理

4.2.1 正面圖像處理

在風格遷移生成圖像中，除了有實驗所需要的設計成品之外，還有實驗不需要的與泳裝紋理相似的背景，故本研究選擇使用Canny邊緣檢測對圖像進行處理，識別并分割出需要的服裝圖案設計圖。本研究通過如下3個步驟來實現圖像分割：

1） 將風格遷移生成圖像轉化為灰度圖并將圖像局部二值化。

2） 在消除噪聲后運用Canny邊緣檢測算法識別并畫出圖像中所有輪廓，再將輪廓線閉合后通過計算所有輪廓的周長和面積來腐蝕不需要的背景。

3） 制作掩膜并填充便可以得到分割后的泳裝圖像，圖7展示了圖像處理過程中的（a）原圖、（b）邊緣檢測圖、（c）掩膜圖和（d）輪廓圖。

在對泳裝正面的圖案設計中，由于透視與泳裝款式設計的緣故，泳裝的胯部與肩帶處的灰色區域屬于泳裝內側，不需要渲染圖案，本研究通過使用OpenCV圖像處理庫對該區域進行處理。在泳裝正面的原圖中，渲染區域與非渲染區域存在明顯的色差與面積差異，使用Canny邊緣檢測將原圖中所有閉合區域畫出，并按照面積從大到小排序，再將原圖轉換為HSV圖，求出所有閉合區域內各個像素的HSV數值。由于色差明顯，非渲染區域的HSV區間和渲染區域的HSV區間存在明顯差異，可以提取出非渲染區域，如圖8所示。經過實驗，本研究的非渲染區域HSV區間設定為H：0～195，S：0～43，V：46～220。將圖8非渲染區域圖與圖7（d）輪廓圖修改為同樣大小，疊加后便可得到最終的泳裝正面生成圖，如圖9所示。

4.2.2 側面圖像處理

泳裝的側面圖除胯部與肩帶處的泳裝內側不需要遷移之外，肩帶之間和腿部的空隙也無需遷移。針對泳裝款式這一特點，本研究的邊緣處理模型方法步驟為：首先對泳裝側面原圖進行處理，利用灰度差異和色差提取出側面非渲染區域圖和遮罩圖，再將側面圖風格遷移后使用Canny邊緣檢測分割出泳裝側面輪廓圖，然后將遮罩圖及非渲染區域圖與泳裝側面輪廓圖疊加后進行裁剪便可得到最終的泳裝側面生成圖，流程如圖10所示。

4.3 與其他方法比較

為了驗證本研究在服裝圖案設計領域的有效性，將本研究生成的效果圖與其他卷積神經網絡風格遷移方法的效果圖進行對比，如圖11所示，所選風格圖分別為《運輸船遇難》《雨中女郎》《吶喊》《繆斯女神》《皮卡比亞》和青花瓷盤。由于對風格遷移泳裝圖案設計的效果很難單獨使用客觀指標進行評價，本研究采用主客觀結合的形式，使用問卷調查評分、PSNR、SSIM這3種指標進行比較。

4.3.1 主觀評價

調查問卷從設計的風格滿意度、色彩滿意度、紋理滿意度三個方面進行調查，選項為評分制，共設1～5分共5個選項，三項總分視為實驗對象對該組結果的最終評價。

本研究問卷調查共選取實驗對象135人，其中男性44人，女性91人;擁有服裝相關專業背景55人，無服裝相關背景80人;年齡分布29歲及以下110人，29歲以上25人。將實驗對象對三組泳裝圖案設計結果評價的最高分視為對該組的偏好，問卷調查結果如圖12所示。

4.3.2 客觀評價

本研究選擇峰值信噪比PSNR（Peak Signal-to-Noise Ratio）和結構相似性SSIM（Structural Similarity）作為評價遷移效果的客觀指標。

峰值信噪比PSNR是一個表示信號最大可能功率和影響表示精度的破壞性噪聲功率的比值的工程術語，常被用來衡量圖像的質量，PSNR越大，代表生成圖像的質量越好。結構相似性SSIM是衡量兩張圖片相似度的指標，本研究將生成的泳裝圖像和原圖像進行對比，可以用來判斷風格遷移過程中對泳裝輪廓造成的影響;SSIM取值范圍為［0，1］，SSIM越大，代表生成圖像的質量越好。

將100幅不同的風格圖像輸入四種方法并測量生成圖像的PSNR和SSIM大小取均值進行對比，結果如圖13和圖14所示。

由圖12的問卷調查結果可知，在生成效果方面，本研究方法在不同年齡、性別、專業背景的被調查人均給出比更高的評價。由圖13和圖14可知，本研究方法與其他三種方法相比，生成圖像質量更高，結構上也與原圖更接近。

5 結 論

本文采用卷積神經網絡VGG-19模型作為風格遷移的特征提取器，提出了一種運用卷積神經網絡風格遷移輔助設計師進行泳裝圖案設計的方法。通過改變格拉姆矩陣并結合Canny邊緣檢測技術，可以提取多張繪畫作品的藝術風格來與泳裝圖案設計結合，且具有自動識別分割功能，能精準地將設計成果從復雜的背景中提取出來。本研究將繪畫藝術風格與泳裝的圖案設計結合，能夠以極低的成本設計出大量富有多風格融合特征的泳衣圖案，具有巨大的應用前景。后續將針對邊緣檢測與圖像分割的精度和其他風格遷移算法進行深入研究。

參考文獻：

［1］LECUN Y， BENGIO Y， HINTON G. Deep learning［J］. Nature， 2015， 521（7553）： 436-445.

［2］GATYS L A， ECKER A S， BETHGE M. A neural algorithm of artistic style［J］. Journal of Vision， 2015， 22（11）： 54-65.

［3］EFROS A A， FREEMAN W T. Image quilting for texture synthesis and transfer［C］//Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM Press， 2001： 341-346.

［4］HERTZMANN A， JACOBS C E， OLIVER N. Image analogies［C］//Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM Press， 2001： 327-340.

［5］林碧珺， 耿增民， 洪穎， 等. 卷積神經網絡在紡織及服裝圖像領域的應用［J］. 北京服裝學院學報（自然科學版）， 2021， 41（1）： 92-99.

LIN Bijun， GENG Zengming， HONG Ying， et al. Application of convolutional neural network in textile and clothing image field［J］. Journal of Beijing Institute of Fashion Technology （Natural Science Edition）， 2021， 41（1）： 92-99.

［6］KIM M S， CHOI H C. Uncorrelated feature encoding for faster image style transfer［J］. Neural Networks， 2021， 140： 148-157.

［7］XIANG S C， FU Y Z， LIU T. Progressive learning with style transfer for distant domain adaptation［J］. IET Image Processing， 2020， 14（14）： 3527-3535.

［8］WANG C X， LU Y T， CHEN Z J， et al. An efficient method for training deep learning networks distributed： Special section on parallel， distributed， and reconfigurable computing， and networking

［J］. IEICE Transactions on Information and Systems， 2020（12）： 2444-2456.

［9］CHONG Y W， PENG C W， ZHANG J J， et al. Style transfer for unsupervised domain adaptive person re-identification［J］. Neurocomputing， 2020， 422： 314-321.

［10］LI J Y， WANG Q， CHEN H et al. A review on neural style transfer［J］. Journal of Physics： Conference Series， 2020， 1651（1）： 21-23.

［11］WANG J J， MA Y L， ZHANG L B， et al. Deep learning for smart manufacturing： Methods and applications［J］. Journal of Manufacturing Systems， 2018， 48： 144-156.

［12］DING H， FU G， YAN Q A， et al. Deep attentive style transfer for images with wavelet decomposition［J］. Information Sciences， 2022， 587： 63-81.

［13］苗永康. 基于L-BFGS算法的時間域全波形反演［J］. 石油地球物理勘探， 2015， 50（3）： 469-474.

MIAO Yongkang. Full waveform inversion in time domain based on limited memory BFGS algorithm［J］. Oil Geophysical Prospecting， 2015， 50（3）： 469-474.

［14］俞海龍， 馮晅， 恩和得力海， 等. 基于梯度法和L-BFGS算法的探地雷達時間域全波形反演［J］. 物探化探計算技術， 2018， 40（5）： 623-630.

YU Hailong， FENG Xuan， EN Hedelihai， et al. Time-domain full waveform inversion of ground-penetrating radar using gradient method and L-BFGS algorithm［J］. Computing Techniques for Geophysical and Geochemical Exploration， 2018， 40（5）： 623-630.

［15］趙睿穎. 用于深度學習的一種改進L-BFGS算法［J］. 首都師范大學學報（自然科學版）， 2021， 42（5）： 8-14.

ZHAO Ruiying. An improved L-BFGS algorithm for deep learning［J］. Journal of Capital Normal University （Natural Science Edition）， 2021， 42（5）： 8-14.

［16］DONG L， SHENG H P. Improved Canny edge detection algorithm based on deep learning［J］. Scientific Journal of Intelligent Systems Research， 2021， 3（2）： 114-118.

［17］HUA Q Z， KE L T， CHI Z， et al. Image segmentation based on GGVF Snake model and Canny operator［J］. Scientific Journal of Intelligent Systems Research， 2021， 3（3）： 130-137.

［18］李磊， 李英娜， 趙振剛. 基于改進Canny算子的輸電導線圖像邊緣檢測［J］. 電力科學與工程， 2021， 37（12）： 19-27.

LI Lei， LI Yingna， ZHAO Zhengang. Edge detection of transmission line image based on improved Canny operator［J］. Electric Power Science and Engineering， 2021， 37（12）： 19-27.

［19］ZHANG H Z， LIANG J S， JIANG H B， et al. Lane line recognition based on improved 2D-gamma function and variable threshold Canny algorithm under complex environment［J］. Measurement and Control， 2020， 53（9/10）： 1694-1708.

Design of style transfer swimsuit patterns based on convolutional neural network

CHENG Pengfeia， WANG Weizhena，b， FANG Yuanc

（a.School of Fashion; b.Clothing Human Factors and Intelligent Design Research Center; c.Engineering Training Center（Innovation and Entrepreneurship Education Center）， Dalian Polytechnic University， Dalian 116034， China）

Abstract：

With the penetration of artificial intelligence technology into various fields， the combination of artificial intelligence and art design provides a broader prospect for the intelligent design of clothing. As an active topic of deep learning of artificial intelligence， style transfer starts to be used in the fields of clothing pattern design and art painting. At present， there are many technical shortcomings in using style transfer technology for clothing pattern design. When style transfer based on the convolutional neural network is applied to clothing pattern design， the problems of monotonous color， simple texture and inability to remove redundant backgrounds arise. Therefore， this study explores an integration of Gram matrix and Canny edge detector to solve the problem of multi-style fusion and background segmentation in style transfer.

In this study， in order to realize multi-style transfer， we first input multiple style images into the VGG-19 model， so that the layers designated as style output can extract the features of each style image and output them separately. We calculate the Gram matrix of each image separately， and weight all the obtained Gram matrices to form a new matrix. Therefore， the co-occurrence and correlation of each channel in the new matrix can represent the fusion style. In order to deal with the redundant backgrounds generated in the style transfer process and the non-rendered areas due to the features of swimsuit styles， we adopt the Canny edge detector algorithm and the OpenCV image processing library to perform operations such as rendering segmentation of images using the HSV interval differences of different rendered areas of swimsuit， and finally obtain the swimsuit pattern design drawings. Compared with other convolutional neural networks whose style transfer can only extract the style of one image， we optimize the structure of the Gram matrix， and can extract the style of multiple images to transfer at the same time. In the processing of the image generated by style transfer， by analyzing the structure and design features of swimsuit， a clothing image segmentation model applicable to swimsuits is established. In order to verify the effectiveness of this study in the field of clothing pattern design， we compare the effect drawings generated in this study with those generated by the style transfer method of other convolutional neural networks using the three metrics of questionnaire score， PSNR， and SSIM， and the results show that the method of this study obtains higher evaluation in all the three metrics.

This study， by combining the painting art style with swimsuit pattern design， is able to design a large number of swimsuit patterns with multi-style fusion features at a very low cost and has great application prospects. There is still room for improvement in the accuracy of swimsuit image segmentation in this study， and further research will be conducted in this area.

Key words：

convolutional neural network; style transfer; swimsuit; pattern design; Canny edge detector; swimsuit image segmentation

收稿日期：

2022-06-24;

修回日期：

2023-01-27

基金項目：

教育部社會科學規劃基金項目（21YJAZH088）;教育部產學協同育人項目（220404211305120）;遼寧省教育廳高?；究蒲兄攸c攻關項目（LJKZZ20220069）;遼寧省教育廳項目（1010152）;中國紡織工業聯合會項目（2021BKJGLX321）

作者簡介：

程鵬飛（1999），男，碩士研究生，研究方向為人工智能服裝設計。通信作者：王偉珍，副教授，wz-wang@foxmail.com。