基于改進StyleGAN路面缺陷數據增強算法

劉歡，孫海明，2，朱煥馨

（1.湖北汽車工業學院 機械工程學院，湖北 十堰 442002；2.湖北中程科技產業技術研究院有限公司，湖北 十堰 442002）

道路表面裂縫、龜裂和坑洞是常見的缺陷形 式，需要定期檢測和評估?；谏疃葘W習的路面缺陷檢測技術具有全面、高效和準確等優點，逐漸成為現代化路面檢測評估手段之一。而使用深度學習目標檢測模型訓練過程中，路面缺陷數據樣本少、圖像質量不高的情況嚴重影響目標檢測精度。通常情況下，研究人員使用圖像數據增強技術來解決此類問題。生成式對抗網絡［1-2］（generative adversarial network，GAN）在圖像生成領域有著卓越的表現。目前，許多學者在路面缺陷數據集增強領域有一定的研究。裴莉莉［3］等提出了基于深度卷積生成式對抗網絡（DCGAN）的瀝青路面裂縫圖像生成方法；李良福等［4］利用GAN 進行圖像超分辨率重建，緩解了裂縫分割時過擬合問題，并提升了橋梁裂縫分割精度；侯越［5］等針對路面病害人工檢測耗時問題和病害檢測精度問題，提出了數據深度增強方法。闕云等［6］為解決路面裂縫圖像采集數量無法滿足深度學習樣本數量要求的問題，提出了基于生成式對抗網絡的數據擴增方法，并以改進型U-Net網絡模型為基礎，提出了路面裂縫語義分割算法。然而，面對路面缺陷形態各異、場景復雜的環境等因素，前人研究基于深度學習的路面缺陷數據增強方法仍存在樣本數據少和圖像生成質量偏低的問題。為進一步提升數據增強方法的質量和效果，提出了基于改進StyleGAN 路面缺陷數據增強算法，通過訓練生成式對抗網絡模型，得到高質量的路面缺陷圖像。

1 改進的樣式生成對抗網絡

改進StyleGAN 模型在原有StyleGAN［7-14］模型生成器基礎上添加了自注意力機制和SLE 尺度標簽編碼器，增加了隨機噪聲的輸入量，修改了損失函數并調整了輸出圖像分辨率，如圖1所示。

圖1 改進StyleGAN生成器結構

自注意力機制［15］是能夠幫助生成器更好地關注圖像細節和結構的方法，可以提高生成圖像的質量。在生成任務中，傳統的卷積操作可能難以從全局角度捕捉圖像內容，導致信息丟失。通過引入自注意力機制，模型可以更有效地區分空間與區域的關系，并學習到圖像中更多的細節信息，原理如圖2 所示。首先從神經網絡的隱藏層中提取1 個特征圖x，特征圖具有C個通道和N個空間位置。使用3個矩陣Wf、Wg和Wh將x變換到3個不同的特征空間f、g和h中，即

圖2 自注意力機制

Wf、Wg和Wh的維度均為R（C/8）C。其次對Wf變換得到的特征圖進行轉置，并與Wg變換得到的特征圖進行點積運算。通過對點積結果進行softmax 歸一化，得到注意力特征圖βj,i。

在得到注意力特征圖βj,i后，將它與Wh變換得到的特征圖v進行點積，得到自注意力特征圖o。

式中：oj為在特征空間中與位置j相關的自注意力特征。最終輸出為

式中：γ為比例系數，是尺度參數，用于調節自注意力特征對于最終輸出的影響程度。

SLE 標簽編碼器［16］是用于提高圖像生成質量的生成器增強方法，如圖1a所示。SLE標簽編碼器對輸入的二進制向量進行編碼，輸出相應的標簽信息ti，并與映射網絡輸出w一起作為生成網絡的輸入，從而生成器能夠更好地利用標簽信息調節生成圖像的紋理細節生成符合要求的圖像。

WGAN-GP 損失函數［17］使生成器和判別器的梯度范數被限制在合理范圍，以解決StyleGAN 損失函數中出現的梯度消失和梯度爆炸問題，從而提高GAN 模型的穩定性和訓練效率。WGAN-GP 損失函數如式（5）所示：

式中：Pdata為真實分布；PG為模擬分布；Ppenalty為Pdata和PG采樣點之間的直線均勻采樣。

為了使路面缺陷圖像具有豐富的多樣性，增加隨機噪聲輸入量，見圖1c～d。以原有的StyleGAN模型為基礎，在每個尺度模塊增加2 個噪聲輸入。增加噪聲輸入可以幫助生成器更好地探索潛在空間，從而生成更多樣化的圖像。針對數據集特點，對生成器尺度模塊進行修改，最后1個模塊分辨率大小調整到256×256，見圖1c。在減小對圖像生成質量影響的同時，最大程度減少了模型訓練時間。

2 數據集、實驗環境及評估指標

2.1 預處理

實驗使用MERCURY2工業相機收集路面缺陷數據樣本，將相機分辨率設置為2048×2048，選取不同氣候條件、時間段、路段和路面類型，以增加數據集多樣性，使用Lambleing 軟件制作VOC 格式的標簽文件數據集，其組成如表1所示，包含裂縫、龜裂和坑洞3種缺陷類型，如圖3所示。

表1 數據集對比

圖3 路面缺陷類型及標簽

2.2 實驗環境

為了驗證模型的性能，搭建相應的實驗平臺，包括硬件和軟件。硬件平臺是深度學習工作站，具備較強的運算能力，內存128G，GPU 為NVIDIARTX3090-24G；軟件平臺為windows10-64 位操作系統，pytorch1.8.1 深度學習框架，集成開發環境為PyCharm2022，編程語言為python3.8，運算平臺為CUDA11.3。

2.3 評估指標

采用評估指標IS（inception score）和FID（frechet inception distance）對生成圖像進行評估。IS從圖像生成質量和多樣性方面客觀地進行評估，利用預先訓練好的Inception 模型來計算邊緣分布和條件分布之間的KL（Kullback-Leibler）散度。

式中：x～Pg為生成圖像；DKL為KL 散度。IS 得分越高，即KL 值越高，說明生成圖像的質量越高，多樣性越豐富。FID評估指標用來描述2個數據集之間的相似性程度。首先采用預訓練好的Inception 模型對圖片中的特征進行編碼，然后計算原始圖像數據分布與生成圖像分布之間的Frechet距離。

式中：r為真實圖像；g為生成圖像；μr、μg為各自特征向量的均值；∑r、∑g為特征向量的協方差矩陣；tr為矩陣的跡。FID值越低，2個圖像分布越接近，圖像越相似，生成圖像的質量越高［9］。

采用平均精度均值和召回率作為目標檢測實驗評估指標。計算公式為

式中：mAP 為目標檢測模型在所有類別上的平均精度；R為模型能夠正確檢測到實際存在缺陷的比例；TP為被正確檢測出的目標數；FP為檢測錯誤的目標數；FN為未被檢測出來的目標數；n為類別數；P為某個目標類的精確度；APi為某個目標類的平均精度［18］。

3 結果與分析

3.1 實驗評價分析

3.1.1 消融實驗

消融實驗結果如表2所示。在IS提升方面，自注意力機制和SLE標簽編碼器的貢獻較為突出，與原StyleGAN 模型相比分別提升了1.2 和2.2；而在降低FID 方面，自注意力機制、SLE 標簽編碼器和輸出分辨率調整的貢獻較為突出，與原模型相比分別降低了7.1、6.2和4.8。

表2 消融實驗結果

3.1.2 直觀評價

為全面展示生成的路面缺陷圖像效果，選取改進StyleGAN訓練的各個迭代生成階段效果，如圖4所示，kimg 表示模型迭代次數。當kimg 為50 時，圖像存在失真現象，并出現大小不一的環形斑點噪聲，但底色已呈現泛灰色，接近路面顏色；當kimg為100時，圖像中仍存在斑點噪聲，路面缺陷模糊，肉眼無法判斷；當kimg 為500 時，路面缺陷圖像開始顯現，較為清晰，可以用肉眼判斷其路面缺陷特征，但仍存在些許噪聲，部分圖像邊角模糊；當kimg 為1500 時，整體生成的圖像幾乎與真實圖像一致，通過肉眼能夠辨認出路面缺陷類型。

圖4 改進StyleGAN訓練效果圖

在500 張原始路面缺陷數據集的基礎上，DCGAN、CycleGAN、StyleGAN和改進StyleGAN訓練所得到的生成圖像，如圖5所示，可以發現DCGAN生成的路面缺陷圖像存在較多的噪聲和一定的扭曲，模型訓練不夠穩定；CycleGAN 生成的圖像邊緣模糊，紋理細節粗糙，有色差偏移的現象；StyleGAN生成的圖像較為真實，表面光滑，但仍然有存在明顯與原始圖像不符的缺陷特征，有些相對模糊；改進StyleGAN所生成的路面缺陷圖像基本展示出了路面缺陷及其紋理細節，灰度分布與真實圖像大致相同，整體相似度較高。根據直觀評價分析，文中算法生成的路面缺陷圖像表現較好。

圖5 不同生成算法生成路面缺陷對比圖

3.1.3 量化評價

表3 列出了針對路面缺陷圖像生成的各個模型在IS 和FID 評估指標上的表現。文中算法在FID指標上達到了54.2，比原StyleGAN模型提高了12.3，同時在IS 指標上也提高了3.6，達到了52.1。表明改進StyleGAN 算法生成的圖像質量更高，與真實圖像更加相似。

表3 IS和FID量化評估指標對比

3.1.4 損失函數對比分析

生成器模型和判別器模型在訓練過程中的損失函數對比見圖6。kimg 為0～100 時，生成器損失和改進的生成器損失迅速下降，kimg超過100后趨于平緩；而判別器損失和改進的判別器損失在kimg為0～100時迅速上升，kimg超過150后趨于平緩。相較于生成器損失和判別器損失，改進的生成器損失和判別器損失收斂速度更快，趨勢更平緩，改進的損失函數提高了模型訓練的效率和穩定性。

圖6 損失函數對比

3.2 目標檢測應用評價分析

圖7 為使用改進StyleGAN 數據增強后的YOLOv5目標檢測效果圖，圖中對裂縫、龜裂和坑洞的識別精度分別為0.94、0.92 和0.95，達到了實驗預期效果。將文中算法生成的圖像應用于路面缺陷檢測并進行評價分析，使用YOLOv7、YOLOv5、Faster R-CNN和SSD主流目標檢測算法進行驗證，迭代次數設置為150。圖8給出了4種目標檢測算法在不同數據集中的平均精度變化曲線。使用原始數據集進行目標檢測，平均精度僅62%，表現不佳。然而，對原始數據集進行擴充后，目標檢測平均精度得到一定程度的提升。表4 為使用不同生成式對抗網絡算法得到的擴充數據集在目標檢測模型的平均精度對比，可以看出，DCGAN對平均精度 提 升 約12%，CycleGAN 約15%，StyleGAN 約19%，改進StyleGAN約30%。為了進一步說明擴充數據集對目標檢測算法的影響，表5給出了使用不同生成式對抗網絡算法得到的擴充數據集在目標檢測模型的召回率值對比。DCGAN的召回率降低11%左右，CycleGAN 降低4%左右，StyleGAN 提升約4%，改進StyleGAN 提升約7%。綜上所述，改進StyleGAN 能有效提高目標檢測算法的性能，具有較高的魯棒性。

表4 平均精度均值對比

表5 召回率對比

圖8 平均精度均值迭代對比圖

4 結論

文中提出了基于改進StyleGAN 的路面缺陷數據增強方法，實驗證明，改進StyleGAN優于其他生成式對抗網絡，能夠提升路面缺陷圖像數據集的質量，為AI 路面缺陷圖像分析提供參考。后續擬將改進StyleGAN模型用于其他樣本數量不足且質量較差的數據集，并移植到移動設備，提高缺陷檢測的準確性和可靠性。