改進CycleGAN的鋼材表面缺陷圖像生成方法

張付祥,徐兆洋,李俊慧,黃風山,李文忠

(1.河北科技大學機械工程學院,河北石家莊 050018;2.河鋼集團石鋼公司,河北石家莊 050031)

鋼鐵被譽為“工業糧食”,它不僅用于制造汽車、建造房屋和橋梁,還為人們的日常生活提供各種耐用品。中國是最大的鋼材生產國和出口國[1]。鋼材表面的缺陷會導致鋼材性能和使用壽命下降,甚至直接引發安全事故[2]。工業場景中的鋼材表面缺陷檢測主要包括直接檢測、人工檢測、渦流檢測、紅外檢測、漏磁檢測、傳統圖像處理檢測等。渦流檢測、紅外檢測、漏磁檢測由于技術含量高、成本高,不能廣泛應用;直接檢測鋼材表面缺陷存在生產環境惡劣、高溫、高熱、高噪聲、高風險等問題;人工檢測有檢測疲勞和主觀判斷不一致的麻煩;傳統的圖像處理檢測方法無法滿足高速、實時檢測的需求;基于深度學習的目標檢測由于用于訓練的數據不足,難以達到預期效果,并且模型存在訓練崩潰、不穩定、難收斂等問題。因此,對小樣本鋼材表面缺陷數據集進行擴增,提高鋼材表面缺陷檢測的效率和準確率是一項十分重要的研究內容。

大量的數據樣本是保證缺陷檢測精度的前提,但這一條件在實際應用場景中往往難以實現[3]。在鋼廠采集鋼材表面圖像數據較為困難并且成本極高,因為安全生產因素,很難獲得含缺陷的圖像數據,而含多類缺陷的鋼材表面圖像數據更是少之又少。在圖像采集過程中,往往存在多種環境因素,導致圖像質量損失較大,進而影響計算機視覺任務特征的提取與使用,尤其是陰天、夜晚等光照因素導致的問題較為常見且難以避免[4]。為了以較低的成本獲取足夠數量的鋼材表面缺陷數據圖像,在早期工作中會采用傳統的樣本擴增方法,但通過這些方法得到的缺陷圖像很難模擬真實場景下的鋼材表面缺陷圖像的諸多細節,而且由于沒有改變原始圖像特征導致效果過于單一化。生成對抗網絡(GAN)[5]通過學習多維噪聲來生成樣本,但通過隨機噪聲生成的圖像存在模糊的問題,從而導致模型泛化能力下降,在真實數據上的表現效果較差。師紅宇等[6]對ACGAN(auxiliary classifier GAN)算法進行改進得到帶鋼小樣本數據增強方法,通過對網絡結構的重新設計,生成了高質量的帶鋼樣本,但在訓練速度上仍需進一步提升;李寶平等[7]使用U-ResNet生成器解決了邊緣模糊和梯度消失的問題,但目前網絡的規模仍然偏大;高海洋等[8]使用點集匹配的方法進行缺陷樣本圖像生成,對單張缺陷樣本的缺陷部位從多特征角度進行變換得到適用于多種平面類缺陷圖像生成的方法;李春華等[9]通過添加殘差網絡和注意力機制,并且優化損失函數改進DCGAN網絡進行輪胎缺陷圖像的生成,但模型生成缺陷圖像的多樣性不夠理想;彭興輝等[10]通過形態學預處理和改進BEGAN(boundary equilibrium GAN)網絡,生成太陽能電池片缺陷圖像,提升了目標檢測網絡的檢測性能;張付祥等[11]使用小波變換的方法進行圖像增強對棒材端面字符進行識別,但仍需進一步提高識別的準確率。

綜上所述,已公開數據集不能完全滿足實際需求,現有缺陷圖像生成算法也無法兼顧多樣性與真實性。為解決上述問題,本文以CycleGAN為基礎,將鋼材表面缺陷圖像生成看作圖像風格遷移任務的一種變形,運用CycleGAN網絡,實現不同種類鋼材表面缺陷特征之間的風格遷移,然后通過添加注意力機制、引入權重解調機制和形狀一致性損失來改進模型,提出一種基于改進CycleGAN的鋼材表面缺陷圖像生成模型。

1 相關工作

1.1 生成對抗網絡(GAN)

生成對抗網絡(GAN)的主要原理是神經網絡生成器遵循一定分布的隨機噪聲z轉換為生成的樣本G(z),神經網絡鑒別器區分輸入圖像的真實性。在2種網絡的對抗中,生成器不斷提高生成圖像的質量來盡可能地生成符合真實分布的圖像數據,而判別器則不斷提高自身的判斷能力,生成器網絡和判別網絡反復更新權重參數,以改善模型的特性,最終理想的效果是生成器生成的圖像使判別器無法辨別數據來源于哪一類,即實現納什均衡[12-13]。

1.2 循環生成對抗網絡(CycleGAN)

1.2.1 整體架構

CycleGAN[14]是生成對抗網絡模型的一個變種,是經典無監督學習模型的代表。CycleGAN主要優勢在于可以對2種風格的圖像數據進行一個圖像域到另一個圖像域的風格轉換,圖片之間不需要配對,通過學習源域和目標域的特征信息,建立兩者的映射函數,生成適配輸入圖像的另一圖像域風格的圖像,本質為風格遷移,其模型是一個雙生成對抗網絡的架構。針對鋼材表面缺陷圖像生成任務,選取CycleGAN作為基礎模型。CycleGAN包含2個生成器G,F,2個判別器DX,DY。生成器G可將X域圖像的特征映射到Y域圖像,生成器F反向將Y域圖像的特征映射到X域數據。判別器通過鑒別生成器生成的圖像和真實域中圖像的真假,激勵生成器不斷產生更接近于真實的圖像,進而實現不同種類的鋼材表面缺陷圖像之間特征的相互映射,理論上可以生成同時含有多類缺陷的鋼材表面圖像。鋼材表面缺陷圖像生成的CycleGAN模型結構如圖1所示。

圖1 鋼材表面缺陷圖像生成的CycleGAN模型結構圖

1.2.2 生成器與判別器結構

生成器采用卷積神經網絡、殘差神經網絡、反卷積神經網絡的結構進行編碼和解碼[15]。編碼器通過卷積操作對輸入的鋼材表面缺陷圖像進行下采樣;殘差塊不但可以進行特征的提取與轉化,還能夠減少梯度消失問題;解碼器使用反卷積對分辨率下降后的圖像進行上采樣,使圖像恢復到輸入的尺寸。輸入的鋼材表面缺陷圖像依次通過卷積、殘差、反卷積結構進行特征的轉化提取以及上下采樣,最終輸出具有另一風格的圖像。生成器結構如圖2所示。

圖2 生成器結構

CycleGAN網絡采用PatchGAN作為判別器(見圖3),通過5層卷積將通道數減少為1,最后進行平均池化操作,該判別器輸出結構為N×N大小的矩陣作為對生成圖像的評價,通過此種方法,考慮全局的感受野信息的差別,更能夠關注特征的細節信息[16]。

圖3 PatchGAN判別器結構

1.2.3 損失函數

CycleGAN的損失函數由生成對抗損失和循環一致性損失組成[17]。生成對抗損失函數由2個生成器產生,假設X域中的樣本x服從概率分布x～Pdata(x),Y域中的樣本y也服從概率分布y～Pdata(y),得到生成器G和F的生成對抗損失為

LGAN(G,DY,X,Y)=Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(G(x)))],

(1)

LGAN(F,DX,Y,X)=Ex～Pdata(x)[logDX(x)]+Ey～Pdata(y)[log(1-DX(G(y)))],

(2)

式中E為數學期望。

CycleGAN的生成器具有循環一致性:圖像首先經過生成器G,再經過生成器F,最終會轉換為原始圖像,即x→G→F≈x。這一過程中CycleGAN的循環一致性損失函數為

(3)

總的損失函數為

L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F),

(4)

式中λ為對抗性損失和循環一致性損失的權重比。

1.2.4 原始模型的不足和改進方向

首先,CycleGAN在處理復雜的圖像轉換任務時存在一定的困難。由于其基于無監督學習,模型無法獲取到與圖像轉換任務相關的真實標簽信息,這使得模型很難在轉換過程中保持高質量的細節和語義一致性,因此可以通過為復雜圖像添加分割標簽來約束生成器,進一步提高生成圖像的質量。

其次,CycleGAN在訓練過程中需要大量的數據和計算資源。由于模型的復雜性和數據集的規模,訓練CycleGAN模型需要大量的圖像樣本和長時間的訓練,但由于資源有限很難訓練一個高質量的CycleGAN模型,因此可以在訓練之前通過傳統方法初步進行樣本擴增,并且可以添加注意力機制模塊來增加模型的特征提取能力,提高任務處理的效率和準確率。

最后,CycleGAN在處理不平衡的數據集時可能會出現問題。如果輸入圖像的分布在不同的域之間存在差異較大的情況,模型可能會出現模式崩潰和生成圖像質量低下的問題,如偽影和白斑,這種情況可以通過調整和優化參數等方式來解決。

2 改進CycleGAN的鋼材表面缺陷圖像生成模型

2.1 添加注意力機制模塊

注意力機制源于生物視覺系統特殊的圖像處理能力,可以在模型性能有限情況下將資源更好地分配到重要信息,使模型從關注全部到關注重點,提高任務處理的效率和準確率。在CycleGAN原始生成器與判別器的基礎上引入CAM與SAM結構[18],CAM和SAM注意力機制可以增強模型的性能,特別是在處理具有復雜紋理和結構的圖像轉換任務時具有顯著的效果,添加注意力機制后的生成器和判別器結構如圖4所示。

圖4 添加注意力機制后的生成器與判別器結構

CAM過程可表示為

f′=σ(MLP(AvgPool(f))+MLP(MaxPool(f)))=CAM(f)?f,f∈RC,

(5)

式中:σ為Sigmoid激活函數;MLP為多層感知器全連接神經網絡;AvgPool,MaxPool分別為平均池化與最大池化;f為特征圖;f′為經CAM通道注意力機制生成的加權特征;C為通道維度。

SAM過程可表示為

f″=σ(Concat[AvgPool(f′),MaxPool(f′)])=SAM(f′)?f′,f′∈RH×W,

(6)

式中:Concat表示對2個特征矩陣進行拼接;f″為經SAM空間注意機制生成的加權權重;H,W為二維空間維度。

2.2 引入權重解調機制

針對CycleGAN模型可能不足以捕捉復雜的圖像轉換任務,尤其是當源域和目標域之間存在顯著的差異時模型無法準確地轉換圖像,在生成圖像中產生偽影或白斑的問題(見圖5),引入StyleGAN2的權重解調機制[19],對特征圖的一系列操作改為對權重的操作,在保留完全可控性的同時消除了偽影和白斑。

圖5 白斑和偽影圖像

在殘差結構進行特征提取部分的激活函數前后2個卷積層中分別加入w1,w2,并通過殘差連接實現特征融合傳遞,經權重解調后的殘差結構如圖6所示,WD運算可表示為

圖6 添加權重解調機制后的殘差結構

(7)

式中:i為權重w的通道索引;j,k為對應通道的二維遍歷索引;ε為防止分母為0的值。

2.3 引入形狀一致性損失

CycleGAN在幾何變換過程中,一個像素可以對應到多個位置,這會增加循環一致性的復雜性,從而導致出現內在模糊性和限制問題,針對這一現象,引入形狀一致性損失[20]。生成器的學習過程由循環一致性損失、對抗性損失和形狀一致性損失進行監督,添加分割器后的模型結構如圖7所示。

圖7 添加分割器后的模型結構

引入形狀一致性損失的具體流程是:首先,添加分割網絡[21],分割網絡的2個分割器SX,SY均采用U-Net結構;其次,給源域圖像X和目標域圖像Y添加分割標簽,源域圖像X中的樣本x對應的標簽為Lx,目標域圖像Y中的樣本y對應的標簽為Ly;再次,將源域圖像X中的樣本x輸入生成器F生成假樣本x′,接著將x′輸入分割網絡得到x″;最后,將x″和y求交叉熵損失,以此作為形狀一致性損失Lshape,形狀一致性損失函數為

(8)

式中:xi,yi∈{0,1,…,C},表示一個像素所屬的類別;N表示一張圖像中的像素總數。

最后將形狀一致性損失引入總損失函數,改進后的總損失函數為

L(G,F,DX,DY,SX,SY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)+γLshape(SX,SY,G,F),

(9)

式中γ為形狀一致性損失和生成對抗損失與循環一致性損失的權重比。

3 試驗設計

3.1 試驗數據集

試驗所用數據集為東北大學鋼材表面缺陷公開數據集(NEU-DET)[22],包含裂紋(Cr)、夾雜(In)、斑塊(Pa)、點蝕(Ps)、氧化(Rs)、劃痕(Sc)共6類,每類缺陷圖片300張,共1 800張圖片,圖片尺寸為200 px×200 px,圖片類型為灰度圖,數據集部分圖片如圖8所示。

圖8 NEU-DET數據集的缺陷類型

使用LabelImg軟件對數據集圖片進行標注,標注方式為在實際缺陷區域的輪廓采用多點標注的方式標注真實框,得到格式為json的文件,然后轉化為模型能夠讀取的txt格式文件。

標注后的數據信息如圖9所示。圖9 a)為標注后各類別缺陷的標注框數量,圖9 b)為標注框的大小分布情況。由圖9可知,用多點標注后標簽數量較多,從標注框的寬度和高度可知,鋼材表面缺陷圖像中包含大量小目標,且目標分布較為密集。

圖9 數據集多點標注后的數據信息

3.2 試驗環境設置

1)試驗的硬件環境 CPU為Intel Core i7-12700H,主頻為2.96 GHz,GPU為NVIDIA GeForce RTX 3060,顯存為GDDR6 6 G,RAM為DDR4 16 GB。

2)試驗的軟件環境 操作系統為Windows 11,深度學習框架為PyTorch1.12.1,開發環境為Python3.8,Cuda11.3,cudnn8.2.1。

3)超參數設置 輸入圖像尺寸為256 px×256 px,學習率為0.002,權重衰減系數為0.5,圖像批樣本數量為1,迭代次數為300。

3.3 評價指標

1)峰值信噪比(PSNR)。它是評估圖像質量最常見和最廣泛接受的客觀標準,PSNR值越高,圖像越接近真實特征的實際分布,失真越小。給定一個大小為m×n的2張圖像樣本I和K。

均方誤差(MSE)的計算公式為

(10)

峰值信噪比(PSNR)的計算公式為

(11)

2)結構相似性(SSIM)?？梢詼蚀_衡量2個圖像是否相似,SSIM取值范圍為0～1,值越大表示生成的圖像質量越高。它的公式基于樣本x和y之間的亮度l(x,y)、對比度c(x,y)和結構相似度s(x,y)來衡量,計算公式為

(12)

式中:μx,μy分別表示樣本x和y的均值;σx,σy分別表示樣本x和y的方差;σxy表示樣本x和y的協方差;C1=(K1L)2,C2=(K2L)2,C3=C2/2,L為像素的取值范圍,通常情況下,K1=0.01,K2=0.03。

結構相似性(SSIM)的計算公式為

SSIM(x,y)=l(x,y)·c(x,y)·s(x,y)。

(13)

3)FID。用于計算真實圖像與生成圖像特征向量之間的距離,FID值越小,生成圖像越接近于真實圖像,FID的計算公式為

FID=‖μr-μg‖2+Tr(∑r+∑g-2(∑r∑g)1/2),

(14)

式中:μr為真實圖像特征的均值;μg為生成圖像特征的均值;∑r,∑g分別為真實圖像特征和生成圖像特征的方差;Tr為方陣的跡。

3.4 消融試驗與對比試驗

為證明改進后模型的效果,進行消融試驗驗證改進點的作用,試驗環境和超參數設置均保持一致。以原始CycleGAN模型為基線,在此基礎上設計4種改進模型與基線進行比較,其中,M1為原始CycleGAN模型,M2為添加注意力機制后的模型,M3為引入權重解調機制后的模型,M4為引入形狀一致性損失后的模型,M5為同時進行3種改進后的模型,5種模型在上述評價指標下的消融試驗如表1所示。

表1 消融試驗

表1中,粗體數據為最佳的試驗結果,說明在進行模型改進后,各個評價指標的數值均有改善,由M2可知添加CAM和SAM注意力機制后,模型對輸入圖像的感知能力和對生成圖像的細節控制有所提高。由M3可知,引入權重解調機制后,改善了圖像風格遷移的質量。由M4可知,引入形狀一致性損失后,增加了更多的約束,引入了額外的信息,能夠有效解決內在模糊性的問題。改進后的CycleGAN算法生成的圖像相對于原始模型的PSNR值由15.57提高到了17.59,SSIM值由0.577提高到了0.623,FID值由167.08降低到了111.76,PSNR,SSIM分別提高了13.0%,7.8%,FID值降低了33.1%。消融試驗結果表明,添加空間和通道混合注意力機制后可以有效提升模型的特征提取能力,引入權重解調機制和形狀一致性損失也可以進一步提高生成圖像的質量。

為了進一步評估改進后的模型性能,選擇4種主流生成對抗網絡模型(即GAN,DCGAN,WGAN,ACGAN)和其他相關研究成果,在NEU-DET數據集下與改進的模型進行對比試驗,試驗軟硬件環境和參數設置均保持一致,對比試驗結果見表2。

表2 對比試驗

表2中粗體數據為最佳的試驗結果。由表2可知,本文模型僅SSIM數值低于DCGAN。相較于DCGAN,本文模型SSIM值降低了4.9%,但PSNR值增加了60.2%,FID值降低了33.8%。綜合考慮幾種模型在上述評價指標下的對比試驗數值,認為本文模型優于其他主流生成對抗網絡模型,具有一定的優越性。

3.5 試驗結果與分析

為更加直觀地看出改進后的模型生成鋼材表面缺陷圖像的效果,列舉了6類缺陷之間的特征映射,生成的鋼材表面缺陷效果如圖10所示,其中X,Y同時相互作為源域和目標域圖像數據,斜對角線上為同種缺陷類別圖像的映射,因此為空白。綜合幾種評價指標和實際生成鋼材表面缺陷圖像的效果來看,改進后的模型相對于原始模型和其他幾種主流生成對抗網絡模型的效果有了極大的提升。由此可以證明改進后的模型相對于原始模型生成的圖像質量更高,更符合原圖像的特征分布,在顏色、紋理、光影和特征形狀等方面與原始圖像僅有細微差異,靠肉眼難以分辨,經過測試,本文方法生成的鋼材表面缺陷圖像取得了良好的定位與分類效果。

圖10 CycleGAN生成的鋼材表面缺陷圖像的效果圖

4 結 語

在CycleGAN模型基礎上,添加空間和通道混合注意力機制增強模型的特征提取和轉化能力,引入權重解調機制解決圖像生成過程中存在的偽影和白斑,在原始模型損失函數的基礎上引入形狀一致性損失,解決CycleGAN中的循環一致性在幾何變換方面存在內在模糊性的問題,可使改進后的模型生成圖像的PSNR,SSIM分別提高13.0%和7.8%,FID值降低33.1%,生成圖像的質量優于GAN,DCGAN,WGAN和ACGAN等主流生成對抗網絡的圖像質量。提出的模型能夠穩定地生成高質量的各類鋼材表面缺陷圖像,有效解決鋼材表面缺陷圖像樣本較少并且在使用生成對抗網絡進行樣本擴增時效果不佳的問題,對于其他缺陷數據集的擴增具有借鑒意義,如道路、橋梁裂紋缺陷,機床、齒輪等金屬零件或制品缺陷。

提出的模型理論上可以生成同時含有多類缺陷的鋼材表面圖像,但在實際生成過程中缺陷圖像的多樣性不夠理想,后續工作將以同時生成多類缺陷的鋼材表面圖像作為目的繼續進行研究,并且進一步提升模型的訓練速度。

參考文獻/References：

[1] 李強,陳鐵軍,李奇勇,等.鋼鐵行業含鋅冶金塵泥資源化利用現狀與研究進展[J].中國冶金,2023,33(7):1-9.

LI Qiang,CHEN Tiejun,LI Qiyong,et al.Situation and research development on resource utilization of metallurgical dust containing zinc in iron and steel industry[J].China Metallurgy,2023,33(7):1-9.

[2] 鄒永純,王樹棋,陳國梁,等.304鋼等離子體電解拋光工藝與其表面結構性能研究[J].表面技術,2023,52(6):51-60.

ZOU Yongchun,WANG Shuqi,CHEN Guoliang,et al.Process,surface structure and properties of 304 steel by plasma electrolytic polishing[J].Surface Technology,2023,52(6):51-60.

[3] 李宗祐,高春艷,呂曉玲,等.基于深度學習的金屬材料表面缺陷檢測綜述[J].制造技術與機床,2023(6):61-67.

LI Zongyou,GAO Chunyan,LYU Xiaoling,et al.A review of surface defect detection for metal materials based on deep learning[J].Manufacturing Technology &Machine Tool,2023(6):61-67.

[4] ZHANG Tianci,LI Chao,CHEN Jinglong,et al.Feature-level consistency regularized semi-supervised scheme with data augmentation for intelligent fault diagnosis under small samples[J].Mechanical Systems and Signal Processing,2023,203.DOI:10.1016/j.ymssp.2023.110747.

[5] COPPEL J,BOUNTZIOUKA V,MARTIN D,et al.A comparison of the quality of image acquisition between two different sidestream dark field video-microscopes[J].Journal of Clinical Monitoring and Computing,2021,35(3):577-583.

[6] 師紅宇,王嘉鑫,李怡.基于改進ACGAN算法的帶鋼小樣本數據增強方法[J/OL].計算機集成制造系統.[2023-09-19].http://kns.cnki.net/kcms/detail/11.5946.TP.20230104.1047.004.html.

SHI Hongyu,WANG Jiaxin,LI Yi.Strip small sample data augmentation method based on improved ACGAN algorithm[J/OL].Computer Integrated Manufacturing System.[2023-09-19].http://kns.cnki.net/kcms/detail/11.5946.TP.20230104.1047.004.html.

[7] 李寶平,戚恒熠,王滿利,等.聯合3D建模與改進CycleGAN的故障數據集擴增方法[J].光學精密工程,2023,31(16):2406-2417.

LI Baoping,QI Hengyi,WANG Manli,et al.Equipment fault dataset amplification method combine 3D model with improved CycleGAN[J].Optics and Precision Engineering,2023,31(16):2406-2417.

[8] 高海洋,張明川,葛泉波,等.基于點集匹配的缺陷樣本圖像生成方法[J].智能系統學報,2023,18(5):1030-1038.

GAO Haiyang,ZHANG Mingchuan,GE Quanbo,et al.Method of defect sample image generation based on point set matching[J].CAAI Transactions on Intelligent Systems,2023,18(5):1030-1038.

[9] 李春華,付睿智,劉玉坤,等.基于改進DCGAN輪胎缺陷圖像生成方法[J].河北科技大學學報,2023,44(4):346-355.

LI Chunhua,FU Ruizhi,LIU Yukun,et al.A method for generating tire defect images based on improved DCGAN[J].Journal of Hebei University of Science and Technology,2023,44(4):346-355.

[10] 彭興輝,田建平,吳相東,等.基于數據增強的光伏電池片缺陷檢測方法研究[J].中國測試,2023,49(7):29-34.

PENG Xinghui,TIAN Jianping,WU Xiangdong,et al.Research on defect detection method of photovoltaic cell based on data enhancement[J].China Measurement &Testing Technology,2023,49(7):29-34.

[11] 張付祥,郭旺,黃永建,等.成捆特鋼棒材端面字符識別算法研究[J].河北科技大學學報,2021,42(5):470-480.

ZHANG Fuxiang,GUO Wang,HUANG Yongjian,et al.Study on character recognition algorithm for end face of bundled special steel bars[J].Journal of Hebei University of Science and Technology,2021,42(5):470-480.

[12] GOODFELLOW I,POUGET-ABADIE J,MIRZA M,et al.Generative adversarial networks[J].Communications of the ACM,2020,63(11):139-144.

[13] 李偉鑫,樊蓓蓓.基于DC-SR GAN的鋼板表面缺陷樣本生成方法研究[J].計量與測試技術,2023,50(1):37-40.

LI Weixin,FAN Beibei.Research on sample generation method for steel plate surface defects based on DC-SR GAN[J].Metrology &Measurement Technique,2023,50(1):37-40.

[14] DOU Hao,CHEN Chen,HU Xiyuan,et al.Asymmetric CycleGAN for image-to-image translations with uneven complexities[J].Neurocomputing,2020,415:114-122.

[15] KANEKO T,KAMEOKA H,TANAKA K,et al.Cyclegan-vc2:Improved cyclegan-based non-parallel voice conversion[C]//ICASSP 2019-2019 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP).Brighton:IEEE,2019:6820-6824.

[16] 李文杰,張足生,董阿妮,等.改進循環生成對抗網絡的車牌數據集自動生成算法[J/OL].計算機應用.[2023-04-10].http://kns.cnki.net/kcms/detail/51.1307.TP.20230410.1304.004.html.

LI Wenjie,ZHANG Zusheng,DONG Ani,et al.Automatic generation algorithm of license plate dataset based on improved CycleGAN[J].Journal of Computer Applications.[2023-04-11].http://kns.cnki.net/kcms/detail/51.1307.TP.20230410.1304.004.html.

[17] PAN Yue,PI Dechang,CHEN Junfu,et al.FDPPGAN:Remote sensing image fusion based on deep perceptual patchGAN[J].Neural Computing and Applications,2021,33(15):9589-9605.

[18] ZHU Junyan,PARK T,ISOLA P,et al.Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//2017 IEEE International Conference on Computer Vision (ICCV).Venice:IEEE,2017:2242-2251.

[19] KARRAS T,LAINE S,AITTALA M,et al.Analyzing and improving the image quality of StyleGAN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle:IEEE,2020:8107-8116.

[20] ZHANG Zizhao,YANG Lin,ZHENG Yefeng.Translating and segmenting multimodal medical volumes with cycle-andshape-consistency generative adversarial network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:9242-9251.

[21] LI Keming,ZHANG Guangyuan,LI Kefeng,et al.Dual CNN cross-teaching semi-supervised segmentation network with multi-kernels and global contrastive loss in ACDC[J/OL].Medical &Biological Engineering &Computing.[2023-09-01].https://doi.org/10.1007/s11517-023-02920-0.

[22] SONG Kechen,YAN Yunhui.A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects[J].Applied Surface Science,2013,285(Part B):858-864.