?

基于SegFormer的鈦板缺陷渦流C掃描檢測圖像分割

2024-04-26 15:48李肇源葉波鄒楊坤包俊曹弘貴
化工自動化及儀表 2024年2期
關鍵詞:圖像分割深度學習

李肇源 葉波 鄒楊坤 包俊 曹弘貴

基金項目:云南省基礎研究計劃(批準號:202301AS070052)資助的課題:云南省中青年學術和技術帶頭人后備人才基金(批準號:202305AC160062)資助的課題。

作者簡介:李肇源(1996-),碩士研究生,研究方向為電磁無損檢測。

通訊作者:鄒楊坤(1994-),助教,研究方向為電磁無損檢測、結構健康監測,zouyangkun@kust.edu.cn。

引用本文:李肇源,葉波,鄒楊坤,等.基于SegFormer的鈦板缺陷渦流C掃描檢測圖像分割[J].化工自動化及儀表,2024,

51(2):181-191.

DOI:10.20030/j.cnki.1000-3932.202402006

摘 要 為了獲得渦流檢測圖像中缺陷的形狀與長度信息,對檢測圖像進行圖像分割是其中一種重要的方法。由于邊緣效應的影響,TA2鈦板渦流C掃描圖像中缺陷區域邊緣模糊、對比度低,導致通過圖像分割后估計的缺陷長度與實際值差別過大,難以通過圖像分割方法對缺陷長度進行準確估計。針對此問題,提出一種基于SegFormer的鈦板缺陷渦流檢測圖像分割方法。首先,利用渦流C掃描成像獲得TA2鈦板表面裂紋缺陷檢測圖像數據集;根據SegFormer網絡的結構組成,設計基于SegFormer鈦板缺陷渦流檢測圖像的分割框架和分割流程,并進行網絡參數的設置。隨后,利用鈦板表面裂紋缺陷檢測圖像數據集對4個分割模型分別進行訓練和測試,并利用平均交并比、平均精度和訓練時間對其分割效果進行評價。實驗表明:相比于Deeplabv3+、Swim Transformer和OCRNet,SegFormer具有更好的分割效果,更快的訓練速度??梢暬投炕Y果表明:與非深度學習方法相比,該方法具有更小的缺陷長度估計誤差。

關鍵詞 深度學習 SegFormer 鈦板缺陷 電渦流檢測 圖像分割

中圖分類號 TP391? ?文獻標志碼 A? ?文章編號 1000-3932(2024)02-0181-11

鈦及其合金綜合性能優異,耐熱性、耐蝕性、彈性、抗彈性和成型加工性良好[1],被廣泛應用于航空航天、石油化工、生物工程等領域,其中板材應用最為廣泛,約占鈦材總消耗量的50%[2]。鈦板生產過程中容易產生各種缺陷,其中,當板材表面存在殘留氧化層時,其與基體相比塑性較差,冷軋時沿軋向出現一系列小孔洞,軋制后會產生大量條狀裂紋[3]。產生的裂紋缺陷可能會對鈦板的使用產生惡劣影響,造成嚴重的安全問題。

為了確保鈦板的安全使用,對鈦板進行無損檢測十分必要。渦流檢測是常用的一種無損檢測方法,該方法具有的效率高、成本低、非接觸性、易于對檢測結果進行數字化處理等優點,使渦流檢測成為鈦板缺陷檢測的理想方法[4]。為了獲得鈦板缺陷的形狀與長度信息,對鈦板缺陷渦流檢測圖像進行圖像分割是其中一種重要的方法。圖像分割的基本思想是利用圖像中的空間結構信息、顏色及紋理等信息,把圖像分成若干個特定的、具有獨特性質的區域,并提取感興趣目標的技術和過程。隨著對圖像分割方法的不斷深入研究,出現了閾值分割、聚類分割、基于邊緣檢測的分割方法等早期分割算法。文獻[5]針對生產線上金屬板表面光照不均勻和白、灰細顆粒相間的特點,將一維、二維Wellner自適應閾值算法應用到這種場景,并結合高斯加權距離,提出一種針對金屬板表面圖像分割的高斯加權自適應分割算法,可對金屬板表面白、灰相間的現象進行有效地濾除,提高分割精度。文獻[6]針對TA2鈦板渦流C掃描圖像中缺陷區域與背景區域混雜,邊緣對比度低的問題,提出基于簡單線性迭代聚類(Simple Linear Iterative Cluster,SLIC)超像素算法和密度聚類(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)算法的渦流C掃描圖像分割方法,實現了與傳統圖像分割方法相比,更加精確的分割。

近幾年,基于深度學習的圖像分割方法逐漸代替其他圖像分割算法。與非深度學習分割算法不同,深度學習方法通過多層神經網絡自動提取有效特征,特別是神經網絡模型可以提取包含局部細節的特征圖像,以及圖像的高級語義特征。深度學習方法自然地被引入到金屬表面缺陷圖像分割中。文獻[7]設計一種用于分割小樣本金屬表面缺陷圖像的三重圖推理網絡,將小樣本金屬表面缺陷分割問題轉化為缺陷區域和背景區域的小樣本語義分割問題,提高工業場景下的圖像分割性能,并通過廣泛的對比實驗和消融實驗,證明了方法的有效性。文獻[8]針對鋁板缺陷渦流檢測圖像存在背景噪聲干擾的問題,提出基于改進生成對抗網絡的鋁板缺陷電渦流檢測圖像分割方法,并通過與傳統的圖像分割方法進行對比,證明了所提方法的先進性。文獻[9]設計了一種采用高分辨率隧道磁阻(TMR)陣列傳感器的渦流檢測系統,開發了針對該系統所成圖像的圖像分割算法,實現了鋁板表面缺陷渦流檢測圖像的分割,且具有較小的定量化誤差??梢钥闯?,基于深度學習的分割方法是目前金屬檢測圖像分割的主流方法。作為分割方法的主流,基于深度學習的圖像分割方法以平均交并比(Mean Intersection over Union,MIoU)即真實值和預測值的交集和并集之比,作為衡量圖像分割算法的一項重要指標,較高的MIoU代表著更好的分割效果。近幾年,研究者們以提高自己方法在分割公共數據集上獲得更高的MIoU為目標,隨之出現了許多高精度的分割方法,首先是文獻[10]提出Vision Transformer(ViT)網絡,此網絡通過引入Transform[11]

框架將公共數據集ADE20K[12]的MIoU精度第1次提升到50%,超過了之前主流網絡HRnet[13]和

OCRNet[14]的效果;再是Swin Transform[15]對ViT進行了改進,取得了更高的MIoU值。然而,這些方法是利用更加龐大的計算量來換取更高的MIoU,訓練和使用這些方法往往需要更高的硬件配置以及更長的訓練時間。針對此問題,文獻[16]提出了SegFormer網絡,憑借對Transform框架的再次深層次優化,在獲得更高精度的前提下極大地提升了網絡模型的實時性與魯棒性,并減少了高分辨率圖像的訓練時間。

由于邊緣效應的影響,TA2鈦板渦流C掃描圖像中缺陷區域邊緣模糊、對比度低,導致通過圖像分割后估計的缺陷長度與實際值差別過大,難以通過圖像分割方法對缺陷長度進行準確估計。因此,筆者基于SegFormer網絡,提出一種鈦板缺陷渦流檢測圖像分割方法。

1 SegFormer概述

SegFormer是基于Transformer的高效率、高性能、輕量級的分割模型。圖1為鈦板缺陷渦流檢測圖像分割所采用的SegFormer網絡結構,它主要由編碼器和解碼器兩部分組成。編碼器利用金字塔思想,采用分級Transformer Block[11]生成高分辨率粗特征和低分辨率細特征;解碼器為一個輕量級的多層感知機(Multilayer Perceptron,MLP)解碼器,融合這些多級特征,生成最終的分割掩膜。SegFormer具有相同的結構但不同體量的6個網絡模型SegFormer-B0~SegFormer-B5。SegFormer-B0結構緊湊、效率高,是用于快速分割的輕量級網絡模型;而SegFormer-B5是用于最佳性能的最大模型,編碼器規模最大,雖然具有更高的精度,但是對訓練環境的硬件有較高要求。因此,筆者選取參數數量最少的SegFormer-B0網絡模型,后續僅對SegFormer-B0進行介紹。

SegFormer-B0模型參數見表1[16]。

1.1 SegFormer的編碼器

SegFormer的編碼器由4個Transformer Blocks組成,輸入的圖像在經過每個Transformer Block之后得到的特征圖的分辨率分別變為輸入圖像的、、、,這4個不同分辨率的特征圖之后會在解碼器中進行融合。如圖2所示,每一個Transformer塊均由Efficient Self-Attention模塊、混合多層的前饋神經網絡(Mix Feed Forward Networks,Mix-FFN)模塊[17]和Overlapped Patch

Merging[11]模塊構成。

圖2 Transformer Block結構

Efficient Self-Attention類似于普通的Self-Attention[18]結構,但是使用Sequence Reduction[19]以減少計算的復雜度。假設進入該模塊的圖像數據維度為N×C,即N個維度為C的向量,且N=H×W,H、W分別為圖像的垂直像素數與水平像素數,根據Self-Attention的計算式[18]:

Attention(Q,K,V)=SoftmaxV(1)

可以得到此時的計算復雜度為O(N)。

其中,Attention(Q,K,V)為最終得到的注意力的值;矩陣Q、K、V分別是查詢向量(Query Vector)矩陣、鍵向量(Key Vector)矩陣和值向量(Value Vector)矩陣,Q為編碼器輸出的特征圖,K為解碼器輸出的特征圖,二者都代表著輸入圖像的特征,V為輸入圖像;Softmax為歸一化指數函數;d為一個常數,d的設置是用于平衡“Q和K點積的量級會隨著它們的維度的增加而增加,導致將Softmax函數推到具有非常小的梯度的區域”這一問題,所以只是一個幫助數值量級轉換的標量,會根據具體情況設置,甚至在量級低時可以刪除d。

對于缺陷圖像分割來說,分割的目的是找到圖像中和缺陷描述相關的局部圖像,缺陷部分的特征為Q和K,整個被分割的圖像就為V。

如果輸入的數據是高分辨率圖像,會使得計算量非常巨大。Sequence Reduction用以下方法減少序列的長度:

=Reshape,C·r(K)(2)

K=Linear(C·r,C)()(3)

輸入維度為N×C矩陣K,通過一個常數r將矩陣K重塑成×(C·r)維。然后通過線性變換,將(C·r)變為C,這樣矩陣K的維度就變成了×C,計算復雜度就成為了O。每個Transformer Block中r的值見表1。

如圖1、2所示,Overlapped Patch Merging使用ViT[10]中的Patch Merging方法可以將H×W×C的特征合并成×C的向量來降低特征圖分辨率,能夠更好地提取多級特征,用同樣的方法可以得到剩下3個特征圖,這些不同分辨率的特征圖之后會在解碼器里進行融合。

1.2 SegFormer的解碼器

解碼器中MLP Layer的結構如圖3所示,其中,i表示第i個Transformer Block的輸出。

圖3 MLP Layer結構

從圖1~3可以看出,來自編碼器的4個不同分辨率的特征圖經過一次MLP Layer后融合在一起,再經過一次MLP后獲得最終結果。最終的結果也稱為預測掩膜,預測掩膜覆蓋于被測試圖像表面得到預測結果,提取出的掩膜就是分割的最終結果。

這個輕量級的解碼器結構避免了過多的計算量和復雜的調參工作,減少了對高分辨率圖像的訓練時間。

2 基于SegFormer的鈦板缺陷渦流檢測圖像分割

在設置好SegFormer的訓練參數后,將訓練集中的檢測圖像及其標注圖像逐一輸入到SegFormer中以進行訓練。訓練完畢后,導出訓練好的SegFormer*。將測試集輸入SegFormer*,得到對應的掩膜。然后,再次對掩膜進行邊緣提取,得到最終的分割結果。

基于SegFormer的鈦板缺陷電渦流檢測圖像分割方法的具體流程如下:

a. 初始化。設置SegFormer網絡訓練參數,輸入鈦板表面缺陷檢測圖像數據集。

b. 零補充。輸入一張分辨率為H×W維度為C的檢測圖像,若H與W不能被4整除,則進行零補充,使其可以被4整除。

c. Transformer編碼階段1。將經過步驟b處理的檢測圖像輸入第1層Transformer Block中,進行下采樣,獲得分辨率×維度為C的特征圖,并將多級特征圖傳遞給MLP Layer。

d. Transformer編碼階段2。將步驟c得到的多級特征圖輸入第2層Transformer Block中,進行下采樣,獲得分辨率×維度為C的特征圖,并將多級特征圖傳遞給MLP Layer。

e. Transformer編碼階段3。將步驟d得到的多級特征圖輸入第3層Transformer Block中,進行下采樣,獲得分辨率×維度為C的特征圖,并將多級特征圖傳遞給MLP Layer。

f. Transformer編碼階段4。將步驟e得到的多級特征圖輸入第4層Transformer Block中,進行下采樣,獲得分辨率×維度為C的特征圖,并將多級特征圖傳遞給MLP Layer。

g. MLP解碼階段1。將步驟c~f的4張特征圖分別輸入MLP Layer,分別通過一次MLP后,進行一次上采樣,獲得4張分辨率×維度為C的特征圖。

h. MLP解碼階段2。將步驟g獲得的4張特征圖在通道方向融合在一起,通過一次MLP后,生成預測掩膜。

i. 重復步驟b~g,直至計算不收斂。

3 實驗和結果

鈦板缺陷渦流C掃描檢測所用檢測系統如圖4所示,由高速電磁檢測儀、渦流探頭、步進電機控制器、三維移動平臺與PC上位機組成。其中,高速電磁檢測儀[20]由曼徹斯特大學電氣與電子工程學院成像與信號處理小組自主研發,該儀器可在5~200 kHz頻率下工作,并以100 kbit/s的速率進行數字解調,信噪比最高可達96 dB;平臺控制器用于控制三維移動平臺在試件表面移動的過程,三維移動平臺用于控制渦流檢測探頭在被檢試件表面移動。

圖4 實驗平臺

渦流探頭的結構如圖5所示,具體參數和尺寸見表2。實驗采用的渦流探頭為圓柱形激勵,線圈由線徑為0.08 mm的漆包銅線繞制而成,激勵線圈和接收線圈繞制的匝數分別為160、200匝。

圖5 電渦流探頭的結構

表2 電渦流探頭參數

待測試件尺寸為100 mm×100 mm×3 mm的TA2鈦板(圖6),該鈦板試件表面平均分布有9個模擬實際金屬試件中疲勞裂紋的刻槽,鈦板表面缺陷的具體參數見表3,TA2鈦板每一行缺陷的長度分別為4、8、12 mm;每一列缺陷的深度分別為

0.5、1.5、2.5 mm。

圖6 TA2鈦板

表3 試件缺陷參數

使用渦流探頭對試件進行C掃描時,探頭的提離高度為0.5 mm;x、y軸方向步進為0.4 mm與1.25 mm;每個裂紋掃描點數為40×20,區域為

15.6 mm×23.75 mm。為了擴充圖像樣本,對試件中9種缺陷在9個不同起始位置下重復掃描1次,共獲得81組實驗數據,掃描方式如圖7所示。

圖7 掃描方式示意圖

試件缺陷處電導率與磁導率變化會引起渦流探頭感應電壓虛實部變化,將這一變化進行繪圖,用圖像上顏色深淺程度的變化來表示,圖像中顏色或灰度的深淺代表了鈦板的損傷程度,顏色或灰度越深的位置表示材料損傷越嚴重。為了使檢測信號更加明顯,使用無缺陷處的信號作參考,用檢測信號減去無缺陷處的信號。數據預處理后發現,電壓實部在缺陷中心位置達到最小,而虛部變化剛好相反[21]。同時還發現,相同缺陷的實部峰-峰值平均比虛部大一個數量級。這是因為實部變化主要由渦流損耗引起,與被測材料的電導率有關,而虛部主要由磁導率決定[20],鈦作為一種非鐵磁性材料,缺陷引起的磁導率變化很小。根據以上分析,感應電壓實部變化范圍較大,能更好地反映缺陷信息,因此本次實驗全部使用實部信息進行處理與成像。

所獲得81組數據通過Matlab軟件進行繪圖獲得的圖像樣本如圖8所示。另外,為了更好地對缺陷長度進行定量,利用Matlab進行圖像像素插值,使所成圖像分辨率達到2 375×1 560。

采用麻省理工計算機科學和人工智能實驗室研發的開源圖像標注工具Labelme[22]進行每個圖像標注工作。圖像標注是指給原始圖像添加標簽的過程,這些標簽幫助深度學習模型在訓練完成后,遇到從未見過的圖像時也能準確識別圖像中的內容。整幅圖像表示的渦流C掃描區域長寬為23.75 mm×15.6 mm,因此可以使用軟件像素尺(Pixel Ruler)輔助尋找檢測圖像上符合缺陷實際長度與寬度的邊緣,逐像素地將缺陷邊緣標記出,形成一個封閉區域,此區域為缺陷的最終標簽。圖9顯示了訓練集中隨機一張圖像的標注結果。

從81個圖像樣本中隨機抽出60個樣本作為

圖9 渦流C掃描圖像標注結果

訓練集,剩余21個樣本作為測試集。但在隨機選取前,需保證測試集和訓練集中不同編號的缺陷圖像至少有1張。為了擴充樣本,采用剪切與插值手段,將訓練集擴充為300個樣本,測試集擴充為105個樣本。

本研究采用經典網絡模型Deeplabv3+[23]、與SegFormer發表時間相近的分割模型OCRNet[14]以及和SegFormer同一網絡架構的Swim Transformer[15]

作為對比模型,并與SegFormer形成對比實驗。4個模型設置的訓練參數見表4。

模型的訓練時間會因電腦配置及軟件版本的不同而有所區別,本研究中的所有訓練都在Windows 10操作系統下運行,配置為2.20 GHz六核處理器,16 GB RAM,NVIDIA GeForce GTX 1060顯卡,6 GB顯存。

為了進行系統比較,采用MIoU、平均精度(Mean Accuracy,MAcc)和訓練時間3個指標來衡量所有網絡模型的性能。假設分割的對象有k類,那么MIoU和MAcc可由下式表示:

MIoU=(4)

MAcc=(5)

其中,P代表正樣本,簡單來說就是組成所要分割缺陷的像素就是正樣本;相反,剩下的與缺陷無關的背景部分為N,也即負樣本;TP為真正樣本,表示預測結果為正樣本,實際值也為正樣本,預測正確;FN為假負樣本,表示預測結果為負樣本,實際值為正樣本,預測錯誤;FP為假正樣本,表示預測結果為正樣本,實際值為負樣本,預測錯誤;TN為真負樣本,表示預測結果為負樣本,實際值也為負樣本,預測正確;MIoU越大,正樣本分割正確的像素占除去負樣本分割正確的像素后的總像素的比值越大,代表方法的分割效果越好;MAcc越大,正負樣本分割正確的像素占總像素的比值越大,代表方法的分割精度越高。

各模型分割指標詳見表5,可以看出,SegFormer相比Deeplabv3+、Swim Transformer和OCRNet,有著較高的MIoU和MAcc。但從訓練所需時間上來看,SegFormer所需的時間是遠少于其他幾種網絡的。

表5 各模型分割指標

在測試集中每個缺陷隨機選取一張圖像,使用SegFormer進行分割,結果如圖10所示。

為了進一步驗證SegFormer方法的有效性,將SegFormer分割結果與分割算法Otsu[24]、Canny[25]

以及SLIC超像素算法和DBSCAN算法結合的分割算法SLICD&BSCAN[6]進行對比。采用估計誤差(Evaluation Error,EE)進行分割性能評估,估計誤差EE的定義為:

EE=×100%(6)

其中,估計長度EL(Evaluation Length)代表所用方法分割后,對分割出的區域進行長度的測量所獲得的長度信息,mm;真實長度TL(True Length)為物理意義上使用測量工具對現實的裂紋長度進行測量所獲得的長度信息,mm。

從測試集中隨機選取每個缺陷的檢測圖像各1張,共9張圖像,這9張圖像的分割結果如圖11和表6所示,可以看出,SegFormer相對于3個非深度學習分割算法,具有估計誤差較小的優勢,且從整體形狀來看,分割結果的寬度明顯更接近試件缺陷的真實寬度。

4 結束語

針對TA2鈦板表面缺陷圖像中缺陷區域邊緣模糊、對比度低、難以實現缺陷長度的準確估計的問題,提出一種基于SegFormer的鈦板缺陷渦流檢測圖像分割方法,構建了基于SegFormer的鈦板缺陷電渦流檢測圖像分割框架并進行訓練與測試。實驗表明,相比基于Deeplabv3+、OCRNet和Swim Transformer的分割模型,SegFormer具有0.934 8的MIoU和0.966 6的MAcc,略優于Deeplabv3+以及Swim Transformer,遠高于OCRNet。從訓練所需時間上來看,SegFormer所需訓練時間遠少于其他幾種網絡,具有較快的訓練速度??梢暬投炕Y果表明,與Otsu、Canny和SLIC&DBSCAN這3種非深度學習方法相比,SegFormer具有更小的缺陷長度估計誤差。

本研究的后續工作主要針對以下3方面進行:

a. 結合渦流C掃描圖像的特點,優化SegFormer分割模型,在提高分割效果的同時,增強模型的抗干擾能力。

b. 本文僅進行了TA2鈦板表面裂紋缺陷圖像分割,后續將進行其他金屬和其他類型缺陷的檢測圖像分割,以進一步驗證方法的普適性。

c. 開發一種可集成在渦流檢測裝置中的金屬表面缺陷的實時成像與分割系統,用戶在利用檢測裝置對金屬表面缺陷進行檢測后,可實時獲得缺陷的形狀與尺寸信息。

參 考 文 獻

[1] 金和喜,魏克湘,李建明,等.航空用鈦合金研究進展[J].中國有色金屬學報,2015,25(2):280-292.

[2] 李明利,舒瀅,馮毅江,等.我國鈦及鈦合金板帶材應用現狀分析[J].鈦工業進展,2011,28(6):18-21.

[3] 黃德明,楊雄飛,韋青峰,等.TA17合金冷軋板材表面條狀裂紋缺陷成因分析[J].鋼鐵釩鈦,2013,34(1):26-30.

[4] CHEN X, HOU D B, ZHAO L,et al. Study on defect classification in multi-layer structures based on Fisher linear discriminate analysis by using pulsed eddy current technique[J].NDT&E International,2014,67:46-54.

[5] 薛志文,楊傲雷,費敏銳,等.用于金屬板圖像分割的自適應閾值算法[J].電子測量技術,2017,40(7):85-89.

[6] 陳宸,葉波,鄧為權,等.基于SLIC超像素算法和密度聚類的TA2鈦板表面缺陷定量化評估研究[J].電子測量與儀器學報,2019,33(11):128-135.

[7] BAO Y Q, SONG K C, LIU J, et al.Triplet-Graph Reasoning Network for Few-Shot Metal Generic Surface Defect Segmentation[J].IEEE Transactions on Instrumentation and Measurement,2021,70:1-11.

[8] 張琦,葉波,羅思琦,等.基于改進生成對抗網絡的鋁板缺陷電渦流檢測圖像分割[J].激光與光電子學進展,2021,58(8):337-345.

[9] SUN K, QI P, TAO X, et al.Vector magnetic field imaging with high-resolution TMR sensor arrays for metal structure inspection[J].IEEE Sensors Journal,2022,22(14):14513-14521.

[10]? YUE X Y,SUN S Y,KUANG Z G,et al.Vision Transformer with Progressive Sampling[C]//International Conference on Computer Vision(ICCV).Piscataway,NJ:IEEE,2021:377-386.

[11]? VASWANI A, SHAZEER N, PARMAR N,et al.Attention is all you need[J].Advances in Neural Information Processing Systems, 2017, 30:5998-6008.

[12]? ?ZHOU B L, ZHAO H, PUIG X,et al. Scene parsing through ADE20K dataset[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recogn-

ition.2017:633-641.https://www.zhangqiaokeyan.com/academic-conference-foreign_meeting_thesis/0705011

251997.html.

[13]? ?SUN K,XIAO B,LIU D,et al.Deep High-Resolution Representation Learning for Human Pose Estimation[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Piscataway,NJ:IEEE,2019:5686-5696.

[14]? ?YUAN Y,CHEN X,WANG J.Object-contextual repr-

esentations for semantic segmentation[C]//European Conference on Computer Vision(ECCV).Glasgow,MT,UK:ECCV,2020:173-190.

[15]? LIU Z,LIN Y T,CAO Y,et al.Swin transformer:Hierarchical vision transformer using shifted windows[C]//IEEE/CVF International Conference on Computer Vision(ICCV).Piscataway,NJ:IEEE,2021:9992-10002.

[16]? ?XIE E,WANG W,YU Z,et al.SegFormer:Simple and efficient design for semantic segmentation with transformers[C]//Neural Information Processing Systems(NIPS).New Orleans,LA,USA:NIPS,2021:12077-12090.

[17]? ?ISLAM M A,KOWAL M,JIA S,et al.Global pooling,more than meets the eye:Position information is encoded channel-wise in cnns[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision.Piscataway,NJ:IEEE,2021:793-801.

[18]? ?FU J,LIU J,TIAN H,et al.Dual attention network for scene segmentation[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.Piscataway,NJ:IEEE,2019:3146-3154.

[19] WANG W,XIE E,LI X,et al.Pyramid vision transformer:A versatile backbone for dense prediction without convolutions[C]//Proceedings of the IEEE/CVF international conference on computer vision.Piscataway,NJ:IEEE,2021:568-578.

[20]? ?XU H Y,AVILA J R S,WU F F,et al.Imaging X70 weld cross-section using electromagnetic testing[J].NDT&E International,2018,98:155-160.

[21] 包俊,葉波,王曉東,等.基于SSDAE深度神經網絡的鈦板電渦流檢測圖像分類研究[J].儀器儀表學報,2019,40(4):238-247.

[22] TORRALBA A,RUSSELL B C,YUEN J.Labelme:Online image annotation and applications[J].Proceedings of the IEEE,2010,98(8):1467-1484.

[23]? ?CHEN L,ZHU Y,PAPANDREOU G,et al.Encoder-Decoder with atrous separable convolution for sema-

ntic image segmentation[C]//European Conference on Computer Vision(ECCV).München,BAV,Germany:ECCV,2018:801-818.

[24]? ?OTSU N.A threshold selection method from gray-level histogram[J].IEEE Transactions on Systems Man Cy-

bernetics-Systems,1979,9(1):62-66.

[25] CANNY J.A Computational Approach to Edge Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8:679-698.

(收稿日期:2023-04-18,修回日期:2023-05-17)

Image Segmentation for Eddy Current C-scan Detection of

the Titanium Plate Defects Based on SegFormer

LI Zhaoyuana,b, YE Boa,b, ZOU Yangkunb,c,? Bao Junb,c,? CAO Hongguia,b

(a. Faculty of Information Engineering and Automation; b. Key Laboratory of Artificial Intelligence of Yunnan Province;

c. Faculty of Civil Aviation and Aeronautics, Kunming University of Science and Technology)

Abstract? ?For purpose of obtaining both shape and length information of the defects in eddy current inspection images, image segmentation becomes an important method. Due to the influence of edge effects, the edge fog and low contrast ratio of the defect area in eddy current Cscan image of TA2 titanium plate causes a significant difference between the estimated defect length after image segmentation and the actual value and its difficult to accurately estimate defect length through image segmentation methods. In response to this issue, a SegFormerbased image segmentation method for eddy current testing of the titanium plate defects was proposed. Firstly, having the eddy current Cscan imaging used to obtain a dataset of surface crack defect detection images for TA2 titanium plates; and then, having the structural composition of the SegFormer network based to design a segmentation framework and process for defect eddy current detection images of titanium plates and setting network parameters; and finally, having the titanium plate surface crack defects detection image dataset employed to train and test four segmentation models, including having average intersection and union ratio, average accuracy and training time adopted to evaluate their segmentation effects. Experimental results show that, as compared to Deeplabv3+, Swim Transformer and OCRNet, the SegFormer has better segmentation performance and faster training speed. The visualization and quantification results indicate that, compared with nondeep learning methods, this scheme has smaller defect length estimation error.

Key words? ?deep learning, SegFormer, titanium plate defect, eddy current testing , image segmentation

猜你喜歡
圖像分割深度學習
計算機定量金相分析系統的軟件開發與圖像處理方法
有體驗的學習才是有意義的學習
一種改進的分水嶺圖像分割算法研究
電子商務中基于深度學習的虛假交易識別研究
MOOC與翻轉課堂融合的深度學習場域建構
大數據技術在反恐怖主義中的應用展望
一種圖像超像素的快速生成算法
基于魯棒性的廣義FCM圖像分割算法
深度學習算法應用于巖石圖像處理的可行性研究
基于深度卷積網絡的人臉年齡分析算法與實現
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合