多光譜圖像融合的IC 器件表面缺陷檢測

鄧耀華，黃志海

（廣東工業大學 機電工程學院，廣東 廣州 510006）

1 引言

IC 器件為現代技術和工業的發展做出了不可或缺的貢獻［1］。塑封IC 器件因其小尺寸、低成本、高性能的優勢，成為IC 行業的寵兒。然而，塑封為非氣密性封裝，封裝過程十分復雜，在實際塑封過程中某環節稍有差錯，就會誘發各類表面缺陷，對IC 器件的可靠性和使用壽命構成嚴重威脅［2］。根據形成原因和特點，缺陷可分為劃痕、異物、凹坑和崩邊四類［3］。缺陷特征表現出低對比度、形狀各異等復雜特性，導致檢測環境光照不穩定，IC 器件的缺陷漏檢率一直高居不下［4］。

目前在電子工業缺陷檢測中，大部分視覺檢測方法僅關注RGB、紅外圖像或其他單一成像形式的輸入。Chao 等［5］提出了一種以單RGB圖像輸入的圖像特征和多級圖像分割的IC 器件表面缺陷檢測方法，但因缺陷特征復雜，光照不均勻，通常會產生不同的圖像對比度，僅僅依賴RGB 圖像很難將缺陷和背景區分開來。張稼等［6］提出了一種基于線激光鎖相熱成像的多通道數字集成芯片表面缺陷檢測方法，將外部熱激勵源應用于目標，采用主成分分析法提取缺陷特征，實現芯片缺陷檢測。但溫度分布差異是紅外熱成像缺陷檢測的重要前提，因此，溫度差異不明顯的缺陷常常淹沒在紅外圖像中。近年來，基于多光譜圖像融合的表面缺陷檢測廣泛應用于IC 領域，Cong 等［7］提出基于輪廓線主方向的印刷電路板缺陷鎖相熱成像與可見光圖像配準融合方法，有效地增強缺陷特征，實現了光熱融合檢測。Li 等［8］提出一種基于可見光和熱紅外光譜中偏振信息融合的印刷電路缺陷檢測方法，其檢測平均精度優于最先進的AOI 光學檢測系統。

圖像配準是進行高質量圖像融合的重要前提。在基于點特征的圖像配準中，可見光與紅外圖像因尺度不一致和對比度反轉所造成的圖像間差異大，特征相似性低是圖像配準的難點。針對這一難點，江澤濤等［9］通過構建高斯金字塔來解決 ORB（Oriented FAST and Rotated BRIEF）算法的尺度不變性問題，改善了原算法在圖像尺度不一致時誤匹配率高的缺陷，但高斯金字塔尺度會導致空間邊緣弱化，圖像細節丟失。徐海洋等［10］利用相位一致性提取ORB特征點描述符相似性高的穩定邊緣結構，改善了可見光與紅外圖像對比度反轉帶來的差異性，提高了配準精度。

多尺度變換的圖像融合框架廣泛應用在已配準的可見光與紅外圖像融合中。非下采樣剪切波變換（Non-Subsample Shearlet Transform，NSST）具有平移不變性，避免了偽吉布斯現象，在圖像融合領域展現出良好的性能。研究表明［11-12］，NSST 能夠有效提取細節紋理信息，得到高質量的融合圖像。合適的融合規則同樣對融合質量至關重要，傳統融合規則包括加權平均法、絕大值取大和區域能量和等［13］，但這些規則未能從全局上考慮區域間像素相關性，容易導致圖像中重要信息丟失，圖像顯著特征不夠突出。Li 等［14］利用顯著性檢測的低頻融合規則，有效地解決了融合過程中亮度和細節信息丟失的問題，增強了顯著特征的對比度。Zhang 等［15］利用脈沖耦合神經網絡（Pulse Coupled Neural Network，PCNN）將圖像全局信息聯系起來，融合圖像在主客觀評價上有較好的效果。

上述文獻表明，基于光譜動態范圍較低的單一圖像輸入，不能同時呈現所有缺陷特征，甚至淹沒了部分弱缺陷。高精度缺陷檢測的重要前提是獲得高質量的圖像輸入。鑒于IC 器件表面缺陷在不同光譜下表現出易于檢測的互補特性，本文提出紅外與可見光圖像像素級融合的檢測方法，針對IC 器件表面缺陷可見光與紅外圖像在配準融合中存在的尺度不一致，對比度反轉和互補信息融合不充分等問題，引入圖像細節信息豐富的拉普拉斯金字塔和描述符重組策略改進ORB 圖像配準算法；以NSST 作為圖像分解工具，構建基于視覺顯著圖加權（Visual Significance Map，VSM）和參數自適應脈沖耦合神經網絡（PA-Pulse Coupled Neural Network，PAPCNN）的NSST 域圖像融合方法（NSST_VP）。利用不同光譜下的互補特性增強缺陷特征，為后續缺陷檢測提供高質量數據支撐，滿足檢測算法穩定性和缺陷檢測精度的需求。

2 原 理

基于多光譜圖像融合的IC 器件表面缺陷檢測方法的總體原理框架如圖1 所示。該方法主要分為圖像配準模塊、圖像融合模塊和缺陷檢測模塊3 部分。IC 器件的規則性和管腳區域豐富的角點特征為基于點特征進行圖像配準提供了有利條件，針對可見光和紅外圖像配準過程中存在的尺度不一致、對比度反轉等問題，在原始基于點特征的ORB 算法基礎上加入拉普拉斯金字塔和特征描述符重組的策略改進ORB 算法，計算出配準參數，以紅外圖像為參考對可見光圖像進行配準對齊。在圖像已配準的基礎上，為充分利用在可見光和紅外圖像中不同的缺陷表征能力，在NSST 域中分別設計融合包含圖像不同信息的低頻子帶和高頻子帶的融合規則，以實現最大化的融合圖像互補信息，通過NSST 逆變換得到高質量的融合圖像。最后，將融合圖像輸入YOLOv8s 檢測模型，得到IC 器件表面缺陷檢測結果。

3 基于改進ORB 的IC 器件表面缺陷多光譜圖像配準

3.1 拉普拉斯金字塔尺度空間構建

為解決在圖像目標尺度不一致的場景下配準精度低的問題，在ORB 算法中構建拉普拉斯金字塔（LP）尺度空間，在金字塔的各層級提取不同尺度特征點。LP 金字塔通過計算高斯金字塔不同層之間的差異來實現，高斯金字塔為：

式中：當g=1 時，G0(x，y)為原圖像，σ2為高斯核的方差。σ2的大小與圖像的平滑程度成正相關，σ值越大說明圖像的平滑程度越高，即圖像越模糊，表示圖像的高斯尺度。down()為圖像的下采樣操作。

LP 金字塔的每一層Ll(x，y)是由高斯金字塔相鄰兩層之間的差值構成的。具體公式為：

式中：Expand(Gg+1(x，y))表示對高斯金字塔的第g+1 層進行插值拓展，使它與第g層具有相同的尺寸。

3.2 IC 器件表面缺陷圖像特征點判斷

Fast（Features from accelerated segment test）特征點提取算法具有計算速度快、實時性好等特點，在LP 金字塔各層級上使用Fast 算法提取多尺度特征點。Fast 算法中特征點的定義是如果一個像素的灰度值遠大于或小于一定范圍的像素灰度值和一定數量的像素灰度值，則該點可能成為特征點。若圓上有K個連續像素Ik，以o為圓心，圓的半徑由圖像分辨率決定，k=1，2，…，K，判斷是否為特征點的方法如下：

式中：Ik是圓上一個點的像素值，Io是點o的像素值。當CRF=1 的個數大于某個特定的固定值時，根據圖像的灰度分布選擇合適的閾值t，o為候選點。如圖2 所示，Fast 使用快速高效的外圍像素進行判斷。Fast 判斷圖形中點o為特征點的過程如下：一個圓心為o，半徑為3 個像素的圓上有16 個像素。如果有8 個連續的像素值大于Io或小于Io，則o點為特征點。

圖2 特征點判斷Fig.2 Feature point judgment

3.3 特征描述符構建與重組方法

特征描述是特征匹配的基礎，二進制描述符的速度比SIFT［16］和SURF［17］快數十倍甚至百倍。BRIEF（Binary Robust Independent Elementary Features）算法是通過特定的方法在關鍵點周圍選擇一些點對，點對比較產生的二進制碼串就是描述符。獲取二進制位串的過程是比較隨機點對的灰度值：

式中p(x)表示x點的像素值p。對于特征點o，其特征描述表示為基于領域內n個像素點對的n個二元特征向量：

式中：n為特征向量的長度，考慮到描述符的生成速度、分布和準確性，取n=256。

為解決BRIEF 算法不具有旋轉不變性的問題，采用灰度質心法使得描述子具備旋轉不變性，在一個小的圖像塊中得到：

根據式（6）可以得到0 階矩m00和1 階矩m01，m10，通過矩可以找到圖像塊的質心坐標：

連接圖像塊的幾何中心O和質心C，得到一個方向向量OC，特征點方向為方向向量OC與X軸的夾角：

為了獲得n位的描述，需要選擇n對待測試點集，引入一個2×n矩陣Q可以定義為：

通過灰度質心法得到特征點的旋轉方向θ后，求到相應的旋轉矩陣Rθ，進而構造旋轉匹配對矩陣Qθ：

旋轉不變性描述符（Rotated BRIEF，rBRIEF）為：

為解決可見光與紅外圖像配準中存在的對比度反轉問題，引入描述符重組策略，使θ=θ+θr，θr為反轉角。經實驗規律找出反轉角θr=π，則重組后的旋轉不變性描述符為：

描述符距離表示兩個特征點之間的相似程度，因rBRIEF 描述符是二進制的，使用漢明距離作為相似性度量，相比于其他的相似性度量方式大大提高了計算效率，同時也降低了內存消耗。兩個二進制字符串之間的漢明距離指的是不同數字的個數。對于可見光圖像中任意一個特征點，在紅外圖像漢明距離最小的特征點，認為這兩個特征點是匹配的。最后，通過RANSAC 算法過濾誤匹配特征點對，根據正確匹配的特征點對求得正確匹配點對之間的配準參數矩陣。

4 基于NSST_VP 的IC 器件表面缺陷多光譜圖像融合

為了突出IC 器件表面缺陷的顯著特征，以NSST 為圖像分解工具，引入視覺顯著圖構建融合權重矩陣指導低頻子帶融合；同時，為了增強IC 器件表面缺陷邊緣細節特征，統籌圖像像素全局相關性，采用參數自適應脈沖耦合神經網絡融合高頻子帶，最后通過NSST 逆變換得到融合圖像。

NSST_VP 圖像融合原理框架如圖3 所示。為了充分提取紅外與可見光圖像的細節信息，選用NSST 作為融合算法的圖像分解與細節信息提取工具，NSST 通過把標準的剪切波濾波器從偽極化坐標系統映射到笛卡爾坐標系統，再通過傅里葉變換證明其操作可以通過二維卷積完成，避免下采樣操作，從而具備平移不變性。為了方便表述，定義TNSST()為NSST 函數，其變換表達式為：

圖3 NSST_VP 圖像融合原理框架Fig.3 Framework of NSST_VP image fusion principle

式中：ID為待分解圖像，GD，b和GD，h，t，s分別為待分解圖像的低頻和高頻子帶，D∈{R，V}，t，s分別為分解尺度與方向，T，St分別為分解的最大尺度與其對應方向數，{GD，b，GD，h，t，s，t=1，2，…，T；s=1，2，…，St}為待分解圖像各尺度不同方向的分解系數集合。通過式（13）分解的紅外圖像高頻子帶和低頻子帶分別為GR，h，t，s，GR，b，分解的可見光圖像高頻子帶和低頻子帶分別為GV，h，t，s，GV，b。

圖像的低頻子帶反映圖像中的較慢變化和較大尺度的特征，包含紅外與可見光圖像的全局信息，決定了融合圖像的亮度和對比度，采用視覺顯著圖（VSM）加權融合［18］規則對低頻子帶部分進行融合。通過計算可見光或紅外圖像某一像素p的灰度值gp和其他像素灰度值q的差值，獲得可見光或紅外圖像像素p的顯著值：

式中：q為其他像素灰度值，Mq為灰度值為q的像素個數，G為灰度級（灰度圖像為 256）。通過標準化，顯著值取值為[0，1]。

由式（14）得出紅外圖像和可見光圖像的顯著值，分別為VR和VV，則可以計算得到低頻子帶的融合權重：

在獲得融合權重的情況下，低頻融合規則為：

圖像高頻子帶反映了圖像中的細節和局部變化信息，為增強圖像邊緣細節特征，統籌圖像像素全局相關性，采用PA-PCNN 決策融合規則對高頻子帶進行融合。PCNN［19］是一個由若干神經元相互鏈接組成的反饋網絡，反饋網絡中的每個神經元由接收單元、調制單元和脈沖發生器3 部分組成。簡化的PCNN 數學模型如下：

式中：Sij為(i，j) 位置上的輸入圖像，Fij(n) 和Lij(n)分別為第n次迭代中(i，j)位置上神經元的反饋輸入和鏈接輸入，VL為鏈接輸入的振幅增益，為鏈接權重矩陣，M×N為鏈接域范圍，Uij(n)為神經元內部活動項，β為神經元的內部活動鏈接系數，Eij(n)為動態閾值，Yij(n)為神經元的脈沖輸出，VE為動態閾值函數的幅度系數，αf和αe分別為反饋輸入和動態閾值的時間衰減系數。

PCNN 模型性能取決于參數的設置，即αf，β，VL，αe和VE。為減少手動設置參數的個數，令λ=βVL表征加權鏈接強度，構建自適應脈沖耦合神經網絡模型（PA-PCNN），其神經元結構如圖4 所示，自適應計算過程為：

圖4 PA-PCNN 模型神經元結構Fig.4 PA-PCNN model neuron structure

式中：σ(S)為圖像S的標準差；S'和Smax分別為輸入圖像的歸一化像素閾值和圖像的最大像素值。

PA-PCNN 中的各個神經元會根據上述原理來判斷輸入信號的情況，決定是否點火。點火是指受到激發的神經元在Uij(n)>Eij(n-1)的條件下，觸發一個脈沖輸出。圖像紋理信息豐富的高頻子帶GR，t，h，s和GV，t，h，s，對PA-PCNN設定點火進行計數，根據總次數來融合高頻子帶。

定義Txy(n)為GD，t，h，s在(x，y)處的點火次數：

設初值Txy(0)=0，則紅外圖像和可見光圖像的高頻子帶在(x，y)處的點火次數分別記為TR，xy(n)，TV，xy(n)，高頻子帶的融合規則為：

最后，通過NSST 逆變換重構低頻子帶融合子帶圖像和高頻子帶融合圖像得到融合圖像：

5 實驗結果與分析

5.1 數據獲取和預處理

圖5 為搭建的紅外與可見光圖像融合檢測實驗臺。實驗臺由可調節可見光源、可調節相機支架、帶微距鏡頭的K20 紅外熱成像儀與OPT-CC1-M050-GG1 型面陣相機組成，采集的可見光和紅外圖像的分辨率為640×480。將熱激勵源的最高輸出溫度設置為40 ℃，先用熱激勵源對IC 器件表面加熱1～2 s，將IC 器件表面溫度控制在其正常工作溫度70 ℃以下，再在實驗臺下采集IC 器件的可見光-紅外圖像對，采集的可見光圖像和紅外圖像常常伴隨很多噪點，因此進行灰度化和雙邊濾波預處理，壓縮圖像通道，抑制噪聲并保留圖像目標的邊緣特征信息。

圖5 可見光-紅外圖像對采集實驗臺Fig.5 Test bench of visible-infrared image pair acquisition

5.2 圖像配準結果與分析

為驗證本文提出的改進ORB 算法的優越性，選取3 組不同尺度的IC 器件可見光與紅外圖像和ORB 算法進行配準對比實驗。從主觀視覺效果和客觀評價指標綜合評價圖像配準質量。

主觀視覺配準效果如圖6 所示。從圖6 中可以看出，ORB 算法出現明顯的誤匹配，可見光與紅外圖像目標尺度差別越大，誤匹配越嚴重；改進的ORB 算法在3 組不同尺度的圖像配準中都取得了較好的匹配結果，能夠適應圖像尺度不一致下IC 器件可見光與紅外圖像配準，并很好地解決了因IC 器件可見光與紅外圖像中管腳區域對比度反轉造成特征描述符相似性低的問題，提高了特征點匹配的準確率。

圖6 圖像配準結果對比Fig.6 Comparison of image registration results

圖像配準客觀評價分析中，采用匹配點對數量、配準精度（Precision，P）和均方根誤差（Root mean square error，RMSE）評價指標［20］進行綜合評價，P表示圖像配準中特征點匹配的精確度；RMSE 表示配準后圖像特征點與真實特征點之間的偏差，RMSE 越小表明配準效果越好。對3組不同尺度的紅外與可見光圖像配準結果對比如表1 所示，本文改進的ORB 算法在正確匹配到的特征點對的數量上比ORB 算法更多。本文改進的ORB 算法的配準平均精度為87.8%，比ORB 算法的配準平均精度提高了62%，同時RMSE 的平均值為1.67，比ORB 算法降低了91.2%，說明了本文改進的ORB 算法的優越性。

表1 圖像配準的客觀評價Tab.1 Objective evaluation of image registration

5.3 圖像融合結果與分析

為體現本文所提圖像融合算法的優越性，在用本文所提出的改進ORB 圖像配準對齊算法對采集到的可見光-紅外圖像對進行配準對齊的基礎上，選用雙樹復小波變換融合［21］（Dual-Tree Complex Wavelet Transforms，DTCWT）、非下采樣輪廓波變換融合［22］（Non-Subsampled Contourlet Transform，NSCT）、曲線變換融合［23］（Curvelet Transforms，CVT）等常見圖像融合方法進行實驗對比，從主觀視覺效果和客觀評價指標綜合評價融合圖像質量。

在主觀視覺效果上，如圖7 所示，劃痕和凹坑在可見光圖像中有著更明顯的特征，但因缺陷細微，紅外圖像難以反映溫差變化；具有不同熱傳導率的異物和崩邊缺陷在紅外圖像中有著更高的對比度。DTCWT 和CVT 兩種融合方法的融合圖像對比度和清晰度較低、邊緣輪廓模糊、圖像整體偏暗、細微的凹坑缺陷被淹沒，基于CVT融合圖像存在明顯的偽影現象；基于NSCT 融合方法的融合圖像冗余了紅外圖像信息，整體過亮，存在缺陷目標與邊緣輪廓模糊的現象，對比度低，丟失了較多的可見光圖像細節信息。本文所提的NSST_VP 融合圖像在各類表面缺陷中都有著較高的清晰度和對比度，充分融合了可見光圖像的細節紋理信息和紅外圖像的熱輻射信息，更好地突出低對比度缺陷特征，為后續缺陷檢測提供高質量的數據支撐，同時也反映了前面所提的改進ORB 圖像配準方法的有效性。

在圖像質量客觀評價分析中，可見光與紅外圖像的融合質量常用標準差（Standard Deviation，SD）、空間頻率［24］（Spatial Frequency，SF）、信息熵［25］（Entropy，EN）和平均梯度［26］（Average gradient，AG）等指標對融合結果進行客觀評價。SD 用于評價圖像中的像素值分布情況；SF用于評價圖像像素的總體活躍程度；EN 用于評價融合圖像信息量大??；AG 用于評價融合圖像的清晰度，所有的客觀評價指標與融合圖像質量成正比。對20 組融合圖像的客觀指標取平均值得到表2 的結果，由表2 可以看出，相比于可見光和紅外圖像，以及其他3 種融合方法，本文方法在除標準差外的客觀指標值上有明顯提升，這與主觀視覺評價的結果相一致。紅外圖像與NSCT融合圖像的標準差較大是因為紅外圖像的對比度高。由此表明，本文方法所獲取的融合圖像總體上所含信息量更豐富，同時融合圖像的反差更大、清晰度和對比度更高、更有利于識別缺陷目標。通過主觀視覺評價以及客觀指標評價，充分證明本文提出的NSST_VP 方法融合質量優異，優于其他3 種融合方法。

表2 圖像融合質量的客觀評價Tab.2 Objective evaluation of image fusion quality

5.4 缺陷檢測結果與分析

為了更直觀地驗證紅外與可見光圖像融合檢測的效果，采用輕量化的SOTA 目標檢測模型YOLOv8s［27］進行表面缺陷檢測。本文主要針對4 種缺陷進行檢測，分別為劃痕、異物、凹坑和崩邊，在圖像配準融合的基礎上構建圖像數據集，其分布如表3 所示。模型訓練采用預訓練微調的方式，學習率采用余弦函數的衰減策略，模型訓練迭代次數為500 次，當驗證集上的loss 收斂和驗證集上的mAP 收斂時認為模型訓練已到達最優。采用平均精度（Average precision，AP）和均值平均精度（Mean Average precision，mAP）指標評估模型的檢測性能。

表3 數據集分布Tab.3 Dataset distribution

首先，在YOLOv8s 模型上分別測試了單可見光檢測（YOLOv8s-VS），單紅外檢測（YOLOv8s-IR）和紅外與可見光融合檢測的效果，進而證明紅外與可見光融合檢測的有效性。然后，在YOLOv8s 模型上分別測試雙樹復小波變換融合檢測（YOLOv8s-DTCWT）、基于非下采樣輪廓波變換融合檢測（YOLOv8s-NSCT）、基于曲線變換融合檢測（YOLOv8s-CVT）和本文提出的NSST_VP 融合檢測（YOLOv8s-NSST_VP）的效果，在采用本文所改進的ORB 圖像配準對齊的基礎上，進一步證明本文所提NSST_VP 融合方法的優越性。如圖8 所示，在檢測模型驗證集損失曲線中，各檢測模型在整個訓練過程中都能平穩地下降并收斂。融合檢測的loss 收斂值均比單可見光和單紅外檢測的loss 收斂值小，表明多光譜圖像融合檢測方法能夠學習到全面的特征，具有更好的泛化能力。在4 種不同融合檢測方法中，本文提出的YOLOv8s-NSST_VP 檢測模型的loss 曲線收斂值最小，表明可見光與紅外圖像配準融合方法能夠更好地融合互補信息，以獲得更全面的缺陷特征融合圖像。

圖8 驗證集損失曲線Fig.8 Loss curves of validation set

用YOLOv8s 檢測模型對4 類缺陷進行檢測，設定IOU=0.5，每類缺陷的平均精度（AP）和模型的均值平均精度（mAP）如表4 所示，YOLOv8s-VS 的mAP 為60.18%，YOLOv8s-IR 的mAP 為54.84%，YOLOv8s-DTCWT 的mAP 為70.10%，YOLOv8s-NSCT 的mAP 為62.80%，YOLOv8s-CVT 的mAP 為68.05%，YOLOv8s-NSST_VP 的mAP 為83.15%。單可見光圖像檢測中，崩邊、異物等低對比度缺陷的測試效果很差；單紅外圖像檢測中，劃痕和凹坑缺陷檢測精度很低，這是因為這兩種缺陷尺寸常常很小，在紅外圖像中很難反應缺陷與背景的溫度差異。在紅外與可見光融合方法的有效性對比實驗中，YOLOv8s-CVT 融合檢測凹坑缺陷的AP 為57.23%，因為大量的偽影噪聲會干擾凹坑缺陷的檢測；YOLOv8s-NSCT 融合檢測劃痕缺陷和凹坑缺陷的AP 分別為55.36%和40.42%，因為紅外圖像信息冗余，掩蓋了劃痕和凹坑特征；在YOLOv8s-DTCWT 的整體測試效果比NSCT和CVT 融合檢測方法要好，但整體圖像過暗，劃痕和崩邊缺陷檢測的AP 分別為65.32%，65.12%。YOLOv8s-NSST_VP 檢測方法明顯優于其他3 種融合方法，其中崩邊和異物缺陷檢測的平均精度分別達到了85.45%，88.72%。

表4 缺陷檢測結果Tab.4 Defect detection result

在面向IC 器件轉塔式測試分選設備中，其光照不穩定的惡劣檢測環境以及IC 器件本身的低對比度的復雜特性，通過將IC 器件可見光圖像和紅外圖像的互補信息融合在一起，更全面地表征了表面缺陷特征。以上研究結果表明，缺陷檢測的準確性、可靠性和靈敏度都得到了提高，顯著改進IC 器件的制造質量，同時也可考慮將IC 器件電信號的溫度極限測試集成到IC 器件轉塔式測試分選設備中，為實際應用提供更準確和高效的解決方案。

6 結論

本文研究多光譜圖像融合的IC 器件表面缺陷檢測方法，針對多光譜圖像存在的尺度不一致和對比度反轉問題，引入拉普拉斯金字塔和描述符重組策略改進ORB 算法，圖像配準平均精度為87.8%，平均RMSE 為1.67，比ORB 算法配準精度提高了62%；研究了基于NSST_VP 的IC 器件表面缺陷多光譜圖像融合方法，該方法的主觀視覺效果和客觀評價指標上均有所提升，有效增強了IC 器件表面缺陷特征。最后，通過YOLOv8s 模型對單可見光、單紅外和融合后的IC 器件表面缺陷圖像進行檢測。實驗表明，YOLOv8s-NSST_VP 檢測比單可見光和單紅外圖像檢測的mAP 分別提高了22.97%，28.31%，比DTCWT，CVT，NSCT 融合檢測的mAP 分別提高了13.14%，15.01%，20.35%。綜上，本文所提的多光譜配準融合方法有效提高了IC 器件表面缺陷的檢測精度。然而，在人為設計的融合規則中輕微缺陷常常被冗余噪聲淹沒，在今后的工作中需要更多關注這類輕微缺陷，利用深度學習的強大特征提取能力，先分別提取可見光和紅外圖像的缺陷特征，再進行中間層的特征級融合，從而構建出檢測性能更強的IC 器件表面缺陷檢測模型。