用于LED芯片檢測的景深合成系統

王筆神,劉紅林

(中國計量大學 光學與電子科技學院,浙江 杭州 310018)

微型LED芯片[1]因其封裝小、功耗低、使用壽命長等優勢在現代電子工業中有著廣泛的應用。微型LED芯片表面的缺陷會影響發光的穩定性,因此在微型LED芯片生產制造中,需要抽取樣品進行缺陷檢測。傳統的檢測方式是在顯微鏡下人工檢測,但顯微鏡的放大倍數高,景深小[2],觀察LED芯片時不可避免地會存在模糊區域。如果想完整地觀測微型LED芯片的全貌,需要不斷地手動調節顯微鏡的焦距來對LED芯片不同深度的切平面進行觀測,動作繁瑣效率低,而且容易出現人為誤差。

為了突破顯微鏡的景深限制,近年來研究人員提出多種擴展景深的方法。如通過環形孔徑[3]等手段擴大景深,但往往效果有限。隨著數字圖像技術的發展,借助計算機通過景深合成[4]算法對多張局部聚焦的圖像進行融合,可以得到一張全局聚焦成像清晰的圖像。相比于對顯微鏡進行改造的方法,景深合成算法能夠得到更大景深的圖像,并且易于觀測和保存。

景深合成算法主要可分為基于空間域[5]和基于變換域[6]兩種?；诳臻g域的景深合成是通過分析圖像的空間特征來實現融合的,2001年Li等[7]提出通過分塊的方式進行空間域的景深融合,但這種方法容易產生分塊效應。之后Fedorov等[8]提出了基于局部聚焦估計的融合方法,通過以非矩形的形式分割圖像在一定程度上減輕了塊效應,但融合效果仍存在對比度偏低的問題?；谧儞Q域的景深合成方法主要有小波變換和金字塔等。小波變換在圖像融合領域的應用最早在1995年由Chipman等[9]提出,在2004年Forster等[10]提出了復小波變換在景深合成領域的應用,融合后的圖像質量更高但也存在計算更復雜的問題。金字塔變換是最早提出的多尺度變換方法,根據金字塔構建的方法不同,可分為拉普拉斯金字塔[11]、梯度金字塔[12]和形態金字塔[13]等,其中拉普拉斯金字塔算法效率高融合效果好,應用最為廣泛。

本文設計的景深合成系統,通過微動平臺不斷改變LED芯片與顯微鏡鏡頭的距離并進行拍攝,獲得多張聚焦在不同平面的LED芯片圖,再通過拉普拉斯金字塔算法對其進行融合,得到一張全局聚焦成像清晰的圖像。該景深合成系統實現了圖像采樣的自動化,并且得到的融合圖像易于觀測和保存。此外,為了解決微動平臺抖動帶來的LED芯片偏移問題,我們采用了圖像對齊算法進行校正。更進一步地,為了提升圖像的融合效率,我們采用了把彩色圖轉灰度圖做圖像融合運算,再把融合后的灰度圖還原成彩色圖,相比于直接采用彩色圖做圖像融合運算能有效節省大量運算時間

1 系統設計

1.1 原理分析

景深合成可以解決顯微鏡景深過小的問題。具體做法是將LED芯片沿著光軸運動并進行拍攝,得到LED不同焦平面上的切片圖像,再將這些圖像在計算機中以一定的規則進行融合,可以得到一幅大景深的LED圖像。該大景深的LED圖像的景深范圍覆蓋了LED芯片的剖平面,因此該圖像全局聚焦、成像效果清晰。

1.2 硬件設計

用于LED檢測的景深合成系統包含軟硬件兩部分,其中硬件部分由上位機、下位機、電機驅動器、微動平臺、顯微鏡以及相機構成,如圖1。

圖1 硬件設備

其主要的工作流程為上位機傳輸信號告知下位機開始圖像采集,下位機控制電機驅動器驅動微動平臺工作,微動平臺上下移動不斷調整LED芯片與顯微鏡的距離,在調整的過程中通過相機拍攝顯微鏡成像圖傳輸到上位機中進行合成。

1.3 圖像處理

通過微動平臺調整得到的多張不同焦平面上的LED圖像,需要在上位機中融合成一張大景深的LED圖像。處理過程可以分為圖像預處理、景深合成以及圖像后處理三個步驟。圖像預處理包括圖像灰度化和對齊,圖像預處理之后再進行景深合成,得到的融合圖是灰度圖,需要通過圖像后處理還原成彩色圖。

2 圖像預處理和后處理

2.1 圖像預處理

在多幀LED芯片圖像的融合之前,需要先完成圖像的預處理。預處理包括灰度化和圖像對齊?；叶然菍⑷ǖ啦噬珗D轉化為單通道灰度圖,可表示為

Y=0.299R+0.587G+0.114B。

(1)

式(1)中,R、G、B分別表示圖像的RGB三通道的像素值,Y表示灰度化之后圖像的灰度值。

圖像對齊[14]是為了消除微動平臺在上下移動過程中產生的LED芯片偏移問題,使圖像達到更好的融合效果。為了使后續采樣得到的圖像與第一張圖像進行對齊,我們需計算每張圖像的加速穩健特征點(SURF)[15]與特征向量。因為LED芯片發生了平移,所以需對齊圖像與第一張圖像中的SURF特征點的坐標位置并不一致,而是發生了仿射變換[16]

X=WX′。

(2)

式(2)中:X=(x,y,1)T,其中(x,y)代表第一張圖中的特征點坐標;X′=(x′,y′,1)T其中(x′,y′)代表需對齊圖像的特征點坐標。通過代入多個特征點的坐標,我們就可以求取仿射變換矩陣W,仿射變換矩陣W的形式為

(3)

求取仿射變換矩陣W之后,就可以對需對齊圖像中的所有像素點乘以仿射變換矩陣W進行變換,變換之后再重新調整圖像尺寸就可以實現與第一張圖像對齊的效果。

2.2 圖像后處理

經過景深合成得到的融合圖是灰度圖,需要還原成彩色圖才能更好地反映出LED芯片的全貌。色彩還原是通過將融合后的灰度圖與所有原圖的灰度圖作對比,按差值最小原則采樣原色彩圖在像素點上的RGB三通道像素值得到的。我們假設原圖為三通道彩色圖A和B,通過灰度化再融合得到單通道灰度圖,則該灰度圖還原成三通道的彩色圖的計算公式如下：

(4)

式(4)中,CA表示原圖A在像素坐標(i,j)處的RBG值,CB表示原圖B在像素坐標(i,j)處的RBG值,GA表示原圖A的灰度圖在像素坐標(i,j)處的灰度值,GB表示原圖B的灰度圖在像素坐標(i,j)處的灰度值,GF表示融合后的灰度圖在像素坐標(i,j)處的灰度值。

3 景深合成

本文采用拉普拉斯金字塔作為景深合成算法,拉普拉斯金字塔算法效率高、應用廣泛,得到的融合圖具有對比度高、噪聲小等優勢。拉普拉斯金字塔算法的主要步驟為高斯金字塔分解、拉普拉斯金字塔生成、拉普拉斯金字塔融合以及拉普拉斯金字塔逆變換。

3.1 高斯金字塔分解

高斯金字塔能夠非常清晰有效地描述圖像的不同尺度空間。高斯金字塔分解的過程如圖2。

圖2 高斯金字塔

將要分解的圖像設為G0,作為高斯金字塔的第0層,則高斯金字塔的其余層Gl(1≤l≤N)均可由上一層Gl-1經過卷積和降采樣之后得到

(5)

式(5)中,w是二維的卷積核,可表示為

(6)

3.2 拉普拉斯金字塔生成

得到高斯金字塔后,再將高斯金字塔的相鄰層做差減可以得到拉普拉斯金字塔,如圖3。

圖3 拉普拉斯金字塔

相比于高斯金字塔,拉普拉斯金字塔可以減去大量不必要的冗余信息,并呈現出相鄰的兩幅圖像之間的差異。拉普拉斯金字塔的計算公式如下：

(7)

(8)

3.3 拉普拉斯金字塔融合及逆變換

多張原圖可以得到多組拉普拉斯金字塔,再通過絕對值最大原則進行融合,可以得到一組新的拉普拉斯金字塔。最后再對新的拉普拉斯金字塔做逆變換可以構建高斯金字塔,該高斯金字塔的最底層就是融合后的圖像。

(9)

通過上述算法,就可以通過融合后的拉普拉斯金字塔構建出新的高斯金字塔。而新的高斯金字塔的底層G0就是融合后的圖像。

4 結果分析

4.1 圖像采集

在微動平臺調整LED芯片與顯微鏡距離的過程中,通過相機拍攝可以采集到多張LED芯片圖。設LED芯片的剖平面深度為D,顯微鏡的景深為d,為了獲得較好的融合效果,采集的圖片張數至少應為D/d,我們選取了兩個LED芯片樣品(分別記為樣品1和樣品2)進行圖像采集和融合效果展示。每個樣品采集8張圖,并選取其中有代表性的4張采樣圖如圖4和圖5。

圖4 樣品1的采樣圖

圖5 樣品2的采樣圖

可以看到隨著LED芯片與顯微鏡物鏡的距離發生了改變,圖像的聚焦區域發生了改變,圖像的模糊區域也發生了改變。

4.2 圖像融合

我們采用了C++語言調用OpenCV庫編寫了拉普拉斯金字塔、復小波變換以及拉普拉斯能量和三種圖像融合算法,并在樣品1和樣品2的兩組采集圖上對比三種算法的融合效果,實驗結果如圖6和圖7。

圖6 樣品1的融合圖

圖7 樣品2的融合圖

通過對比樣品1和樣品2的三種算法的融合圖,可以得出相同的結論,即拉普拉斯金字塔法相比于拉普拉斯能量和法及復小波變化法,融合后的圖像保留更多的細節,具有更好的對比度,噪聲點更少,圖像質量更高。

4.3 客觀指標評估

為了客觀地對比三種融合算法的差異,本文采用標準差(STD)和平均梯度(AG)作為客觀的評價指標。其中標準差(STD)反映了圖像的像素值與均值的離散程度,計算公式為

(10)

圖像平均梯度(AG)反映了圖像的對比度。AG值越大,圖像對比度越高,因此常用于評估圖像的清晰度。計算公式為

(11)

對樣品1和樣品2的三種算法的融合圖分別計算STD和AG值,得到的結果如表1。

表1 融合后圖像的標準差

從表1中可以看出無論是樣品1還是樣品2,基于拉普拉斯金字塔的融合圖的STD值和AG值最大,說明相比于其它兩種圖像融合算法,拉普拉斯金字塔算法的融合效果最好。

5 總 結

針對顯微鏡景深過小在觀測LED芯片時會出現局部模糊的問題,本文設計了軟硬件相結合的景深合成系統,通過微動平臺不斷調整LED芯片與電子顯微鏡的距離進行拍攝,以此獲得多張圖像進行融合獲得一張清晰銳利的LED芯片圖像,該系統已成功應用于寧波升譜光電有限公司的LED芯片檢測中。

在選擇景深合成算法時,對比了拉普拉斯能量和、復小波變換以及拉普拉斯金字塔三種算法,發現拉普拉斯金字塔算法融合后的圖像清晰對比度高,因此選取該算法作為系統的景深合成算法。此外，為了獲得更好的融合效果,在融合之前對圖像做了對齊的預處理;為了提高算法的效率,采用單通道的灰度圖進行融合,融合之后再將灰度圖還原為彩色圖。