一種魯棒的非均勻光場中SD卡形態識別算法

周小萌,吳靜靜*,安 偉

(1.江南大學機械工程學院,江蘇 無錫 214122;2.江蘇省食品先進制造裝備技術重點實驗室,江蘇 無錫 214122)

SD卡的生產過程中,彩噴質量保證了SD卡的封裝質量。目前在彩噴過程中,打印料盤內SD卡的形態由人工來完成識別,存在人體視覺容易疲勞以及檢驗速度無法提升等缺點。因此,利用計算機視覺、圖像處理來代替人工進行SD卡的形態識別勢在必行。在料盤中SD卡陣列排列且總面積較大,在光場中無法達到均勻光照的效果。SD卡在料盤內具有多自由度,存在姿態隨機變化的現象,均對圖像處理辦法提出了新的要求。

對于不均勻光場中的圖像分割,主要有全局閾值法(如迭代法[1]和OSTU法[2])和局部閾值法(如Bernsen法、Niblack法)兩大類。全局閾值法適合對目標與背景對比明顯的圖像進行分割,無法適應多變的光照情況。因此,文獻[3]中通過背景分析對圖像進行背景均勻化處理,進行全局閾值分割得到二值圖像。局部算法則通過圖像的局部信息來確定像素的歸屬,可以較好的分離目標與其周圍的背景,但是對背景區域和陰影比較敏感,易產生虛假目標或對象斷裂問題。文獻[4]中為了柔性地適應不同的分割環境,設置水平與豎直方向的波動幅度閾值來控制對分割的敏感程度。以上方法在圖像整體明暗分布均勻的情況下能夠完成有效分割。

對于姿態多變的目標,形態識別方法主要有:模板匹配算法、統計特征算法、神經網絡算法等。文獻[5]在模板匹配算法的基礎上,將圖片平均分成12塊區域,再加上5條交線,一共17個特征值,通過特征值完成模板匹配。文獻[6]針對目標偏移的問題提出了多模板匹配的方法,把標準模板分為三類,將模板和待測區域均從中心分成相等四塊區域分別進行匹配。文獻[7]用六條線從數字的水平和豎直方向穿越數字,計算得出像素改變的次數,得到特征向量,最終逐一計算規范模板庫與目標數字特征向量之間的距離得到目標的識別結果。文獻[8]通過引入數字字符結構特征中的圖段特征,并結合數字字符的行列統計特征組合成為新的特征向量;然后根據新的組合特征向量設計BP神經網絡分類器完成對數字字符的識別。以上方法在圖像模板庫與圖像目標清晰的情況下能夠有效完成識別。

對于模板匹配算法,文獻[9]通過對投影特征進行模板匹配實現目標姿態的測量。文獻[10]通過對模板圖像進行子空間分解,利用盒形正交基對圖像進行逼近,達到提高效率的效果。文獻[11]通過多分辨率先粗后精的金字塔搜索策略,能夠同時滿足實時性以及精度的要求。文獻[12]利用采集到的圖像產生實時模板進行匹配,提高了移動目標識別的準確率。以上算法均針對各自圖像進行特征分析,實現了高效率與高精度的模板匹配。

圖1 SD卡在料盤中的陣列圖像

1 總體方案

彩噴時,根據不同類型,SD卡表面存在不同形狀的字符,但是表面的金手指形狀具備唯一不變性。如圖1的陣列圖像中,SD卡表面除金手指以外其他部分的灰度值均與料盤灰度值接近。因此,本文將SD卡表面的金手指作為閾值分割的前景目標。由于料盤邊沿形狀與金手指形狀相似度高,需要對灰度圖像進行自適應閾值分割以完成金手指目標定位,得到金手指清晰的二值圖像。通過對金手指進行分析,得到一系列描述特征。對金手指特征向量進行分類,完成各種隨機姿態下SD卡的形態識別。

本文陣列圖像中的光照不均勻現象存在以下特點:①光照不均勻現象存在于陣列區域內以及陣列區域間,且明暗對比具有漸進現象;②不同類型的SD卡與料盤,明暗對比關系會隨之變化。因此本文在第2部分提出了一種自適應閾值分割算法:在初步粗定位后對陣列區域完成明暗系數的自適應學習,通過改進的大津法進行初次分割,經過模板匹配定位后得到精確定位圖像,完成第2次閾值分割,得到具備魯棒性的圖像分割算法。

本文陣列圖像中SD卡姿態存在以下特點:①自由姿態下無法保證在料盤內存在SD卡;②姿態多種多樣,無法對形態變化進行量化制作樣本庫。因此本文在綜合準確率與實時性要求的基礎上,于第3部分提出了一種基于多特征融合的形態識別算法。

本文算法系統流程圖如圖2所示。

圖2 本文算法系統流程圖

圖3 自適應閾值分割算法流程圖

2 自適應閾值分割算法

為求得料盤中每個SD卡表面的金手指清晰的二值圖像,自適應閾值分割算法流程圖如圖3所示。

2.1 改進大津法進行初次閾值分割

如圖4(a)、4(b)所示為明場與暗場灰度圖像及其灰度直方圖,在明場中SD卡表面的金手指作為前景相對于背景具有較高對比度。但是在暗場中灰度直方圖對比度較差,并且由于光照不均勻的情況,導致期望作為前景的金手指在灰度直方圖中的灰度級較低。因此,本文將對經典OSTU進行改進:根據灰度圖像的整體平均灰度進行明場暗場的自適應判斷,于式(1)中加入自適應變量系數k,以提高期望作為前景的金手指灰度均值在整幅圖像灰度均值中的比例,其中k取決于灰度圖像的整體平均灰度,整幅圖像的灰度均值改為u′:

(1)

式中:w0、u0為背景的概率與均值,w1、u1為前景的概率與均值。

對于圖4(b)暗場灰度圖像,分別使用經典大津法與改進大津法對其進行閾值分割,得到二值圖像如圖4(c)所示。

圖4 明場暗場圖像及閾值分割結果

運用改進大津法閾值分割得到較為清晰的二值圖像,但是對于金手指的邊緣處理仍舊較為粗糙,不能滿足對SD卡形態判斷的要求。因此,需要在完成金手指精確定位后,再次對金手指灰度圖像進行閾值分割,得到金手指清晰的二值圖像。

2.2 改進的模板匹配定位算法

如圖5所示為經過改進大津法初次閾值分割后得到的二值圖像,其中部分料盤的邊沿經閾值分割后產生了白色矩形區域,與金手指形狀類似,會對金手指的模板匹配造成較大干擾,因此傳統的模板匹配算法有以下不足之處:

①計算量大,匹配過程計算較復雜,計算量隨圖像所包含的像素增加而迅速增大,而且執行匹配運算的次數隨著像場的大小而增多,匹配效率不高。②對于像場中金手指方位旋轉和尺度縮放的適應性較差。③對于像場中出現的料盤干擾信息過于敏感,易產生過匹配。

圖5 SD卡陣列二值圖像

如圖5所示,金手指輪廓特征與料盤邊沿產生的干擾塊輪廓特征相似度較高。因此,需要取金手指模板的區域特征來進行模板匹配定位,以排除料盤邊沿輪廓特征對金手指造成的干擾。行列統計特征主要反映了金手指的區域統計特性,既克服了逐像素特征提取運算量大的問題,又完好的保存了金手指的形狀特征,突出了金手指與料盤干擾塊的區別。在本文中,金手指模板二值圖像及其行列投影特征曲線如圖6所示。

圖6 金手指模板及行列投影特征曲線

為排除料盤邊沿產生的干擾以及縮短運行時間,本文依據金手指圖像的行列投影特征進行多次模板匹配得到金手指精確坐標。主要特點如下。

①通過分別選用行或列投影特征進行歸一化模板匹配,得到行列匹配定位結果,求得歸一化系數最大的位置即為圖像中與模板最相似的金手指的位置。行或列匹配過程的數學描述為:

(2)

式中:T為金手指模板投影向量,大小為M;S為SD卡的二值圖像投影向量,大小為L。

②為解決像場中出現的冗余信息干擾問題,進行多次匹配定位得到金手指精確位置。以圖像左上角為原點(0,0),橫向為X軸,縱向為Y軸。定位算法流程圖如圖7所示。

圖7 改進的模板匹配定位算法流程圖

圖8 自適應閾值分割得到的圖像

通過得到的金手指精確坐標對SD卡灰度圖像分割得到圖8(c)所示的金手指灰度圖像。

2.3 改進大津法進行再次閾值分割

運用改進大津法對金手指灰度圖像閾值分割得到圖8(d)所示的金手指二值圖像。

3 基于多特征融合的形態識別算法

通過分析得到的金手指二值圖像,以金手指的位置特征(XY坐標)、形狀特征(長度寬度)、面積特征、傾斜度與模板匹配度特征(歸一化相關系數的大小)等多個特征提取特征向量,得到SD卡在料盤中的形態。

3.1 SD卡姿態分析

圖9為SD卡在料盤中的9類姿態描述。

圖9 SD卡在料盤中的姿態與描述

3.2 SD卡形態識別

在SD卡的生產工藝中,將形態分為3類:①“0”類:正常形態包括在料盤中姿態。②“1”類:翹料形態包括壓到料盤邊沿、在料盤中翹曲、在料盤中旋轉等姿態。③“2”類:少料形態包括不在料盤中姿態。

形態識別特征如下:

①位置特征:金手指坐標范圍為(x0±Δx,y0±Δy),其中(x0,y0)為SD卡在料盤正中時金手指坐標。Δx為料盤左右邊沿與邊沿內壁的距離。Δy為料盤上下邊沿與邊沿內壁的距離。金手指位置特征坐標為(0,0)說明未匹配到金手指,為少料形態;超出范圍為翹料形態;

②形狀特征:金手指的長度與寬度范圍為(H0±ΔH,W0±ΔW),其中(H0,W0)為SD卡在料盤正中時金手指的長度與寬度。ΔH為料盤上下邊沿高度與料盤中心高度差引起的金手指長度變化。數學模型如圖10所示。

圖10 縱向截面數學模型

(3)

可得:

ΔH=H0*(1-cos(arcsin(H/H0)))

(4)

同理可得ΔW為料盤左右邊沿高度與料盤中心高度差引起的金手指寬度變化量。金手指形狀特征為0,為少料形態;超出范圍為翹料形態;

③面積特征:SD卡在料盤中金手指的面積范圍為(S0-ΔS,S0),其中S0為SD卡在料盤正中時金手指面積。ΔS為壓到料盤邊沿后金手指面積變化量。金手指面積特征為0,為少料形態;超出范圍為翹料形態;

④補充特征:以上特征可以完成對大部分SD卡姿態的形態識別,但是對旋轉姿態的形態識別不盡人意。因此加入傾斜度k與匹配度p作為補充特征。

(5)

式中:k0為金手指模板的傾斜度,L0為金手指模板中最先出現白色像素點的行坐標,L1為金手指模板中出現大量白色像素點的行坐標,colshadow為金手指模板列特征向量。當匹配到的金手指傾斜度k>k0時,說明金手指發生旋轉即SD卡為翹料形態;

p=p0+p1

(6)

式中:p0為行投影特征匹配時得到的歸一化系數,p1為列投影特征匹配時得到的歸一化系數,p<1.5說明求得的金手指與金手指模板相似度差,即為翹料形態;

對金手指進行特征向量提取:金手指特征判斷結果為正常放置形態時,該項元素為“0”;翹料形態時,該項元素為“1”;少料形態時,該項元素為“2”。全部特征向量元素提取完畢后,對特征向量進行分類:特征向量中存在元素“2”,即輸出結果為:“少料”;特征向量中元素全部為“0”,即輸出結果為:“正?！?其他情況時:輸出結果為:“翹料”。

4 實驗結果與分析

為了驗證所提出算法的有效性,采用設備實際運行過程中采集到的100幅8×8陣列黑白圖像進行實驗。圖像大小為3 840×2 748。工控機采用IPC-610主板i7-3770,8G運行內存加裝250G固態硬盤。開發環境為Visual Studio 2010。相機為1000萬黑白相機,型號為:大恒MER-1070-14U3M-L。

4.1 模板匹配定位算法對比實驗

為了驗證本文所設計的改進模板匹配定位算法的實時性以及精度,本文設計了如下實驗。分別使用基于逐像素點的模板匹配算法、本文中的模板匹配算法、基于投影特征的模板匹配算法,對采集到的100幅圖像進行對比試驗。得到各匹配算法運行時間以及定位誤差。其中,定位誤差描述為匹配定位結果與實際位置的歐式距離:

(7)

式中:(x,y)為定位結果,(x0,y0)為實際位置。得到各定位算法在處理100幅圖像時的平均運行時間以及誤差對比。

表1 模板匹配定位算法運行時間

圖11 定位算法誤差對比圖

雖然基于逐像素點的匹配定位算法定位誤差最小,但運行時間超過1 500 ms,不能滿足工作節拍的要求?；谕队疤卣鞯钠ヅ涠ㄎ凰惴ㄟ\行時間最短,但是定位誤差太大,無法滿足SD卡形態識別準確率的要求。本文匹配定位算法誤差小,運行時間在300 ms以內,能夠滿足實際需求。

4.2 多特征融合形態識別實驗

為了驗證本文SD卡形態識別算法的準確率與魯棒性,對實際采集的100幅圖像中SD卡形態進行了識別,識別結果如表2所示,對于64×100=6 400 項,正確識別數為:6 394,準確率為99.906%,滿足實際要求。由此可知,本文所設計的SD卡形態識別算法具有良好的準確率以及魯棒性。

表2 形態識別算法測試結果

5 結論

通過前面的討論和實驗數據可以看出,本文SD卡形態識別算法具有以下特點:①在分割存在不均勻明場暗場區域的圖像時,改進的大津法與傳統的大津法相比具有很大的優勢。②在匹配性能上,傳統的模板匹配定位算法在運行時間與抗干擾的能力方面無法達到實際需求。而文中提出的定位算法不僅運行時間短,并且抗干擾能力強,準確度高。③在形態識別時,基于多特征融合的形態識別算法由于選取了位置特征、形狀特征、補充特征等多個特征,較好的克服了SD卡姿態多變的干擾,使系統的識別率大大提高,穩定性加強。對大量現場圖片的識別測試顯示其識別效果理想。