魚眼成像系統標定技術研究

王云鵬,劉力雙,劉 洋

(北京信息科技大學 儀器科學與光電工程學院,北京 100192,中國)

0 引 言

魚眼鏡頭是一種特殊的廣角鏡頭,具有較廣闊的視野范圍和較短的焦距[1-3]。大視角的特點使魚眼鏡頭在紅外地球敏感器和廣角偵查系統等眾多領域得到廣泛的應用。然而,魚眼鏡頭自身工藝制作的缺點以及鏡頭在組合裝配中的誤差使其不可避免地引起了圖像畸變[4-5],圖形畸變的產生會在提取目標方位信息時造成偏差。方位信息的偏差在紅外地球敏感器中,會造成地平圓圓心目標的定位不精確,無法準確計算衛星的姿態信息;在廣角偵查系統中,同樣會導致系統在對目標定位時出現偏移,使目標定位精度下降。如何通過畸變圖像在大視場魚眼成像系統中確定目標的方位,成為了近年來國內外眾多學者深入研究的重點問題。

根據魚眼圖像精確提取目標方位的本質是建立2維圖像和3維空間的映射關系[6]。TSAI的兩步法[7]和ZHANG的棋盤標定法[8]雖然具有較高的標定精度,但需要尺寸與大視場成像系統拍攝范圍相匹配的標定板,制作成本較高,實驗難度較大。ZHU等人[9]建立球面投影模型,基于畸變參數分離的思想標定魚眼成像系統,但該模型中要確定的畸變參數過多,導致計算量過大。XIAO等人[10]采用兩步法模型,分別對靠近光學中心的區域建立線性畸變模型和遠離光學中心的區域建立非線性畸變模型,實現對目標轉臺姿態角的精定位,但經實驗驗證,其所提出的坐標輪轉方法不能精確定位光學中心,影響轉臺姿態角的擬合精度。

為提升在大視場魚眼成像系統中目標定位精度,本文作者采用了基于相機移動的研究方法構建魚眼成像系統的標定模型?？刂聘呔?維旋轉位移臺的角度位置,移動魚眼成像系統拍攝固定位置的點光源,根據點光源在魚眼成像系統中的方位角度和光點在圖像中的像素位置,構建兩者之間的數學模型。為提高模型標定精度,減小系統標定誤差,采用圖像有效區域的邊緣擬合圓計算出光學中心,并采用分區域標定的方式計算出畸變參數。再根據像素位置擬合標定物方位角度,驗證模型精度。

1 標定原理

1.1 魚眼成像系統成像模型

如圖1所示,在魚眼成像系統中,成像的過程就是3維世界坐標系下點Pw經一系列坐標變化映射成為2維圖像坐標系下點Pd的過程[11]。具體過程為:世界坐標系(xw,yw,zw)下的點經過光線映射到攝像機坐標系(xc,yc,zc)中,再投影到代表傳感器的成像平面坐標系(x,y)上,最終經過數模變換映射為圖像坐標系(u,v)中的像素點[12]。

圖1 魚眼鏡頭成像模型Fig.1 Fisheye lens imaging model

在攝像機坐標系下,將魚眼鏡頭視作半徑為R的半球面。經世界坐標系中任一點Pw的光線沿光學中心的方向進入攝像機坐標系,交點為Pc(xc,yc,zc),入射角為θ,在xcyc平面上的投影與xc軸正方向的偏移角為φ,Pc點可以由θ和φ確定:

(1)

根據小孔成像原理,Pc在圖像平面的理想投影為點P(u,v),兩者之間的坐標映射關系為:

(2)

式中:(u0,v0)為光學中心Oc在圖像平面上投影O的像素坐標;f為魚眼鏡頭焦距;d×d為單個像元尺寸。

魚眼成像系統的結構不同于一般成像系統,主要受非線性畸變影響,成像多為非相似成像。Pc在圖像平面的實際投影為點Pd(ud,vd),P點與Pd點間的畸變關系將在下一節中進行討論。

根據式(1)和式(2),得到在魚眼鏡頭坐標系下入射角θ與圖像平面下點P到光學中心距離r之間的關系:

tanθ=A×r

(3)

同理,也得到偏移角φ與P點像素坐標之間的關系:

(4)

1.2 目標方位角與像素間的標定模型

在魚眼成像系統中,點Pc本該于理想成像點P處成像,但因為成像過程受到非線性畸變的影響,實際成像位置偏移到了點Pd處,如圖2所示。這種成像點的位置偏移是無法精確提取目標方位的主要原因,受到徑向畸變、切向畸變和薄棱鏡畸變三者的影響,其中薄棱鏡畸變的影響過小可將其忽略[13-14],主要考慮前兩者的影響。徑向畸變是造成圖像畸變的主要原因,表現為成像點在半徑方向上發生位置偏移,產生原因是生產工藝造成魚眼鏡頭表面出現不規則的形狀[15]。徑向畸變模型為:

圖2 非線性畸變成像點偏差Fig.2 Nonlinear distortion imaging point deviation

r=k1×rd+k2×rd3+k3×rd5

(5)

切向畸變改變了成像點到光學中心矢量的角度,使成像點發生角度偏轉。產生原因是構成魚眼鏡頭透鏡的光心與幾何中心不重合[16],畸變模型為:

(6)

式中:pj(j=1,2)為切向畸變參數。

將式(5)代入式(3)可得:

tanθ=K1×rd+K2×rd3+K3×rd5

(7)

式中:入射角畸變參數Ki=A×ki,i=1,2,3。

將式(6)代入式(4)可得:

(8)

式中:偏移角畸變參數Pj=pj,j=1,2。

將標定點的入射角θ集合與距光學中心的距離rd集合代入式(7)中,即可求得入射角畸變參數Ki(i=1,2,3)。同理將標定點的偏移角φ的集合與像素坐標Pd(ud,vd)集合同時代入式(8)中,即可求得偏移角畸變參數Pj(j=1,2)。

1.3 光學中心計算

1.3.1 圖像有效區域邊緣擬合光學中心 魚眼成像系統的畸變圍繞光學中心對稱,畸變程度與成像點離光學中心的距離為正相關[17]。理想情況下光學中心的成像位置應該與圖像中心相重合,但由于魚眼鏡頭的裝配誤差,使得兩者不能完全重合,需要對其單獨標定[18-19]。因為大視角的特點,魚眼圖像成像有效區域邊緣為圓形。為計算出光學中心,選擇采用最小二乘法擬合魚眼圖像的有效區域邊沿圓,擬合得到的圓心就是光學中心的實際像素位置。設理想圓的標準方程為:

(xs-a)2+(ys-b)2=r2

(9)

式中:(xs,ys)為圓上的任意一點;(a,b)為圓心坐標;r為圓的半徑。

最小二乘法要求殘差值最小:

(10)

當殘差值S最小時,則有:

(11)

(12)

(13)

根據以上3式,可以求出圓心(a,b)和半徑r。

1.3.2 亞像素邊緣檢測 在進行最小二乘法擬合前,采用了亞像素邊緣檢測算法中的灰度矩邊緣定位法定位圖像有效區域輪廓,提升光學中心的擬合精度從而減小系統的標定誤差?；驹硎羌僭O圖像的實際邊緣分布與階躍式變化的理想邊緣的灰度矩一致[20],利用圖像實際邊緣的前3階灰度矩求取圖像的亞像素邊緣點。

設魚眼圖像實際邊緣的灰度值為hl(l=1,2,3,…,n);n為圖像實際邊緣包含的像素點總數,計算圖像的圖像實際邊緣的前3階灰度矩:

(14)

得到前3階灰度矩后,精確計算圖像的亞像素邊緣點的位置:

(15)

式中:λ=(m3+2m13-3m1m2)/(m2-m12)2/3。

通過傳統邊緣檢測算法粗定位圖像邊緣的像素坐標(xe,ye),根據周圍像素點的灰度值判斷邊緣方向:當Gx>Gy(Gx和Gy分別表示邊緣在x方向和y方向的梯度算子),邊緣方向為水平;反之,邊緣方向為垂直。

(16)

式中:g(xe,ye)為點(xe,ye)的灰度值。

得到邊緣方向后,以(xe,ye)為中心,延灰度方向分別向兩側拓展6個像素,根據式(15)求得亞像素邊緣點。

1.4 分區域標定法

魚眼鏡頭產生的畸變是非線性的畸變,圖像中不同位置的像點受到的畸變影響程度不同,用同一組畸變參數對整幅圖像校正,對校正精度和穩定性會產生影響[21]。為了能提高標定精度,對魚眼圖像采取了一種分區域標定的方法,對不同區域求取不同的畸變參數,提升標定的精度。

在魚眼成像系統中,成像點到光學中心的距離主要受標定物入射角θ影響。魚眼圖像的畸變關于光學中心對稱,且隨著成像點距光學中心距離的增大而增加,在以光學中心為圓心的圓上畸變大致相同[22]。如圖3所示,在標定過程中,根據標定物入射角θ的大小將魚眼圖像劃分為以光學中心為圓心的同心圓區域,對每個區域進行標定。

圖3 標定區域劃分示意圖Fig.3 Marking area division diagram

2 實驗及結果分析

2.1 搭建實驗系統

實驗系統由圖像采集和方向控制兩部分組成。圖像采集部分由中聯科創魚眼鏡頭VM0420MP5、大恒工業相機DH-HV1351UM和標定物做成,標定物是單個點光源,相機分辨率為1280 pixel×1024 pixel。方向控制部分是由高精度2維旋轉位移臺、光學平臺和上位機組成,上位機可以對轉臺實現精確控制,角度變化精度為0.004°。圖4為實驗系統搭建的示意圖,圖5為實驗系統實物圖。

圖4 實驗系統搭建Fig.4 Experimental system construction

圖5 高精度2維轉臺及魚眼成像系統實物圖Fig.5 Physical view of high precision 2-D turntable and fisheye imaging system

2.2 計算光學中心

控制魚眼成像系統拍攝多幅白紙的圖像。根據前面提出的灰度矩邊緣定位法提取圖像有效區域的邊緣,對提取到的邊緣使用最小二乘法擬合,得到魚眼圖像光學中心的坐標(a,b)和半徑r。圖6所示為亞像素邊緣檢測結果。

圖6 亞像素邊緣檢測Fig.6 Sub-pixel edge detection

拍攝8組圖像進行擬合,如表1所示,為對8組數據的擬合結果。取結果的平均值(651.51 pixel,525.57 pixel)作為光學中心和619.36 pixel作為有效區域半徑。

表1 光學中心及圖像有效區域半徑擬合結果/pixelTable 1 Optical center and image effective area radius fitting results/pixel

2.3 實驗數據采集

標定物單個點光源由紅色平板光源和帶孔的不銹鋼板組合構成,將不銹鋼板覆蓋于平板光源表面?？锥礊橹睆?0 mm的圓孔,鋼板厚度為0.1 mm,在鋼板外側表面覆蓋遮擋物,只留下作為點光源的孔洞,這樣得到的點光源較為均勻,光源邊緣成像效果更為清晰。標定物在魚眼成像系統中的成像近似為圓形,面積約為116 pixel,在對圖像進行均值濾波后,通過灰度質心法提取標定物中心作為標定點。圖7為標定物在初始位置的圖像。

圖7 標定物在初始位置成像Fig.7 Imaging of the calibrator at the initial position

控制高精度2維旋轉位移臺,調整角度位置,使標定點與魚眼成像系統的光學中心相重合,此位置為魚眼成像系統的初始位置。然后移動魚眼成像系統,在不同角度下拍攝標定物,記錄標定點在圖像中的像素坐標(u,v)和標定物在魚眼成像系統的方位角度(θ,φ)。共拍攝圖像184幅,使標定點盡可能充滿整個圖像。將采集到標定物的方位角度和圖像點的像素坐標作為數據集代入式(7)、式(8),計算出畸變模型。

圖8為標定物在不同方位的成像。為了驗證標定精度通過轉臺轉動魚眼成像系統到任意角度,拍攝10幅圖像。計算出每幅圖像中標定點的像素坐標及到光學中心的距離,將這些數據作為測試集代入畸變模型中,擬合每幅圖像中標定物的方位角度,與實際方位角度θ和φ對比,檢測系統標定精度。

圖8 不同方位標定物成像Fig.8 Imaging of calibrators in different orientations

2.4 實驗結果

在實驗中采取分區域標定的方式以降低系統的標定誤差,根據入射角度θ劃分區域。為了降低標定系統的復雜性,采用三區域劃分法。在劃分區域時,要保證各區域的標定誤差盡可能的小,且每個區域的數據集點不能過少,影響畸變參數的求取,所以采取角度遍歷的方式分別對兩個分界角度進行求取,先根據各區域數據集求取畸變模型,再將測試集代入畸變模型,計算標定精度。

經過測試,入射角θ的最大值為90°。先求取區域1、2的分界角度,在區間[30°,80°]中,采用步進為1°進行遍歷,找到能使區域1中標定誤差最小的角度,角度為42°;再根據求取的第1個分界角度,重新劃分區間[50°,80°],求取區域2、3的分界角度71°,使二區域的標定誤差最小。

根據求得角度進行區域劃分,驗證理論。單區域為圖像的整個視場;二區域以42°為界線劃分區域1(0°～42°)、區域2(42°以上);三區域劃分為區域1(0°～42°)、區域2(42°～71°)、區域3(71°以上)。根據采集數據分別計算各區域的畸變參數和標定誤差,如表2和表3所示。

表2 分區域畸變參數Table 2 Sub-regional distortion parameters

表3 實驗結果Table 3 Experimental result

根據實驗結果可知,擬合標定物方位角度的誤差值隨著標定區域的增加而減小。在將整個魚眼圖像劃分為3個區域時,區域1的平均誤差為0.06°,區域2的平均誤差為0.26°,區域3的平均誤差為0.45°?？梢钥闯?靠近光學中心的主要成像區域誤差較小,遠離光學中心的邊緣成像區域誤差較大,對魚眼圖像劃分區域標定可以有效降低系統的標定誤差,提升了整個魚眼成像系統的標定精度。

3 結 論

為了提升大視場魚眼成像系統中目標定位精度,采用基于相機移動的研究方法構建魚眼成像系統的標定模型。先計算光學中心坐標,再對魚眼圖像進行分區域標定,依據標定點像素位置擬合其在大視場中的方位。相較于其它標定算法需要先校正圖像再求取目標方位,本文中所提出的方法通過模型直接將像素點與空間坐標建立了對應關系,同時對其它參數如焦距等不做關心,降低了標定的復雜程度。另外,采用點光源加相機轉臺的方法,也避免了制造高精度大尺寸標定板,降低了系統的復雜性和成本。

從實驗結果來看,分區標定方法避免了一套畸變系數造成的部分區域誤差過大的問題,既保證了圖像中心區域的精度,又提高了容易造成大誤差的大視角區域的精度。在劃分為三區域標定時,可以將靠近光學中心的主要成像區域的平均誤差降低到0.06°,相比于前文提到的其它算法,擁有更高的標定精度。這一標定方法可以應用到紅外地球敏感器、廣角偵查系統等領域的大視角應用場景中對魚眼成像系統進行的標定。