曲面仿生復眼測速技術研究

劉 韜，郭文閣，朱帥民，張遠杰，許黃蓉，武登山，周曉軍，魚衛星

（1.西安石油大學 理學院，陜西 西安 710065；2.中國科學院西安光學精密機械研究所 中國科學院光譜成像技術重點實驗室，陜西 西安 710072；3.中國科學院大學 光電學院，北京 100049）

引言

基于視覺成像的傳統測速主要以單目測速和雙目測速為主，利用視頻測速技術記錄運動目標在運動位置上的變化以及所用時間，從而計算出目標的運動速度。2013 年，林柏林通過對路面標定和車輛特征識別實現了單目視覺對道路車輛的測速功能[1]，但是該測速系統存在安裝方式單一、道路標定困難以及場景要求高等弊端。東北大學常子霆[2]在單目視覺測速的基礎上，結合一種空間位置的匹配區域對齊算法和基于模板匹配的空間位移計算方法，實現了基于雙目視覺測速的功能，實驗上驗證了運動目標速度控制在10 km/h～20 km/h 的速度測試，誤差控制在5%以內。

近幾十年來，不少學者對仿生復眼相機成像技術進行了不斷探索，并利用仿生復眼的成像優勢，不斷探索發掘實質性的應用[3-8]。在曲面仿生復眼相機良好的成像效果基礎上，為了突顯對運動目標敏感的視覺優勢，利用曲面仿生復眼相機實現對高速運動目標測速的相關研究也得到了重視。2017 年，西安光機所魚衛星團隊研制了一種小型曲面仿生復眼系統，結合每個子眼不同視角的成像原理，對不同子眼測速分量進行分析，提出利用速度分量計算目標實際速度的方法[9]。2020 年，該課題組研制出一款長工作距離的曲面仿生復眼相機[10-12]，通過一塊圖像傳感器對127 個子眼進行數據采集，保證了數據采集的同步性，并將該曲面仿生復眼相機搭載在無人機上實現了對運動目標的探測。與此同時，服務于復眼圖像信息提取的相關算法也得到了重視和發展。2019 年，天津大學韓宇等[13]對基本的SIFT(scale invariant feature transform)算法進行了改進，在曲面仿生復眼測速系統中該方法可以快速、有效地解決特征點匹配的問題，提高了測速的準確性和穩定性。2020 年，譚中慧[14]團隊利用opencv 的車速測量算法和SIFT 等圖像算法對運動車輛進行目標角點檢測，根據圖像像素與實際距離的對應關系得到汽車運動的實際距離。該方法相比傳統車輛測速算法具有更好的魯棒性，能夠得到更好的測量結果。

為了進一步探索曲面仿生復眼成像系統在測速方面的技術優勢，本文采用127 個子眼曲面仿生復眼相機對運動目標的速度進行了測試研究，建立了基于曲面仿生復眼的多目標速度測試模型，設計了相關測速實驗，得到了準確的速度測試結果。同時為了突出復眼測速的優勢，采用成像性能相近的單孔徑相機進行了測速實驗，并進行了比對，結果表明，曲面仿生復眼測速系統具有更高的準確性和穩定性。

1 曲面仿生復眼測速原理

本文采用的曲面仿生復眼相機，由一塊CMOS圖像傳感器對數據進行采集，最終捕捉到的圖像是由127 個子圖像組成一副完整圖像。由于相鄰子眼之間存在視場重疊，所以相鄰7 個子眼可以同時獲取到同一被測目標的位置信息。曲面仿生復眼系統測速原理如圖1（a）所示。圖1 中，中心子眼C1_1 和周圍相鄰6 個子眼C2_1，C2_2，C2_3，C2_4，C2_5 和C2_6 組成一組具有視場重疊特性的簇眼，利用該簇眼可以對場景中同一運動目標同時進行測速。以目標P（x，y，z）所在位置建立世界坐標系o-xyz，運動距離L后的坐標位置為P'（x'，y'，z'），同時以7 個子眼的中心建立相機坐標系OXijYijZij，最后以每個子眼所對應的子圖像建立圖像坐標系o-uij-vij，如圖1（b）所示。建立相鄰子眼重疊視場數學模型，在圖像坐標系中利用SIFT 特征匹配，找出相鄰子圖像中對應的像素坐標，通過如圖2 所示的圖像幾何變換可以得到相鄰子圖像之間的重疊像素數目，從而計算出運動目標在圖像坐標系中運動的像素數目。

圖2 相鄰子圖像幾何變換示意圖Fig.2 Schematic diagram of geometric transformation of adjacent sub-images

根據圖1（a）中測速原理，結合小孔成像模型以及三角形相似關系，則有：

式中：T為運動時間；D為拍攝距離；f為曲面仿生復眼測速系統的焦距。

相鄰2 個子眼對同一目標在重疊視場內的成像示意圖如圖2 所示，目標點分別對應2 個視場的A 點和A′點。由圖2 可知，經過對右子眼視場進行180°翻轉，可以達到簡化計算重疊像素數目的目的。假設α1為有效像素數目（紅色線段區域），α2為相鄰子圖像之間的像素數目（青色線段區域），α3為重疊區域的像素數目（黑色線段區域），則圖像幾何變換前后兩點A 和A′之間的總像素數目αbefore和αafter分別為

在目標整個運動過程中，7 個子眼兩兩相互對應，如圖3 所示。以圖3 中第一排（R1）為例，P和P'分別代表對應子眼中的特征點位置。假設整個運動過程中總重疊像素為Δα，已知每個像元大小為ρ，則圖像坐標系中的位移量l為

圖3 目標運動過程Fig.3 Target movement process

運動目標的速度為

式中：T為運動時間，T1和T2分別表示運動起始和結束的時間。

在整個實驗過程中，以C1_1 為中心子眼的7 個相鄰子眼，可以同時獲取該場景中運動目標的位置信息。所以在一組實驗數據中，針對運動目標的每個位置均存在七組位置對應關系，可通過公式（5）取平均值的方法來減少實驗誤差，得到更接近真實的速度：

2 曲面復眼相機測速實驗

實驗場地為單向三車道，寬度為9 m，曲面仿生復眼測速系統固定在車道一側，選擇拍攝距離分別為9.4 m 和6.3 m。首先將相機擺放在合適位置，無遮擋物出現在相機的視野內，并使得運動目標能夠在復眼相機和單孔徑相機視野范圍內運動。利用單孔徑相機的錄像功能，在同一次實驗過程中，既能通過曲面復眼相機得到目標的運動信息，也可以利用單孔徑相機得到目標的運動信息，這樣大大減小了重復實驗對數據造成的誤差。

實驗前，利用外部電源給曲面仿生復眼相機供電，輸出端連入電腦，通過ipxplayer 軟件實現對運動目標的拍攝。實驗中，利用曲面仿生復眼相機和單孔徑相機分別在同一工作距離下對行駛在道路中的汽車進行拍攝，汽車上標記一張黑色A4 紙，以4 個黑色角點為目標進行特征點檢測，有利于后期數據處理，汽車保持8.33 m/s（30 km/h）的速度勻速直線行駛。曲面仿生復眼相機在拍攝距離9.3 m和6.4 m 處得到的全視場復眼融合圖如圖4 所示。從圖4 可以看出，該曲面仿生復眼相機具有良好的成像效果。

圖4 不同拍攝距離處曲面仿生復眼測速系統的融合圖像Fig.4 Fusion image of curved bionic compound eye velocimetry system at different shooting distances

拍攝距離為9.3 m 時汽車在復眼圖像上的起始位置和終點位置如圖5 所示。從圖5 可以看出，由于曲面仿生復眼相機的視場重疊優勢，在原始復眼圖像上有一簇子眼可以觀察到汽車的運動信息，即利用曲面仿生復眼相機的視場重疊優勢，在一次實驗中可以得到7 組數據，通過對這7 組子眼的速度數據求平均值可使誤差更小。

圖5 曲面仿生復眼測速系統的測速過程Fig.5 Velocity measurement process of curved bionic compound eye velocimetry system

以黑色A4 紙為目標，通過對感興趣區域采用角點檢測，找出目標所在子眼像素坐標系下的坐標，進而利用霍夫圓檢測算法、圖像分割和SIFT特征點匹配算法計算出重疊區域的像素數目。通過MATLAB 對原始復眼圖像進行圖像分割，得到相鄰2 個子眼的子圖像，如圖6 所示。

圖6 曲面仿生復眼系統相鄰2 個子眼的子圖像Fig.6 Sub-images of two adjacent small eyes of curved bionic compound eye system

對相鄰2 個子圖像進行特征點匹配，從而計算出相鄰2 個子眼之間的重疊像素數目，如圖7所示。

圖7 相鄰2 個子圖像的特征點匹配Fig.7 Feature point matching of two adjacent sub-images

在一次完整的采集過程中，運動目標從C1_1運動到所對應的C'1_1,采樣時間T=1.37 s，整個過程共經過了9 個子眼，每相鄰2 個子眼間會出現一次無圖像區域和重疊區域。經計算，無圖像區域像素數目α2=10，相鄰2 個子眼之間的重疊像素數目α3=220，根據公式（2）可計算出拍攝距離為9.3 m時，整個運動過程的總像素數目為

在曲面仿生復眼相機對運動汽車進行拍攝過程中可以得到多幅復眼圖像，文中只給出了部分圖像。根據文中復眼圖像可知，汽車運動中的2 個位置P和P'相對應，共有14 個像素坐標分別記錄在14 個子圖像中，通過圖像處理得到的像素坐標如表1 所示。根據表1 中像素坐標，并結合公式（3）、公式（4）可計算出汽車的平均速度以及相對誤差，如表2 所示。

表1 復眼不同拍攝距離處目標位置P 和P'對應的像素坐標Table 1 Pixel coordinates corresponding to target positions P and P' at different shooting distances of compound eye

表2 復眼不同拍攝距離處測試速度與實際速度對比Table 2 Comparison of test speed and actual speed at different shooting distances of compound eye

從表2 中測試數據可以看出，在一次完整的實驗過程中，曲面仿生復眼相機7 組測試速度值比較穩定，遠距離拍攝汽車運動速度的相對誤差控制在4%以內。因此，曲面仿生復眼相機具有良好的遠距離測速性能。

簇眼中7 個子眼相對誤差圖如圖8 所示。下面對不同距離下的測速精度進行分析：（1）在不同拍攝距離下，運動目標經過的子眼數是不同的，導致計算過程中重疊像素數目不同。因為每幅子圖像周圍存在光暈，在對子圖像進行分割時，會導致部分像素數目丟失或增加，從而影響最后的測速結果。（2）本文利用SIFT 特征點提取與匹配算法對目標進行等量代換，特征點的運動速度等于目標的運動速度。在不同拍攝距離下，目標出現在圖像中的大小不同，確定對特征點的像素坐標存在0～5 個像素數目的誤差，導致速度測量值存在誤差。

圖8 簇眼的相對誤差Fig.8 Relative errors of cluster eyes

誤差的產生主要與重疊像素數目的計算有關。不同拍攝距離時，目標在復眼原始圖像上經過的子眼個數不同，D=9.3 m 時，目標經過9 個子眼，D=6.4 m 時，目標經過8 個子眼。故運動過程中重疊像素數目不同，導致速度誤差不同。

3 曲面復眼相機與單孔徑相機測速比對

為了比較曲面復眼相機和單孔徑相機的測速能力，選擇視場和焦距與曲面復眼相機接近的單孔徑相機進行測速實驗。曲面仿生復眼相機與單孔徑相機的參數對比如表3 所示。

表3 曲面仿生復眼相機與單孔徑相機參數對比Table 3 Comparison of parameters of curved bionic compound eye camera and single aperture camera

曲面仿生復眼鏡頭半徑為68 mm[15]，由127 個子眼組成。每個子眼的直徑為7.4 mm，子眼的焦距為5 mm，單個子眼的視場為14°，相鄰子眼光軸之間的夾角為7°，角分辨率為 1.8 mrad。該復眼仿生系統的總視場角約為98°×98°，所有成像通道共用一個圖像傳感器，選用索尼公司的型號為NOIP-1SN025KA 的圖像傳感器，圖像采樣速率為13 fps，傳感器像元尺寸為4.5 μm，系統體積為Ф123 mm×195 mm，系統總質量為1.35 kg。

單孔徑測速系統由HS-95-U3 型號相機與單孔徑鏡頭組成，鏡頭半徑為33 mm，系統的焦距為6 mm，該單孔徑系統的總視場為95.4°×78.4°。圖像傳感器選用的是GSENSE400BSI，圖像的采樣速率為23 fps，像元尺寸大小為11 μm。單孔徑測速系統總體積為Ф66 mm×95 mm，系統總質量為1 kg。

在曲面仿生復眼系統拍攝的同時，得到單孔徑相機對運動目標拍攝的一段視頻，視頻時長33 s，共697 幀圖像，單孔徑相機幀頻為23 fps，可知任意兩幀圖像之間的時間差。選取四幀圖像，每兩幀圖像可計算出一個速度值，通過四幅分時圖像排列組合得到6 個速度測試值。在拍攝距離為9.3 m處，單孔徑相機通過視頻處理得到兩組的四幅圖像幀，分別是第535 幀、545 幀、560 幀和565 幀；第二組是第550 幀、563 幀、573 幀和580 幀。在拍攝距離為6.4 m 處，單孔徑相機通過視頻處理得到兩組的四幅圖像幀，第一組是第215 幀、220幀、230 幀和235 幀；第二組是第335 幀、340 幀、345 幀和355 幀。單孔徑測速系統與曲面仿生復眼測速系統選取同樣的特征點，結合SIFT 算法匹配出每幅圖像幀中特征點的像素坐標，如表4所示。

表4 單孔徑相機不同拍攝距離處目標位置幀數對應的像素坐標Table 4 Pixel coordinates corresponding to the number of target position frames at different shooting distances of single-aperture cameras

根據表4 中像素坐標，并結合公式（3）和公式（4），可計算出單孔徑相機對汽車的平均速度以及相對誤差，如表5 所示。

表5 單孔徑不同拍攝距離處測試速度與實際速度對比Table 5 Comparison of test speed and actual speed at different shooting distances of single aperture

從表5 中多組測試數據可以看出，由單孔徑相機得到的四幀圖像可兩兩組合得到六組測試速度值，發現六組測試值波動較大，與實際速度值相比也出現較大的相對誤差。

圖9 復眼和單孔徑相機測速結果對比Fig.9 Comparison of velocity measurement results between compound eye and single aperture cameras

4 結論

本文使用的曲面仿生復眼相機在一定程度上解決了現有大視場、高分辨率成像與數據采集同步性、實時性之間的矛盾，并且實現了對高速運動目標進行廣域監控的功能。從曲面仿生復眼與單孔徑相機測速對比實驗中可以看出，曲面仿生復眼測速系統可以實現一組7 個子眼同時對高速運動的目標進行識別與分辨，并且相對于單孔徑測速系統具有更好的穩定性與準確性。由于曲面仿生復眼相機結構小巧、攜帶輕便、功耗低，并且系統只采用一塊圖像傳感器，從而確保了數據采集的同步性，同時圖像處理過程全部在原始圖像上進行，這樣大大提高了運動目標的實時探測能力。因此，該相機在目標探測、安全監控等領域有著廣泛的應用前景。