基于計算機視覺算法的圖像處理技術?

劉海玲

（齊魯醫藥學院 淄博 255213）

1 引言

由于傳統的二維（Two Dimension，2D）顯示方式只能顯示物體或場景的一個側面投影，人們不再滿足于二維顯示的世界，三維立體顯示作為當今世界各國大力發展的下一代新型顯示技術［1］，正逐漸成為一個引人注目的前沿科技領域。為了能真實地再現現實世界，從19世紀中期Wheatstone提出的立體鏡概念、20世紀中葉出現的全息顯示，到20世紀末數字科技和數字設備如平板顯示器（Flat Panel Display，FPD）、液晶顯示（Liquid Crystal Display，LCD）等的進步和廣泛應用［2］，長期以來人類在為實現高性能顯示而不懈努力。真三維顯示技術是指被顯示圖像的每一個三維體素位于三維物理空間中的真實位置，每個體素的亮度和色彩可控，體素之間的相對空間位置關系被真實的體現在真三維顯示系統中，從而構成三維空間圖像［3］?，F已有進展的體視三維顯示需要借助外部助視工具，且不能實現360°環繞觀看，長期觀看易造成人眼的視覺疲勞，基于自動體視三維顯示的三維電視產品已經商業化，并開始進入家用市場。但是，自動體視三維顯示也不能實現360°環繞觀看，且可視區域固定，視角數量較少，基于以上，力求幫助用戶能夠實現360°環繞觀看［4］。文獻［5］提出一種基于BP神經網絡的對投影畸變圖像的矯正方法，相對于多項式模型來說，取得了較好的矯正效果，但該方法精度和泛化能力不是很高，且不具實時性。

本文設計出一種高速投影機（DLP）與散射屏相結合的真三維顯示計算機視覺系統，并且提出了一種基于CNN模型的深度學習算法對投影過程中產生的畸變圖像進行實時矯正，與傳統的多項式方法以及BP神經網絡相比，精度和泛化能力更高。

2 計算機視覺顯示系統設計

2.1 光場的重構

與二維顯示中的像素相對應，真三維立體顯示技術是直接將三維數據場中的每個點在一個立體的成像空間中進行成像，每一個成像點 （x，y，z）就是真三維成像最基本的單位——體素點（voxel），一系列體素點就形成了真三維立體圖像。真三維顯示是使用光學引擎［6］和機械運動［7］來實現光場重構過程。

為了說明體三維顯示技術的原理，我們使用五維光場函數F:L∈R5→I∈R3來描述三維空間中分布的光場函數，其中 L=[x，y，z，φ，?]，為空間中點的三維坐標以及該坐標下的方向，Y=[r，g，b]為圖像的顏色信息。待顯示的三維圖像的模型和紋理可由物體表面所有的離散點集表示，其中 Li=[Pi，Yi]，Pi，Yi分別為空間中點的位置和顏色，光場傳播圖如圖1所示。

將式（1）寫成離散化形式可得：

又光場滿足線性關系，故可得：

式（3）表明，通過高速旋轉的二維投影技術，對其切片圖像可實現三維光場的重構。

2.2 顯示系統的設計

現有的旋轉式LED點陣體三維顯示，只能以柱狀形式成像再現三維立體光場，視場角小，且分辨率低。因此本文設計了一種基于ARM處理器智能交互的真三維顯示系統，可實現多角度同時觀看，分辨率很大程度得到提高，體素可達到30M，其設計框圖如圖2所示。

在三維范圍內拍照需要三維顯示的物體，并將投影圖像序列存入SDRAM中。使用FPGA視頻采集技術將圖像序列導入ARM處理器中，同時進行切片圖像的處理，將產生的圖像信息送入數字視頻接口（DVI），經過DMD控制器處理之后傳送給高速投影機，最后DLP直接將數據圖像向透射型定向散射屏背面高速投影出來。伺服電機驅動透射型定向散射屏進行高速旋轉，轉速傳感器探測的轉臺轉速及角度位置，并將探測到的轉速及角度位置信號傳給轉動控制器實現對轉臺轉動的閉環控制。在電機處于高速旋轉過程中，同步設備將采集電機的位置信息，根據DVI信號的輸出幀頻，DMD控制器將產生一個編碼當前幀頻的信號，以此保證散射屏的位置和DMD的圖像投影的同步性。本文設計的真三維顯示系統裝置如圖3所示。

由圖3所示，裝置主要由散射屏及轉臺部分，伺服電機以及同步采集設備，高速投影機，DMD控制器以及ARM處理器，電容屏以及體態攝像頭組交互部分構成。1為玻璃罩，玻璃罩上部貼有貼片式體態攝像頭，2為半透半反屏，3為上轉臺，4為DLP高速投影機，5為二號步進電動機，6為傳導結構以及速度傳感器，7為內置電源，8為基座轉臺，9為基座轉臺與裝置底座的連接軸承，10為裝置底座，11為黑色吸光板，12為傳導機構以及速度傳感器，13為一號步進電動機，14為ARM處理器，15為SD卡槽，16為FPGA采集系統。其中，散射屏為透射型定向散射屏，在透明屏罩內以45°傾斜，其中心恰好與投影機的中心、光學系統中心共軸。一號步進電動機用于精確調節控制定向散射屏的同步轉速。二號步進電動機帶動基座轉臺，實現在展覽、議會等使用過程中遠程控制整個裝置的精確轉動。黑色吸光板防止投影過程中漏光。

圖3 智能交互的真三維顯示裝置

玻璃罩上的光傳感器捕捉人的肢體運動，并將運動信號轉換成電信號傳送給ARM處理器，通過ARM處理器將信號傳送給二號步進電動機，以實現所成的三維圖像旋轉的控制，便于用戶根據個人需要多角度觀看三維圖像，增加了真三維顯示系統與人之間的交互。轉臺分為兩個，上轉臺可以使定向散射屏高速旋轉，實現平面投影的立體化，下轉臺使整個裝置轉動，ARM處理器通過藍牙、局域網接收控制信號，并傳送給二號步進電動機，控制基座轉臺旋轉。在展覽議會等使用過程中，通過遠程遙控以實現觀眾的360°環繞觀看。本裝置人機交互強，且分辨率高，DLP理論幀頻可達到104級fps。

3 圖像畸變矯正算法

3.1 畸變矯正的過程

DLP投影儀進行垂直投影時，像的垂軸放大率隨視場的大小而變化，導致半透半反屏兩側像素點偏移，造成圖像的幾何畸變，需通過圖像處理進行畸變矯正。幾何矯正是指從具有畸變的圖像中消除畸變和還原正常圖像的處理過程，因此投影圖像的幾何畸變可以通過幾何矯正消除［9］。投影儀光學鏡頭的畸變通?？煞譃榍邢蚧兒蛷较蚧儯?0］。由于切向畸變對圖像的畸變影響較小，因此我們主要考慮徑向畸變，忽略切向畸變。

徑向畸變主要包含桶形畸變和枕形畸變兩種，DLP投影儀造成圖像的徑向畸變以桶形畸變為主［11］。對于畸變的光學系統，畸變空間中的直線在像的空間中除了通過對稱中心的直線一般不是直線［12］。因此在進行桶形畸變矯正時須先找出對稱中心，再進行通用的幾何畸變矯正過程。桶形畸變矯正的步驟如圖4所示。

初中生要得到物理思維的鍛煉，形成對物理問題廣泛的獨特的認識，就要從物理問題分析的綜合性、嚴密性著手。以淺析動態電路中局部與整體的聯系為例，引導學生對一個物理問題進行完整、準確的分析，予以增強學生分析問題的綜合性、嚴密性。當然，上述方法是解決動態電路的一般思路，如果題目里面考查的問題比較特殊，或者題目中只考查一兩個物理量的變化時，也不一定全部參照上述步驟，此時只需采用五個步驟中的兩、三個步驟即可。

圖4 桶形畸變矯正的步驟

一般的畸變是空間扭曲型幾何畸變，它屬于曲線畸變，畸變像和無畸變像的關系可表示為F（u，v）=F（x，y），傳統的通過二次多項式矩陣求逆來求解畸變系數的方法有時無法描述復雜的畸變模式［13］，因此導致泛化能力較弱，若采用更高的多項式次數，則需要更大矩陣的逆，不容易編程求解。目前有人提出了一種基于BP神經網絡的新方法來矯正圖像的幾何畸變，相比傳統的多項式法求畸變系數，精度有了較大的提高。本文提出了一種基于卷積神經網絡的方法對畸變圖像進行處理，相比BP神經網絡，權值共享網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量，而識別能力卻大為提高，且泛化能力強。

3.2 畸變圖像處理

卷積神經網絡（Convolutional Neural Networks，CNN）是人工神經網絡的一種，已成為當前語音分析和圖像識別領域的研究熱點［14］。卷積神經網絡相比BP神經網絡，雖然其網絡結構更為復雜，它擁有更多的網絡層數，但由于其自身的稀疏連接性及權值共享等特點，它的訓練學習難度并未增加太多，其并行連接方式使得它尤其適用于圖像識別領域。該優點在網絡的輸入是多維圖像時表現的更為明顯，使圖像可以直接作為網絡的輸入，避免了傳統識別算法中復雜的特征提取和數據重建過程。并且權值共享提供了一種高效的學習算法，很大程度上減少了訓練的參數，通過控制其容量，在解決圖像識別問題上有更好的泛化能力。

卷積神經網絡相比傳統的BP神經網絡增加了卷積層和池化層，可以避免顯式地特征取樣，而隱式地從訓練數據中進行學習。這使得卷積神經網絡明顯有別于其他基于神經網絡的分類器，通過結構重組和減少權值將特征提取功能融合進多層感知器，因此它可以直接處理灰度圖片，能夠直接用于處理基于圖像的分類。

在卷積層的計算中，卷積核與前一層所得的特征圖進行卷積，通過激活函數得到輸出的特征圖，卷積過程操作如式（4）所示。

通過反向傳播算法［15］計算卷積核函數梯度權重，由于卷積層神經網權重共享，使用來表示被卷積過得區域，δmj表示m層與m+1層之間的誤差，對所有誤差梯度求和可得卷積核梯度：

以圖5和圖6的圖像作為訓練對象，對圖5的畸變圖進行卷積神經網絡處理，以圖6為基準圖像進行學習，識別原圖的每個區域，卷積層與化池層交替出現，隨著圖像維數的降低，每一層提取的特征圖越來越多，這些增加的特征圖反映了原始圖像的局部特征，并包含了這些局部特征的相對位置關系。為了清晰地看到CNN通過深度學習得到的邊緣特征，以其中第一層學習得到的參數來可視化學習的邊緣特征為例。

對分辨率為227×227的圖像進行均值相減后，通過CNN向前傳播，神經網絡包含2個全連接層和5個卷基層。為了提取每一個區域檢測窗的特征，我們先把圖像信息轉換成與卷積神經網絡相符合的形式，因為此卷積神經網絡的架構需要分辨率為227×227的固定輸入。對于各種可能的變形方式，我們考慮區域檢測窗的大小和比例，裁剪候選窗到特定的大小，但在裁剪之前，先擴大裁剪窗使得每一個窗口周圍有像素的擴展，以保證圖像信息的完整。

4 程序實現

基于上述的畸變模型的確定方法，本研究以Matlab軟件作為開發工具，以1000幅畸變和基準圖組作為訓練樣本，使用內置的Deep Learning工具包，編寫了上述CNN模型的實時畸變圖像矯正的應用程序沒通過采用灰度插值中的雙線性插值算法，在矯正的處理過程中將矯正圖上每一點映射到畸變圖，然后通過灰度插值來得到這一點的灰度值，此方法具有低通濾波性質，矯正精度較高，沒有灰度連續的缺點。故采用雙線性插值的方法利用畸變點（u，v）周圍的四個最鄰近像素的灰度值，來計算 （u，v）處的灰度值。

對以后每一幅經受相同畸變的圖像，按照上述CNN模型的輸入，通過設置卷積、降采樣層的數量，卷積核的大小以及降采樣的降幅，按照上述卷積神經網絡的學習后給出一個輸出位置，利用灰度插值中雙線性插值的算法確定出該點的灰度值。對每個點都重復上述操作，最終可得到整幅矯正后的圖像。

為減少算法實時運行時間，畸變矯正算法分為CNN模型處理以及實時矯正參數計算兩部分。預先建立一個查找表作為常數表格存放在空間足夠大的非易失性存儲器中，根據輸入圖像按像元索引查表，根據表內數據求對應灰度值，替換當前灰度值便可以完成圖像實時的畸變矯正。也可以只存儲位置映射表，在程序初始化階段根據位置映射表進行CNN模型處理，然后生成查找表，如圖7所示。求取對應灰度值然后替換當前灰度值，實現對圖像實時的畸變矯正。

圖7 畸變矯正查找結構圖

進行實時矯正時，將表內對應灰度值全部替換當前灰度值即可完成任務。例如設像元（x，y）處的灰度值為 H（x，y），畸變圖像上某像元位置為（i，j），根據上述空間變換方式，該像元 （i，j）的灰度值應替換為 H（i，j），根據查找表數據，代入式（6）可求出：

實驗過程以CCD作為目標源，經過圖像采集卡、以及計算機控制中心組成的實驗系統進行實際操作，在不同物距下產生的多組有效目標，并基于BP神經網絡以及卷積神經網絡處理的畸變矯正對比圖如圖8、圖9和圖10所示?？梢?，基于卷積神經網絡所處理的畸變實時矯正圖像效果更好，精度更高。

圖8 矯正前的畸變圖像

圖9 基于BP神經網絡矯正后的圖像

5 結語

本文將高速投影機與透射型定向散射屏旋轉結合，以伺服控制技術為核心，來實現計算機視覺顯示系統，該方法新穎且裝置成本較低，視角較寬，通過增加體態式攝像頭來捕捉人體的肢體運動來操縱所成的三維圖像，增加了真三維顯示系統與人之間的交互。通過建立畸變矯正的數學模型，提出一種基于卷積神經網絡的深度學習算法，對投影過程產生中的畸變圖像進行實時矯正處理，實驗結果表明相對于多項式模型以及BP神經網絡而言，其矯正效果較佳，且卷積神經網絡模型具有魯棒性高，泛化能力強等優點，非常適用于圖像識別領域。