仿真技術在我國旅游領域應用現狀的研究

寧孟麗,樊亞棟

(山西旅游職業學院, 山西, 太原 030036)

1 引言

近年來,VR技術在各行各業都得到了廣泛應用, 例如文物重建、古建筑重建、工業、環境、地理、游戲 等等。虛擬現實技術(VR)作為仿真技術的一種衍生應 用,可通過電子技術和計算機技術聯合創造一個新世 界。在這個世界中, 有模擬的真實環境和聲音,用戶可 通過智能穿戴傳感設備在模擬世界中進行游覽和操作, 實時且自然感知這個虛擬世界又能深度參與。旅游過程 實際上是體驗文化、體驗生態、體驗環境、體驗景觀、 體驗娛樂、體驗情感、體驗健康等多方面體驗的過程, 傳統景區互動性差、景區流量受限、過度開發的旅游產 品造成古代建筑承壓。差異化旅游發展亟待創新發展思路。由 VR 技術和信息技術共同發展起來的虛擬旅游技 術, 徹底改變了傳統旅游方式。大大縮短了游客與旅游目的地之間的距離,使一些未被熟知的景區逐漸進入大 眾視野。

當 VR 技術應用在虛擬旅游業中時, 主要有以下三 方面特征:

1)構想性:指的是虛擬環境主要由人想象得到, 這種環境主要依托于人的某種思想,因此可以用來構建 移動的虛擬目標。

2)交互性:用戶可在多種傳感設備的輔助下, 與虛擬環境中的事物、主體進行自然交互,同時也可感 受到環境變化帶來的感受,與真實環境中的感受相差無 幾。

3)沉浸性:指的是用戶可從多方面感受到虛擬 環境中的事物, 仿佛置身于其中。

在大力推進旅游數字化、網絡化和智能化的今天,對于虛擬環境的重建效果仍不盡如人意。為此, 孫保燕[1]等人利用空地多數據互輔融合算法,針對旅游景區古 建筑提出一種三維重建方法。通過傾斜攝影和三維激光 掃描獲取古建筑圖像,同時建立古建筑三維模型電子檔 案, 對圖像與檔案中的數據進行融合并計算偏差,以此 完成對景區古建筑的三維重建。劉德兒[2]等人通過融合 異源的方式將三維激光點云數據與傾斜攝影結合起來, 實現對建筑的三維重建。利用傾斜攝影獲取建筑圖像, 并生成影像點云,在三維激光掃描儀的基礎上分析其立 面數據,并對其進行去噪處理;將激光點云與影像點云 憑借TrlCP算法進行配準,使建筑物位姿實現完美融合, 進而完成建筑物的三維重建。

應用上述兩種方法在對旅游景區建筑物重建時難 以取得理想的重建效果,因此,通過雙目視覺系統采集 旅游景點數據,經過特征點提取和匹配后,完成建筑物 的虛擬三維重建。

雙目視覺系統有四個基本步驟:

1.相機標定。單相機的內參標定可以獲得每個相機 的畸變系數、焦距、光心等參數;雙目相機的外參標定 可以獲得相機之間的相機坐標系的平移和旋轉關系。

2.立體校正過程。使用標定結果,對兩個相機采集 的原始圖像進行校正,使之位于同一平面且互相平行。

3.立體匹配過程。對校正后的圖像進行像素點的匹 配, 匹配成功的點表示真實世界中的某點在這兩個圖像 中的不同位置。匹配代價計算的方法有很多,有 A(Absolute Differences )、 SAD(Sum of Absolute Differences)、 NCC(Normalized Cross-correlation)等方 法。

4.深度計算過程。根據立體匹配結果得到視差圖計 算每個像素對應的深度取得深度圖。

在實驗測試中,利用仿真技術重建后的建筑物效果 要遠遠優于其他兩種方法,可為用戶提供最真實的虛擬 旅游體驗。

2 景區三維重建

在虛擬現實技術中,需要對旅游景區建筑物進行模 擬,那就必須用到三維重建技術[3],本文通過構建雙目 視覺系統來采集景區環境各類數據信息。

2.1 數據采集

仿真技術使用的雙目視覺系統包含了硬件和軟件 兩部分,主要模塊有影像獲取模塊、視覺測量處理模塊 以及結果顯示模塊。其中,影像獲取模塊[4]由安裝在系 統前端的兩臺工業攝像機構成,這兩臺攝像機之間方向 相同, 具體參數如表1 所示。

表1 工業攝像機具體參數

視覺測量處理模塊的構成主要有兩部分,分別是 CPU 和存儲器,作用是接收影像獲取模塊傳送過來的立 體影像數據[5],分析計算后以三維信息的形式傳送至結 果顯示模塊。影像獲取模塊與視覺測量處理模塊通過千 兆網線和路由器進行連接,實現實時影像數據的傳送。 視覺測量處理模塊的參數如表2 所示。

表2 視覺測量處理模塊計算機參數

由于工業攝像機不會產生特別嚴重的鏡頭畸變,所 以選擇了張正友標定法[6]對兩個攝像頭進行標定。雙目 視覺系統兩臺攝像機的工作流程如圖1(a)所示,由該 系統獲取的景區建筑圖像如圖1(b)所示。

圖1 雙目視覺系統

2.2 特征點提取

在建筑物三維重建中,特征點提取的作用是將建筑 物的 2D 圖像轉換為 3D 模型。提取的特征點可以用于 確定建筑物的位置、形狀和結構,可以作為計算機視覺算法的輸入來識別不同部分的建筑物及其空間關系。對 于建筑物的復雜結構或特殊形狀部分,特征點提取還可 以幫助計算機更好地識別和分割出這些部分,從而更準 確地重建建筑物的 3D 模型。對于獲取的旅游景區圖像, 利用改進后的 Harris 算法分別將 0°、45°、90°以及 135° 四個方向上絕對值小于閾值F 的像素點剔除掉,僅針對 剩下的像素點進行 Harris 角點檢測。假設景區建筑圖像像素點(x,y)的灰度強度[7]為I(x,y),那么在 0°、45°、 90°以及 135°四個方向上,對該像素點 4 個不同方向上 的灰度梯度Ix、Ir、Iy、Id進行推導,計算公式如式(1)所示:

(1)

Ix、Ir、Iy、Id四個值的范圍在[-255,255]之間。 通過查閱相關資料, 將閾值設定為F=25。判斷 0°、 45°、90°和 135°四個方向的梯度值,當滿足Ix< 25、Ir< 25、Iy< 25、Id< 25 時,證明該點不是角點,除此之外的所有點被看作是候選角點[8],同時放入集合A中。對集合A進行擴展得到集合B,對集合B中的 像素點計算 8 相鄰像素角點響應函數R,經過非最大值 抑制后,得到滿足條件的角點。在對兩個集合像素點R。

值計算完成后,按照大小順序排列,利用相鄰像素角點 最大值Rmax計算基礎閾值T0：

T0=C0×Rmax

(2)

式中,C0表示閾值系數[9]。由經驗可知,當C0的取值范圍在 0.02～0.04 之間時角點檢測效果最好, 滿足R>T0且R為局部極大值像素點,由此得到的角點為基礎角點。

由基礎角點將景區建筑圖像劃分為若干個圖像塊, 接著再對基礎角點以外的候選角點計算R值并排序,找出Rmax,將其作為補充角點[10],其周圍的鄰近點需要剔除掉。通過該方法可以很好地提取到圖像特征點,便于 后續進行特征點匹配。

2.3 特征點匹配

在建筑物三維重建中,提取特征點是為了確定建筑 物的位置、形狀和結構,但提取的特征點可能并不完全 準確,尤其當建筑物形狀比較復雜或者存在遮擋或光照 變化等情況時,提取的特征點的位置、數量以及質量都 可能存在誤差。因此, 在提取特征點之后,需要對得到 的特征點進行匹配, 以便消除誤差并找到匹配的點對。 匹配可以通過將特征點描述符進行比較的方式實現。匹 配的結果可以用來確定不同視角的特征點之間的對應 關系, 從而使得建筑物的 3D 模型更加精準和完整。特 征點匹配是在一定搜索范圍內,找到左、右兩幅圖像的 對應點,并將其進行匹配,仿真技術通過 SAD(Sum of absolute differences)算法[11]來實現。將左、右攝像機采 集的圖像分別定義為參考圖像和匹配圖像。選取參考圖像中的一個坐標點(u,v),將視差搜索范圍設定為d, 圖像中點(u,v,d)的像素代表了點(u,v)與匹配圖像中點(u+d,v)之間的距離。SAD算法作為一種局部特征匹配算法[12],在匹配圖像塊方面具有非常突出的優勢。SAD算法的表達式為:

(3)

式中,s、t分別表示待匹配兩幅圖像的軸斜率,M、N分別表示待匹配兩幅圖像的旋轉矩陣,S表示立體校正矩陣[13]。

基于SAD算法的特征點匹配具體實現步驟為:

步驟一:建立一個與卷積核作用相似的小窗口;

步驟二:將左、右兩幅圖像分別用窗口覆蓋住,同時提取覆蓋區域內的所有像素點;

步驟三:對左、右覆蓋區域內的像素點計算絕對值的和;

步驟四:適時調整右邊圖像上的窗口位置,反復操作步驟二、步驟三,直到滿足差值最小條件時停止,此時得到的窗口即為與左邊圖像相匹配的像素塊,提取其中的特征點進行相互匹配即可。

2.4 三維重建實現

提取得到左、右兩幅圖像對應的特征點后,利用雙目立體成像理論對特征點的深度值進行計算,同時建立一個初始控制網格,利用插值的方式計算網格點坐標[14],以此實現虛擬環境中景區建筑的仿真三維重建。初始控制網格如圖2所示。

將Φij看作是某個控制點的值,由此可得到逼近函數的表達式為:

(4)

式中,k=|x|-1、l=|y|-1分別表示左、右兩幅圖像的平移向量,s=x-|x|,t=y-|y|,Bk、Bl分別表示雙三次B樣條的基數。

將三維模型的像素值看作是Φij的逼近點集記為Φp。對于Pij中的所有點P,構建三維重建模型為:

ΦP=∑Pf(x,y)2ΦP/D(i,j)

(5)

由于雙三次B樣條函數曲線可以更加突出圖像細節特征,對于配準后的特征點具有較高的接受度。所以在每一次的特征點匹配后,都會生成一個控制網格,經過一級一級的匹配,由粗到細的對旅游景區進行仿真三維重建,為虛擬旅游創造最接近現實的仿真環境。

3 實驗測試

為了驗證仿真技術在我國旅游領域應用的實際效果,選取某知名旅游景區作為研究對象,將仿真技術與文獻[1]提出的空地多數據互輔融合技術和文獻[2]提出的PCA-TrICP技術。首先,從特征點匹配方面對三種算法展開實驗測試,對比結果如圖3所示。

通過對比圖3中的三幅圖像可以看出,利用仿真技術得到的特征點數量最多、最全,左右兩幅圖像中的特征點匹配效果最好。而其他兩種算法選取的特征點數量普遍較少,且左右兩幅圖像匹配的特征點出現了偏差,沒有實現精準匹配。這是由于仿真技術不斷調整SAD算法中的窗口位置,使待匹配的兩幅圖像像素塊完全吻合,因此取得了優秀的特征點匹配效果。

接下來,對三種重建算法在虛擬現實技術中的應用效果進行對比,結果如圖4所示。

圖4 三種算法重建效果對比

從圖4中可以很明顯地看出,三種算法中,利用仿真技術取得的重建效果最好,使得在仿真虛擬旅游中得到完整體現。而其他兩種算法重建圖像完整度不高,細節處理得較為模糊,在虛擬旅游中的表現并不好。由此得出結論,應用仿真技術可以為虛擬旅游提供效果更好地模擬體驗,使用戶的感受更加真實。這是由于仿真技術取得了優秀的特征點匹配結果,使得重建后的圖像保留了更多的特征點,因此重建效果更好。

最后,利用三種算法分別對不同環境下的建筑物進行1000次三維重建,并將重建后的建筑物長度與實際長度進行對比,得到如圖5所示的結果。用來進行長度對比的是某古樓門框,實際長度為200cm。

圖5 三種算法三維重建長度與實際長度對比結果

從圖5中可以看出,三種算法重建后的長度與實際長度之間都存在著一定的誤差,但是仿真技術取得的誤差要小于其他兩種算法,且1000次誤差較為平穩,未出現特別突出的波動。再看另外兩種算法的重建長度曲線誤差普遍較大,且每次實驗都不平穩,說明這兩種算法穩定性較差,重建后的效果在虛擬旅游中無法得到平穩展現。

4 結論

目前,在我國處于起步階段的雙目視覺主要應用于四個領域:機器人導航、微操作系統的參數檢測、三維測量和虛擬現實,就雙目視覺的發展狀況和目標(達到類似于人眼的通用雙目視覺)而言,需要解決以下問題:①灰度失真、噪聲去除、新的算法。②技術方面提高立體視覺的真實性。③不同場景的視覺標準與方法,約束信息參與立體匹配的模型。SGBM算法使用sobel算子對源圖像進行處理,并將經sobel算子處理后的圖像映射為新圖像仍可做為后續研究。