基于全景圖像的赫哲族村鎮虛擬漫游系統的設計與實現

王浩淼，宋金淼，崔清源，李躍鵬，張子晨，苗 豐

(大連民族大學 a.計算機科學與工程學院；b.大連市民族文化數字技術重點實驗室，遼寧 大連 116605)

赫哲族是我國人口較少的民族之一，有語言，無文字[1]，非物質文化遺產非常豐富，通過口耳相傳的形式保留下來。在“互聯網+”的時代，通過數字化技術將赫哲族非物質文化遺產永久保存，這是研究和保護赫哲族文化的重要內容之一。

全景圖像是一種基于若干普通圖像序列，通過拼接融合而得到的具有超廣視角的特殊平面圖像。利用圖像融合算法將一個場景內多張不同角度的局部掃描圖像進行拼接，再通過投影計算將二維全景圖像投影在空間表面上，使二維圖像具備了能夠實現360°視角的三維觀看效果，即構造水平方向360°環視、垂直方向180°俯仰的立體環境[2]。這種技術相較于傳統的三維建模技術來說，在博物館、建筑風貌和民族景點等方面的數字化展示上，有著快速、真實、高效等優點。虛擬漫游是通過在各場景內添加交互熱點和鏈接，將各個全景場景按照真實世界的空間位置進行整合排列，來實現漫游系統中各個地點的任意跳轉和類型豐富的交互功能。利用全景虛擬漫游技術對赫哲族文化進行數字化保護，不僅能將赫哲族的各種展館、村落完整的在計算機和移動設備上展示出來，也能為全國乃至全世界想要了解赫哲文化和當地人文風貌的人們提供一種直觀而又便捷的途徑。全景圖像的拼接融合一般有以下幾個步驟：

(1)將從真實世界中獲取的一組圖像以一定方式投影到統一的空間面(本案例選用球面投影)，使這一組圖像具有統一的空間坐標參數；

(2)在選定的投影空間面對相鄰圖像進行比較，在重合位置選定用于匹配的特征點，并基于這些特征點對準圖像；

(3)將圖像重疊的區域進行融合處理，拼接成全景圖像，并輸出球面圖像的二維平面展開圖。

1 赫哲族村鎮圖像的采集與拼接融合

1.1 圖像采集方案與前期處理

采集圖像之前，首先對采集地點做出詳細的規劃。以黑龍江省同江市作為中心，使用專業掃描攝相機獲取室內和地面圖像數據，無人機[3]掃描空中場景，覆蓋街津口和八岔這兩大赫哲族鄉，并加入了周邊具有當地特色風貌的場景。采集過程中，角度相鄰的圖像之間保留25%的重合度，在后續的圖像拼接融合計算中，計算機才能充分識別并提取出足夠準確的特征點，保證最終輸出圖像的質量。將采集的圖像按場景進行分組，并統一進行曝光、色調和其他細節等方面的調整，以避免圖像融合時產生接縫，同時保證最大程度的還原場景原貌，全景掃描示意圖如圖1。地面場景以正常視角進行立體展示，而空中場景則是以高空俯瞰的特殊視角展示。

在圖像投影方式上，目前主要有柱面全景、立方體全景和球形全景這三種形式。由于球形全景最符合人們的觀察習慣，無論任何場景都能適用，且方便在計算機中展開成二維平面圖像存儲，所以選擇了球形全景作為標準來進行全景圖像的采集與拼接融合如圖2。采用基于球面投影的全景圖像生成技術，對無人機和攝相機拍攝的若干張原始圖像進行拼接融合生成球面展開圖，再將二維平面的全景圖進行球面反投影計算以實現三維實景展示。

a) 地面全景掃描

b) 空中全景掃描

圖2 球形全景圖像投影示意圖

1.2 圖像球面投影計算算法

將獲取的圖像數據投影至球面模型上進行合成得到球形全景圖。球形全景可以實現參與者在照相機的視點任意角度、任意方向的觀察場景。由于球面全景在計算機中存儲結構的限制，一般對球形全景圖在俯仰角和方位角上進行采樣處理，展開成寬高比為2:1的平面圖像。球面投影模型能避免空間不足的缺點，不僅能完整的表現全景空間，能夠搜索和反映空間中的所有方向，且它在獨立的球坐標系下還能夠僅用方位角和俯仰角來表示圖像上的任意一點，這種方法可以很好地完成圖像的存儲和漫游時的截取工作，這是球面模型最大的優點。

攝像機獲取的反映360°全景的序列圖像是在不同角度下拍攝的，直接拼接時視覺一致性會收到嚴重破壞，因為在重合區域會產生局部扭曲變形。視覺一致性要求首先把圖像統一投射在球面上，完成球面正投影后再進行拼接才能得到無畸變的全景圖像。投影平面展開圖如圖3 ，其中圖3(a)為原始圖像、圖3(b)為平視層球面展開圖、圖3(c)為仰視層球面展開圖。平面一像素點設為p(x,y)，在球面展開圖上對應的點為ps(xs,ys)，在球面半徑一定時，球面展開平面圖像的形狀只與俯仰角有關。

球面正投影算法是將所有的實景圖像分別投影在一個球面上，由拍攝所得實景圖像經球面正投影算法得到球面圖像。設攝像機坐標系為Oc-xcyczc，世界坐標系為Ow-xwywzw，其中Oc、Ow為各自坐標系原點，攝相機的拍攝方向為(α，β)，任意一個實景內像素點p(x,y)在球面全景圖像上對應點為p'(x',y')，點p(x,y)在攝像機坐標系中的左邊為(x,y,f)，其在世界坐標系下的左邊為(xp,yp,zp)，則有：

(1)

球面空間坐標系中，過點O與點P的直線參數方程可以表示為：

(2)

聯立球面方程表達式(2)可計算出參數

(3)

計算球面坐標之后，還需要將圖像轉化為二維坐標，即將球面展開為平面，才能方便在計算機中存儲。

a)原始圖像 b)平時層球面展開圖

(c)仰視層球面展開圖

圖3投影平面展開原理示意圖

p(x,y)和p'(x',y')的關系，記為

Δ=ysinαcosβ-xsinβ-fcosαcosβ。

(4)

由公式(3)～(4)推導得出如下結論：

當Δ≥0，z'p=0時，

(5)

當Δ<0，z'p<0時，

(6)

即通過的正負值來判定俯仰層展開圖像與原始圖像相同位置坐標點的對應關系。實際圖像轉換效果如圖4。

a) 俯仰層平面展開示意圖

b) 平視層平面展開示意圖

1.3 基于SIFT算法和特征點對準的圖像拼接與融合

控制點識別算法采用SIFT圖像特征提取算法，利用這種算法可以不受圖像旋轉、縮放變換的影響，也不受圖像本身色差、圖像噪點的影響，具有很強的穩定性。為達到這個效果，需要在每個自然特征點中利用圖像梯度函數得到一個基準方向，這個基準方向對于每個特征點都是不同的，并且是穩定存在的。為得到這個基準方向，首先要得到待測特征點的尺度值，然后通過極值搜索二維圖像I(x,y)，在符合上述尺度值中的空間中通過圖像與高斯核卷積可得式(7)[4]，

L(x,yσ)=G(x,y,σ)×I(x,y)。

(7)

式中:(x,y)為圖像的像素位置;σ為尺度空間因子;G為高斯卷積函數。下一步使用有限差分的方法，計算特征點周圍每個點(x,y)的梯度方向δ(x,y)和大小m(x,y)，用于特征點匹配，

(8)

(9)

δ(x,y)=((θ(x,y)+π)%2π)×36。

(10)

對于計算機識別不準確的特征點可以再次進行人工調整，或者刪除一些錯誤的特征點如圖5。

圖5 SIFT算法識別特征點

圖像融合常用的算法為平均疊加法，即直接對圖像進行平均疊加。由于圖像之間往往存在亮度差，所以這種方法明顯會出現拼接縫隙。故而掃描和后期處理時要注意曝光的一致性，掃描時使用手動參數，在自動參數下要開啟曝光鎖定。

加權函數法能有效解決縫隙問題，是一種平滑的融合技術，但拼合區往往出現疊影模糊現象，故而要注意拍攝時的視差矯正，保證鏡頭始終處于視點中心位置，加權法公式

(11)

式中：pi(x',y')是第i幅圖像在對應點p(x,y)的值；wi為線性權重函數。中心為1，邊界為0[5]。使用這種算法可以讓融合后的圖像更加自然。

以其中一個地點為例，在空間位置相鄰的兩張圖像之間的重合區域中，識別出若干特征點，并在這些特征點之中選取相似的特征點作為圖像拼接的控制點進行匹配。將所有的圖像都拼接完后，再對相鄰圖像的邊緣進行融合，消除拼接痕跡，并輸出二維平面展開圖。對于算法識別不正確的特征點，則需要手動調整以保證圖像融合沒有錯位現象如圖6。

a) 球形全景拼接示意圖

b) 圖像邊緣融合示意圖

2 赫哲族村鎮虛擬漫游系統應用實現

2.1 全景圖像在赫哲族村鎮虛擬漫游系統中的應用

球面投影是以透鏡中心為虛擬觀察點，以焦距為半徑對應的球體表面為投影面進行球形投影的。二維的平面全景圖像需要經過球面反投影計算才能夠以三維立體的形式實現如圖2所示的效果。照片上任意一點p(x,y)投影到球面的坐標pi(x',y')滿足如下對應關系，其中f為相機焦距[6]。

(12)

(13)

經過反投影計算后，被拉伸扭曲的圖像才能以正常的狀態展示出來。

另外，本虛擬漫游系統的開發是基于網頁形式制作的，由于單張全景圖像的存儲體積較為龐大，為了保證場景的載入速度，可以對圖像進行切片。將一張全景圖裁切成多張較小的圖片，僅加載視野所及的部分以提高加載速度，在進行瀏覽時能夠大大提升觀賞體驗。

2.2 交互功能設計

虛擬漫游系統是將拼接融合生成的全景圖像作為場景，經反投影計算后，用超鏈接將一個個獨立的場景連接，為其添加各種交互熱點[7]并封裝成一個整體。

系統主要采用基于XML的Krpano語言編寫，Krpano語言保留了XML的語法并融入了自己的標記元素，是一種專門用于開發全景漫游的語言。場景內的交互式熱點則是使用HTML語言的超鏈接功能實現的。通過對熱點圖標指定相應的超鏈接，實現場景跳轉、細節圖片、影音介紹等交互功能。

系統界面如圖7。場景目錄功能可以讓用戶不受限制地跳轉到任意場景，具有很高的自由度，如果用戶想體驗沉浸式的虛擬漫游，則可以通過點擊場景內設置的熱點鏈接標記實現一步一景的瀏覽，系統提供的自動導覽和細節展示功能方便用戶對漫游內容的快速了解，這些交互熱點功能是虛擬漫游系統的主要功能。另外，部分場景內部嵌有可以實時播放的視頻，與虛擬場景融為一體，十分新穎。

圖7 系統界面

系統交互功能如圖8。界面右上角為附加功能開關，包括背景音樂、語音講解、電子地圖等，其中電子地圖可以幫助用戶確定當前場景所在位置，讓用戶始終不會失去方向，背景音樂則可以增添環境氛圍，語音講解則可以使用戶更快地了解當前場景的展示內容。

圖8 系統交互功能

正上方為當前場景的滾動文字介紹，鼠標移入即可暫停滾動，移出后恢復滾動效果，點擊右鍵還可以切換不同的視角如圖9。這些附加功能很好的豐富了系統的展示效果，達到了全面、準確、真實的展示目的。在安裝有此系統的計算機上配合投屏APP使用，可以在移動端對其進行同步控制，同時還能部署在網絡服務器為遠程用戶提供在線瀏覽，無論在線上還是線下都用很好的應用價值。

圖9 小行星視角

3 其他相關技術應用

3.1 基于環物掃描的實物展示技術

環物掃描的方法與全景掃描以相機為中心的方法相反，它是讓被攝物體處于中心位置，掃描設備去圍繞物體(或設備固定，被攝物體自轉)進行環繞拍攝。將掃描的若干張圖像作為序列幀，在計算機上按順序播放，利用鼠標拖動來控制正反方向，不通過三維建模就能觀察到物體的各個角度。相對于使用三維軟件建模和基于二維圖像的三維重建算法，這種方式同樣具有低成本、高效等優點。

目前這種技術逐漸地被廣泛應用于商品介紹，如今也為民族文化保護的某些方面提供了新的途徑和便捷方法，與全景虛擬漫游技術相結合能發揮出很好的效果。

3.2 全景視頻技術

通過多鏡頭的全景相機記錄同一時間地點的視頻信息，并對每一幀同步進行投影計算和拼接融合即可得到長寬比為2:1的球面展開視頻，再進行球面反投影計算得到立體的觀看效果。全景視頻可以360°全方位的展示出一個地點一段時間內的動態信息，在民族文化保護方面也具有很好的應用前景。

4 結 語

近些年來，雖然關于對文化遺產保護的關注度有所提升，但是文化遺產作為一個重要的歷史問題的相關解決方案還是有所欠缺，現有的先進技術以及專門對文化遺產保護的特有設施還不夠完善和普及，這就不得不迫使文化遺產的保護工作還有很長的一段距離[8]。

針對赫哲族民族文化傳承的現狀，主要闡述了如何通過采集數據、球面投影計算、拼接融合等步驟生成全景圖像的計算機圖像處理技術，來開發全景虛擬漫游系統，并將其應用到對赫哲族民族文化的數字化保護上。這種方式可以很好且全面的記錄和保存赫哲族現存的建筑風格、居住環境、展館藏品、習俗等方面的傳統文化，還可以通過各種數字移動設備直觀的展示和傳播，使更多的人了解赫哲族、認識赫哲族。

這項方案雖然是一種快速高效的采集、制作、展示的技術，但是它仍然有自己的不足之處。它僅以實景圖像為參考基礎，且在同一點位上僅能移動視角，所以還是存在一定的局限性，但這仍是目前在民族文化保護工作上的一種新的方案和思路。