綠美廣東生態建設示范區數字孿生應用研究

孟先進,林壽明,秦 琳,黃寧輝,丁 勝,薛亞東,羅 勇,楊廷棟

(1.廣東省林業調查規劃院，廣州 510520；2.中國林業科學研究院資源信息研究所，北京 100091)

隨著物聯網、北斗RTK高精度定位技術、無人機遙感、視頻監控、智能終端等技術的發展,以大數據應用為核心,集成各類感知數據、數據處理、數據整合等,建設智能化的林業立體協同感知系統(1)廣東省林業局.廣東省林業政務信息化建設規劃(2022—2025年).2022.已得到大力推廣。虛擬森林環境的構建是數字孿生示范區建設的基礎[1-2],場景顯示速度和畫面真實感一直是森林場景仿真領域研究的重點[3-4]。目前,隨著各種方法和模型的優化,使森林場景的加載更加穩定和流暢。數字孿生在人工智能和大數據快速發展的背景下應運而生,為解決林業信息實時反饋和智能決策等問題提供新的技術手段[3]。如何用林業立體協同感知結合三維虛擬森林場景、林木生長模型[5-10]等精細模型構建林業數字孿生系統,是本研究的難點和關鍵。

“綠美廣東生態建設數字孿生示范區”建設將采集并處理點云數據,獲取區域內林木、地形、主要建筑等全要素真實信息,基于虛幻引擎5(Unreal Engine,UE5)構建其高精度三維模型,搭建高逼真的三維森林場景,并研發示范區物聯網數據實時傳輸、可視化表達、統計分析功能模塊。在此基礎上,實現林木生長動態模擬、碳匯可視化、場景四季變化、天氣變化等數字孿生功能,從而實現示范區數字孿生能力建設。利用數字孿生系統提供的數據和分析結果,通過可視化界面、報表和預測模型等方式為決策者提供支持和參考。

1 研究區域

研究區域位于廣州市增城區增江邊圣皇洲,占地總面積為4.4 hm2,交通便利,水電條件方便,5G信號全域覆蓋,完全具備安裝物聯網設備和高精度傳感器的條件,適合開展數字孿生系統建設工作。

研究區域是綠美廣東生態建設示范點,實施了森林質量精準提升工程。該區域原來松樹(Pinusspecies)占比約為60%,主要樹種為濕地松(Pinuselliottii)和馬尾松(PinusmassonianaLamb.),松材線蟲(Bursaphelenchusxylophilus)病疫情嚴重,是一處松材線蟲病的改造點。松材線蟲病是重大植物疫情,嚴重威脅生態安全、生物安全,必須對該區域進行森林質量提升。經過改造,清除約70%松樹以及雜樹,保留500棵常綠鄉土闊葉樹種,另種植2 100棵地徑為3 cm幼苗,還種有少量胸徑為5 cm以上的苗木,均以鄉土闊葉樹種為主。示范區內樹種種類達40余種,種類較多?？紤]樹種豐富度、地勢差異、林分結構等因素,需合理設計傳感器的布設方案,優化虛擬場景模擬及虛實交互策略。

2 建設內容

2.1 森林景觀基礎數據調查

森林景觀基礎數據調查包括高分辨率無人機正射影像采集、無人機傾斜攝影數據采集、重點區域點云數據采集、單木屬性數據采集。傾斜攝影數據采集是利用示范區范圍內高精度傾斜數據,用于輸出實景三維模型;重點區域點云數據主要是運用地基和機載激光雷達設備獲取林地、林木和建筑的點云數據,用于1∶1樹木模型、建筑模形和地形模形等的制作;單木屬性數據采集主要是對每木進行空間定位和檢尺。

2.2 森林景觀三維模型構建

植物三維模型構建主要是利用地面點云數據,構建主要道路兩側的每株樹木的1∶1仿真模型、其余區位的主要林木模型;人工建筑三維模型構建主要是利用地面點云數據,構建三維模型;地形模型構建主要是利用無人機激光雷達數據,獲取高精度DEM數據,結合虛擬現實技術,構建可表征真實地形起伏的地形模型。

2.3 三維森林場景搭建

三維森林場景搭建是以傾斜模型為底圖,結合三維樹木、建筑和地形等模型構建高精度與標準地理位置的3D森林場景,同時對模型面數、多細節層次(Levels of Detail,LOD)效果、渲染策略、代碼組織等方面進行優化,提高運行效率和虛擬場景視覺效果。

2.4 物聯網感知數據模擬

把示范區內建設的物聯網感知系統(包括林木生長及碳匯監測系統、林分生態環境監測系統、動物多樣性監測系統和水質動態監測系統)的感知數據接入三維森林場景,實現虛擬場景與現實森林場景的深度融合,并對多類型物聯網感知數據進行三維展示。

2.5 數字孿生系統建設

數字孿生系統建設主要包括虛擬天氣系統、林木生長模擬、四季變化模擬、聲音模擬和碳匯三維可視化等內容。天氣系統在虛擬的三維森林場景里搭建天氣系統,按照24 h氣侯傳感器傳回的真實現實數據對場景天氣進行模擬;林木生長模擬是依據不同的林木生長模型,計算未來5～10年林木生長情況并進行動態三維模擬;四季變化模擬是通過樹葉紋理及環境渲染變化,模擬春夏秋冬四季場景;聲音模擬是對系統中風聲、水聲、鳥叫蟲鳴等環境音進行三維模擬;碳匯可視化是依據不同樹種不同碳匯模型,計算不同生長階段的碳儲量并進行三維場景呈現。

3 總體架構

本研究通過數據采集、數據處理、功能研發,構建綠美廣東生態建設示范區數字孿生系統。系統包括支撐層、系統層、持久層、業務層、表現層等5項內容。在業務層進行三維場景搭建、物聯網數據展示、數字孿生模擬、未來場景模擬等4項功能,在表現層進行三維界面(User Interface,UI)展示、業務功能三維模擬等內容。綠美廣東生態建設示范區數字孿生系統總體架構設計如圖1所示。

圖1 綠美廣東生態建設示范區數字孿生系統總體架構

4 數據獲取

4.1 高分辨率無人機正射影像獲取

無人機遙感技術的優勢在于可以實現高分辨率、高精度、高效率的數據采集和監測,能夠及時獲取林地變化信息,為全過程、全流程的森林監測提供技術手段。把森林經營的每一環節進行精細化監管,可從林地清理、整地、植穴和栽植等經營方式下,獲取基于實時動態RTK的高精度、高分辨率無人機影像,使每一階段的工作都可以量化管理。本研究一共獲取了11期無人機高精度高清影像,最高分辨率為0.018 m。部分影像如圖2、圖3、圖4所示,其采集時間分別為2023年1月19日(圖2)、2023年1月28日(圖3)、2023年5月19日(圖4)。

圖2 林地改造前影像

4.2 無人機傾斜數據獲取

無人機傾斜數據采集是利用大疆M300無人機搭載高精度傾斜攝影相機獲取高分辨率傾斜數據(地面分辨率為0.01 m),并基于高密計算三維重建技術完成示范區現狀實景的三維模型生產。數據采集分為3個步驟:1)傾斜航攝準備?？沼蛏暾堃约帮w行平臺、傾斜數碼航攝儀和飛行管理系統準備。2)傾斜航攝設計。航高確定、像片重疊度設置、航線規劃、地面分辨率確定、時間選擇。3)傾斜航攝實施。原始影像數據檢查、數據預處理、傾斜攝影三維模型生產。整個示范區范圍的無人機傾斜數據采集結果如圖5所示。

圖5 無人機傾斜數據采集結果

4.3 重點區域點云數據獲取

對重點區域全類型要素進行背包式和機載式激光雷達掃描,獲取激光掃描點位的絕對精度坐標和各種地物的信息數據,通過分析共性與特性,進行坐標轉換,實現點云融合產出。數據采集過程為三維掃描儀器設備選用、三維掃描區域劃分,以及路線規劃、點云數據外業采集、數據處理、點云拼接和點云建模。背包式激光雷達掃描核心區位225株樹木的點云數據,用于后期1∶1三維樹種模型的構建。核心區位激光點云數據如圖6所示。

圖6 核心區位激光點云數據

4.4 每木調查數據

采集示范區所有樹種單木屬性數據,用于后期大場景真實數據建模。每木檢尺的內容包括RTK空間定位坐標、樹種名稱、東西冠幅、南北冠幅、胸徑(地徑)、樹高、枝下高。示范區里總共采集2 864棵(包括喬灌木),有鐵冬青(IlexrotundaThunb.)、醉香含笑(MicheliamacclureiDandy)、閩楠[Phoebebournei(Hemsl.)Yang]、三椏苦[Evodialepta(Spreng.)Merr.]、黃牛木[Cratoxylumcochinchinense(Lour.)Bl.]、破布葉(Microcospaniculata)、山烏桕[Sapiumdiscolor(Champ.exBenth.)Muell.-Arg.]、刨花潤楠(MachiluspauhoiKanehira)、臺灣相思(AcaciaconfusaMerr.)、潺槁木姜子[Litseaglutinosa(Lour)C.B.Rob.]、深山含笑(Micheliamaudiae)、陰香[Cinnamomumburmanni(Nees et T.Nees)Blume]、木荷(SchimasuperbaGardn.et Champ.)等總共54種鄉土闊葉樹種,其中還有國家一級保護植物豬血木(EuryodendronexcelsumH.T.Chang)和南方紅豆杉[Taxuswallichianavar.mairei(Leme &H.Lv.)L.K.Fu &Nan Li]。編號1—15的每木調查數據如表1所示。

表1 編號1—15每木調查數據

5 技術實現

5.1 三維模型構建

1)樹木三維模型構建。首先,通過校正配準處理,拼接融合背包、機載采集的樹木三維激光點云,形成覆蓋全要素的稠密點云數據;其次,通過自動化解算抽稀,單獨稀疏出樹木的枝葉干點云,將樹木枝干點云通過人工智能(Artifical Intelligence,AI)技術,將樹木不同部位采用不同的方式提取骨架點,進而轉換為實地樹木所對應的白模;最后,將生成的樹木白模根據點云映射與實地現場照片結合,賦予與實地對應的樹皮材質生成樹干,貼上對應的樹葉后,制作出1∶1還原的三維樹種模型。樹木的三維建模流程如圖7所示。

2)建筑及地形模型的構建。需要構建的模型主要包括道路、亭子、路燈、物聯網設備。建筑模型的構建是通過雷達掃描、照片采集,獲取精細化建模數據,在專業化軟件里進行構建;地形模型的構建是使用傾斜模型,去除掉地面部分信息,保留地面傾斜模型數據,再利用專業軟件導出為3D模型文件格式(obj格式)。

5.2 森林場景仿真

1)三維模型加載。點云掃描區域主要是利用點云掃描數據實現掃描區域的真實坐標以完成林木幾何狀態的加載,再根據坐標位置加載預先做好的建筑和地形;其它非掃描區域的林木個體通過RTK坐標匹配校準,與場景內地物相融合,放置到與現實空間相對應的地理位置中。

2)三維場景渲染效率優化。主要是通過兩種方法進行優化:一是模型優化,即使用LOD、紋理壓縮等技術處理提高模型的渲染效率;二是場景優化,即采用最新的UE5編輯器,使用Nanite優化技術,實現場景內三角網格數量的實時調度,從而達到優化目的。

5.3 物聯網系統對接

林業物聯網系統是將物聯網技術應用于林業管理和監測的領域。通過將傳感器、無線通信、云計算等技術應用于林業領域,基于物聯網概念的清晰感知、可靠傳輸和智能處理,可以實現對森林資源的實時監測、數據采集和遠程管理,提高林業管理的效率和精確度[11-13]。本研究布設的傳感器包括樹木直徑監測傳感器、物候監測傳感器、重點區域監控傳感器、水質監測傳感器、鳥類識別傳感器。利用RTK記錄的物聯網設備放置坐標,在三維場景中進行標識。通過物聯網把感知數據以文本、圖片、音頻、視頻傳回到三維場景中,并在三維森林場景中以三維UI顯示方法、視頻三維顯示方法表達出來,實現虛擬3D森林場景與現實森林場景的深度融合。三維可視化展示實現過程如圖8所示。

5.4 數字孿生功能建設

在林業領域,數字孿生技術可以通過使用傳感器和無人機收集數據來創建森林的數字模型,將森林的物理實體與其數字模型相結合,提供更準確的森林狀況評估、可視化和預測[2]。本研究中,數字孿生功能主要包括林木生長模擬、碳匯可視化、天氣系統仿真、四季變化模擬和聲音模擬。林木生長模擬主要依據提供的不同樹種的生長模型,計算未來5～10 a林木生長情況,按照計算結果對樹高、胸徑變化,在三維模型X,Y,Z方向進行動態模擬;碳匯可視化是根據不同樹種的不同碳匯模型,計算不同生長階段的碳儲量,并設計三維場景呈現形式;天氣系統仿真可以按照真實24 h結合物聯網氣象數據的方式,進行如臺風、暴雨、大霧、白晝黑夜等場景天氣模擬;四季變化模擬是通過樹葉紋理及環境渲染變化,模擬春夏秋冬四季森林場景;聲音模擬是對系統中風聲、水聲、鳥叫蟲鳴等環境音進行三維模擬。

6 研究結果

6.1 三維樹種庫的構建

三維樹種庫是搭建三維森林場景的基礎,本研究一共制作了225棵1∶1仿真的三維樹種模型,構建起示范區的三維樹種庫。樹種主要包括潺槁木姜子、高山榕(FicusaltissimaBlume)、臺灣相思(AcaciaconfusaMerr.)等總共35種樹種。三維樹種庫部分樹種如圖9所示。

圖9 三維樹種庫部分三維樹種模型

6.2 三維森林場景的實現

虛擬三維森林環境的構建是林業數字孿生的基礎,將不同樹種的樹木三維模型和其它模型根據森林空間數據拓撲關系映射到三維場景中,以還原出真實的森林環境。系統將地形DEM圖、地形紋理以及天空盒技術搭建真實的林分三維場景。本研究的三維森林場景是基于高精度的調查數據和高稠密的點云數據生成的精細化三維森林場景,核心區位做到了1∶1仿真,其它區位是以調查數據中每株木的樹種、坐標、直徑和樹高等進行三維樹種匹配。構建出的三維森林精細化場景如圖10、圖11、圖12所示。

圖10 基于點云1∶1仿真的三維森林場景

圖11 結合建筑、地形的三維森林場景

圖12 基于調查數據的三維森林場景

6.3 數字孿生功能的實現

本研究立足于虛擬三維場景加數字、信息的可視化,建立了逼真的虛擬建筑,以及和真實樹木保持一致的虛擬樹木,并對周邊環境進行虛擬1∶1還原。在此基礎上,實現了林木生長模擬、碳匯可視化、天氣系統仿真、四季變化模擬和聲音模擬等數字孿生功能。搭建天氣系統,按照真實24 h結合物聯網氣象數據的方式,進行如臺風、暴雨、大霧、白晝黑夜等場景天氣模擬;林木生長模擬依據不同林木生長模型,計算未來5～10年林木生長情況,按照計算結果進行模型動態模擬;通過物侯感知設備傳回的數據,即通過樹葉紋理及環境渲染變化,模擬春夏秋冬四季場景;碳匯可視化,是依據林木生長儀傳回的數據結合不同樹種不同碳匯模型,計算不同生長階段的碳儲量,并設計三維場景呈現形式;根據聲紋提取數據模擬動物音。部分功能實現如圖13、圖14所示。

圖13 數字孿生部分功能

圖14 感知數據接入數字孿生系統

7 結語

本研究利用點云數據生成樹木三維模型,通過傾斜數據生成建筑模型、地形模型,最后搭建示范區森林三維場景并研發物聯網數據實時傳輸、可視化表達,并在此基礎上,實現林木生長動態模擬、碳匯可視化、場景四季變化、天氣變化等數字孿生功能,從而探索了示范區沉浸交互式數字孿生能力建設。今后,還可以從以下角度進行深入研究:1)建設基于云端渲染的林草資源三維數據、場景一站式服務,滿足多終端、多用戶訪問;2)在本研究場景的基礎上,通過數字孿生技術,可以實時監測森林的健康狀況、植被生長情況、土壤質量等,可為林業生產管理提供及時的決策支持。