數字媒體展示手段及其敘事特征研究

章潔

摘要：數字媒體展示技術復雜多樣，探討數字媒體展示技術在展示應用中的特性。本文對目前的各類數字媒體展示技術進行總結，分析“真實世界”與“虛擬世界”之間的關系，并利用敘事學中圖像文字研究方法的特性對各個展示技術進行分析。通過數字媒體技術的三大維度，即交互性、時間性和空間性進行分析，可以得出一些技術手段，并綜合考慮它們的整體效果，提煉出提升展示效果的互動性、多維度以及沉浸性策略。其中多維度是沉浸的前提，互動性加深了沉浸性的體驗。沉浸性也讓互動更加真實，以確保不同感官對于刺激感受的統一性。

關鍵詞：敘事 數字媒體 虛擬世界 空間性 時間性

20 世紀90 年代“新敘事理論”重新興起。敘事學從“經典敘事學”轉向“后經典敘事學”，敘事從文字向圖像過渡。龍迪勇認為，雖然缺乏對圖像敘事的研究，但國外自18 世紀溫克爾曼以來已經累計了豐富的圖像學研究傳統。貢布里希認為圖像的正確解讀需要代碼、文字說明以及上下文的共同支配，圖像與其他組分共同組合才能傳達明確的信息。①米歇爾認為圖像與語言一樣能進行自我呈現，從而找到圖像擺脫語言控制的可能性。影像的出現讓敘事方式進一步變革，雅各布·盧特《小說與電影中的敘事》對小說電影兩大敘事進行分析，樹立起跨媒介敘事研究的典范。

超文本小說、影像、動畫、游戲及其他多媒體形式出現，媒介間的交叉融合促使跨媒介敘述發展。孫為在《交互式媒體敘事》中根據新媒體藝術的敘事方式，系統分析敘事模式與特點?，旣悺跔枴と鸢仓骶幍摹犊缑浇閿⑹觥芬粫疾烀浇榈膬仍趯傩匀绾嗡茉鞌⑹滦问讲⒂绊憯⑹麦w驗。國內張新軍將瑞安的敘事學概括為一條敘事性情節演化線路，試圖呈現瑞安敘事理論的總體狀況。趙毅衡整理并分析媒介與展示體裁之間的關系，將媒介分為了記錄、記錄演示、演示、類演示以及意動幾種類型。以上研究均說明了敘事在媒介中的重要作用。新媒體藝術中的展示技術同樣具有對應的敘事學特性。

未來展示將會進一步破除空間以及傳統媒介的限制，呈現更加開放的“混合型”敘事空間。②數字媒體展示技術成為展品與觀展者之間的新媒介向觀展者“敘事”。人們不再滿足于文字和靜態圖像帶來的刺激，開始研究各展示技術中空間與時間的關系以及在展示中的應用方法。本文以敘事學視角分析各類展示技術，在各類技術敘事特性的基礎上探討其應用策略。

一、數字媒體展示技術基本特征：虛擬世界與真實世界的關系

（一）虛擬現實類

數字媒體展示技術在真實世界的基礎上不斷向虛擬空間拓展，最終在虛擬空間和真實空間中形成對應的敘事關系。VR設備封閉體驗者的視覺，因此在封閉環境中體驗者能夠沉浸于虛擬世界中，其模仿真實世界的光線、質感幫助形成沉浸化的敘事特性，而交互敘事特性增強了虛擬世界中的真實感。在虛擬世界中可以將人們想象中的物體變為現實，體現了VR 技術的想象敘事特性。感官封閉帶來的真實感為體驗者的想象性提供了重要保障。

增強現實在獲取真實世界影像的同時結合增強信息，按照時間、位置、內容等關系進行匹配，例如AR 導航中箭頭指向體現位置間的關聯，掃描圖案出現的模型動畫體現內容的關聯。AR 技術的實現需要理解真實世界與增強信息，展現了虛實世界敘事的相關性。

混合現實在匹配信息的基礎上讓真實與虛擬部分發生碰撞遮擋等行為。在AR 中體驗者可輕松分辨實與虛。而MR 中虛擬與真實無明顯界限，虛擬事物與真實事物交融，甚至會“妄圖”替代真實事物展開敘事，虛擬事物對真實“產生影響”。

圖1 總結了3R 技術的特性及對于計算機的要求。虛擬現實通過隔絕外界信息讓體驗者產生沉浸感，交互的產生關聯體驗者與虛擬世界。增強現實在外部世界的基礎上做自身信息的整合，給體驗者帶來現場感，體現了真實世界與虛擬世界的相關性?；旌犀F實中虛擬事物的逼真性使虛實融合的新世界大有替代真實世界的意圖。計算機通過運算理解場景并生成虛擬事物，對計算機的CPU 和GPU 的性能要求極高。

三種技術之間的關系可概括為圖2（a）：VR 隔絕外界，AR 則包含外界，MR 則需要在外界的基礎上與虛擬發生關系。從功能疊加的角度上看三者的關系為圖3（b）： VR 疊加真實世界成為AR，AR 中的真實與虛擬之間“交互”則成為MR。

（二）數字影像

數字影像包括數字短片、VR 影像以及動畫。傳統影像按其本質來說是照相的一次外延，③通過一連串圖像的連接實現線性敘事。創造者對影像的編輯實現了自我身份的突破，通過添加視覺特效的方式讓“如實攝影”變成了“想象電影”。④數字影像敘事讓觀者獲得更好的視聽體驗，激發觀賞甚至是創作的興趣。其作為新媒體敘事手段具有傳播性與體驗性優勢：人們通過互聯網使用小屏幕載體（手機、PAD、電腦等）發布與接收內容，體現數字影像的傳播性。戶外屏幕以及巨幅熒幕吸引觀者注意力，展現數字影像的體驗性，如圖3 所示。

（三）投影

不同的投射載體對應不同的空間需求以及敘事環境。投影中常使用光雕投影（Projection Mapping）以及CAVE 系統（Cave Automatic Virtual Environment）作為動態展示方式。光雕投影將建筑物群以及具有曲面的對象為投影表面，體驗者不用佩戴設備封閉感官就能參與到展示敘事中。而CAVE系統需要體驗者佩戴3D 眼鏡，利用跟蹤攝像機捕捉用戶自身的行動，通過圖像處理系統將最終結果反饋在投影上。CAVE系統可供多人共同使用，但只適合一個人體驗，因為屏幕上的投影圖像只顯示被跟蹤的一個人。⑤

（四）數字雕塑

數字雕塑的本質特征是數據化和虛擬性，數字化材料與工具發掘雕塑藝術新的可能性，并產生新的數字美學，而不僅僅是對傳統雕塑的數字化克隆。⑥數字雕塑的敘事過程有兩種：一種通過三維掃描的形式，將模型從真實世界轉換到虛擬世界；另一種則是通過數字雕刻的方式制作數字化模型，使用3D 打印將模型從虛擬世界還原到真實世界，這種真實到虛擬，虛擬再到真實的過程實現物體自身復制的效果。位于虛擬世界的模型可以與其他虛擬世界的模型組成數字場景，并在虛擬現實以及投影、CG 影像中完成敘事，如圖4 所示。

（五）裝置藝術

裝置藝術中配有聲光電等機械裝置與觀眾互動實現動態要素，將平常的感覺強化、異化甚至夸張為新的刺激。主要敘事特性為視覺與互動結合，讓真實世界中的體驗者感知虛擬世界的存在。觀看藝術裝置的過程分為整體感知、行進體驗、局部觀看以及完整理解四部分。⑦前三個部分對現場藝術裝置在視聽嗅味觸等感覺上直接感知獲取。觀者結合自身以及原有經驗理解并產生聯想，對所得的符號重新解構與重構，最終生成屬于觀者自己的知覺場。⑧此時被感知的對象不再是純粹的存在，而是結合了個人經歷的新事物。如圖5 所示。

綜上所述，目前各種數字媒體展示技術連接并轉換虛擬世界與真實世界，讓體驗者進入內容創作者的敘事之中。虛擬現實類技術以及投影讓體驗者直接進入虛擬或仿真的世界，數字影像通過傳播與沉浸展示的方式引導觀眾心理層面上進入影像內的虛擬世界。數字雕塑與裝置藝術則為虛擬世界與真實世界之間搭建溝通的橋梁，觀眾在真實中感受虛擬的存在，虛擬又能變成真實，甚至為虛擬世界提供素材。

二、各類智能技術的敘事性特征：空間性、時間性與交互性

早期展示中以展品為焦點忽略了觀展者對于物的逐步認識，而展示敘事則對這一方面進行了彌補。⑨展示敘事中的敘事媒介可分為圖像以及文字兩大類。圖像具有空間性，文字用于敘述，因此具有時間性。其本身去語境化特點致使單幅圖像無法完成敘事，需要結合伴隨文本對圖像進行解讀。

空間的時間化讓圖像的意義準確傳達給讀者，方便讀者接收與理解?？臻g的時間化過程有兩種，首先是利用“錯覺”或“期待視野”。⑩其次是將單幅圖像組成系列圖像，形成事件形象流與事件流，例如電影動畫等。圖像、文字等傳統媒介具有局限性，只能向接收者單向傳遞信息，而接收者無法對媒介產生影響。數字媒體展示技術的敘事特性集中在空間性、時間性以及交互性上。如圖6 所示。

動畫短片等數字影像為時間的形象流與事件流，具有二維的空間性與時間性。在影像虛擬空間中，數字動畫用模擬真實空間的方式敘述，內容形式上非“真實”。而數字短片直接從真實空間中獲取，因此數字動畫是“虛擬中的模擬”，而數字短片是“虛擬中的真實”。

VR 影像與360 度環繞VR 展示的影像具有三維的空間性，短片或動畫作為內容則具有時間性。360 度環繞VR 常用于線上展覽館等宏大場景之中，為方便觀者對內容的理解，在其中可設置點擊等操作等必要交互協助內容的查看。

投影中所投射出的影像是二維的，接收表面影響呈現效果。例如二維的影像投射在球幕或多個平面上形成三維的形態。投射到建筑立面上，凹凸不平的表面所呈現出的空間感讓原本二維的影像有了三維的特性。投影具有介于二維與三維的空間性以及時間性。

3R 技術與CAVE 系統同時具有三維的空間性、時間性以及交互性。觀者主動選擇探索虛擬世界，能最大程度將觀者帶入到展示自身的敘事之中。非沉浸AR 通過屏幕體現出結合二維信息的三維空間性以及交互中產生的時間性。

相較于以上虛擬空間的展示技術，數字雕塑與藝術裝置位于真實世界之中。除了影像和聲音，裝置藝術家還能使用現實世界存在的物品作為裝置的一部分。觀者通過做出交互行為，而藝術裝置也會產生對應的反饋，在觀者與藝術裝置的相互作用下形成自己的故事。

圖7 體現不同媒介在敘事上的特性。首先，最原始媒介——文本呈現出線性的時間性，觀者閱讀文字并結合自身體驗形成自己的敘事。圖像代表了空間性，平面圖像（如繪畫）與三維圖像（如雕塑）都通過伴隨文本形成敘事。將連續圖像串聯在一起實現空間時間化，則形成具有空間性與時間性的影像與動畫，但僅能被動接收形成線性敘事。技術的發展讓展示物有了交互特性，觀者可以主動探索形成交互性敘事。以上多個展示方式結合便形成多媒介敘事，整體的氛圍感增強。

媒介的特性可以與用戶體驗中的“本能”“行為”以及“反思”相對應?！氨灸軐哟卧O計是自然的法則?！本哂袝r間性的文字與具有空間性的圖像是媒介傳播最初的狀態。用戶體驗的反思層面則是“關于事物的含義、某件東西激起的私密記憶?！倍喾N媒介形成的氛圍激發了觀者內心深處的思考與想法?？傮w而言，展示技術特性越多，體驗感越強，越能形成深層次的體驗。

三、各類媒介的應用策略分析

展示媒介進行敘事時，通過對各媒介交互性、時間性、空間性的分析最終可以得到互動性、多感官以及沉浸性策略。

（一）互動性策略：讓參與者成為敘事中的一部分

小說、電影等敘事文本為了讓讀者具有閱讀的欲望，常常會用第一人稱展開敘事，在敘事過程中“我”的出現讓觀者將自己代入到故事中。展示需要提升整體的體驗性與參與度，讓參與者成為整個展示敘事的一部分。

“互動性乃新媒體同舊媒體之間最根本的區別性特征?！被幼屝旅襟w藝術有了更多可發掘的內容。設計者應用數字技術布展為展示敘述做好充足的準備，當觀眾開始用感官接收現場的信息并與之互動時，才算真正開始展覽的敘述。觀眾的參與是展覽敘事中的一部分，觀眾離開則敘述也隨之結束，直到下一位觀眾前來，敘述又重新開始。

（二）多感官策略：利用視聽嗅味觸的感覺形成多媒介敘事

傳統觀展方式僅有單一刺激，易讓觀展者疲勞甚至失去興趣。而多媒介敘事讓觀展者保持興奮狀態避免疲勞的產生。視覺、聽覺、嗅覺、味覺以及觸覺作為人們感知世界的基本方式，集合在一起形成綜合感官意識。多種感官體驗讓這種綜__合感官意識進一步上升為意識體驗，成為敘事前的重要組成部分。觀者參觀過程中形成特定的情感，真實感以及親歷感得到提升。

（三）沉浸性策略：建立真實與虛擬之間的區隔

互動體驗需要確保參與者能夠順暢完成整個流程。從敘事的角度來看，建立真實與虛擬之間的區隔則是實現沉浸感的重要途徑。

沉浸性分為劇場式、具身式以及混疊式。劇場式利用投影技術達到沉浸的效果，3R 技術通過封閉感官以及增加交互體驗等方式形成具身式或混疊式沉浸影像。封閉感官形成的區隔是影響沉浸性的關鍵。文字敘述中，語句在腦中形成圖像達到沉浸效果。此時的區隔是文字本身，但文字世界與現實世界有較大的差距。與之相比，電影中的區隔為片頭以及演職員表，在片頭結束后進入故事的敘述，片尾播放演職員表時又從故事回到現實世界。動態聲音圖像與我們平時所感受到的真實世界類似。VR 則是直接封閉體驗者的感官，此時的區隔是佩戴VR 設備的瞬間，此后體驗者進入虛擬世界，不能察覺真實世界的存在，沉浸達到最強的狀態。

四、結語

文章對數字媒體展示技術進行分類總結，闡述其中虛擬空間與真實空間的關系。根據空間敘事學中圖像與文字的聯系，總結出不同展示技術中所含有的空間性、時間性與交互性。從最初僅具有時間性的文字媒介到目前的多媒介融合，媒介的發展從本能層次逐漸過渡到反思層次，并提出多維度，互動性以及沉浸性策略?；有圆呗宰寘⑴c者加入成為敘事的一部分。多感官策略調動了視聽嗅味觸等多種體驗，防止體驗者因為接收單一通道刺激而感到疲憊。沉浸性策略提出要建立區隔，使參與者在特定的環境內感受以獲得良好體驗。數字展示技術中對媒介敘事的探討表明了技術特性以及應用范圍。下一步將與傳統空間藝術中的敘事研究進行對照，對未來媒介的敘事特性進行預測。

注釋：

①【英】E.H·貢布里希.貢布里希文集：圖像與眼睛——圖畫再現心理學的再研究［M］ .南寧：廣西美術出版社，2016.

②孫金龍.泛繆斯、泛計劃、泛設計！——博物館敘事空間型態邏輯的設計研究［J］ .設計，2019，32（19） .

③ 【德】齊格弗里德·克拉考爾.電影的本性［M］ .北京：中國電影出版社，1981.

④楊玄一. 媒介化、審美化、狂歡化——數字影像的文化特征［D］ .廣州： 暨南大學，2020.

⑤ Daniel SANDIN， Thomas DEFANTI， Carolina CRUZ- NEIRA. Multimedia：From Wagner to Virtual Reality. New York： w. W. Norton & Company.2002： 291.

⑥張盛.數字雕塑技術與3D打?。跰］ .北京：清華出版社，2019.

⑦付陽，汪澤宇.裝置藝術在展覽中的場域視覺邏輯探究［J］ .世界美術，2021（1） .

⑧張堯均.隱喻的身體：梅洛-龐蒂身體現象學研究［M］ .中國美術學院出版社，2006.

⑨廖玲玲，張燾.南通板鷂風箏展示中的敘事設計研究［J］.設計，2020，33（3） .

⑩龍迪勇.空間敘事研究［M］ . 北京：三聯書店，2014.

? 【美】唐納德·A·諾曼，張磊譯.設計心理學3：情感化設計［M］ .北京：中信出版社，2016.

?周鵬程.廣義敘事框架下數字交互展示設計的深度體驗研究［J］ .包裝工程，2018，39（4） .

［13］ 張新軍.數字時代的敘事學：瑪麗·勞爾·瑞安敘事理論研究［M］ .成都： 四川大學出版社， 2017.

［14］ 王玨.體驗美學視域下沉浸式影像的類型與特征探析［J］ .藝術傳播研究，2020（2） .