擴展現實科普童書的互動數字敘事策略

馬方楠　方睿

[摘 要] 應用互動數字敘事（Interactive Digital Narrative，IDN）框架，提出在設計擴展現實（Extended Reality，XR）類科普童書產品的過程中，基于紙質書敘事符號與擴展現實交互界面形成映射關系，依托紙質書角色間的互動形成敘事情境，并將該情境遷移到擴展現實互動體驗設計中。進而提出以視、聽、觸的隱喻性敘事符號、角色間社會化互動的敘事情境、第一人稱視點的敘事視角作為擴展現實科普童書的互動數字敘事策略。

[關鍵詞] 擴展現實 科普童書 互動數字敘事 交互設計 敘事策略

[中圖分類號] G237 [文獻標識碼] A [文章編號] 1009-5853 （2023） 06-0018-08

Interactive Digital Narrative Strategies for Extended Reality Science Popularization Popularization Children’ s Books

Ma Fangnan Fang Rui

（College of Communication and Art Design，University of Shanghai for Science and Technology， Shanghai， 200093）

[Abstract] This article applies the Interactive Digital Narrative（IDN）framework， and proposes that in the process of designing Extended reality（XR） popular science children’ s books， the mapping relationship between paper book narrative symbols and XR interface is formed， and the narrative context is formed based on the interaction between paper book characters. Context transfers to XR interactive experience design. Furthermore， the metaphorical narrative symbols of sight， hearing and touch， the narrative context of social interaction between characters， and the narrative perspective of the first-person viewpoint are proposed as interactive digital narrative strategies for XR popular science children’? s books.

[Key words] Extended reality Polupar science book Interactive digital narrative Interactive design Narrative strategies

[基金項目] 本文系上海市社會科學規劃課題資助項目“傳統文化教育視域下的童書創意研究——基于情境學習的視角”（2020BWY00）研究成果。

[作者簡介] 馬方楠，藝術學博士，上海理工大學出版印刷與藝術設計學院講師；方睿，工學博士，上海理工大學出版印刷與藝術設計學院副教授。

隨著α世代對數字閱讀和沉浸式敘事的需求不斷提高，擴展現實（Extended Reality，XR）科普童書對年輕讀者來說更具吸引力。擴展現實是描述增強現實（Augmented Reality，AR）、虛擬現實（Virtual Reality，VR）和混合現實（Mixed Reality，MR）技術的總稱。其中，增強現實由疊加在現實世界之上的圖形組成，虛擬現實將用戶置于完全沉浸式的環境中，而混合現實則是兩者的綜合?？破胀瘯巧賰簣D書出版市場中具有增長潛力的細分種類之一，將擴展現實技術與科普童書相融合是未來重要的發展趨勢，能夠提高科學知識傳播的效能，為兒童創造沉浸式認知體驗，更重要的是能夠為兒童提供一種雙向互動的“共同生產模式”。

盡管我國在擴展現實科普童書上進行了許多有益探索，但仍有許多出版物在內容和交互設計的融合上存在形式單一、同質化、內容和交互不適配的問題。學界對于科普童書的選題分析、AR/VR技術與科普童書內容的適配等方面提出了諸如改善選題、優化技術等解決思路，然而XR科普童書在內容和技術上如何實現有機融合還尚無探討。

本文應用互動數字敘事（Interactive Digital Narrative）框架，提出在紙質科普童書的基礎上（尤其是科普圖像小說或科普漫畫）應用擴展現實技術創作數字出版物的互動數字敘事策略，以期促進擴展現實科普童書內容與形式的融合模式創新。

1 國內外擴展現實科普童書現狀與問題

在科技的推動下，越來越多科普童書嘗試融入擴展現實技術，旨在為年輕讀者提供更具吸引力和趣味性的閱讀體驗。在中國市場上，引進了包括《消失的世界》（2016）、《未來機械世界》（2018）、《奇幻植物園》（2018）、《尋找看不見的世界》等國外科普童書，并由國內出版機構和新媒體研究機構打造出受到讀者歡迎的增強現實版本。近幾年，我國原創增強現實科普童書《地鐵是怎樣設計的》（2019）、《恐龍尋蹤：誤入未知世界》（2021）在設計上有所創新；在虛擬現實科普童書方面，《天工開物：給孩子的古代科技百科全書（VR禮盒）》（2022）在形式上較為創新地以微信小程序替代了獨立的應用程序。

國外市場上，出版有《大英百科全書：VR科學》（Encyclopedia Britannica： VR Science）（2018）的系列虛擬科普童書，《哇！百科全書》（Wow！ Encyclopedias）（2020）的增強現實科普童書。2021年美國圖書館創意（Library Ideas）出版了首部將增強現實與虛擬現實結合的系列科普童書“沉浸現實圖書”（IR Books），該項目獲得了美國2021年國家育兒產品獎（ National Parenting Product Awards）。沉浸現實圖書包括兩個閱讀級別的系列叢書， 級別1 （level 1）為4—7歲兒童設計，級別2（Level 2 ）為8—14歲兒童設計，主題包括天文、地理、生物、人文、工程。此外，2021年美國國家航空航天局（NASA）與布利娛樂（Bully！Entertainment）合作出版了首部擴展現實輕科幻圖像小說《首個女性：NASA對人類的承諾》（First Woman： NASA’ s Promise for Humanity），并在其擴展現實互動設計中融入了大量航天科普。

本文對國內外近6年出版的擴展現實科普童書進行案例分析，發現擴展現實科普童書盡管在市場上獲得了大量熱度，但在內容和形式的融合上，仍然存在以下幾點尚待解決的問題。一是紙質書美術風格與擴展現實界面風格不一致，例如《恐龍尋蹤：誤入未知世界》的紙質書版式設計是復古手繪風格，但增強現實界面圖標卻是高飽和的扁平化風格。二是紙質書敘述內容和擴展現實互動設計的相關性弱，例如《天工開物》將虛擬現實內容的二維碼放置在封底，紙質書內容和虛擬現實互動設計彼此脫離。三是紙質書敘述視角與擴展現實空間導航割裂，例如《地鐵是怎樣設計的》的虛擬現實動畫在空間導航上缺少第一人稱視角設計，沒能很好地使讀者感受到地鐵的空間尺度和結構。因此，應用擴展現實技術賦能科普童書，尚有較大的提升空間。

2 互動數字敘事框架下的擴展現實科普童書設計

2.1 互動數字敘事的概念

科普童書的敘事往往是兒童文學和非虛構文學的結合，以富于想象的故事增加兒童對科普知識的興趣。然而，要實現紙質書敘事和擴展現實界面設計、體驗設計的高度融合，則需要充分調動紙質書敘事這一重要資源，在互動數字敘事的框架下，故事和數字媒體資源、UI界面設計之間的關系是一種相互作用、相互影響的耦合關系。

哈特穆特·科尼茨（Hartmut Koenitz）將互動數字敘事定義為數字媒體中一種富有表現力的敘事形式，將其實現為包含潛在敘事的運算系統，并通過用戶在參與過程中的體驗，產生顯現化的敘事產品[1]?？梢岳斫鉃?，互動數字敘事是由系統、過程和產品組成的，包含故事、數字媒體資源、UI界面以及敘事設計。也就是說，互動數字敘事的系統需要進行敘事設計才能顯現出產品的敘事潛能。

2.2 基于紙質書敘事符號映射的擴展現實界面設計

擴展現實界面設計是擴展現實科普童書系統設計的一環，借助紙書中的敘事符號資源，以特定符號與UI界面形成映射關系，是應用互動數字敘事框架的路徑之一。那么，紙質書敘事符號，如何與數字界面中的要素形成映射關系？數字敘事學專家瑪麗-勞爾·瑞安（Marie-Laure Ryan）在其著作《可能世界、人工智能、敘事理論》（Possible Worlds， Artificial Intelligence， and Narrative Theory）中提出“真實系統”（System of Reality）理論，指出假如這個世界包含由衛星世界包圍的中心世界，則該系統具有模態結構并形成一個模態系統。模態系統的中心是它的現實世界，衛星是“替代的可能世界”。在這個系統中，“文本參考世界”（Textual Reference World，TRW）即文本指稱事實的世界，是文本所主張的命題被重視的世界。在現實的模態系統中的“替代的可能世界”（Alternative Possible World，APW），文本參考世界是包含替代的可能世界現實系統的中心。

根據瑞安提出的“符號化的真實系統”，本文將紙質書中的敘事看作符號意義上的真實系統，進而認為基于紙質書敘事符號而創作出的擴展現實交互界面可被看作是由該真實系統延伸出的“可能世界”[2]。依據真實系統和可能世界的映射關系，形成將紙質書敘事符號資源作為象征符號、以符號映射的方式將敘事融入擴展現實界面設計中的理念，從而為讀者或用戶提供更好的意符和示能。

因此，科普童書的敘事符號資源屬于文本參考世界，借助增強現實/擴展現實呈現的圖書外的擴展現實交互界面及其數字媒體資源則屬于替代的可能世界。這種理解方式建立在科普童書內的敘事是對符號真實世界的文本指稱，圖書載體是敘事符號的中心，增強現實/擴展現實呈現的世界是圍繞該中心世界的“衛星世界”。擴展現實科普童書是以文本參考世界為中心，圍繞該中心創建替代的可能世界的多模態敘事系統。在目前的技術手段下，擴展現實的媒介內容往往通過二維碼或可識別圖形，使讀者從文本參考世界進入多個由移動設備提供的可視、可聽、可觸的替代的可能世界中。

2.3 依托紙質書敘事情境遷移的擴展現實互動體驗設計

科普童書的敘事主要是為科普知識提供學習情境，紙質書中的敘事情境經過兒童初步學習后，再通過情境遷移，在擴展現實互動體驗中轉化為對科普內容的新知。本文認為在敘事情境的設計上，故事角色之間符號意義上的社會交互，尤其是對話交互、肢體動作交互、基于分享式注意力的交互、基于共同目標而合作的交互，是適宜在擴展現實互動設計中塑造情境學習體驗的依托形式。

對于兒童來說，遷移式學習并非易事。因此，敘事設計者需要在紙質書敘事情境中給出明確的線索（暗示）。當敘事情境源自角色間的“社會交互”時，角色之間的對話內容、身體交互的動作、共同關注的物件，以及他們共享的目標和任務都應被考慮為可能的線索，被敘事設計者有意識地納入情境中。在此基礎上，擴展現實互動設計可以借鑒并保留紙質書中的這些敘事情境。這種設計方式有助于兒童更輕松地將他們從紙質書情境中學習到的內容遷移到擴展現實的情境中，從而使他們能夠更自主地在擴展現實空間中進行學習活動。

借助敘事上的線索開展的交互設計，被交互敘事研究者羅赫里奧（Rogelio）認為是基于敘事可供性（Narrative Affordance）[3]的，這種觀點認為“敘事可供性在交互中是創造讓用戶可持續地體驗到故事的行動上的可能性”。通常，交互設計中認為可供性是基于“人工制品”（artifacts）。提到可供性時一般是以威廉·吉布森（William Gibson）的生態心理學[4]來解釋交互空間中物品為人提供的可操控的可能性。美國交互敘事的研究者邁克爾·楊（Michael Young）提出將敘事（尤其是故事事件）而非“人工制品”作為促進用戶認知，并使用戶直覺地預想故事結果的可能性，以此作為研究游戲交互中的敘事可供性[5]。

在人機交互領域，敘事可供性已被證實與支持敘事的數字界面設計相關。研究人員已經確定了各種可以增強敘事可供性的界面設計原則，例如使用視覺敘事技術為敘事提供多個入口點，以及根據用戶的興趣和喜好量身定制的個性化敘事等。敘事可供性的概念為理解數字媒體技術如何促進敘事的創造和消費提供了有用框架，幫助人們更好地理解不同的媒體形式、數字工具和界面設計原則如何有效支持敘事。

科普圖書的擴展現實內容在提高用戶參與度和游戲體驗設計上，通常被認為是有效果的。但這并不意味著游戲的交互敘事策略適用于交互式的科普童書。眾所周知，科普讀物需要保持文本內容的真實性、客觀性，難以實現游戲交互敘事那種真正讓用戶影響敘事的情況。擴展現實科普童書中交互設計的可供性[6]是為用戶提供“產生認知”的行為動機，為了使這種認知行為不脫離讀者在敘事性文本中獲得的沉浸閱讀體驗，專為科普童書設計的擴展現實內容的敘事可供性應該遵循“全情景”原則。

3 擴展現實科普童書應用互動數字敘事的路徑

在XR科普童書中應用互動數字敘事的策略具體可以從以下三個方面展開。

第一，以視、聽、觸的隱喻替代直白的行動指示，形成多模態敘事符號，基于紙質書敘事符號與交互對象的映射關系，創設擴展現實互動界面的設計原則。在設計用戶與虛擬環境互動的多種可能性時，隱喻是其中很重要的設計工具，對于擴展現實科普童書來說，加強兒童沉浸感的關鍵是提供“一致”的閱讀體驗，即將兒童在閱讀圖文故事所獲得的沉浸感閱讀體驗延續在擴展現實空間中?；趦和恼J知特點，他們尚處在認知發展階段，對于理解科普知識中的抽象概念還有一定困難，他們更有可能對視覺刺激做出反應[7]。因此，在擴展現實交互設計中使用隱喻時，選擇易于理解和具有視覺刺激的隱喻至關重要。通過選擇兒童熟悉的隱喻，使用隱喻來簡化復雜的概念并用隱喻創造故事，幫助孩子們參與到故事當中并從中建立情感聯系[8]。在科普童書的擴展現實交互設計中，圖像、動畫或者音效、音樂都能強化隱喻意義。需要注意的是，同一個隱喻符號用在不同模態上時，其隱喻的意義可能會發生變化，不恰當的隱喻符號會產生矛盾意義，從而干擾用戶的理解和判斷[9]。因此需要注意隱喻符號使用時的一致性問題。

《首個女性》采用圖像小說形式，其擴展現實內容的交互設計中使用了大量的感嘆號來提示用戶“此處有新的發現”，在用戶點擊“感嘆號”后，提供包括圖像、視頻、網頁的附加科普信息在內的三項增強現實內容；若點擊虛擬空間中標識的感嘆號，則提供交互動畫（例如模擬操作太空艙內設備的動畫）、拓展的富媒體交互界面（包含科普知識問答、科普視頻、文章）選擇等四項虛擬現實內容。通過由隱喻符號建立與圖文漫畫類似的閱讀體驗，使得增強現實/擴展現實的交互設計對于兒童來說更具有吸引力，相較于被動地接受學習指令，隱喻符號的交互設計能夠增強兒童學習的主動性。

第二，以角色間的互動替代解釋性的敘述，形成社會化的敘事情境，依托紙質書敘事情境鋪陳的“引渡點”，創設紙質書轉向擴展現實互動的時機?！耙牲c”是引導讀者由閱讀紙質圖書轉向體驗擴展現實科普互動內容的“觸點”。合理設置“引渡點”能夠增強兒童進入擴展現實科普互動時的“信念感”，幫助兒童代入角色身份去和虛擬場景進行交互。要設置合理的“引渡點”，首先需要分析角色間互動的重要形式，本文借鑒社會學中人際互動的分類方法[10]，將角色間的互動分為對話互動、肢體互動、基于分享式注意力的互動和基于共同目標而合作的互動，并考慮以上幾種互動的敘事呈現方式以適配兒童的認知水平。本文以甘瑟·克雷斯（Gunther Kress）的社會符號學為視角[11]，分析故事角色間互動的多模態符號，認為這些敘事符號形成的敘事情境，由于其內在的社會互動意義使擴展現實互動形成意義。

例如《首個女性》的擴展現實交互設計中，通過各類模態的隱喻符號生成意義也為嵌套空間在體驗上的一致性提供設計工具。例如，“感嘆號”圖形是貫穿該項目的所有AR+VR內容的隱喻符號，它引導了用戶的大部分探索行為，也是幫助用戶找到空間轉換點的工具。感嘆號在漫畫里的隱喻是“新發現”“想到了重要的事情”，而三角形、圓形內附上感嘆號，是隱喻“警示”“錯誤”，這些隱喻符號對兒童來說是熟悉且易于理解的。

《首個女性》圖書中的敘事分為主線劇情（太空探索）和支線劇情（回憶成長故事），由主線劇情部分的社會化情境建構引渡點，引導讀者進入擴展現實的交互空間中進行深度科普知識學習。在敘事策略上，選用社會共有的航天文化作為故事情節并形成“引渡點”，例如，在空間站內就餐、穿戴航天服、駕駛探月車、遠程視頻通信等，此類情節在各國科幻作品中是常見的、讀者易于理解的文化符號，以其為“引渡點”再向讀者科普有關NASA阿爾忒彌斯計劃（Artemis Program）的“硬知識”，由淺入深、循序漸進，更加符合8歲及以上年齡段兒童的認知規律，其擴展現實內容在交互設計上將NASA官方網站上與阿爾忒彌斯計劃相關的科普知識以鏈接的形式，將科普紀錄片、科普文章整合在虛擬現實空間界面上的菜單欄內。該項目的技術實現方式是通過攝像頭掃描真實空間的坐標信息，實現虛擬空間和現實空間位置上的重疊，同時在虛擬空間中加入控制桿系統，使讀者能夠體驗到第一人稱視角的全景交互式3D場景的擴展現實科普圖書。上述情節中機器人RT扮演著“好奇寶寶”的身份，其性格、體型和語言風格采用了兒童友好型設計，在讀者初次被圖書中的上述情景引渡到虛擬現實的虛擬空間中時，迎接他們的便是機器人RT。從媒介敘事可供性上來看，虛擬現實空間里的機器人RT除了為體驗者提供“行為提示”的功能以外，也為敘事中的社會化情境提供情感化互動?！妒讉€女性》包含四個虛擬體驗場景，分別是“造訪月球表面”“造訪NASA的獵戶太空艙”“造訪一座月球火山口”“造訪月球前哨基地內部”，每當讀者掃描書頁上的二維碼進入虛擬現實場景，便會看到機器人RT揮手歡迎并彈出文字框，RT并不會向體驗者逐一介紹虛擬空間中的各個項目，而是在簡短的開場白后引導體驗者自由探索，當體驗者止步不前時，RT會再次出現并提供引導信息。

第三，以第一人稱視點替代全知視點，形成具身化的敘事視角，基于紙質書敘事視角與空間尺度、空間結構的呼應關系，創設擴展現實互動的空間導航原則。擴展現實科普互動內容能夠創建非幻覺主義空間，在設計空間導航時需要考慮參與互動的體驗者的直觀感受，通過交互設計模擬現實中的知識學習行為，如行走四顧、貼近觀察、觸碰、抓握等。導航中的行動能夠實現具身化的視聽體驗，因此體驗者往往能夠產生超出日常經驗的觀感。例如，加拿大另一種真實博物館團隊在2018年開發的“另一種真實博物館”（Museum of Other Realities，MOR），屬于新型線上虛擬現實文化空間，能夠讓更多數字藝術家及虛擬現實創作者的實驗性數字藝術作品受到大眾關注與認可。針對用戶觀看體驗，它設計了以下幾項核心交互設計。首先是服務于空間導航的虛擬導覽臺，它被設計成虛擬現實中常見的虛擬操作界面，創新之處在于提供了快速導航的尋路功能。簡而言之，它可以幫助用戶快速定位到任何想要到達的虛擬空間。其次是為自己設置虛擬化身（Avatar），在“另一種真實博物館”里虛擬化身可以自定義外貌，它被設計為抽象、浮空的幾何體小人。這項功能可以使空間導航中的攝像機以自身虛擬化身背后為視點，聯網時可以看到其他虛擬化身在美術館中看展，從而對于現實世界中的博物館環境進行針對性模擬。最后，最特別的設計則是允許用戶可以改變虛擬化身體型大小，如同愛麗絲夢游仙境中的縮小藥水，虛擬化身能夠縮小10倍或者放大10倍，與此同時自身視野亦會隨之變化。其空間導航并非簡單的模擬現實觀看經驗，而是為觀者/體驗者制造超出日常經驗的視覺奇觀。

VR項目“另一種真實博物館”中展出的作品《色度波》（Chroma Wave），對擴展現實科普互動的空間導航設計具有啟發意義，該作品的形態是由數千個彩球組合而成的樹狀，觀者/體驗者可以改變自身虛擬化身尺寸與大小，不僅可以近距離站在樹的內部，亦可遠距離進行俯視，自由空間導航同樣能夠帶來一系列偶然性事件，例如處于不同視野下的互動產生的不同視覺體驗，粒子動畫與觀者/體驗者之間產生的碰撞效果等，當虛擬化身的手碰到粒子之后，既可以聚攏浮在空中的粒子，亦可將其打散，使其飄散在空中。這一案例不僅包含了視、聽、觸的多模態體驗，還從空間導航設計上為觀者提供了多種空間尺度的觀看方式，它對科普內容設計的啟發在于，虛擬場景依據真實的空間尺度設計，會給觀者帶來更加身臨其境的感受。對于一些微觀層面的科學知識，則不適合用真實的空間尺度，但又需要實現具身化的觀看體驗，那么就更適合借助虛擬空間中的虛擬化身，使其變成尺寸可變的狀態，讓觀者能夠自由地在宏觀和微觀視角之間切換。

4 結 語

如何提升科學傳播的效能是我國原創擴展現實科普童書行業亟須解決的問題。本文剖析了擴展現實科普童書敘事策略，以期對我國擴展現實科普童書行業從交互敘事的可供性上思考“場景式閱讀體驗”有所啟示，促進科普童書的融合出版方式創新，從而提升科學傳播的效能。

我國擴展現實科普童書行業應批判性地借鑒國外有益經驗，在敘事策略上：第一，以視、聽、觸的隱喻替代直白的行動指示，形成多模態敘事符號，基于紙質書敘事符號與交互對象的映射關系，創設擴展現實互動界面的設計原則。第二，以角色間的互動替代解釋性的敘述，形成社會化的敘事情境，依托紙質書敘事情境鋪陳的“引渡點”，創設紙質書轉向擴展現實互動的時機。第三，以第一人稱視點替代全知視點，形成具身化的敘事視角，基于紙質書敘事視角與空間尺度、空間結構的呼應關系，創設擴展現實互動的空間導航原則。

未來隨著元宇宙出版和人工智能的發展，實體出版物和擴展現實內容將會以更緊密的方式互相融合，而不僅僅是兩者的縫合拼接。擴展現實科普童書目前仍然是以實體圖書為主體，以擴展現實內容為輔助，也許未來在人工智能技術的加持下，元宇宙教育或出版平臺內的科普童書，可能會去實體化并加強游戲化的特點，讀者或將創建自己在故事中的虛擬形象，與故事中的角色互動或進行虛擬實驗。另一種方向也許是以實體圖書作為接口，與虛擬博物館、圖書館、教育機構相連接，兒童將會獲得更加縱深的知識體驗。綜上所述，從可供性視角思考未來科普童書交互敘事還是一個方興未艾的領域，有待更多研究者繼續挖掘。

注 釋

[1] Koenitz， H. Understanding Interactive Digital Narrative： Immersive Expressions for a Complex Time[M]. London：Routledge，2023：64-68

[2] Marie-Laure Ryan. Possible Worlds， Artificial Intelligence， and Narrative Theory[M]. Bloomington：Indiana University Press，1991：31-35

[3] R E Cardona-Rivera. Narrative Affordance： Towards A Model of The Foreseeability and Perceivability of Story Elements in An Interactive Narrative[C].? Proceeding of the 6th International Conference on Fundations of Digital Games，2011：250-251

[4] J J Gibson. The Ecological Approach to Visual Perception[M]. Boston：Houghton Mifflin， 1979：12

[5] R M? Young. Cognitive and Computational Models in Interactive Narrative. Cognitive Systems[M]. Psychology Press，2005：24

[6] Gaver W W. Technology affordances[C].Proceedings of the SIGCHI Conference on Human Factors in Computing Systems，1991：4

[7] L Avraamidou. The role of Narrative in Communicating Science[J]. Inrternational Journal of Science Education，2009（12）：25

[8] 李萌，徐迎慶. 實體交互敘事視角下的信息設計研究[J].裝飾，2021（9）：24-28

[9][11] Kress， G. Multimodality： A Social Semiotic Approach to Contemporary Communication[M]. New York：Routledge，2009：54-64

[10] 祁芬芬.多模態話語分析下我國原創繪本中傳統藝術的視覺敘事研究[J].出版科學，2022，30（3）：43-50

（收稿日期：2023-06-15）