多模態視域下數字出版的技術演進與實踐探索

吳煒華　張海超

關鍵詞：數字出版；多模態；融合出版；數字嗅覺；VR出版

DOI：10.3969/j.issn.2095-0330.2023.01.009

一、問題的提出

2021年12月12日，國務院印發的《“十四五”數字經濟發展規劃》明確指出要“大力推進產業數字化轉型”，“加快推動數字產業化”，“持續提升公共服務數字化水平”，并對數字經濟新業態培育、社會服務數字化提升等工作進行了細致指導。數字出版作為數字經濟的重要組成部分，與文化、教育等社會公共服務密切相關。傳統出版產業能否適應時代發展趨勢完成轉型升級，數字出版產業能否得到飛速發展，事關我國數字經濟的未來。2021年12月28日，國家新聞出版署印發《出版業“十四五”時期發展規劃》?！冻霭鏄I“十四五”時期發展規劃》立足戰略視野，明確提出建設出版強國的總體目標，并要求在壯大數字出版產業的工作中著力推出一批數字出版精品，大力發展數字出版新業態，做大做強新型數字出版企業，健全完善數字出版科技創新體系?！冻霭鏄I“十四五”時期發展規劃》也明確指出出版產業當下的改革重點和未來發展方向：“著眼滿足消費升級新要求，順應數字時代文化生活移動化智能化個性化新趨勢，精準匹配用戶需求和應用場景，推廣互動式、服務式、場景式傳播，打造數字出版新產品新服務新模式?！痹凇笆奈濉毕嚓P政策的指導下，我國的出版產業緊跟數字時代發展機遇，進入高速發展建設的新時期。

在媒介技術飛速發展的當下，數字出版不僅是指對傳統的印刷出版進行數字化，還強調出版內容的數字化、生產模式和運作流程的數字化、傳播載體的數字化和閱讀消費形態的數字化，這是一種更為復雜的生產、傳播和消費形態?？疾爝@種復雜的生產、傳播和消費形態可以發現，當下的數字出版具有明顯的“融合”特征。所謂的“融合”不僅是內容融合、技術融合，也是“模態”的融合。數字出版帶來了全新的內容表征、技術表征和模態表征形式，這為數字出版的發展帶來了極大挑戰。從內容融合角度來說，數字出版既包括對傳統出版物的數字化處理，也包括依托數字媒介直接生產出的內容，那么在出版實踐中應如何有針對性地生產和加工這些內容才能平衡出版工作效率和用戶使用效果？從技術融合角度來說，數字出版既包括出版印刷、平面設計等技術，也包括數字轉化、三維處理等技術，那么在出版實踐中哪些技術才是數字出版融合發展的核心和方向？從模態融合角度說，數字出版既繼承了傳統的視覺模態和聽覺模態，也日益開始向觸覺、嗅覺等模態積極擴展，那么在出版實踐中如何經濟又高效地調動合適的模態滿足出版需求和用戶需要？要對傳統出版產業進行升級轉型，并推動數字出版產業發展新業態，必然要厘清這些問題。

二、多模態與數字出版

隨著內容融合和技術融合的不斷深入，數字出版的模態融合趨勢日益明顯。岡瑟·克雷斯（GuntherKress）和西奧·范·魯文（Theo Van Leeuwen）教授認為，“模態”（modality）是物質媒體景觀社會長時間塑造而形成的意義潛勢，是用于表征和交流意義的社會文化資源；而胡壯麟認為，“模態”是可對比、可對立、可表達、可感知的符號系統；才亞楠認為，模態指人類通過感官和外部環境進行互動的方式。無論從哪個角度來看，“模態”都與“意義”“系統”和“互動”密切相關。多模態（multimodality），即多種模態，在數字出版中體現為數字內容由多種模態的符號系統呈現和表達，或者調動用戶的多種感官與外部環境進行互動。當下數字出版的模態融合趨勢即指向多模態的融合。多種模態的融合并非單一模態的簡單相加，而是綜合構建出一種更為復雜但卻往往更易被用戶感知的符號系統。多模態融合通過調動用戶的多種感官系統實現與用戶的互動，給予用戶有用、有效、有趣的信息體驗。

多模態理論的誕生與語言學中的話語分析密不可分。傳統的語言學以文字語言為中心，但隨著研究的深入，越來越多的學者意識到，僅憑借文字并不能滿足話語分析研究的需要。圖像、音樂等非語言符號，均可以作為一種話語模態影響文字語言的意義表達，但是這些非語言符號在語言學中卻常常被忽略。在意識到語言學研究的不足后，學界便逐漸開始關注除語言模態之外的非語言模態。有學者認為，羅蘭·巴特（Roland Barthes）在《圖像的修辭》中探討了語言和圖像之間的關系，開啟了多模態話語分析的先河；但也有學者提出，羅蘭·巴特所分析的語言和視覺是分離的，并不能算是真正意義上的多模態話語分析。直到20世紀90年代，在岡瑟·克雷斯和西奧·范·魯文探討了文字和圖像的意義問題之后，多模態話語分析作為一個理論才開始蓬勃發展。多模態話語分析理論的誕生證明了單一模態的話語分析理論無法解釋除語言文字以外的、復雜的意義現象，更不能滿足相關研究的需要。

岡瑟·克雷斯和西奧·范·魯文認為，就語言學而言，多模態研究主要有四種范式，分別是博拉各學派、巴黎學派、美國語言學家對口語與非語言的研究以及韓禮德（Halliday）的系統功能語言學。經過數十年發展，多模態話語分析又出現了地理符號學、多模態互動分析、多模態民族志、多模態語料分析和多模態感知分析等等。由此可以發現，多模態話語分析已不再局限于語言和圖像之間。從話語角度來說，多模態話語可以分為語言話語和非語言話語；從形式關系角度來說，多模態話語可從形式和關系兩個角度考察；也有學者從宏觀到微觀，提出了逐步深入的文化、語境、內容、表達等多模態話語分析的綜合框架，但是，上述理論均在話語分析的框架內。當多模態脫離話語分析的范疇乃至語言學的范疇時，尤其是不將其視作一種研究方法，而將其視作一個理論框架時，多模態仍舊體現出多種意義系統的符號互動。在此基礎上，筆者認為，多模態作為一個理論框架，提示了研究者應對傳播過程中的感官體驗問題加以特別關注。

多模態理論中的多模態并不等同于多媒體，多模態強調的是多種感知模式，而多媒體更強調媒介的物質屬性。同樣，數字出版的多模態化不同于數字出版的多媒體化。李戰子和陸丹云認為，多媒體化是社會實踐的常態，而多模態化是當今文化系統的固有特性。按照李戰子和陸丹云的觀點來解釋數字出版，多媒體化是數字出版實踐中顯露出的普遍態勢，而多模態化則是一種文化層面的特性。就數字出版物而言，多媒體化強調的是將多種媒體要素應用于數字出版物；而多模態化強調的是數字出版物的多種模態對用戶信息感知、文化感知產生的影響。當然，從多模態理論出發，考察媒介的多模態，并不是要脫離媒介的物質屬性，而是要更加關注用戶（受眾）的信息體驗。隨著媒介的發展，時間碎片化、閱讀碎片化、知識碎片化等等已經成為社會發展的必然趨勢，而多模態理論則為語言學、符號學、傳播學、教育學等學科提供了應對社會“碎片化”發展的重要理論資源，多模態理論也為數字出版應對當下時間碎片化、閱讀碎片化、知識碎片化等趨勢提供了應對策略。

岡瑟·克雷斯和西奧·范·魯文認為，相較于傳統語言模態的單一闡釋，文化中的多模態資源可以在任一符號、層次和模式中產生意義；而從單一模態到多種模態，正是當下數字出版實踐中的突出特點。一般來說，模態可以分為視覺、聽覺、觸覺、嗅覺、味覺等。早期的出版物多以視覺模態的形式表達意義，隨著電子媒介的發展，聽覺也漸漸成為出版物的新模態；而當下的數字出版不僅包括視覺模態的出版形態和電子出版早期階段的聽覺模態的出版形態，還逐漸面向觸覺、嗅覺等多種模態的出版形態，并朝著綜合全感模態的出版形態發展。

數字出版，從字面上看，即數字化的出版形式。孫瑋認為，這種數字化的出版形式不是意味著將紙質媒介原封不動地放置到數字媒介上，數字出版意味著一種全新的知識生產和傳輸方式；侯欣潔也認為，雖然數字出版重視數字化手段，但是更重視其用數字化手段重塑傳統出版形態并萌生新形態的出版行為領域。數字出版通過AI、VR、MR、感官交互、傳感器、大數據等技術打造出融合多種感官模態的出版形態；與此同時，這些技術的發展也推動了“閱讀”的數字化和多模態化。在多模態的理論框架下，數字出版通過媒介技術與感官交互連接了現代出版觀與科技傳播觀，并通過符號生成與意義感知搭建起知識社會學和新聞傳播學溝通的橋梁。多模態作為數字出版研究的一個新視角，不僅聚焦于媒介技術問題，其也對媒介技術與內容意義、知識生產與文化傳播進行了綜合考察。目前，學界對出版數字化、閱讀數字化的研究較為充分，但是少有學者關注到數字出版和數字閱讀的多模態問題。數字出版的多模態賦能可以建構出更加靈活多元的數字閱讀環境，為用戶提供更豐富的閱讀體驗；數字閱讀調動的多種感官系統也將“閱讀”從單一的視覺行為或聽覺行為擴展為多種感官共同參與的過程。隨著數字出版實踐深度融合進程的加快，建構數字出版物的多模態理論，用其指導數字出版實踐，并使數字出版實踐得到進一步發展，具有迫切的現實需求和較高的學理意義。

三、數字出版的多模態實踐與探索

從模態的角度來看，現有的數字出版物主要存在視覺模態、聽覺模態、觸覺模態和嗅覺模態四種模態。按照羅杰·菲德勒（Roger Fidler）媒介形態變化的觀點，媒介的發展是共同演進的，而不是相繼進化或者相互取代，依托媒介技術的數字出版模態也是如此。四種模態是一個相互疊加的過程，而不是一個取代的過程。從當下數字出版實踐的發展歷程來看，視覺模態、聽覺模態、觸覺模態和嗅覺模態依次疊加發展，形成了以視覺模態、聽覺模態為主，觸覺模態和嗅覺模態為輔的多模態數字出版形態，并朝著綜合全感模態的數字出版形態發展。

（一）數字出版的基礎視覺模態：文字和圖像的數字化

如果將抄本書籍或者印刷書籍視為閱讀行為的對象，那么書籍的出版和閱讀便可追溯至公元前5世紀。抄本書籍作為重要的媒介載體，突破了口語傳播的局限，使信息得以更為廣泛和持久地傳播；隨著印刷技術的發展，文字和圖像得以被快速地大量復制，印刷書籍進一步推動了知識的傳播。馬歇爾·麥克盧漢（Marshall McLuhan）認為，印刷書籍的歷史大約只占西方書籍史的三分之一，但是，不管是抄本書籍還是印刷書籍，讀者都是通過眼睛獲取書籍的內容信息。對于傳統出版物而言，無論是文字還是圖像，無論是抄本書籍還是印刷書籍，首先要保證其在視覺維度是可見的。梅洛-龐蒂（Merleau Ponty）在通過繪畫論述眼睛和身體的關系時也表明，“不知者求教于一個懂得一切的視覺”。梅洛-龐蒂重視視覺的觀點也從側面反映出“觀看”對于信息獲取、知覺感知和行為活動等的重要性。繪畫作為出版物的一種內容類型和文字一樣，都是以視覺的模態傳遞信息，脫離了視覺模態，人類好像就無法感知到傳統出版物所帶來的知識和信息。由于媒介技術的限制，在大多數情況下，傳統出版物只能帶給讀者視覺模態的感知。

在數字出版的浪潮下，視覺模態作為一種基礎的閱讀模態首先實現了跨越式發展。原本的紙質出版物被電子化、數字化為電子出版物和數字出版物。從早先的電子書、電子閱讀器，再到今天的移動閱讀、融合出版客戶端，視覺模態已經完成媒介形式的拓展，即將紙質書籍拓展為電腦、閱讀器、手機等電子設備。除了媒介的變化，人們對視覺模態的感知體驗也得到大幅度提升。由于紙質印刷物的機器、紙張、油墨等因素，書籍出版物的形式往往會受到一定限制，比如印刷不清晰、出現色差等問題，但是在數字出版物中，這些問題基本上都得到了解決。由于媒介技術的發展，電子屏幕清晰度、色彩度不斷提升，相較于紙質出版物而言，數字出版物不僅便于攜帶、便于保存，還可提供更為清晰、多彩的閱讀體驗。并且，數字出版物的一大優勢就是其文字和圖像不僅是靜態的，還可以進行動態化呈現。亞馬遜公司就曾在2017年推出了Kindle in Motion（KiM）格式，在原本靜態的電子書籍中加入動畫、視頻等動態的視覺效果。這樣一來，數字出版物便大大豐富了讀者的視覺體驗。隨著VR、MR、AR等技術的發展，數字出版已經開始打破虛擬和現實的界限，借助VR眼鏡等設備，用戶可進行全息式的數字閱讀。范雨竹和周安平認為，借助可穿戴設備，閱讀不僅是二維的“平面閱讀”，還可以是三維的“立體閱讀”?！傲Ⅲw閱讀”是一種“沉浸傳播”，可以使觀眾主動進行閱讀探索。從二維到三維，調動的仍然是讀者的視覺模態，但就閱讀體驗而言，數字出版提供了一種更為形象、真實、立體的視覺模態，這與傳統出版物的視覺體驗存在顯著差異。

（二）數字出版的拓展聽覺模態：有聲書籍的聽讀

由于媒介技術的局限和人類獲取信息的慣習等因素，書籍出版物在兩千多年的歷史中主要是以“可看”的視覺模態傳播，直到進入電子時代，聽覺才和書籍出版聯系在了一起。在早期的廣播中，就已經有了“讀書”的節目，雖然這并不是今天意義上的數字出版物或者“有聲書籍”，但是“閱讀”從視覺模態向聽覺模態拓展的趨勢在那時就已初見端倪。隨著錄音帶、CD等聲音載錄技術的發展，今天意義上的有聲出版物應運而生。宋青認為，在改革開放之初，“廣播長書”已經開始“中興”，“在輯聽書”“網絡聽書”都是廣播長書融合發展的結果。在互聯網時代，有聲出版平臺不僅提供了暫停、回放等功能，還具備無限的“貨架空間”供用戶選擇和存儲，相較于之前的錄音帶、CD而言，用戶收聽更加便利，有聲出版物也因此得到飛速發展。

將文字的視覺閱讀轉換為可聽聲音的有聲出版物主要可分為兩種：一種是作為視覺閱讀的輔助模態，即在看書的過程中，可以同時聽書，常用于輔助近視、遠視等群體的閱讀；另一種則是在一定程度上脫離視覺模態的有聲出版物，常出現于駕駛、運動等視覺模態無法完全被數字出版物所調動的場景中。視覺模態和聽覺模態的協作和轉換為數字出版提供了極為豐富的功能和場景?！吨袊伯a黨簡史（有聲版）》《新中國口述史（1949—1978）（有聲版）》《寫給青少年的黨史（有聲書）》等有聲讀物入選了國家新聞出版署“2021年全國有聲讀物精品出版工程”。這些紅色出版物以有聲書為形式，對重大主題的宣傳和教育進行了數字化出版創新，實現了思想、知識、藝術等方面的共贏。此外，還有一種有聲出版物引入了聽覺模態，但是其“有聲”并非體現在對視覺閱讀的模態轉換上，而是以配樂的形式出現。這里的配樂與出版物內容無直接關系，但是可以起到營造閱讀環境、配合情節發展等作用，這種配樂式的有聲出版物在驚悚小說和兒童讀物領域比較常見，聽覺模態在此類數字出版物中也是一種輔助視覺模態敘事感知的方式。

早期的有聲書發展依托錄音帶、CD等媒介，進入互聯網時代后，有聲書便開始借助網絡平臺的傳播優勢。在大數據、人工智能、物聯網等媒介技術高速發展的當下，有聲書開始向個性化設計、個性化推薦等方向發展。比如，用戶可以通過自主操作，選擇有聲書的播送音色。很多有聲書App都提供了多位著名播音員、演員、歌手的聲音以供用戶選擇。這些音色具有較高的辨識度，相較于一般的有聲書籍而言，用戶的接受度和體驗感都會更高。不過，僅憑人工播讀，數字出版物的多模態處理效率難以保障。隨著人工智能技術的發展，機器可以根據算法程序實現自動播讀，這便解決了傳統出版物在進行多模態處理時的效率問題。除此之外，用戶還可自主調節有聲書播送的語速、輔助閱讀的音效等等。在數字出版多模態化發展的當下，有聲出版物不僅實現了對傳統出版物的模態擴展，其自身模態也在被不斷地開發和細化，以便更好地服務于用戶的數字閱讀，提升用戶數字閱讀的多模態化體驗。

（三）數字出版的互動觸覺模態：交互技術下的參與反饋

如果以多模態的視角梳理數字出版的相關文獻，現有的數字出版文獻主要集中在視覺模態和聽覺模態上，很少有學者關注視覺模態和聽覺模態以外的模態。但是隨著技術的發展，電子書、有聲書也積極探索新的出版形態，其中最常見的就是將觸覺模態的“交互”引入數字出版物。例如2020年由新華網推出，獲得第31屆中國新聞獎頁（界）面設計項目一等獎的《大河奔流——黃河流域生態保護和高質量發展》就立足交互，結合3D動畫框架、海量數據可視化、VR全景等技術講述黃河文化和生態保護等方面的故事和知識，并通過視頻互動和嵌入地圖框架等方式與用戶進行互動，全網累計訪問3000余萬次，獲得了廣泛好評。用戶通過界面操作深度參與閱讀，這便反映出交互作為數字出版的重要模態具有巨大的應用前景。

在數字閱讀的視野下，“閱讀”不僅是“可視”和“可聽”的，還是在觸覺上“可感”的。實際上，關于出版物的觸覺應用并非新鮮事物，盲文書籍就是通過觸覺傳達信息的。由于盲文書籍的特殊性，觸覺模態自然是信息傳播的主要模態。廣東大音音像出版社使用國際前沿的DAISY（Digital AccessibleInformation System）技術，即數字無障礙信息系統技術，推出了“盲人中小學生無障礙閱讀工程”。通過數字轉化，出版物的文字內容不僅可以以觸覺模態被感知，還可同時以聽覺模態被呈現?！懊と酥行W生無障礙閱讀工程”獲得了國家新聞出版署評選的第五屆中國出版政府獎，對無障礙閱讀的數字化發展具有重要意義。

除了盲文書籍以外，觸覺模態在傳統出版物中并不是很受重視，因為出版物主要的信息并不通過觸覺模態傳達；在感觀上，雖然裝幀、紙張等也通過觸覺模態傳遞著一定信息，但這一般很難給讀者帶來具有實際價值的信息。在數字出版時代，觸覺模態則在數字出版物中衍化出豐富的功能和體驗。從文本閱讀的過程來說，數字出版物依托電子或數字閱讀器，通過交互技術，向用戶提供加入書簽、跳轉頁面、添加筆記、標記內容等多項使用功能，用戶只需要通過手指在屏幕上操作便可便捷地完成多種輔助閱讀行為。由于媒介載體的不同，“閱讀”從“翻閱式”拓展為以“點擊式”為主，并和“翻閱式”共存。無論是用鼠標還是用手指，“點擊式”閱讀均需要調動用戶的觸覺模態，使用戶進入數字出版物所建構的“超文本”（HyperText）之中。超文本，即以超鏈接的形式互相連接的文本。超鏈接文本具有復雜的網狀結構，通過點擊，用戶可以實現實時的頁面跳轉、在線查詢、文字翻譯等功能，而這些在傳統出版中是難以實現的。由此可見，用戶觸摸的感覺和反饋對于數字出版而言非常重要。從技術可供性的角度說，也正是觸覺模態的存在，才使用戶的想法得以在媒介上得到表達和反饋。觸覺模態的引入賦予了用戶極大的自主性，較之于傳統書籍，參與性和操作性更強的數字出版物提供給用戶更高的主體價值和使用體驗。為了提升用戶的使用體驗，開發觸覺模態便成為當下數字出版實踐持續發力的目標之一。從高校數字出版人才培養來看，與交互編創素養培育相關的課程也已經成為當下數字出版人才培養體系的重要組成部分。以中國傳媒大學為代表的高校，就在數字出版人才培養體系中加入了多門交互設計類課程，以滿足業界對數字出版人才的技能要求。

當然，對于數字出版物觸覺模態的探討不能僅停留在操作層面的機械反饋，觸覺模態強調互動，更強調如何通過互動調動用戶的觸覺感官，提升數字出版物的綜合閱讀體驗。比如在進行點擊、翻頁、調整背光等操作時的振動反饋，就從觸覺模態的維度強化了數字閱讀的體驗。從文本內部來說，數字出版物經常以振動反饋的形式喚起觸覺模態，輔助數字閱讀，建構數字化閱讀語境，提升數字閱讀的交互體驗。在應用中體現為根據數字出版物的內容需要進行振動反饋，如遇到緊張的動作情節，可以通過一定頻率的振動幫助用戶進入閱讀節奏和閱讀環境。除了振動之外，技術還有望通過傳感器實現壓力、作用力、平衡、熱量、寒冷/潮濕、電擊、疼痛和瘙癢等觸覺體驗，這些不同的觸覺模態可能在未來給用戶帶來交互性更強、體驗感更為豐富的數字閱讀體驗。

（四）數字出版的前沿嗅覺模態：數字嗅覺信號與輔助閱讀

報紙從誕生之日起，就帶有一種油墨氣味。隨著印刷技術的提升，如今報紙、書籍很少再有濃重的油墨氣味。但是，由于紙張、裝訂方式等原因，傳統出版物還是經常出現獨特的“書香”。不過，所謂的“書香”只是作為一種出版形態的標識，本身并不意圖傳遞特殊的信息意義。2011年，《洛陽晚報》推出了國內首份“4D”報紙，嘗試將氣味作為傳遞信息的模態方式?！?D”報紙是在通過3D眼鏡觀看立體圖像的基礎上，增加了牡丹的花香氣味。牡丹是洛陽市市花，在報紙中引入牡丹氣味，對推廣牡丹文化、推動牡丹產業發展來說是一個巨大的創新嘗試，這也是對出版物多模態化的創新?！?D”報紙一經發售便銷售一空，一時間“洛陽紙貴”，這說明嗅覺模態在出版物中具有一定的應用價值。也有相關人士倡議，《錢江晚報》可以打造特定的氣味版面體現標志性的杭州味道。這些均是傳統出版物期望將嗅覺模態引入出版物，并通過氣味傳播特定信息的創新嘗試。

隨著DSP（Digital Signal Processor）等技術的發展，數字嗅覺開始進入研究視野。數字嗅覺的原理是將氣味信號轉換成數字信號，再將數字信號轉換為氣味信號。這一看似難以實現的過程在理論上可通過仿生學方法、數字化方法等實現。數字化后的氣味可通過電子路徑遠距離傳輸到接收端，在接收端再被還原成氣味信號。也有學者提出，可通過電子、熱感、磁力等數字方式對嗅覺進行刺激，以實現嗅覺模態的感覺交互。但是在技術實踐中，現階段數字氣味識別、存貯、再現等仍存在一定的技術難題。

有學者嘗試開發融合了嗅覺、味覺、觸覺等的多模態講故事系統。從用戶測試反饋的結果來說，多種模態的運用有效提升了通過數字講故事的吸引力，并且能有效增強學習動機，改善學習狀態。從理論上說，多種模態協同，不僅可以有效提升數字出版物的意義傳達效果，也有助于提升用戶數字閱讀的感官體驗。Aryballe、OW Smell Digital等公司早已開始探索數字嗅覺在元宇宙領域的應用；在一些日用產品、家用電器、醫療用品、彩妝香水中，數字嗅覺甚至數字味覺已經得到初步應用，但由于現階段的技術并不是非常成熟，加之研發成本高、使用價格昂貴、支持相關功能的終端設備普及率較低等原因，所以數字嗅覺尚未被廣泛地應用于數字出版。但隨著媒介技術的不斷發展和用戶閱讀體驗的不斷提升，數字嗅覺在未來很可能會像今日的觸覺模態一樣，作為一種提升閱讀體驗的擴展模態，流行于某些種類的數字出版物中；隨著傳感器技術的發展，數字味覺甚至也有望出現在特定種類的數字出版物中。

（五）數字出版的綜合全感模態：VR/AR/MR與場景閱讀

VR（虛擬現實）、AR（增強現實）、MR（混合現實）等技術嘗試打造融合視覺、聽覺、觸覺等模態的文化消費新場景。VR、AR、MR等技術不僅融合了多種感官的感知模態，其還建構了一種跨越虛擬和現實的感知模態。萬安倫、王劍飛認為，VR、AR、MR等技術將沖破現實的阻礙，并重新建構閱讀場景。在新技術建構的虛擬閱讀場景中，用戶得以打破傳統閱讀的時間空間限制，擁有更高的自主性；用戶閱讀的姿勢不僅可以是“坐”或“站”，還可以是“運動”的。 VR、AR、MR等技術在數字出版中的初步應用，提供給用戶一系列數字閱讀和文化消費的新場景。

隨著虛擬現實技術的發展，近年來已有一批出版社開始嘗試將VR、AR、MR等技術應用于少兒圖書的出版，推出了《恐龍大世界（AR版）》《VR恐龍世界》《天工開物——給孩子的中國古代科技百科全書VR禮盒》等具有虛擬性和互動性的出版物，為兒童用戶提供集學習和游戲為一體的沉浸式、參與式閱讀。VR、AR、MR等技術建構的文化消費和數字閱讀場景具有極高的參與性和趣味性，這對少兒出版物的未來發展具有重要意義。2022年2月9日，國內第一家“元宇宙”虛擬雜志《MO Magazine》上線?！禡O Magazine》創刊號主題為“曼塔沃斯”，音譯自“Metaverse”，并由真實演員井柏然和虛擬人AYAYI共同為創刊號拍攝封面?！禡O Magazine》力圖通過VR的虛擬現實模態，呈現藝術、技術、商業的創新和趨勢，探索VR、AR、MR等技術為重構現實閱讀場景并建構新的虛擬閱讀場景所帶來的無限可能。

四、多模態對數字出版實踐的重構

以視覺模態（如電子書）、聽覺模態（如有聲書）呈現的數字出版物可僅憑借單一一種模態傳遞信息意義，一部分以觸覺模態（如盲文書）呈現的數字出版物亦然，但是大部分觸覺模態和全部的嗅覺模態在數字出版物上的呈現，一般都是疊加在視覺模態和聽覺模態的基礎上。視覺模態和聽覺模態雖然可以憑借單一模態呈現數字出版的內容，但是二者仍積極嘗試融入更多的模態以滿足用戶的體驗需求。隨著媒介技術的發展，各種新媒介層出不窮，這些新媒介均嘗試對模態進行擴展，比如廣播媒介在聽覺模態的基礎上引入視覺模態，VR媒介在視覺模態、聽覺模態、觸覺模態的基礎上開發嗅覺模態，等等。但是，從動因來看，數字出版多模態化的發展趨勢不僅是由于媒介技術的外在推進，還有著內容創新、感官體驗等多方面的內在驅動。多模態化的數字出版物生產和加工方式對用戶個人的信息接收過程產生了前所未有的影響，也對數字出版實踐的整體結構進行了重構。與多模態相關的數字出版技術實踐、數字出版流程體系、數字出版消費方式等均因模態的融合擴展而發生了重大改變，數字出版實踐整體也因此呈現出與傳統出版實踐存在顯著差異的結構和特點。

就目前數字出版實踐的發展狀況和相關技術的成熟程度來說，當下的數字出版物基本上仍是以視覺模態、聽覺模態為主要、基礎的閱讀模態，以觸覺甚至嗅覺模態為輔助的閱讀模態。但是，數字出版已呈現出向綜合全感模態的出版形態發展的趨勢。多模態為數字出版實踐帶來了新業態，也帶來了新挑戰。當下，數字出版的多模態化發展仍存在很多技術難題，但是數字出版多模態化已經成為當下數字出版融合發展的必然趨勢。隨著媒介技術的不斷發展和用戶閱讀體驗的不斷提升，數字出版實踐必然要在早期多媒體化的基礎上融合升級，走向多模態化發展。因此，發展多模態相關理論和技術在數字出版實踐中的應用，是我國數字出版產業積極地應對數字時代的媒介技術挑戰、更好地滿足當下用戶信息需求的重要舉措，這也有助于推動我國更快地邁向出版強國行列，使數字出版產業更好地服務于國家數字經濟發展。

（作者吳煒華系中國傳媒大學新聞傳播學部教授、博士生導師；張海超系中國傳媒大學新聞傳播學部2020 級博士研究生）