交互式語境下的昆曲視覺編碼研究

于西 王淑敏

【摘 ? 要】本文以弗盧塞爾的“技術圖像”理論為基礎，探討昆曲視覺要素在當代交互式語境中的編碼方式。引用弗盧塞爾所提出的五級階梯模型觀點，解碼互聯社會中交互式圖像生成的范式，著重關注昆曲視覺創作中能夠嵌套交互性的界面層級，并將其分解為空間性、映射性、動態性、交互性四個特征要素，結合數字互動昆舞《游園新夢》中的創作實踐手法完成論證分析。

【關鍵詞】昆曲 ?交互 ?技術圖像 ?交互界面

中圖分類號：J805文獻標識碼：A文章編號：1008-3359（2024）01-0165－06

昆曲是融合視聽體驗的中國傳統戲劇藝術。本文主要研究昆曲中視覺系統的編碼特征，關注從傳統圖像至技術圖像的時間維度中昆曲視覺內容的編碼差異性，尤其關注以媒介學家威廉·弗盧塞爾所提出的技術圖像①理論，以此探索昆曲視覺系統編碼模式。本文通過分析視覺系統的編碼，進而推導昆曲藝術的視覺形式轉碼，探索昆曲在技術圖像時代下的信息傳遞，以及發展的多樣性。視覺符號的轉碼指向技術圖像視覺的再創造及交互式視覺的生成，同時也指向當下及未來正在出現的表現形式及新興媒介，如：生成式藝術、生成式人工智能及腦機接口等多個維度。

昆曲的傳統視覺符號編碼分析，本文以弗盧塞爾理論中的傳統圖像作為參考系，即對應弗盧塞爾構建的五級階梯②前四個歷史維度；本文所探討的視覺符號轉碼則對應第五個維度，即無維的微?？臻g階段。研究希望通過現代媒介理論結合設計實踐，尋找昆曲視覺表現中實現轉碼的有效接口，實現傳統藝術形式的賦能。

一、昆曲的經典視覺

（一）紋樣視覺元素

昆曲的視覺表現元素豐富，無論是角色的妝面，還是服飾紋樣與圖案，都呈現出古典美學的審美風格及造型風韻。傳統紋樣通常是平面化的，平鋪于三維實體表層。昆曲中的生、旦、凈、丑角的妝面風格各異，投射出不同角色的氣質。在傳統圖像的層級中，包含立體的雕塑造型、二維平面化的圖案，以及一維線性的敘事文本。昆曲的傳統圖案元素位于此階梯中。

昆曲研究者王余璇在文獻中對昆曲服飾的圖案有所列舉，云紋、水紋、回紋、如意紋、蝴蝶紋等都屬于民間吉祥圖案。其中，云紋屬于自然氣象紋，源于云氣，形態自然。③圖案分別呈現兩種編碼模式，一是人工性的紋樣提煉，如抽象化的民間吉祥圖案；二是擬仿自然的圖案。根據技術圖像理論找到第一種一致性，即人類在傳統圖像時期，尤其在經典的昆曲藝術中，所制作的平面二維紋樣靈感素材來源于物理世界。同時，抽象形態的西方洞穴巖畫也指向某種外部實體或自然現象?？梢钥闯鲞@是一種跨越地理因素的文化共同性，指向人類共同的體驗與認知。

（二）身體的視覺元素

昆曲角色的體態造型、行為韻律也是視覺系統中的構成要素。昆曲中舞蹈、武術的身體性表演，承擔了戲曲中的動態視覺要素，構成演員在舞臺中的身體空間，并同靜態的服飾紋樣及妝面圖案一同構成觀者的視覺體驗。身體作為靈活的有機媒介，一方面為角色的服飾創造身體的空間造型及動態，另一方面肢體運動攜帶敘事信息，通過身體的律動及張力引發觀者審美體驗與心理共鳴。除此之外，動態要素的編排及設計還考慮到唱腔及伴奏的韻律與節奏，不同的樂器如曲笛和三弦，不同的唱念語調，以及不同的聲場環境均會為昆曲建立不同的聽覺秩序。音畫關系將兩者結合，構成編碼系統中兩個最為重要的環節。由此來看，昆曲視覺系統的編碼在受到自身各要素權重影響的同時，還受到外部系統諸如聽覺、敘事、環境等多要素的協同調節。對于經典的視覺編碼分析，應當關注其他感知媒介的特性與間接影響。而對于接下來要分析的技術性編碼，則呈現更為復雜的交互關系，無論是視覺還是聽覺，在技術化系統中將呈現出新的現象。

二、交互為昆曲視覺賦能

（一）昆曲與視覺技術編碼

技術階段主要分析以弗盧塞爾所提出的技術圖像語境下的自動化階段?？臻g、社會及人類的定義被拓展延伸，以攝影為代表的圖像制作技術改變了傳統圖像意義生成的方式。昆曲將應對保護、傳承、拓維、傳播等新的挑戰。

無論是視覺系統中的圖案、行為、身體空間，還是聽覺系統中念白的行腔與語速節奏、器樂的音律、聲環境等，均需要主客體的感官在場。經典的傳播模式受限于傳統界面，使之只能在特定的地點和時間中發生演繹關系。當人類從機械自動化進入模擬時代，進而又快速過渡到數字化的現代社會，技術圖像預言的合理性被亮起的像素顆粒所證明，由弗盧塞爾所構想的算力互聯社會已悄然來臨。當圖案、圖像的生成不再受人的直覺觀察、翻譯、描繪行為所支配，視覺的合成變為算法文本的編排和邏輯的游戲，視覺系統編碼的復雜性由此開始出現。經典的昆曲視覺系統中，紋樣的設計及制作依托于經驗及世界體驗的認知，例如角色服飾中代表著權力等級象征的龍紋及蟒紋④，來源于人對于自然及統治性的崇拜，亦是一種思維投射。在技術圖像理論的歷史階梯中，這將歸類為傳統圖像范疇。但是傳統圖像與技術圖像間的界限是否可以打破？或者說經典的昆曲藝術，在技術編碼萬物的語境下，如何實現轉碼。作者認為這并非一個視覺形式遷移的過程，盡管如今的技術媒介為昆曲的發揮提供了一個自由開放的環境，如：合成場景、虛擬現實、增強現實、混合現實等交互界面，但是媒介的技術性編碼正變得愈發復雜。倘若不能合理編排這些技術合成背后的邏輯，尤其是技術圖像所呈現出新的互聯性、自動性、智能性，也就無法順利實現昆曲視覺的技術轉碼，更無法實現創新中的邏輯自洽。

視覺的數字合成可以經由算法驅動屏幕像素來生產技術圖像，也可以通過信號控制光源產生交互式的燈光照明。前者在交互影像中常見，后者則偏向于數字舞臺美術。但對于創意的探索，這種對應關系并非絕對。這里，人們可以觀察昆曲中最具鮮活特色的唱念做打⑤形式。技術的加入對動態視覺的體驗增強，尤其是身體動作表現力的賦能，效果是可觀的。由微軟開發的運動體感捕捉器可以通過攝像頭實時捕捉人物體態，將身體的圖像數據量化為骨骼坐標信息。與此實現功能相近的，由谷歌開源人工智能算法，通過計算機視覺庫，實現光學分析捕捉人體的骨骼動態，實現演員動作的實時分析與交互。對于演員角色的空間位移，使用激光雷達測距，如：北陽電機及思嵐科技等公司開發的工業雷達，可以在創作中作為界面主體位置的捕捉工具。昆曲的數字化項目中，使用綜合性的傳感器設備，將會為角色的身體表現力賦予更多動能。觀者的體驗也將在技術賦能下獲得更寬闊的感知維度。

（二）視覺技術類型分析

前文談到兩件事，一是昆曲視覺中技術層的編碼方法，二是編碼的工具，即當下如井噴式發展的各類交互技術、硬件設備。下面要談的便是對技術編碼的類型解析。編碼需要有規則，規則決定合成的方向。例如在傳統昆曲表現中，文化通過價值取向及故事線索來編碼劇本，合成昆曲的敘事。敘事再經由角色的現場發揮，將其劇本信息轉譯為表演現場的形式語言。但是在技術圖像語境下的編碼則包含更加延展的內涵，主要將技術編碼視覺的類型分為三個方向：生成式影像技術、互動照明技術、身體量化與互動技術。

對于通過技術手段合成的影像，如技術圖像的編碼，其是通過計算機文本的循環計算完成的，這是一個進程，而非終止態。因此，對于技術圖像而言，實時性是主要特點，并且結束狀態也可作為起始信息，被再次執行，即任意時刻形式量化的數據亦可成為下一次迭代的輸入變量。技術圖像如同繪畫，同樣具有畫面構成及敘事性，而它卻具備傳統圖像所缺少的能力，即動態可變的形式語言。在昆曲的視覺系統中，無論是角色妝面形式，還是服飾圖案，均以靜態元素設計而成。傳統圖像的編碼方式決定靜態視覺元素生成的不可逆性。昆曲的視覺符號定格在圖案創作誕生的那一刻。技術圖像式的視覺跨越了這種局限性。在新的技術性創作范式中，編排者可以通過計算機著色語言⑥創建紋樣、圖案、虛擬場景等交互式視覺景觀。

燈光是可以實現交互式照明的媒介，由算法或數據驅動。在傳統的昆曲演出環境中，燈光扮演打光與氛圍營造的角色。如今，燈光交互成為一種更加獨立的元素出現于昆曲中，輔助以舞臺美術的實現。使用標準燈光協議⑦驅動照明設備，可以實現交互式燈光與其他表演數據的聯動，為昆曲的表現力賦予更多樣化的形式。

身體量化技術開創了演員身體與舞臺空間的接口。自20世紀70年代開始的后人類主義及現代技術催生的超人類主義思潮涌動，身體和身份性的問題得到學者們的關注。無論是有機的濕性身體，還是芯片式機器心智，身體的內涵和外延都在重寫和定義。不斷創新的生物信號傳感技術，如：體感、肌電傳感、意念傳感等方式，拓寬了昆曲中身體性的表達方式。在這個過程中，昆曲演員的表現空間被延展。例如，角色可通過技術性接口，實現與觀者思維的互動，根據現場數據驅動表演行為，或放大某種在常規舞臺體驗中不易被察覺捕捉的信息文本。因此，借助于傳感技術，身體的形式語言也在多種媒介手段的輔助下豐富起來，開辟出互聯式的信息空間，但仍需技術的迭代和實踐性驗證。

三、交互式昆曲界面的特性

弗盧塞爾將人與世界的交互關系劃分為五個空間維度，代表不同的界面。人通過媒介在相應空間內獲取經驗、轉化知覺、驅動行為。按照技術圖像理論的架構，將傳統的昆曲體驗視為經典界面，則它應當是集合四維連續、三維的身體、二維的服飾圖案，以及一維的行腔及敘事于一體。進入技術圖像社會后，界面的拓展性得到增強。網絡通信與虛擬合成技術的發展讓昆曲表現場域更加多樣化，一方面體驗行為可以發生于虛擬的介質中，由技術圖像營造虛幻的現場氛圍，另一方面，現場性的昆曲表演也可以通過數字賦能，實現視覺體驗的增強。界面的特性與昆曲視覺符號的關系值得推敲，筆者的觀點中，由技術圖像所驅動的昆曲視覺界面呈現出空間性、函數關系、連續與非線性、對話與反饋四種特性。

（一）昆曲界面的空間性與映射性

空間是一種場域，昆曲是在場體驗的視聽藝術，承載表演行為的場域是其形式語言傳達的基礎?？臻g的概念被當代技術所延展，尤其是技術圖像理論的提出，為解讀抽象的粒子空間提供了方法指導。當下，空間可以是一種實體界面，所有相互關聯的角色所組成的交互式場所。昆曲表演的場域即在這個坐標系統中?？臻g也可以是從虛擬到實體的界面，如通過網絡通信、空間計算實現在數字媒介中參與真實空間的互動。另一層面的空間則存在于抽象的邏輯世界中。經由技術化媒介所合成創造的虛擬坐標系統，虛擬性、可編輯性、實時計算性、可改寫等性質，是這個空間坐標系的特點。

由規則組合出的輸入輸出系統具備相應的映射性，可以描述為由主體和客體建立的函數關系。操縱函數者向其提供指定參數，系統則會自行運算并給予反饋結果。這個過程類似于計算機中的函數，通過編寫與封裝功能語句，為開發者提供模塊式的功能集合。昆曲的視覺界面在傳統語境中也存在這種關系，如服飾圖案所呈現的信息是角色身份的投射。前文所提及的蟒紋與龍紋象征皇室權力，這是一種文化編碼的經驗系統，給予人知覺反饋。如果把社會文化視為黑箱系統，則服裝或任何昆曲中可能出現的視覺符號均作為函數系統的輸入參數。系統通過文化經驗的投射計算可能性，輸出為在場觀眾的直覺與判斷。但是在技術圖像的語境下，函數關系被分解為更加細小的單元。例如，使用交互式工具創建模態的轉換接口，通過對昆曲演員的語言、動作、神態等數據量化，生成其他編碼系統的數據，如：聲音、燈光、影像等。張鴻遠⑧在研究中基于深度學習構建的昆曲動作識別系統，即以數據單元投射復雜性信息結果，通過機器的轉碼來增強分析能力。因此，可以將黑箱的設計模式嵌入昆曲視覺編碼系統，推動昆曲從信息傳達層面的轉碼。

（二）昆曲界面的動態性與交互性

動態性描述事物的過程特性，可分為連續與非連續。模擬信號是連續的，數字信號是離散非連續的采樣結果。如果從技術性啟示中類比藝術活動，會找到諸多有趣的共通性。在傳統的昆曲形式里，多以連續的敘事、對白、身體語言來塑造表演。傳統紋樣中連續的幾何造型也映射出人類對于延綿、秩序感、可捕捉物象的審美偏好，這是人們所熟悉的視覺世界。非線性雖然也時常出現于昆曲敘事中，如角色妝面造型的差異性，通過不同的妝面刻畫彼此獨立的角色個性，但非線性的意義更多體現于技術圖像的語境。數字化基于離散的空間而存在。數字化媒介結合不同的通信形式，如：網絡、影像、聲音等數據流，交互維度更加廣闊，指向性則更加多元。因此，技術化的昆曲表現中，圖像可以不再是連續的工藝紋樣，而是由數據及數組驅動，實時掃描技術媒介中的影像。

在技術圖像語境下，將昆曲的藝術現場視為一種開放界面，觀者與演員之間的角色互動已不再是從傳達到感知的過程。每一位在場者將擁有能力深入融合到現場的表演關系中。例如通過數字化傳遞的信息，通?？梢越Y合更多的交互式視覺內容元素，進行輔助說明性視覺呈現。觀眾對于文化內容的學習，也將逐漸脫離枯燥的說教式信息文本，進而轉入無維的技術圖像信息捕捉過程。另一方面，數字化社區平臺也將不同身份的愛好者匯聚起來，打破了傳統界面中創作角色與欣賞角色間相對隔離的身份狀態。人際交互關系逐漸開放。同時，人與昆曲作品間的時間、場域、敘事參與的關系也同樣互通。另一方面，審美個體的身份認同性與個性亟需被關注，審美經驗、文化背景、個人情感等非線性的龐大數據集合，需要在當下存在這樣一種互動空間，為更多的審美個體滿足情感與關注的需求。昆曲作為具有文化背景的視聽藝術，可以為體驗者、愛好者創建這樣的對話式界面。

四、昆曲視覺轉碼

（一）交互式昆曲實踐分析

數字互動昆舞表演《游園新夢》⑨是運用技術媒介探索傳統昆曲藝術轉碼的實踐。作品從長江文化切入，以中下游地區蘇州園林為背景展開創作。昆舞者的表演環境從傳統的舞臺遷移至開放的展覽空間中，觀眾得以從新的視角重新獲取傳統藝術的敘事體驗。

在《游園新夢》中，舞者、光影與音響、裝置結構、交互系統共同組成作品的內容要素。不同的要素間又通過技術媒介彼此關聯。動態的計算機圖形通過投射附著于不同的結構體表面，組合為豐富且具有偶發性的技術圖像。燈光與舞者的現場反應則經由交互系統進行生成。通過在垂簾結構上方安置紅外傳感器，感應檢測昆舞演員的身體活動。當舞者進入垂簾空間，燈光漸漸點亮，營造詩意與夢境的氛圍。昆舞演員的運動間接且實時地控制了作品形式的生成。即使表演預先安排好的昆曲內容，因現場觀眾人數、位置、行為的不確定性，都將導致每次演出中空間光影效果的不同變化，這種隨機性增強了作品視覺傳達的形式多樣性。

（二）交互式昆曲的構想與反思

從《游園新夢》作品視角觀察前文所提出的影像、燈光、身體三者的技術編碼論述，可以為昆曲藝術的視覺表現創新提出一些設想與觀點。提到昆曲表現界面的空間性，在弗盧塞爾論述中，空間可以是一種實時計算的無維度微粒（像素）世界。因為合成視覺表象的依據可以是抽象數據，因此形式的生成將被加速，且使用更多的自動化方法來實現。人們可以依據算法創建視覺形式，在《游園新夢》中，通過計算機圖形技術合成的動態紋樣，一方面展現了計算機圖形（技術圖像）凝結視覺信息的能力；另一方面則呈現出信息本身的價值。弗盧塞爾指出技術圖像的生成過程由機器指令與邏輯實現，而非人眼觀察的直接投射。因此，任何操縱機器設備的創作者都將有更大的責任去保護信息的真實性與有效性。昆曲藝術中的文化樣本更應當被人們更多關注，而非被技術媒介的強大合成能力所任意改寫。當然，在生成式藝術中，將算法與邏輯之美視為創作主體的表現手法，則是另外的話題。

燈光與身體在《游園新夢》中是交互呈現的，但從更高層面來看，燈光與影像本身具有聯系?，F代的燈光藝術基本由數字電路控制。這樣來看，技術圖像所合成的像素與數字信號所驅動的照明形式都具有相同的本源邏輯。即使在作品中，投影出的藝術形象比燈光形式更加具體，表達更加明確的視覺符號，但對于表象背后的驅動主體都來源于二進制數據。因此，筆者認為，人與數據交互接口的建立是作品意義成立的前提。因為技術圖像可以不經過人腦而自發由電子凝結創造，絢麗豐富的視覺幻象在這個過程中卻僅僅指向數據本身。當然，技術媒介的發展已經進入指數增長期。無論是經典的生成式視覺藝術，還是使用神經網絡創造人工智能圖像，目前的趨勢都表明技術圖像的世界正在發展。昆曲藝術的創新應當賦予其視覺表現更多樣的手法，但不僅于此，對于技術圖像所呈現出的負面效應，尤其是廉價的視覺合成所引發的技術圖像霸權，導致信息文本的多樣性下降。充斥于現實中的圖像有效性也同樣堪憂，應當進行思辨。創作者應更加關注數據的來源，關注機器合成過程中數據的意義及指向，以及人作為主體，在經典藝術的傳承中所扮演的重要角色。

參考文獻：

[1]威廉·弗盧塞爾.技術圖像的宇宙[M].李一君，譯.上海：復旦大學出版社，2021.

[2]計海慶.增強、人性與“后人類”未來：關于人類增強的哲學探索[M].上海：上海社會科學院出版社，2021.

[3]威廉·米切爾.重組的眼睛：后攝影時代的視覺真相[M].劉張鉑瀧，譯.北京：中國民族文化出版社，2022.

[4]張鴻遠.基于深度學習的昆曲動作識別與交互技術研究[D].北京：北京郵電大學，2024年.