人工智能技術的電影美學應用場景及其前景

■ 王志敏

人工智能(AI)技術的迅猛發展正把我們推向一個發生巨變的、被智能浪潮席卷的“增強”時代。一系列人工智能技術正在深入走進眾多行業,應用場景日益豐富。而電影作為一種科技賦能、美學護航的傳播媒介和藝術形式,在社會生活中具有特殊的重要性。安德烈·塔可夫斯基(Andrei Tarkovsky)仿佛預言般說:“電影會成為首屈一指的藝術形式,是其他一切藝術的靈感之源?！?1)[美]約翰·吉安維托編《安德烈·塔可夫斯基訪談錄》,史敏譯,南京大學出版社2023年版,第59頁。在這個意義上,研究人工智能技術的電影美學應用場景,不但同樣具有特殊的重要性,而且其創新空間和拓展空間也將會近乎無限。我們要想搶占先機,就要密切關注此類技術的發展和應用,包括算力、算法、數據和平臺各方面的最新進展,畢竟電影藝術信息的有效傳遞和為電影美學的保駕護航一直都需要強有力的技術支持。斯科特·菲茨杰拉德(Francis Scott Fitzgerald)1922年的小說《本杰明·巴頓奇事》(TheCuriousCaseofBenjaminButton)直到1995年才被人真正想到拍成電影,因為這篇小說講述了一個從出生到死亡“逆生長”的男孩和一個正常的女孩之間的戀愛故事,實在是太離奇了。而實際上,因為技術支持的問題,此片又拖了13年,直到2008年才拍出來。我們看到的影片非常感人,呈現的效果也特別驚艷,但是仍感覺有些“不過癮”,這是因為相應的技術還不夠強大。

現在看來,人工智能技術的電影美學應用場景有兩條探索路徑:一是間斷式的有限應用實踐,是當下主流的“現實主義”路徑;二是全流程無限應用的實驗,是一條長期處在藝術暢想、理論憧憬之中,屬于近期先鋒探索的理想主義路徑。

先來看有限應用。它是指在電影制作流程的各個環節,在對投入和回報之比等因素進行綜合平衡選擇的條件下,盡可能采用虛擬拍攝手法,銳意進取,最大限度發揮創造性,開發相關的應用空間。

2012年,中國電影集團公司(“中影”)引進了虛擬制片系統。2017年,“博采傳媒”開始了對虛擬制片應用的各個環節(數字資產、預覽、LED屏、動作捕捉、虛幻引擎)的自主研發,由此對開源程序的底層代碼進行了全面改寫,建立起了自己的虛擬制片底層技術體系和管理邏輯,爭當虛擬制片探路者和領路人。2019年,中國電影科學技術研究所啟動了“中國電影云平臺”的建設,“華為云”也推出了“云渲染”服務。2020年,“中影”掌握了自主創新的CINITY放映系統和人工智能母版重置系統,顯著提升了電影作品的審美品質和觀眾審美過程的力度感?？傊?中國電影制作中人工智能技術應用的自主創新歷程已經開啟并在穩步推進,在拍攝周期、藝術呈現、審美保障、社會效益和經濟效益方面都取得了驕人的成績,當然也還有繼續發展和提升的巨大空間。謹此舉例說明相關技術對實踐的賦能:影片《金剛川》(2020)拍攝時間短、任務急,但在約2600人的視效團隊的助力下,幾個月就完成了拍攝,沒有技術的支持是不可想象的;《長津湖》(2021)前期使用了虛擬制作平臺進行虛擬化預演,后期渲染則借助了“華為云”的強大算力;《封神》(2023)幾乎把動態預覽的使用做到了極致,其劇本完成的故事時間量大約200分鐘,其中動態預覽部分就達到了125分鐘;《流浪地球2》(2023)的故事和場景均氣勢恢弘,攝制工程浩大,若沒有人工智能技術的全方位“加持”,也難以如期完成。而在人工智能賦能電影美學并由此成為中國電影提質升級和建設電影強國的重要支撐與“利器”的同時,業內人士也仍應清醒地看到現有的相關架構的局限性,充分探索虛擬制片的優勢和短板,并為人工智能技術應用“奇點”的到來做好充分準備。

至于那條理想主義的路徑,一開始只是一種相當模糊的向往,經過了較長的等待期才有了嘗試采用自動生成方式的條件。大約1927年,謝爾蓋·愛森斯坦(Sergei M.Eisenstein)產生了用電影手段來拍攝馬克思《資本論》電影版的藝術狂想,這一想法不說在當時,即使在今天看起來都是十分大膽的,也許他是想表明電影能像語言文字一樣表達復雜的抽象思想。不久,法國電影導演讓·雷諾阿(Jean Renoir)暢想電影是一種新的“印刷術”,凡是語言文字能表達的,電影也能表達,這等于暗示電影是一種新的文字。1948年,法國電影導演亞歷山大·阿斯特呂克(Alexandre Astruc)的“攝影機自來水筆”理論繼續推進這一暢想,希望電影成為像語言文字一樣靈活精妙的寫作手段,并提高了對前述暗示的要求:不是讓電影導演去拍攝學者的學術著作,而是讓學者去拍攝自己的學術著作。這一要求意味著人們掌握電影這種媒介手段的程度要達到像掌握語言文字手段一樣的水平。也許,阿斯特呂克沒有意識到這種類比中難以逾越的巨大障礙:語言文字已經有了單元性的有限的語音和筆畫(或詞符)系統,而電影卻沒有。1964年,馬歇爾·麥克盧漢(Marshall McLuhan)仍然堅持電影和文字的類比:“目前,電影仿佛仍處在手抄本階段,不久,在電視的壓力下,它將進入便攜便讀的印刷本的階段?！薄半娪芭c字母表和印刷文字一樣,是一種富有攻擊性的威力至上的形式,它由于爆炸而侵入其他文化之中?！鄙罹科饋?電影技術其實可以說發端于印刷,因為正如我們所見,活字印刷術對任何工業或電影流程都是必不可少的。(2)[加拿大]馬歇爾·麥克盧漢:《理解媒介:論人的延伸》,何道寬譯,譯林出版社2019年版,第355、357、360頁。同一年,法國電影符號學家克里斯蒂安·麥茨(Christian Metz)在憧憬電影語言(文字)系統化之可能性時指出,這里最大的障礙是沒有電影結構單元清單——電影沒有雙重分節的編碼層次:“如果說電影沒有音素,那么無論如何也沒有‘單詞’?！?3)[法]克里斯蒂安·麥茨:《電影表意泛論》,崔君衍譯,商務印書館2018年版,第58、61頁。與此同時,意大利電影導演皮埃爾·保羅·帕索里尼(Pier Paolo Pasolini)提出,電影的導演創作和作家創作的區別在于作家運用語言,導演創造語言,因為作家寫作時已經有了現成的詞典,而電影導演創作時卻沒有現成的詞典——如果將來有了詞典,那可能也將是一部無窮大的詞典。意大利符號學家烏伯托·艾柯(Umberto Eco)在參加1967年皮薩羅電影節的論文《電影代碼的分節方式》中,提出了確定“電影構成清單”的3層10種代碼的分類,(4)[意]烏伯托·艾柯:《電影代碼的分節方式》,載[法]克里斯丁·麥茨等:《電影與方法:符號學文選》,李幼蒸譯,生活·讀者·新知三聯書店2002年版,第62-85頁。如下表所示。

⑩無意識代碼⑨風格代碼⑧感覺和趣味代碼⑦情調代碼韻味意指⑥修辭性代碼⑤肖似化代碼含蓄意指④肖似代碼③識別代碼②知覺代碼①傳輸代碼直接意指

艾柯認為,這個數字式離散單元的代碼系統一經解析出來,就能夠把現實復原給我們,它是人類歷史上僅有的。如果我們愿意將電影和文字類比,那么艾柯實際上提供了一種解析出或說找出“電影筆畫”的解決方案。同年,法國哲學家雅克·德里達(Jacques Derrida)在《論文字學》一書中,把電影、舞蹈、繪畫、音樂和雕塑,乃至軍事、政治、語言和作為生命活動之指令的遺傳密碼的傳遞等,都包括在了“文字”概念之下,總之,他認為“一切”都是文字,文字之外別無他物。(5)[法]雅克·德里達:《論文字學》,汪堂家譯,上海譯文出版社1999年版,第11頁。這本書第一章的標題是“書本的終結和文字的開端”。(6)同上書,第7頁。那個時候,可能沒有幾個人能理解他在說什么。他仿佛在宣布一個舊印刷時代的結束和一個新印刷時代的開始。他憂心忡忡地表示:“未來已經在望,但是無法預知。展望未來,危險重重?！?7)同上書,第6頁。他把電影當成一種蹤跡性質的文字,卻不能指出它的筆畫。

1970年,麥茨不再反對艾柯提出的電影代碼分類方案,但是卻認識到:電影符號學再先進,也開不出代碼清單。(8)[法]克里斯蒂安·梅茨:《電影的意義》,劉森堯譯,江蘇教育出版社2005年版,第433頁。此后他又覺得,這個代碼清單即便有可能開出來,也不是一個系統,而是幾個系統,只是現在還開不出來。(9)[法]克里斯丁·麥茨:《論電影語言的概念》,載《電影與方法:符號學文選》,李幼蒸譯,生活·讀書·新知三聯書店2002年版,第96頁。這位頗具天才又因受挫而抑郁的電影符號學家后來終于明白,找到電影筆畫的任務或許不是人的智能可以完成的,于是大膽地推測:電影構成單元的清單與語言文字的不同,可能是一種構成模式清單;語言文字的構成模式清單已然在那里,但是電影的構成模式的清單現在還無法測量出來,只能寄希望于將來認知的更高階段。(10)[法]克里斯蒂安·麥茨:《想象的能指:精神分析與電影》,王志敏譯,中國廣播電視出版社2006年版,第180頁。他設想的很可能就是現在作為人類智能的增強和延伸的人工智能。法國哲學家吉爾·德勒茲(Gilles Louis)的《電影1:運動影像》和《電影2:時間影像》兩本重磅著作從哲學和符號學的角度提出了影像分類學。德勒茲從時間和空間的概念出發,對影像進行了一次極其復雜的、分布和層級由上到下不斷疊加的功能性區分和標識。以他的“晶體-影像”為例可見一斑:“現實影像和潛在影像的聚合,是現實和潛在雙重影像,我們曾把脫離其運動延伸的現實影像稱為視覺符號(和聽覺符號),因為,它們是由大循環構成,與能夠表現為回憶-影像、夢幻-影像、世界-影像的東西進行交流,但是,當現實視覺影像與它自己的潛在影像結晶成為內在小循環時,視覺符號才能找到其真正的遺傳成分。晶體-影像為我們提供了視覺符號及其構成元素的理由,或者更確切地講,‘核心’。而這些視覺符號只不過是晶體-影像的光環?！?11)[法]吉爾·德勒茲:《電影2:時間影像》,謝強、蔡若明、馬月譯,湖南美術出版社2004年版,第108頁。這段話理解起來比較困難,但其實意思并不復雜,即現實-影像一旦脫離其運動延伸,進入了時間-影像,就與環繞它的潛在-影像(即回憶-影像、夢幻-影像和世界-影像)相互映照,熠熠生輝,成了晶體-影像。三種影像標識出了六種影像。德勒茲認為,他在做一項可以與生物學家卡爾·馮·林奈(Carl von Linné)的生命形態分類學和化學家德米特里·伊萬諾維奇·門捷列夫(Дмитрий Иванович Менделеев)的物質成分分類學(即元素周期表)相媲美的電影形態分類學。(12)[法]吉爾·德勒茲:《電影1:運動影像》,黃建宏譯,遠流出版公司2003年版,第22頁。他堅決反對麥茨的電影符號學,但卻殫精竭慮地開列了電影形態的類型清單。

有人統計過,德勒茲提出的電影形態多達241種。這仿佛是在冥冥之中為將來對電影進行人工智能解析提供可行性方案。我們知道,構成并驅動人體的血肉之軀和全部精神活動的細胞總量大約為40萬億至60萬億,可分為大約200至600種,看來電影的代碼種類至少也得有幾百種才夠用。這讓筆者想起中央美術學院教授徐冰從1987年到1991年完成的一個先鋒實驗裝置作品項目《天書》。事實上,這一探索也可視為他30年后作為美術家首次“觸電”的“前傳”。他用自己精心設計出來的4000多個偽漢字,刻寫印制出共4冊604頁、看起來極其古樸典雅的線裝書。這些字看起來像漢字但是又沒有人認識和理解,是他用地地道道的宋體漢字的筆法式樣絞盡腦汁編造出來的。但是,這一作品最重要的前提,就是要把可識別的漢字筆畫拆解出來,再把它們建構成為絕對不能識別的樣子。這一創造或許堪比2023年諾貝爾生理學或醫學獎獲得者卡塔琳·卡里科(Katalin Karikó)和德魯·威斯曼(Drew Weissman)的醫學科學發現。該項獲獎成果是他們在mRNA技術的核苷堿基修飾方面的發現。有醫學界人士對其間的原理作了介紹:人體能夠識別外來的病原體的核酸,從而誘導強烈的炎癥反應來消除病原體,同時對病毒抗原進行呈遞,來誘導獲得性免疫,以有效應對病原體的再次入侵。這是人類在數百萬年進化中形成的保護機制或說免疫力密碼。而mRNA疫苗開發中最大的問題就是,疫苗被注射到人體后的遭遇也會像病毒那樣,被人體免疫系統識別并誘發炎癥反應,結果還沒來得及表達其靶蛋白就被降解了,導致失效。至于mRNA疫苗技術“落地”的關鍵,正是如何繞過人體的核酸識別及其炎癥反應機制,讓疫苗順利實現體內的靶向分子表達。這一成果是人類的又一次底層技術突破,可能給生物醫藥領域帶來難以估量的變化。(13)《張文宏點評mRNA疫苗技術獲諾獎》,微信訂閱號“生命科學前沿”,2023年10月6日,https://mp.weixin.qq.com/s/ehGIVMdeQaFBohRQNdj18A,訪問日期:2023年10月26日。這里的技術關鍵有兩點——保護裝置和表達修飾。首先,脂質體納米顆粒作為保護裝置,確保mRNA有表達機會;然后,還必須對表達進行修飾,讓免疫細胞以為表達是假的,但其實表達中的組件(筆畫)是真的。若作一類比,這或許可以說是對病毒基因的“文字造假”。有趣的是,徐冰本人在談到《天書》時也提到過“傳統基因”和“轉基因”的話題。(14)徐冰:《徐冰:從天書到地書》,廣西師范大學出版社2020年版,第28頁。

人們能從徐冰的《天書》中看到他首次“觸電”的影子,這包括兩個方面:揭示漢字的復數性,暴露漢字筆畫的復數性。(15)同上書,第11頁。而基因和文字都是復數性的。2017年,徐冰推出過一部既沒有攝影師也沒有演員的劇情長片《蜻蜓之眼》,其鏡頭全都來自全國各地從1999年到2016年長達17年間的監控視頻,是從選出的11000個小時的素材中剪出的一個81分鐘的愛情故事。這次嘗試向電影影像那如同文字一樣的復數性發起了沖擊,開啟了“被記錄下來的每個片段都可能被用來講述另一個電影故事”的藝術進程。它就像既得影像電影(found footage film)、檔案電影(archive film)、編篡電影(compilation film)、現成品電影和再媒介化影像等藝術探索一樣,仿佛是在呼應德里達的電影文字學:既然電影像文字一樣具有蹤跡性,那么,它能像文字一樣被不斷重復使用嗎?徐冰團隊2021年在平遙國際影展上推出的“人工智能無限電影”,就再次發起了對電影復數性的沖擊性探索。人工智能會根據觀眾圍繞電影類型、故事偏好等提出的關鍵詞或語句描述,立即開始自動編劇,從網上搜索選取相關的視頻片段,編輯或創建出影片畫面,還可以根據觀眾的想法實時調整。這個項目的創意、算法和設計流程,包括劇本改進協調、場景生成對話、人物配音等,也是由六個人工智能系統經過不斷的測試、糾錯和迭代共同完成的——這很可能是世界上首個真正可以實時產生電影腳本并找到其圖像的全流程系統,當時使用的人工智能版本是GPT2。徐冰這兩次“觸電”的啟示是,通過宣示電影影像的復數性,可以暴露出電影影像筆畫的復數性。

2022年,“博采傳媒”又用4天時間、3樣道具拍出了全虛擬制作的9分鐘短片《誕辰》。此片于2023年獲得中國科幻大會的最佳科幻特效短片獎,以及美國波特蘭的“電影、動畫與科技”電影節的前瞻性技術運用獎等多個國內外獎項。該片導演李煉表示,他拍攝這樣一部側重視效的科幻短片,是想向行業證明虛擬制片可以干凈利落地完成整部影片的攝制工作。在他看來,虛擬制片代表著電影工業的又一次從頭開始的革命。虛擬制片強調數據迭代,從劇本階段起就可以進行實時預演制作,每個環節的數據都可以繼承優化,一直到LED拍攝階段。這個過程始于數字資產階段,會伴隨整個項目,中間的迭代是沒有浪費的。而這些都得益于系統底層的大量研發工作?！安┎蓚髅健毕Ｍ叱鲆粭l與好萊塢不同的路,并努力將自主研發的虛擬制片技術推向海外。李煉還認為,今天的虛擬制片正處于虛擬與真人之間,將來一定會過渡到全數字化生成的全虛擬階段。(16)參見《51億美元市場規模,虛擬制作將迎來更多高光時》,微信訂閱號“博采傳媒”,2023年6月26日,https://mp.weixin.qq.com/s/fKGNqqQMSvzpCzvTym6e1Q,訪問日期:2023年10月17日。該公司的嘗試,顯然也值得研究者關注。

2023年,美國“路標”(Waymark)公司更是推出了全世界第一部全人工智能(用到DALL-E2、D-ID、MJ等)逐幀生成短片——12分鐘的《冰霜》(TheFrost)。該片燃起了人們對“個人電影”時代的想象和憧憬。創作者帕克說,他制作《冰霜》的動力是借助生成式人工智能為尚未擁有相應的圖像和視頻(或不想使用已有圖像和視頻)的企業與個人創建圖像和視頻的想法:創造一個世界、一種氛圍。(17)《AI 生成的影片〈The Frost〉全球首映!》,搜狐網,2023年8月21日,https://it.sohu.com/a/713529338_121124363,訪問日期:2023年9月28日。中國金雞百花電影節推出的2023年《AIGC人工智能與電影發展研究報告》(18)該報告總策劃為王丹,首席專家為燕興,總撰稿為吳雷、張凱;發布時間2023年11月2日。亦指出,人工智能生產內容(AI Generated Content,縮寫為AIGC)作為新一代人工智能技術與電影創制應用場景的結合體,是電影產業及其技術發展的重要方向。

誠然,視頻生成方興未艾,且很可能將成為跨模態生成領域中的高潛力場景,但目前它還處在非常早期的探索階段。好消息還是有一些的:創作生成式短片《冰霜》時使用的DALL-E2現在已經升級到了DALL-E3,并且與GPT集成,原生建構在GPT之上;最近推出的GPT4包括了能讓用戶根據需要而定制的各種模型和架構(DALL-E3也在其內);谷歌、微軟、臉書、華為、騰訊、百度等品牌,也都有了自己的深度學習框架。而Open AI公司所確定的被賦予無限美好想象的終極目標,是通用人工智能(Artificial General Intelligence,縮寫為AGI)。華為的“盤古”預訓練大模型,也是著力于解決通用大模型的通用與泛化問題的。雖然目前人們還沒有明確地把解析電影的全部構成模式(即解析電影筆畫清單)的任務提出來,但是我們似乎不用過于心急,“人工智能將分析更多的數據”(19)[美]布雷特·金:《智能浪潮:增強時代來臨》,劉林德、馮凝、張百玲譯,中信出版集團2017年版,第235頁。,“電影將向交互式互動體驗轉變,游戲將變得越來越像電影”(20)同上書,第389頁。。當然這些預期都有一個前提,即未來可以從已有的全部電影中解析出很可能包含多達數百種“筆畫”的方程式體系。人類已有的至少幾十萬部電影作品的數據就在那里,等待這一進程。我們可以讓人工智能乃至通用人工智能運用艾柯的電影代碼分類理論和德勒茲的電影形態分類理論,從龐大的電影作品數據庫中解析出電影作品的構成模式單元。

OpenAI 的聯合創始人兼首席科學家伊利亞·蘇茨克弗(Ilya Sutskever)說:ChatGPT 已經改變了很多人對即將發生的事情的期望,從“永遠不會發生”變成了“將比你想象的更快發生”。(21)《早晚實現人機合一!Open AI首席科學家專訪:ChatGPT可能已有意識,AI萬世不朽》,搜狐網,2023年11月2日,https://www.sohu.com/a/733269179_120607343?scm=1102.xchannel:325:100002.0.6.0,訪問日期:2023年11月3日。甚至人類已有的全部視聽成品和文化遺產,都可能成為真正數字化的、被全人類共享的、不存在知識產權限制的方程數據庫。若這一切變得可以想象了,那么甚至還可以期待人們一定會有當年那些世界一流的科學家果斷地決定不給遺傳基因相關科研成果申請專利的英雄氣概。這一事業的關鍵取決于人工智能算力和算法的提升與優化。處理器方面,繼CPU(美國英特爾,1971)、GPU(1999)、IPU(英國,2019)之后,如同繁花般以各個字母開始、占滿了英文字母表還打不住的“×PU”正在涌現,中國的科技公司也加入了這個行列。美國計算機科學家佩德羅·多明戈斯(Pedro Domingos)在他2015年的書中提出了整合已有的五大算法的“終極算法”。他對這種算法的定位和期許很高:“給出所有學科的統一思想”,“是所有理論的起源”,“很有可能成為萬有理論的最佳出發點”,“最后會告訴我們更多關于上帝思考的東西”。(22)[美]佩德羅·多明戈斯:《終極算法:機器學習和人工智能如何重塑世界》,黃芳萍譯,中信出版集團2017年版,第58-61頁。對“終極算法”來說,電影筆畫問題很可能不在話下。在多明戈斯看來,終極算法問題的解決方案既可能遠在天邊也可能近在咫尺,既可能需要幾代人的努力也可能只需要某個孤獨的天才靈光一現。(23)同上書,第61頁。我們希望這個人是中國人,而且不管他是不是天才,都能像多明戈斯說的那樣,不是帶著成果跑到專利局,而是向世界開放資源(24)同上書,第372-373頁。。

當然,我們不能過早地歡呼雀躍?？梢宰詣由苫铎`活現、惟妙惟肖、充滿生機之影像的擁有極高仿真度的數據挖掘,可能一直在路上,不是靠等待就一定能等來的。英國生物學家理查德·道金斯(Richard Dawkins)定義出來的、與已被發現并廣泛應用的遺傳基因(gene)相對應的、尚未被發現的文化基因(meme,覓母),值得我們去爭取將它從全人類保留下來的全部藝術作品和文化遺產中解析出來。正如道金斯所寫:“我們是被作為基因機器而被建造的,作為覓母機器而被培養的。但我們具備足夠的力量去反對我們的締造者?！?25)[英]R.道金斯:《自私的基因》,盧允中等譯,科學出版社1981年版,第281頁。另見《自私的基因》40周年紀念版,盧允中等譯,中信出版集團2018年版,第442、447頁:奧地利生理學家赫林于1870年首先提出記憶功能是所有生物的基本特征,并用精心選擇的一個終于其詞源的詞匯“覓聶米”(mneme)來表示它的基本單位。道金斯用了mneme一詞的英文縮寫meme來表示遺傳基因的等價物。

我們應該認識到,無論是生命基因的發現(1953)、對文化基因的猜測(1977)還是電影代碼的發現,都是劃時代的事件。