人工智能在電影制作領域的應用探究
——以分鏡頭腳本生成工具為例

鄢凱杰 孫 略

北京電影學院影視技術系，北京100088

1 引言

分鏡頭腳本作為電影攝制前期的重要環節，是將文字化的劇本轉換為圖像化視覺呈現的過程，為整部影片提供視覺上的預覽。分鏡頭腳本作為編導部門與攝制部門溝通的重要橋梁，可以協調統一整個影片的視覺風格以及影像創作手法。隨著人工智能（AI）的發展與變革，自2022 年出現了以Midjourney、Stable Diffusion 為代表的圖像生成工具，并在圖像生成領域取得了突飛猛進的進展。這些AI圖像生成工具有著很強的美術競爭力，甚至掀起了關于“AI 是否會替代畫家的討論”[1]。隨著電影數字化和虛擬化的發展，人工智能生成內容（AIGC）作為一項結合自然語言處理（NLP）和計算機視覺（CV）的新興技術，在電影制作及其相關產業領域表現出很大的應用潛力[2][3]。

本文介紹了當前AI 在圖像生成領域的應用，并對目前業界分鏡頭繪制方式的優缺點進行了對比探究，通過對AI 輔助分鏡頭腳本繪制方面的可行性進行分析，結合三維軟件Houdini 和圖像生成工具Stable Diffusion，提供一種便于人為控制、用于實際繪制電影分鏡頭腳本的方式。

2 當前AIGC 在圖像生成領域的應用

2.1 圖像生成與編輯

AIGC 可以幫助用戶快速生成圖像或對現有圖像進行修改。結合生成式對抗網絡（GAN）技術[4]，通過輸入隨機噪聲，同時訓練生成器與判別器兩個模型，生成輸出來自訓練集分布的樣本，通過藝術偽造者和藝術檢察員的比喻，可以更直觀地了解GAN 概念[5]（圖1）。此外，AIGC 也可以生成不同風格的圖像，或者將不同圖像元素合成在一起，創造出令人驚嘆的畫面或虛擬場景。

圖1 通過藝術偽造者和藝術檢查員了解GAN 概念

如在訓練過程中，Midjourney 通過使用大量的圖像和文本樣本進行訓練，可以將文本轉化為視覺元素。只要用戶輸入相應的文本提示，Midjourney 就可以根據訓練結果生成相應的視覺效果[6]。這些文本元素可以是任何內容，如對場景、物體或人的外貌描述等。在生成過程中，Midjourney 不僅需要掌握生成逼真圖像的能力，還需要學習根據用戶提供的文本生成相應的圖像內容。同時，Midjourney 將文本數據與對應的圖像進行配對，并將其作為條件信息輸入到GAN 模型中。之后GAN 能夠利用這些條件信息，限制生成與文本數據相符的圖像，以實現文本到圖像的轉化[7]。

2.2 圖像風格轉換

遷移學習（Transfer Learning）是一種利用預訓練模型生成圖像的方式，用戶通過對大數據的預訓練模型進行訓練，利用深度學習（DL）模型使圖像擁有特定的藝術風格或特征。換言之，AI 能夠將一幅圖像的風格轉換成另一幅圖像的風格，以Stable Diffusion 的風格遷移為例，其通過參考圖輸入，控制提示詞（Prompt）生成圖像，從而創建出獨特的視覺效果，可以廣泛應用于藝術創作、電影后期制作以及圖像編輯工具中，使用戶能夠將不同藝術風格應用于圖像生成[8]。

2.3 自動化創意設計

在藝術設計領域，AIGC 可以根據設計師意圖，協助生成如LOGO、海報、產品的外包裝等創意元素，也可根據需求進行輸入，自動生成多種設計選項，為創意工作提供靈感，還可通過分析大量創意數據與趨勢，為設計師的創作提供方向和建議，在短時間內生成大量相關內容，減少構思與創作的時間和精力，大幅提高生產效率，更好地滿足受眾的需求[9]。

2.4 圖像修復功能

在高效解決圖像修復方面，AIGC 可以修復圖像中損壞或缺失的部分，例如修復老照片的撕裂、折痕或褪色部分；移除原照片中不需要的物體，消除噪點、鬼影，增強圖像的分辨率、細節和調整色調。

3 當前繪制分鏡的方式

分鏡頭腳本的繪制是電影攝制過程中的關鍵步驟之一，它可以幫助導演和制片人將劇本中的場景可視化，以便更好地理解拍攝內容和溝通拍攝計劃。隨著技術和工具的不斷迭代，電影場景的分鏡頭腳本繪制方式也逐漸多樣化[10]。

3.1 手繪分鏡

手繪分鏡是傳統分鏡繪制方式之一，目前依然在電影制作中廣泛使用，它通常由分鏡師以草圖或詳細的畫面手工繪制，用于傳達場景構圖、攝影角度、角色動作和對話等信息。

3.2 數字繪制分鏡

隨著計算機技術和數字技術的發展，許多分鏡師轉向了如平板電腦、數位板和分鏡軟件等數字繪圖工具。這些工具使分鏡師能夠在電腦上繪制、編輯和共享分鏡，從而更快速和靈活地進行創作。數字繪圖還允許添加動畫和過渡效果，以更好地模擬電影的動態性。例如WonderUnit 電影工作室發布的軟件Storyboarder，內置6 種直觀的繪圖工具，允許用戶輸入對話、動作、定時信息以及拍攝類型等內容，可以迅速、輕松地制作分鏡頭腳本。

3.3 3D 建模和渲染

3D 建模和渲染技術的誕生與發展，使分鏡頭腳本繪制更加逼真和精確。分鏡師可以使用3D 建模軟件創建場景和角色，并使用渲染引擎生成高質量圖像，這些圖像在應用于分鏡時可以提供更準確的攝影視角和特效。Maya、C4D、Houdini、UE 等常用3D軟件，雖然在三維建模、鏡頭運動設置以及渲染生成等方面已經十分成熟且易用，但通過使用3D 建模渲染生成分鏡頭腳本畫面的方式，有著較高的使用門檻以及學習時間成本。

其他常見的繪制分鏡的方式還有視頻分鏡、虛擬現實分鏡以及電影制片公司出品的在線分鏡繪制平臺和協作工具等，如以Shot Designer 為代表的機位圖軟件。

3.4 當前分鏡繪制方式的局限性

（1）創意的枯竭

在構思電影畫面的過程中，電影創作者所面臨的最為困難的挑戰之一就是創意枯竭。有時電影創作者們需要在自己的素材庫中不斷搜尋創意靈感，但是要在成百上千部電影和圖片素材中找到與他們的創意完美契合的素材并非易事[11]。

（2）受創作者的畫功水平限制

對于不擅長繪畫的導演來說，創建生動的分鏡頭畫面或圖像可能會成為一項艱巨任務。為了提升分鏡頭的視覺效果，電影創作者需要查找海量的參考圖片，這需要耗費大量時間和精力。特別是在小預算的項目中，很少有足夠的資源雇傭美術人員來支持這一工作，因此在找到合適的“參考圖片”方面可能會變得尤為繁瑣[12]。

（3）邏輯排序修改繁瑣

分鏡頭腳本中的分鏡邏輯排序是一個復雜的問題。有時，線性敘事通常會顯得過于平淡，因此導演通常會采用非線性的邏輯剪輯思路，通過不斷調整鏡頭之間的邏輯關系以達到想要表達的敘事效果。然而，目前的處理方式通常是在類似Excel 的軟件中手動進行前后分鏡頭的替換，不斷插入新的行并復制粘貼，十分繁瑣且容易出錯[13][14]。

（4）現有的分鏡軟件缺陷明顯

如上文所述，許多分鏡軟件具有復雜的用戶界面和功能，對新用戶來說，需要一定時間來熟悉軟件操作，且大多數分鏡軟件缺乏智能輔助，無法自動化處理一些繁重和重復的任務。一些高級的分鏡軟件則需要高額的許可費用，這對小預算項目構成負擔。此外，分鏡軟件通常需要強大的計算機硬件支持，特別是在處理復雜的3D 動畫和渲染時。

（5）成本問題

無論是采用傳統手繪分鏡或數字繪圖，分鏡師需要花費大量時間來繪制每個場景的分鏡，尤其是在大規模電影制作中，需要大量的人力資源和時間成本[15]。

總體來看，上述問題都反映出目前分鏡頭腳本的制作方式仍不夠智能，存在工作效率低下、成本難以控制等問題。因此，筆者認為大膽地探索應用AI技術，可以顯著提高分鏡頭腳本繪制的效率，甚至有望實現自動生成分鏡頭腳本的目標。

4 人工智能賦能分鏡繪制

AI 技術的崛起為分鏡頭腳本的創作帶來了新機遇，如可以根據劇本和場景要求的文字內容自動生成初步的分鏡草圖，為分鏡師提供靈感和參考；AI 輔助繪制分鏡頭腳本可以提高效率，降低制作成本，并為制作人員提供更多的創作自由。

4.1 AI輔助繪制分鏡頭方式

4.1.1 利用AIGC 圖像生成工具繪制分鏡

以Midjourney 和Stable Diffusion 為代表的圖像生成工具已開始在分鏡繪制中發揮作用。用戶通過輸入畫面要求的文字提示，生成與畫面要求相近的AI圖片，筆者以Midjourney 和Stable Diffusion 為例，進行了分鏡頭腳本生成的系列測試。

（1）角色測試

筆者的第一個測試是在Midjourney 中創建一個角色，并使用產生的圖像作為新框架的參考，生成一組分鏡頭腳本。筆者在Midjourney 輸入限定詞生成了一個中國古代少年俠客的形象，將其作為下一個分鏡頭腳本框架的參考。

我們首先嘗試使用Midjourney 的局部重繪（Region）功能，將生成的角色置于不同場景中，例如山間小路、亭臺樓閣以及手持兵器的場景（圖2）。從結果可得出，使用這種方法后的角色在所有畫面中都保持了相似外貌，看起來像同一角色。然而，這一方法幾乎不具備改變角色整體構圖的能力。最終輸出的結果將最初圖像作為了重要參考，盡管將角色的提示詞放在提示序列的最后，生成的角色仍然處于相同的構圖和位置。因此，這次使用Midjourney 控制單一角色生成分鏡頭腳本的測試是失敗的。

圖2 將生成的角色形象置于不同的背景場景中

（2）故事板測試

故事板是一種精確的分鏡頭腳本，包括取景、物體移動、攝影機移動等。筆者通過對Midjourney 輸入畫出推、拉、搖、移、變焦等，均沒有成功。

（3）根據設計師手稿繪制動畫分鏡

測試使用Stable Diffusion 中ControlNet 插件的語義分割（Seg）功能和線稿（Canny）功能，對手繪分鏡手稿進行上色和優化。首先，筆者手繪了一組簡略分鏡頭腳本〔圖3（a）〕。之后通過ADE20K 的Seg 語義參考表格獲取色值信息，以手繪線稿圖3（b）中的第7 張圖為例，在Photoshop 中劃分顏色告訴Stable Diffusion 此區域需要識別為哪種物體，其中車為#0066C8，道路為#8C8C8C，山丘為#FF6600。將劃分好顏色的區域添加到ControlNet 中，使用語義分割功能進行預處理。添加好描述詞后利用Stable Diffusion 進行生成〔圖4（a）〕。以手繪線稿圖3（b）中的第2 張圖為例，使用線稿模式，將手繪線稿導入Stable Diffusion，輸入描述詞后進行上色、優化輸出〔圖4（b）〕。

圖3 手繪分鏡測試

圖4 在Stable Diffusion 中對手繪分鏡進行處理

最后，使用Stable Diffusion 按上述步驟進行生成，輸出可以讓需求方更加直觀感受畫面效果的分鏡頭腳本（圖5）。由生成的效果圖可直觀地看到，使用Stable Diffusion 將手繪稿進行上色、優化輸出的方式存在著嚴重的主體認知模糊問題。

圖5 在Stable Diffusion 中將手繪稿進行上色、優化輸出的結果

4.1.2 利用AI在線分鏡頭腳本生成器制作分鏡

（1）Boords

Boords 是由英國動畫工作室Animade 開發的一款操作簡單、功能實用的在線分鏡頭腳本生成器。筆者使用ChatGPT 生成一個關于空戰主題的電影劇本《Aces of the Skies: Wings of Destiny》，選定生成風格后自動生成分鏡頭腳本（圖6）。同時，作為一個在線編輯平臺，Boords 提供了大量協作工具，既方便團隊協作，操作也相對簡單（圖7）。其明顯缺點在于可使用的風格較少，鏡頭間連貫性不足，畫面可控性低。

圖6 在線分鏡頭腳本生成器Boords生成方式

圖7 Boords內置的攝影機移動、畫面風格等編輯和協作工具

（2）Storia

在線分鏡頭腳本生成器Storia 通過輸入劇本文本、劇情場景、關鍵人物字符、選擇喜愛的風格實現分鏡頭腳本的自動生成。筆者繼續使用空戰主題劇本《Aces of the Skies: Wings of Destiny》，將該劇本輸入到Storia 的Script 選項，并選擇《銀翼殺手2049》風格進行測試。由輸出結果可見（圖8），Storia 界面簡潔，用戶根據文字提示就能快速掌握。在功能性和創新性方面，就筆者測試結果而言，其本質就是文本生成圖像（Text-To-Image），用戶編寫一句提示詞且選中風格后，平臺自動生成相應的圖片。圖像生成的AI 引擎目前只能使用Stable Diffusion，同時生成的圖像也存在主體認知模糊的通病。

圖8 在線分鏡頭腳本生成器Storia 測試結果

綜上所述，選用Boords、Storia 等AI 在線分鏡頭腳本生成器制作電影分鏡的結果并不理想。

4.2 目前AI輔助繪制分鏡方式存在的問題

（1）技術與創意限制

目前的AI 技術仍然存在一些限制，特別是在生成復雜度高、創新性強的圖像方面，尚不能完全替代創作者的創造力。當前的AI生成內容通常是基于訓練數據生成分鏡頭腳本，其創作能力受到訓練數據的限制，因此AI 可能會傾向于生成與訓練數據相似的內容，難以提供新穎或具有突破性的創意[16]。

（2）情感表達與邏輯錯誤

分鏡頭腳本通常需要給演員傳達角色的情感，以方便演員的表演。AI 在這方面的表現有限，由于難以捕捉和表達情感，可能導致其生成的分鏡頭腳本缺乏情感深度。在理解和維護邏輯一致性方面，AI也存在不足，需要通過人工干預進行修復[17]。

（3）主體認知模糊與內容理解模糊

AI 系統需要大量的訓練數據和不斷地迭代，以保持提供準確的結果?，F階段的AI生成圖像技術存在主體認知模糊問題，如經常出現人物手指缺失以及不能完全按照要求理解創作者想法的情況，需要更多時間來適應創作者的特定需求與風格。雖然技術在不斷更新迭代，但是AI 仍然面臨理解和解釋自然語言（NL）的挑戰，生成準確的分鏡頭腳本需基于對劇本、故事情節、角色、對話和情感的深刻理解，這對于AI來說仍然是復雜且難以處理的任務[18]。

（4）人工審查與修改

目前使用AI協助制作的分鏡頭腳本仍然需要人工審查和修改以確保質量。同時要審查是否存在倫理問題、敏感內容等[19]。盡管AI 可以生成分鏡頭腳本的初步草稿，但在大多數情況下，專業導演仍然需要審查和修改這些草稿，以確保它們符合其視覺愿景和創意要求。這在一定程度上增加了制作時間和成本[20][21]。

4.3 基于Houdini 的AI 圖像生成工具Stable Houdini

Stable Houdini 是俄羅斯開發者Stanislav Demchenko 開發的一套基于Stable Diffusion WebUI 的Houdini 數字資產（Houdini Digital Assets, HDA），是一個將Stable Diffusion 集成到Houdini 中的開源工具包。該工具已用于虛擬攝制公司EVR-Systems 的項目，還被Houdini 官網予以推薦。通過在窗口生成深度圖（Depth）HDA 并配合ControlNet 生成更加定制化的圖像，該工具可以很好地解決AI 生成圖像的主體認知模糊問題[22]。

在使用方面，Stable Houdini 有以下功能：（1）可以從Houdini 內部控制生成的人工智能，根據文本提示、源圖像或3D 場景的組成生成2D 圖像；（2）該工具基于Automatic1111 api，可以提升Stable Diffusion生成圖像的分辨率，使用ControlNet 擴展控制Stable Diffusion，創建簡單的動畫、視頻，以及基于圖像生成法線或深度圖；（3）可以在本地運行，使用便捷。因此，我們將使用Stable Houdini 進行分鏡頭腳本生成的測試。

4.3.1 測試實施

（1）主體認知模糊問題

筆者在Houdini 中，創建Stable Houdini 節點，導入3D 人物模型資產，在Stable Diffusion 節點中添加模型風格，輸入提示詞和限定詞，測試生成人物圖像的細節方面是否存在不完整的情況。通過控制Houdini 中虛擬攝影機的焦距、物距控制畫面構圖，測試結果表明生成的人物手部細節均未出現關節缺失、肢體增加的情況（圖9）。

圖9 控制Houdini中虛擬攝影機的焦距測試生成人物圖像的細節

（2）同一資產生成不同風格畫面

筆者嘗試在Houdini 中使用同一角色數字資產創建不同風格畫面，虛擬攝影機的焦距、物距和景別保持一致，通過在Stable Diffusion 節點中改變輸入提示詞、限定詞和模型風格的方式，得到如下結果：可以使用同一數字資產為主體在Stable Diffusion 中生成不同風格畫面，且焦距、物距和景別保持一致（圖10）。

（3）根據劇本輸入提示詞生成分鏡頭腳本

筆者嘗試在ChatGPT 中生成有關機甲未來風格的劇本，并在Houdini 中創建相應3D 場景，通過控制虛擬攝影機的焦距、物距和景別，通過在Stable Diffusion 節點中根據ChatGPT 生成的劇本控制輸入提示詞、限定詞和模型風格的方式（圖11），嘗試生成有連續鏡頭的故事片分鏡頭腳本。

圖11 在Stable Diffusion 中根據劇本控制輸入提示詞

由測試結果可見，通過在Houdini 中改變虛擬攝影機的位置，在相同的Stable Diffusion 模型控制下，可以按照創作者的景別、透視要求，生成相同風格的組圖。根據創作者所需鏡頭語言生成相應畫面，作為分鏡頭腳本使用（表1）。

表1 生成結果作為分鏡頭腳本使用

4.3.2 測試結論

Stable Houdini 在生成分鏡頭腳本方面具有獨特的優勢：（1）如避免生成特寫畫面時主體認知模糊，出現細節識別不準確的情況；（2）能夠實現不改變構圖情況下快速改變畫面風格，生成畫面風格可控；（3）便于用戶精確地把控畫面景別、透視等。但Stable Houdini 在使用上也有一定局限性：首先，該工具包基于本地機器離線運行，對于硬件配置要求較高；其次，在配置使用環境方面，步驟較為復雜；此外，Houdini 和Stable Diffusion 的使用具備一定技術門檻，需要較高的學習成本，對于初學者并不是很友好。

總得來說，Stable Houdini 是目前少有的可以使用3D 模型來指導AI 生成圖像的工具。筆者認為，在具備一定軟件操作基礎的影視創作者手中，Stable Houdini 將是一款高效的分鏡頭腳本生成工具，其應用范圍甚至可以拓展到創建數字資產、概念藝術、電影視效鏡頭等方面。

5 思考與展望

作為導演表達創作意圖的重要手段，分鏡頭腳本既有利于主創團隊各部門的協同，也是重要的視覺傳達工具。相比于文字腳本以及人物與空間的透視關系，筆者認為分鏡頭腳本的核心更注重表達準確的構圖，以便將所需鏡頭語言、創作意圖準確傳遞給分鏡師。

盡管使用人工智能創建分鏡頭腳本有其局限性，且這一生成方式與傳統人工繪制方式存在較大差異，尤其是在創建基于一致角色的分鏡頭腳本或故事板時，情況更是如此，因此，人工智能在短期內尚無法取代分鏡頭腳本藝術家。然而，在其他情況下，AIGC 可以產生更為廣泛的想法和草圖，快速探索更多創意選項，盡快找到正確概念，這在一定程度上加快了創作進程。未來，隨著技術的持續發展，我們可以期待看到更多創新的分鏡頭腳本繪制方式?？梢灶A見的是，人工智能將在未來深刻改變電影行業，從圖像、劇本、聲音到動畫，多種資源都可以借助AIGC 降本增效。作為電影行業從業者，我們在積極探索新技術應用前景的同時，也要謹慎考慮各種新技術發展所帶來的風險和挑戰，在充分發揮其優勢的基礎上，共同推動電影行業的繁榮。?