基于人工智能的視頻節目生產數字模型設計

張 樂，王 晨，李 良，潘昊天

（濟南日報報業集團愛濟南客戶端，山東濟南 250022）

1 研究背景

隨著數字化時代的發展，AI（Artificial Intelligence）技術無論是從硬件架構還是軟件算法，都取得了長足的進步。AI賦能的領域越來越廣泛，AI技術應用于視頻制作也將很快成為現實。AI技術的應用，將極大豐富視頻制作風格，并提高視頻節目的產量，同時解放導播、攝像等相關人員的生產力，使這些專業人員轉向AI無法實現的更有創意的視頻內容創作中。同時，在新媒體爆發式的快速成長、相關視頻人員配置增長緩慢的大背景下，各類媒體對于AI導播有著更加迫切的需求。AI 技術目前在視頻作品中有如下一些實際應用：

（1）視頻分析和標注：AI可以分析視頻中的內容，如人物、場景、動作等，然后標注并分類這些元素，以便于編輯和管理。

（2）自動化編輯：AI可以根據特定的規則和算法，自動編輯出優美的鏡頭序列，包括顏色校正、特效添加、音效等。

（3）自動化音效處理：AI 可以識別不同的音效類型，如爆炸聲、腳步聲、交通聲等，并根據需要自動生成相應的音效。

（4）語音識別和字幕生成：AI 可以將影片中的對話轉換成文字，并自動生成字幕，以方便觀眾理解［1］。

由于現階段人工智能還不具備自我意識。所以審美、藝術創意、新型節目制作手段等，機器還無法完全替代人類。本文就是基于現階段，以及未來可預見的時期內，在現有的AI工作模式下，對AI導播功能進行技術分析，結合AI 處理能力及處理方式，對不同類型的視頻節目特征進行數字化提取，并進行相應的數字建模。

2 視頻節目的分類及AI 導播應用場景

視頻節目按照節目形式，可以分為8大類［2］：

（1）電視新聞資訊節目：以新聞材料為基礎，加工制作而成的電臺或電視節目，新聞節目可包括現場或預先錄制的訪問、專家的分析、民意調查結果，偶爾會包含社論內容。

（2）電視談話節目：以電視為傳播媒介，通過話語形式，營造屏幕內外面對面人際傳播的“場”氛圍，以語言符號和非語言符號雙渠道來傳遞信息，整合大眾傳播與人際傳播的電視節目類型。

（3）電視文藝節目：以文學、藝術和文藝演出作為創作原始素材和基本構成元素，在保留原來藝術形式的基礎上，運用電視視聽語言進行二度創作，具有較高藝術欣賞性和審美價值的電視節目類型。

（4）電視娛樂節目：通過電視這一特定的傳播媒體傳播的，大眾廣泛參與的，以審美性、娛樂性、觀賞性和趣味性為突出特點的電視節目。中國電視娛樂節目發展到今天，經歷了晚會時期、娛樂時期、競猜時期、真人秀時期四個時期。

（5）電視紀錄片：運用電子采錄設備和手段，對政治、經濟、文化等新聞題材，作比較系統完整的紀實報道。它運用新聞鏡頭，客觀真實地記錄社會生活，客觀地反映生活中的真人、真事、真情、真景，著重展現生活原生形態的完整過程，排斥虛構和扮演的新聞性電視節目形態。

（6）電視?。阂环N適應熒屏、專為在電視或網絡視頻平臺上播映的戲劇樣態。隨著廣播事業和互聯網新媒體的誕生而發展興盛起來的，如今還創新產出了電影短劇、網絡豎屏劇和互動劇等新型網絡劇。

（7）電視電影：專門為電視播放所拍攝的電影，通常用數字技術進行拍攝，也可以用膠片拍攝，電視電影的制作一般規模不大，拍攝周期相對較短。

（8）電視特別節目談話類：根據內容來分，有嚴肅、娛樂類等形式，也可以細分為人物性的、事件性的、話題性的、情感性的等幾類，有時界限也不明確。在傳播形式既定的基礎上，要在傳播內容、傳播角度、節目流程等方面體現不同電視談話節目的個性的要求主要體現在策劃人員的策劃水平上。電視談話節目策劃是一種豐富、復雜、綜合性的活動。

3 設計方案

根據節目的不同分類，其錄制形式也各不相同，故需要采用不同的數字特征進行智能的場景切換，從而實現AI導播的智能切換。為了解放更多的勞動力，可以根據不同的錄制場景，進行只有導播使用AI 技術，攝像員、視頻技術、音頻技術等其他工種依然采用人類操作者進行節目錄制；在場景比較單一、節目內容中人員較少的環境下，也可以采用AI 導播加AI 攝像的方式進行節目的錄制。簡要如圖1所示。

圖1 AI 導播應用場景示意圖

下面，就根據不同的節目類型進行分析，確定相應的AI賦能方案。

3.1 電視新聞資訊節目

此類節目場景較為單一，多為固定機位、固定背景，現場人物僅包含一位或兩位主持人，一位或幾位嘉賓。所有人物基本處于坐姿或者站姿的狀態，基本不會出現大范圍移動情況。錄制過程中，燈光舞臺不會出現較大變化。對于此類場景，可以采用全部AI制作的方式，導播、攝像、視頻技術、音頻技術全部實現“無人化”。

（1）導播方面：此類場景中，大部分情況下，由主持人進行口播，然后轉入新聞視頻。在這種場景下，技術人員通過提前給AI 導播系統輸入串詞或者主持詞，導播系統就可以在節目錄制時，根據串詞或者主持詞進行相應的切換工作，并自動播出相應視頻短片。某些新聞節目中會有嘉賓與主持人交流的環節，AI導播可根據不同人物說話時的話筒信號，采用類似語音激勵的方式，進行智能的機位切換。切換原則本著“全景”接“特寫”接“全景”……以此類推，“全景”“特寫”機位交替切換的方式進行切換。如在交流過程中遇到需要插播其他視頻畫面時，AI導播可以通過提取主持人講話的關鍵詞，如“下面讓我們看一下前方的情況”、“讓我們看看當時的視頻”等等，進行外來直播畫面或者視頻素材的切換工作。當然，對于這些關鍵詞，需要AI 導播在實際使用前，進行一定數量的機器訓練，以達到較好的使用效果。

（2）攝像方面：由于畫面中人物位置多為固定，可以采用云臺攝像機，替代人類攝像員。同時，由于新聞類節目的嚴肅性，每個機位畫面的構圖都有相應的規范，AI 系統完全可以根據這些規范進行自主構圖。根據前文中AI導播系統錄入的串詞和主持詞，以及提前錄入的相應主持人、嘉賓的人臉識別信息，進行人物的識別、構圖、拍攝工作。

（3）后臺技術方面：視頻技術和音頻技術根據相應規范，交由AI 系統進行統一調整，其響應速度和調整精度應該會優于人類技術人員。

3.2 電視談話節目

此類節目與新聞資訊類節目較為類似，畫面中人物較為固定，場景也較為固定，區別是：可能有多位嘉賓進行交流，嘉賓之間可能會出現“壓話”“搶話”等問題，此類問題AI 導播可以采用切換全景機位（全景機位包含全部的人物關系）的方式進行解決。此場景下，對AI攝像要求較高，因為其畫面構圖更為多樣，包含單人特寫、單人中景、多人中景等，這些可以通過大量的、本節目的早期視頻素材對AI 攝像進行訓練，使其提取更多的數字模型來解決。其他工種基本要求與新聞類似，這里不再贅述。

3.3 電視文藝節目

此類節目由于更多的是需要用鏡頭的語言來表現文學、藝術等元素，而現階段的人工智能更多的是通過大量的訓練素材，即大數據進行機械的歸納，并模擬人類導播進行視頻的切換工作，其切換的方式是根據訓練模型機械的進行模擬操作。同時，豐富的拍攝手法和拍攝創意，需要更多創造性的發揮。而且節目中會運用大量的有強烈視覺沖擊的光影效果以及音響效果，對于視音頻技術也是一個非常大的挑戰。所以就現階段的AI 工作模式來說，此類節目用AI 技術無法進行有效的創作，所以現階段AI技術暫時無法應用于該類節目，而是更多的需要依靠現實的人類來進行創作。這也是人類勝過機器的倫理表現。

3.4 電視娛樂節目

從娛樂節目的定義來看，此類節目需要的特殊創意并不是很多，大部分的創意工作在后期包裝階段，后期包裝更依賴人類進行創意制作。就前期拍攝階段來說，大部分鏡頭以寫實反映為主。并且大部分的鏡頭切換都有相應的規范套路，故此類節目可以由機器進行現場制作，然后由人類進行后期包裝。

（1）前期制作階段，對于AI導播部分：也是可以按照視頻畫面中的人物動作，進行數字圖像處理，將特寫鏡頭指向說話的人物或者是動作幅度較大的人物。這樣，一些活動中觀眾或者嘉賓的真實反應可以毫無遺漏的剪輯到視頻當中。

（2）對于AI攝像部分：盡量架設較多的機位，以便照顧到每一位嘉賓。采取一位嘉賓配一個到兩個機位進行特寫拍攝；如果現場嘉賓分組的話，成組的嘉賓額外配置一臺小全景攝像機。主持人每人單配一臺特寫機位。最后，一臺攝像機作為大全景機位進行拍攝。特寫機位拍攝時，可以訓練AI對嘉賓面部的表情、夸張的肢體語言進行特征提取，然后進行抓拍，提高節目的娛樂效果。

（3）AI 視音頻技術部分：由于現場環境可能會有較大變化、嘉賓的動作語言等隨時有預料之外的狀況發生，可以采用目前真人秀拍攝的方式，即視頻和音頻單人單采、后期混剪的方式進行錄制。并且由人類工作人員進行審核和調整。

受限于目前拍攝設備的能力，使用AI 機位拍攝，不能像人類攝像員可以進行移動拍攝，即AI拍攝僅能進行固定機位的拍攝。所以AI 制作手段僅適用于固定舞臺或較小的場地的拍攝工作。大型的多場景真人秀，或者運動類的真人秀節目現階段暫時無法使用AI技術進行拍攝。

3.5 電視紀錄片

此類節目更注重現實的真實反映，其視頻拍攝、素材整理、視頻剪輯等工作必須經由人類工作人員進行撰稿、剪輯、審核，所以前期制作階段不適宜使用AI系統。至于視音頻技術，現在已經實現了老舊視頻素材的高清化、超高清化變換，以及受損畫質修復，音頻的清晰化處理等。在這些方面，AI技術還是有一定的應用場景［3，4］。

3.6 電視劇

此類節目需要豐富的劇本，以及演員和劇組的深度配合，成片都是通過大量的后期制作產生的，AI 的應用場景并不適合此類節目的實際需求。AI 僅能輔助檢查畫面指標、音頻指標等，并提供相應的參考。

3.7 電視電影

同電視劇一樣，電影是通過凝練的故事、豐富的鏡頭語言、創意的剪輯手法等，將故事濃縮于1至數小時的時間之中。同電視劇一樣，必須完全由人類工作人員完成作品的創作，AI 僅能輔助檢查畫面指標、音頻指標等，并提供相應的參考。

3.8 電視特別節目

此類節目從定義來看，形式豐富多樣，有簡單有復雜，可以參考前文所述，根據鏡頭語言的復雜性和導播切換的創意要求，進行有選擇的AI技術的應用。

4 未來AI 應用效果和優勢

在AI技術的加持下，視頻節目制作將變得更為高效。常規的固定場景節目可以解放導播、攝像、視頻技術、音頻技術等多崗位人員，使他們擺脫重復、機械的勞動，大大降低了錄制工作中的人為失誤，簡化了節目的錄制流程，從而大大提高了節目的錄制效率。同時，這些人員可以投入到更具創造力的工作當中，可以充分發揮人的主觀能動性，以及創新創意，制作出更多更好的視頻節目。同時，也可以不斷嘗試探索更易被觀眾接受的新型節目和攝制手法，將人的主觀能動性充分利用，將電視節目制作不斷向縱深發展。

未來，AI 技術將助力自媒體精簡人員、提高工作效率，從而獲取更大的效益。而對于專業媒體來說，通過不斷對大數據模型的整理，AI視頻節目的制作將無限趨近于人類，通過不斷創新探索，更多更新穎的節目形式和節目內容也將慢慢交給AI來完成，大量更優質的視頻節目會不斷涌現。相較于采用傳統制作方式運作的媒體，采用AI 加持的媒體會更有競爭力，最終領跑業界。

5 總結

由于現階段AI 技術在視頻制作的應用中還較為單一和初級，本文僅能從大面上進行分析，以期待未來隨著AI 技術的不斷成熟，將AI 技術真正應用到視頻節目的制作當中來。同時，由于新聞倫理等的要求，AI技術并不適用于由關鍵詞引發的新聞撰寫工作等一些較為客觀的內容生產?，F階段，機器并沒有意識、審美，也無法將人類的價值觀應用到創作的作品當中。對于新聞宣傳來說，正確引導輿論、弘揚正能量是非常重要的?，F階段AI工作模式是通過大數據，即大量的訓練素材對機器進行訓練，使其提取其中的共同特點，然后應用到新的任務當中去。所以該模式下，機器能做到的僅僅是模仿、提取關鍵字、關鍵詞，然后進行反饋。而視頻節目的制作更多的是講究藝術、創意，以及正確價值觀的宣揚。所以現階段，人工智能還不可能完全替代人類進行工作。只能作為一種技術手段，將人們從繁雜、重復、機械的勞動中解放出來，去投入到更有藝術感的創作之中。但是相信，在越來越多相關的科技公司、傳媒機構的不斷努力下，AI 技術終將不斷發展，最終參與到各種類型的視頻節目制作當中，不斷解放和發展生產力。期待AI技術更美好的明天！