互聯網內容安全關鍵技術研究綜述

廖 忠 王志昂 申 宇 魏子令 陳曙暉

1(媒體融合內容感知與安全湖南省重點實驗室 長沙 410073)

2(湖南日報社 長沙 410073)

3(國防科技大學計算機學院 長沙 410073)

隨著智能設備的廣泛普及和社會信息化的高速發展,互聯網的構成和用戶參與方式發生了極大的變化.首先,智能設備出現后迅速占領了互聯網用戶市場,移動應用APP成為用戶訪問網絡的主要入口.據第52次《中國互聯網絡發展狀況統計報告》顯示,2023年上半年,我國移動互聯網累計流量約142EB,同比增長14.6%.其次,隨著社交、網絡直播、社區共享、短視頻等支持內容創作和內容分享的應用的完善和用戶下沉,內容創作的門檻大大降低.互聯網用戶不再是信息的被動接受者,而是成為內容創作和內容分享的深度參與者.因此催生了以文本、圖像、音頻、視頻為載體的多種自媒體形態,給互聯網內容安全治理帶來了極大的挑戰.

互聯網內容安全包含2個層面的內涵[1]:一是對信息內容的保護,涉及信息內容的完整、知識產權保護、隱私保護等方面;二是保障信息內容符合政治、法律、道德等層次的要求,該層面主要通過信息內容分析實現不良信息檢測、內容過濾、態勢感知等.當前互聯網內容的復雜性對內容安全提出更為緊迫的需求.

當前的互聯網環境復雜,為傳統的以人工研判、簡單規則匹配等為主要手段的內容安全治理帶來了諸多挑戰,包括數據源豐富、監測數據海量、數據形式多樣、對抗手段先進等.目前互聯網內容以文本、圖像、音頻及視頻為主要載體,使得在這些數據形式和大數據處理上具有天然優勢的人工智能技術成為內容安全治理的必要技術手段.

在人工智能技術的依托下,當前的互聯網內容安全研究要素總結如圖1所示.其顯著特征為以多源異構數據為監測對象,以隱私保護、自然語言處理、音視圖識別分析等關鍵技術為核心的內容保護和內容分析.本文對內容保護和內容分析的主要任務總結為4大類,分別為多媒體內容分析過濾、信息偽造檢測、輿情態勢感知和數據保護.各類任務包含多種應用目標,如敏感信息檢測、非法信息檢測、音圖視頻偽造檢測、輿論情感分析、數據加密等[2].

圖1 互聯網內容安全研究要素

1 多媒體內容分析過濾

多媒體內容分析過濾是指對各種形式的媒體內容進行分析,以識別其中存在的任何不良、違規或有害的內容.由于涉及文本、圖片、音視頻各類媒體內容,因此多媒體內容分析過濾任務涵蓋關鍵字匹配、自然語言處理、音視圖分析技術等圖1中列舉的各類技術.近年來,隨著人工智能技術的發展,多媒體內容分析過濾主要研究都聚焦在面向機器學習和深度學習的內容過濾技術上.

1.1 基于機器學習的內容過濾技術

隨著機器學習算法的發展,統計學和機器學習的方法被應用到內容過濾中.Sahami等人[3]提出一種基于貝葉斯的垃圾郵件過濾器,是早期將機器學習方法應用于內容過濾的重要工作之一.以該工作為基礎,出現SpamBayes和Bogofilter等垃圾郵件過濾工具.Drucker等人[4]基于支持向量機(support vector machine, SVM)對垃圾郵件進行檢測和過濾,并比較SVM與其他方法的性能,指出SVM在垃圾郵件分類方面具有更高的準確率.Yang等人[5]對比了特征選擇、分類器選擇和文本表示等方法,提出一種基于互信息的特征選擇方法.

1.2 基于深度學習的智能內容過濾技術

依托大數據背景和算力的提升,基于深度學習的智能內容過濾技術近年取得了顯著的進展.Hochreiter等人[6]提出的長短記憶網絡(long short-term memory, LSTM)已被廣泛應用于文本分類、垃圾郵件過濾等任務.Kim[7]首次將卷積神經網絡(convolutional neural network, CNN)應用于文本分類,避免了傳統方法中需要手動提取特征的問題.針對虛假新聞分類問題,Yang等人[8]將新聞文本轉化為2維矩陣進行表示,并基于CNN實現虛假新聞分類.Oord等人[9]提出一種基于深度學習的音樂推薦方法.該方法使用CNN學習音樂的音頻信號特征,并進行音樂推薦.與傳統的基于協同過濾的方法相比,該方法具有更好的推薦效果和更強的普適性.Jin等人[10]提出一種基于加權多實例學習的色情圖像識別方法.該方法將圖片分為多個圖像塊,并為每個圖像塊分配一個權重.然后使用分類器對每個圖像塊進行分類,并將每個圖像塊的分類結果進行加權得到整張圖片的分類結果.Yousaf等人[11]提出一種深度學習架構用于檢測視頻中的不當內容.該架構采用ImageNet預訓練模型EfficientNet-B7提取視頻描述符,然后使用雙向LSTM學習有效的視頻表示并執行多類視頻分類.該方法在YouTube卡通視頻集上的實驗表明,雙向LSTM結合CNN可實現更好的視頻內容檢測.Alguliyev等人[12]提出一種過濾有害圖像內容的ChildNet模型,該模型服務于兒童和青少年,避免他們成為有害圖像的受害者.

2 信息偽造檢測

深度偽造(DeepFake)技術主要基于人工智能生成內容(artificial intelligence generated content, AIGC)實現對文本、音頻、視頻、圖片等數字媒體內容的偽造,是信息偽造的主要手段.基于深度偽造技術,惡意攻擊者可生成大量的虛假信息,并通過互聯網進行大規模傳播,對互聯網內容安全造成巨大的威脅,對用戶、民生、社會、政府等造成嚴重的危害.

2.1 深度偽造技術

隨著以生成式對抗網絡為代表的深度學習算法的出現和持續迭代,AIGC得到了極大的發展.AIGC指基于人工智能算法進行數字內容(如圖片、視頻、文本等)的生產.其中最新的代表模型如OpenAI推出的ChatGPT[13]和DALL-E-2[14].

中國信通院和京東探索研究院發布的AIGC白皮書中將AIGC的技術能力分為3個層次[15]:一是智能數字內容孿生;二是智能數字內容編輯;三是智能數字內容創作.深度偽造主要基于AIGC中的生成模型實現,可以視作是AIGC中3種層次能力的一種具體體現.

對于語言內容,典型的生成模型包括GPT,BERT等.GPT采用Transformer解碼器中的多頭自注意力機制實現對自然語言的理解,完成對后續文本的生成任務,屬于從左到右的語言理解模型.與GPT不同,BERT采用一種新的預訓練目標,通過融合左右2側的語義從而實現一個深度雙向表示.

對于視覺內容,典型的生成模型包括生成對抗網絡、深度變分自編碼器、流模型和擴散模型等.生成對抗網絡包括2個模塊:一個負責生成信息;另一個負責判別信息的真實程度并反饋給前者以此達到對抗的目的.深度偽造中,生成對抗網絡可通過不斷對抗來提高偽造的信息質量.通過引入自注意力機制,SAGAN[16]可以使用來自所有位置的特征信息生成圖像細節,具備長距離依賴性,解決了早期基于卷積的生成對抗網絡難以捕捉圖像結構的問題.另一經典模型StyleGAN[17]提出一種新的生成器,并基于潛碼和網絡噪聲來控制圖像的特征并使得圖像中的隨機屬性可更改.深度變分自編碼器則通過概率分布對潛在特征進行描述,使其具有數據生成的能力.流模型基于可逆的非線性變換計算出模擬真實數據的似然函數并最大化以實現數據的生成,其典型模型包括NICE,Real NVP,Glow.隨著擴散模型的提出,生成模型的主流研究已轉向擴散模型,OpenAI,Google Brain等公司也先后基于擴散模型提出多種文本生成圖像模型,例如DALL-E-2,stable-diffusion,Imagen.這些研究表明,相比生成對抗網絡,擴散模型的訓練更穩定,可生成精度更高、真實性更強的圖像.

即使面向的數字內容類型和采用的生成模型方案有所不同,最新的生成模型仍具備一些共性.首先,Transformer已經成為生成模型的一種基礎網絡架構,它不僅在自然語言處理領域獲得了巨大的成功,也廣泛應用于視覺領域.結合無監督學習和Transformer,基于大規模預訓練的模型成為主流,通過充分利用無標注樣本進行預訓練,模型可以在小標注、無標注樣本的場景下也具備模型參數規模大、模型泛化能力強、模型綜合性能好的優勢.

2.2 深度偽造檢測

近年涌現出大量的深度偽造檢測技術,主要工作可分為[18]:基于機器學習/深度學習的方法;基于統計策略的方法;基于區塊鏈的方法.

1) 基于機器學習/深度學習的方法.基于傳統機器學習的方法通過分析信息是否符合真實情境下的數據特征判斷信息是否是偽造的.例如人物臉部表現是否具備一定的連續特征,生物符號在空間和時間上是否具有統一的行為、臉部特征標點的運動過程是否符合生物學等.由于技術的不成熟,一些深度偽造的信息可能會出現異常的特征.例如,Habeeba等人[19]對視覺偽影進行分析,檢測圖中不符合常理而出現的異常內容.這類機器學習方法檢測深度偽造信息的準確率可以達到極高的水平.然而,這種高準確率完全依賴于數據集的類型、所選的特性以及訓練集和測試集之間的相似程度.

相較于傳統機器學習算法,深度學習采用的模型復雜度更高,其常用的模型包括生成對抗網絡GAN、深層卷積神經網絡、R-CNN、膠囊神經網絡等.此外,其特征來源也更多樣,例如連續特征、RGB數據甚至是心跳和呼吸等生物特征.深度學習模型的有效性通常依賴于大規模的訓練數據,并且模型可解釋性較差.

2) 基于統計策略的方法.基于統計策略的方法從其他角度對信息進行“非自然”的發掘.例如Koopman等人[20]通過檢測視頻幀中光響應的不均勻性判斷信息是否是偽造的.該性質是數字圖像中的一種獨特的噪聲,來自相機光敏傳感器的缺陷.除此之外,該類方法還常采用期望最大化、特征路徑等手段對信息進行統計和測量.這些方法的主要思路是對圖像中的像素進行統計、測量,以此從圖像本身的構成上找到偽造的痕跡.

3) 基于區塊鏈的方法.區塊鏈技術提供了高度可信、去中心化的交互環境.區塊鏈可支持檢驗內容的合法性和來源,因此被視為驗證視頻或圖像真實性的可能解決方案.如果一個視頻或圖像的真實性被懷疑,則基于區塊鏈的網絡能夠給出這些視頻或圖像的準確來源,并可以發現其是否被篡改.相比另2類方法對視頻和圖像的特征進行分析,區塊鏈技術則是從根源上限制了深度偽造信息的傳播.然而,這一解決方案僅限于在區塊鏈環境下使用,其部署環境限制較大,因此目前該方法并未成熟地應用于深度偽造的檢測中.

實際上,深度偽造和深度偽造檢測是一個不斷對抗的過程.對于各種深度偽造檢測技術,偽造者也會不斷地探索先進的偽裝技術增強偽造信息的隱蔽性,例如基于微小擾動技術避開偽造視頻的檢測[21].該方法通過在偽造視頻的每一幀上添加微小的擾動,使得它們能夠欺騙深度偽造視頻檢測器,同時又不影響人眼的感知質量.相比視頻信息,偽造音頻的檢測更加困難.文獻[22]對偽造語音檢測的局限性進行了說明,尤其是對高質量的對抗神經網絡合成語音的檢測.其實驗表明,對這類語音真偽判斷的準確率接近于隨機猜測.

3 輿情態勢感知

輿情是指涉及社會公眾關心的各種事件、現象、信息的集合.它可以反映社會熱點、民意變化和公眾關注度,對政府決策、企業經營、社會穩定等方面都有著重要影響.因此,輿情態勢感知是內容安全在社會層面上的重要一環.其中,輿情分析是輿情態勢感知的重要技術,其旨在從海量信息中提取情感、態度和事件趨勢等關鍵信息.

輿情分析技術起源于20世紀90年代互聯網早期.早期的研究主要關注文本挖掘、情感分析和情緒檢測等方面.隨著社交媒體的興起,互聯網數據規模劇增,數據的分析變得越來越重要,輿情分析技術得到了快速發展.輿情分析技術的發展經歷了多個階段,包括初期階段、自動化階段和深度學習階段.

初期階段:此階段輿情分析主要依靠人工分析新聞媒體、報紙等傳統媒體中的信息,通過翻譯、編碼等手段進行內容分析,以獲取公眾對特定話題的態度和情感.這種方法存在效率低、可擴展性差、主觀性強等問題.McCombs[23]研究了新聞媒體對公眾認知和態度的影響,提出媒介效應理論,認為媒體的報道會影響公眾對現實世界的認知和看法,從而對其行為產生影響.

自動化階段:隨著互聯網技術和自然語言處理技術的發展,輿情分析開始轉向自動化和智能化.通過數據挖掘、文本挖掘、機器學習等技術,將公眾在社交媒體等網絡平臺上的言論、評論等信息進行收集、處理和分析,得到輿論的情感、態度、趨勢等信息.Pang等人[24]對情感分析和觀點挖掘技術進行總結,強調了情感分析在輿情自動化分析中的重要作用.Liu等人[25]提出一種基于機器學習和語言分析的輿情分析方法.Wang等人[26]對社交媒體數據在自然災害管理中的應用進行分析,并提出了一種基于機器學習的自動化方法提取社交媒體中有關自然災害的信息,并對自然災害的影響范圍、人員需求和資源需求等方面進行分析.Leskovec等人[27]提出一種社交網絡鏈接預測方法.該方法可以用于預測用戶之間的情感關系,以及發現可能引起用戶負面情緒的內容和事件,有助于提高輿情分析的效率和準確性.

深度學習階段:隨著深度學習技術的發展,輿情分析的實現逐漸轉向深度學習.基于卷積神經網絡、循環神經網絡等技術,海量的文本、圖像等多媒體信息可以被分析,并得到更加精準的輿論態勢.Rakshit等人[28]對Twitter數據進行情感分析.該工作采用包括卷積神經網絡和長短期記憶網絡在內的多種深度學習模型,并對它們的性能進行比較.Davidson等人[29]提出一種基于卷積神經網絡的深度學習模型,用于檢測冒犯性言論,并探討了言論檢測面臨的各種挑戰性問題.張琛等人[30]構建了一種面向社交媒體評論文本數據的輿情分析方法框架,利用Single-Pass聚類算法和Louvain社團發現算法,對媒體發布的新聞通報的微博評論進行演變分析.這種框架為重大公共事件的輿情研究提供了理論支持和創新思路.劉忠寶等人[31]利用隨機場建立疫情時間畫像,并利用雙向長短期記憶網絡建立網民情緒畫像,對疫情事件與網民情緒進行關聯分析.

基于輿情分析結果,相關方可介入對輿情進行引導.輿情引導指通過某些技術實現輿情的控制和操控,例如監測用戶言論情緒、制定引導策略等.

4 用戶數據保護

上述的多媒體內容過濾、深度偽造檢測和輿情態勢感知是對互聯網內容進行分析的技術.除內容分析外,內容安全還涵蓋對內容的保護.隱私保護技術是保護用戶數據的主要技術,包括加密、數據脫敏、差分隱私和零知識證明等技術.基于隱私保護技術,可實現身份驗證、匿名化、數據安全傳輸和數據安全存儲等方面的數據保護需求.

針對隱私保護技術,本節重點對加密技術、數據脫敏技術、差分隱私和零知識證明技術的前沿進展進行介紹.

1) 加密技術.隨著量子計算和人工智能等技術的發展,內容安全的加密技術也在不斷進化.基于量子計算的加密技術起源于20世紀80年代末,由Shor[32]提出的分解質因數的算法及Grover[33]提出的搜索算法引發了對傳統加密方法安全性的重新評估.此后,人們開始探索使用量子現象來保證信息的安全性,例如,基于量子密鑰分發協議的BB84協議、E91協議等[34].同時,基于量子計算的公鑰密碼學方法也隨之產生,例如McEliece密碼算法[35].近年來,隨著量子計算機的發展和應用,基于量子計算的加密技術也在不斷發展和完善,例如,基于量子糾纏的QKD協議、基于磁體量子效應的密碼算法等.

除基于量子計算的加密技術外,人工智能技術也為內容安全的加密帶來了新的方法.傳統的加密方法面臨著許多挑戰,如密鑰管理和保護、加密效率、數據存儲和傳輸等.因此,研究人員開始探索如何利用人工智能技術來提高加密技術的性能和安全性.其中,同態加密、深度學習和生成對抗網絡等方法在內容安全的加密技術中得到了廣泛應用.

同態加密是一種允許對密文進行運算并得到密文結果的加密方法,可以保護數據隱私性的同時提供計算服務.基于不同數學原理,當前研究者們已提出多種同態加密方案,如基于多項式的同態加密、基于IDEA算法的同態加密、基于置換群的同態加密等[36].這些方案在多種應用場景下能夠提供高效、安全的加密服務.

深度學習和生成對抗網絡可以用于加密算法的自動化設計和密碼分析.此外,近年來一些研究利用相關算法提高加密密鑰的質量和安全性.文獻[37]探討了基于生成對抗網絡的神經密碼學的概念.通過這種方法,2種神經網絡模型可以在沒有傳統密鑰交換的情況下建立共享密鑰.

2) 數據脫敏技術.數據脫敏技術是一種刪除或替換數據中的敏感信息的方法.該技術可以有效地保護個人隱私,同時保留數據的基本特征.Zhang等人[38]提出一種基于身份的格式預加密在數據脫敏技術中應用的通用模型,其將傳統的格式保留加密方案與改進的密鑰生成功能結合,通過增加對分段數據的處理意見,實現數據在完整性、安全性、效率等多方面效果提升的通用模型.對于大型企業局域網和內部數據的數據保護,Wang等人[39]提出一種企業局域網數據脫敏方案.通過相應的脫敏方法,使數據全過程都安全可追溯.

3) 差分隱私.差分隱私是一種廣泛應用于數據隱私保護的技術.該技術通過差分的方法對數據進行脫敏處理.它通過添加一定量的噪聲保護數據隱私,確保不會泄露任何關于單個數據點的敏感信息.Dwork[40]在2006年首次提出差分隱私的概念,并提出Laplace機制和指數機制等實現方法.Abadi等人[41]將深度學習技術與隱私保護技術相結合,提出一種基于差分隱私的神經網絡訓練方法,表明了深度學習在差分隱私方面應用的有效性.

4) 零知識證明技術.零知識證明技術旨在證明某個聲明的真實性,同時不泄露任何關于該聲明的具體信息.該技術已有廣泛的應用,例如數字身份認證、數字貨幣交易驗證、在線投票等.

自零知識證明技術提出以來,其理論基礎、實現方法以及應用場景成為研究熱點.其中比較重要的研究成果包括:Goldwasser等人[42]的交互證明系統的知識復雜度分析;Blum等人[43]提出的零交互式證明技術及其應用;Ben-Or等人[44]針對非加密式的容錯分布式計算問題提出的完備性定理;Fiat等人[45]提出的解決身份驗證和簽名問題的實際方案等.

5 結 語

面對互聯網中海量的數據規模和多源異構數據,可預見人工智能技術將是未來互聯網內容安全治理首要解決方案.本文對未來的內容安全研究關鍵問題從宏觀層面展望如下:

1) 內容安全標準體系和數據集標準構建.

雖然互聯網內容安全已獲得政府、企業、科研工作者的高度關注,但各方的研究自成體系.內容安全的評估方法、內容安全指標體系、內容安全應用需求分類等方面仍缺乏統一的標準.這導致各方數據融合、內容安全保障能力評估、技術快速遷移和整合等方面存在困難.因此,推進建立內容安全標準體系對于內容安全領域的研究有十分重要的意義.此外,數據集是人工智能技術發揮效用的基礎,尤其是有標簽的數據集.為促進領域的發展、相關技術的交流,建立文本、圖片、音頻、視頻的分類標準體系和使用體系對數據集的共享與融合具有重要的作用.

2) 基于人工智能的內容安全深度縱橫分析.

當前的內容安全治理呈現的主要特點是按點治理,即針對特定問題采用特定技術解決.例如對于暴力圖片檢測需求,基于圖片識別技術構建暴力場景檢測模型;針對涉政信息檢測,基于自然語言處理技術構建涉政言論分類模型.其重點在于不斷革新人工智能技術,以保持具備解決特定問題的能力.與此同時,未來的研究中,可基于人工智能解決特定問題的結果實現縱向和橫向的深度內容安全分析.首先,縱向層面上相關結果可以為更上層的應用服務,例如網絡威脅情報的利用,從而將內容安全治理化被動為主動.橫向層面上,可基于特定問題的輸入、輸出構建大規模知識庫和知識圖譜,實現跨域數據挖掘和知識推理.

3) 人工智能模型安全.

內容安全治理中,除不斷革新人工智能算法以提高模型的問題解決能力外,人工智能算法和模型的安全性和魯棒性正在引起廣泛的關注.當前人工智能模型在安全方面存在的主要安全隱患包括:首先,其易于遭受數據投毒攻擊[46].該類攻擊通過注入精心偽造的數據或對樣本數據添加擾動來污染訓練樣本和影響模型的可用性,使得人工智能模型對數據產生錯誤的判斷.其次,模型提取類攻擊[47]可通過持續的數據詢問來推測模型的參數甚至完成對模型的復制,從而實現繞開模型的檢測.最后,當前人工智能模型可解釋性差,使得其安全性存疑.因此人工智能模型的安全性和可解釋性等問題仍有待深入研究.