基于雙分支網絡的圖像修復取證方法

章登勇，文凰，李峰，曹鵬，向凌云，楊高波，丁湘陵

基于雙分支網絡的圖像修復取證方法

章登勇1,2，文凰1,2，李峰1,2，曹鵬1,2，向凌云1,2，楊高波3，丁湘陵4

（1. 長沙理工大學湖南省綜合交通運輸大數據智能處理重點實驗室，湖南 長沙 410114；2. 長沙理工大學計算機與通信工程學院，湖南 長沙 410114；3. 湖南大學信息科學與工程學院，湖南 長沙 410082；4. 湖南科技大學計算機科學與工程學院，湖南 湘潭 411004）

圖像修復是一項利用圖像已知區域的信息來修復圖像中缺失或損壞區域的技術。人們借助以此為基礎的圖像編輯軟件無須任何專業基礎就可以輕松地編輯和修改數字圖像內容，一旦圖像修復技術被用于惡意移除圖像的內容，會給真實的圖像帶來信任危機。目前圖像修復取證的研究只能有效地檢測某一種類型的圖像修復。針對這一問題，提出了一種基于雙分支網絡的圖像修復被動取證方法。雙分支中的高通濾波卷積網絡先使用一組高通濾波器來削弱圖像中的低頻分量，然后使用4個殘差塊提取特征，再進行兩次4倍上采樣的轉置卷積對特征圖進行放大，此后使用一個5×5的卷積來減弱轉置卷積帶來的棋盤偽影，生成圖像高頻分量上的鑒別特征圖。雙分支中的雙注意力特征融合分支先使用預處理模塊為圖像增添局部二值模式特征圖。然后使用雙注意力卷積塊自適應地集成圖像局部特征和全局依賴，捕獲圖像修復區域和原始區域在內容及紋理上的差異，再對雙注意力卷積塊提取的特征進行融合。最后對特征圖進行相同的上采樣，生成圖像內容和紋理上的鑒別特征圖。實驗結果表明該方法在檢測移除對象的修復區域上，針對樣本塊修復方法上檢測的1分數較排名第二的方法提高了2.05%，交并比上提高了3.53%；針對深度學習修復方法上檢測的1分數較排名第二的方法提高了1.06%，交并比提高了1.22%。對結果進行可視化可以看出，在檢測修復區域上能夠準確地定位移除對象的邊緣。

圖像取證；圖像修復檢測；深度學習；注意力機制

0 引言

隨著移動互聯網的飛速發展，多媒體應用軟件成為人們生活中必不可少的應用?；诙嗝襟w應用軟件，如Photoshop、美圖秀秀、醒圖等，人們無須任何專業基礎就可以輕松編輯和修改數字圖像的內容，并且修改后的圖像十分逼真，無法通過肉眼檢測出修改的痕跡。人們的學習、生活、娛樂都離不開數字圖像，但偽造的圖像頻繁濫用，這種行為帶來了許多負面的影響，驗證圖像是否真實完整的數字圖像取證技術對社會顯得越來越重要。對于一些典型的偽造圖像的檢測可以從圖像中提取對應的特征來判斷圖像是否被篡改。例如，復制移動偽造檢測從不同方面在圖像中找到相似的特征來定位被篡改的區域，拼接偽造檢測在圖像中尋找光照、數據統計以及相機響應函數等不一致的特征來定位被篡改的區域。在20世紀80年代，研究人員從古代文物、書畫的修復工作中得到啟發，提出了對數字圖像進行修復的技術。圖像修復技術是使用圖像原始區域的信息來補全圖像中缺失或損壞區域的過程。如果人們將這項技術用于圖像中的對象去除，使用圖像中已不包含對象的信息來修復去除的對象區域，圖像的原意將會改變。利用這項技術惡意篡改圖片內容，將會帶來圖像內容的信任危機，不利于數字圖像技術的進一步發展。因此，研究一個高效的檢測圖像修復的取證方法在當前背景下是非常有意義的。

目前，圖像修復技術分為兩大類：基于傳統方法的圖像修復技術和基于深度學習方法的圖像修復技術?；趥鹘y方法的圖像修復技術中最常用的是基于擴散的[1-3]和基于樣本塊的[4-6]圖像修復技術?；跀U散的圖像修復技術利用缺失區域的邊緣信息來確定擴散方向，確定方向后再將信息平滑地傳播到缺失區域。這種技術存在一定的缺點，當其用于填充實景圖像中的大塊空白時，填充的紋理會變得模糊，肉眼即可看出修改區域?；跇颖緣K的圖像修復在圖像背景簡單時可以填充圖像中的大面積缺失區域。對于基于樣本塊的圖像修復技術，許多研究人員已經提出精度較高的檢測方法，其中大多數方法在給定區域中搜索相似塊來確定修復區域，這會消耗大量的時間。因此，一些研究人員嘗試使用深度學習的方法來檢測樣本塊圖像修復，可以大大減少檢測時間，提高整體檢測效率。利用深度學習技術的圖像修復[7-9]甚至能夠在復雜背景中填補大面積的缺失。針對深度學習的圖像修復，研究人員采用深度學習來進行檢測，該方面的研究仍然較少。目前缺少一個能夠同時準確檢測樣本塊圖像修復和深度學習圖像修復的方法。

為了解決上述問題，本文提出了一個雙分支的神經網絡架構，用于檢測圖像的修復區域，具體貢獻如下。

1) 創建了樣本塊圖像修復和深度學習圖像修復的數據集以及符合實際應用情形的、對象移除的、采用樣本塊和深度學習修復的圖像數據集。

2) 本文方法能夠同時檢測樣本塊圖像修復和深度學習圖像修復，在性能上優于一些先進的方法。

3) 本文方法不僅能夠在清晰地定位修復圖像中移除對象的邊界，還能準確檢測出經過后處理的圖像修復區域。在圖像修復的實際應用中具有優異的性能。

1 相關工作

1.1 樣本塊圖像修復取證

傳統方法檢測樣本塊圖像修復已有不少成果。Wu等[10]首先提出了一種檢測樣本塊修復的被動取證方法。該方法首先對圖像中可疑區域的所有塊的零連通性作為塊的匹配特征；然后使用升半梯形分布函數，確定塊是否屬于相似塊；最后通過給定的閾值劃分切割集將相似塊分為原始塊和修復塊，聚集的塊屬于修復區域。此后，Bacchuwar等[11]提出在計算圖像塊的匹配度之前，先比較塊的亮度分量和中值，跳過可疑區域中的一個或多個塊，這樣可以大大減少算法時間。上述方法需要給定圖像的可疑區域，并且在可疑區域中搜索時會受到原始區域的內部相似區域（如天空、草地等）干擾，導致產生誤報區域。針對相似區域，Chang等[12]提出使用相似向量刪除可疑區域中具有一致紋理的區域，然后使用多區域關系來判斷圖像的修復區域，在搜索相似塊時，還提出了一種基于權重變換的兩階段搜索算法，加快相似度的計算。然而，基于權重變換的方法無法同時優化負載因子和搜索范圍。Liang等[13]提出了基于中心像素映射的快速搜索方法來提高搜索速度。但是，偽造圖像通常會經歷后處理操作，圖像的修復痕跡將被隱藏，因此該方法在檢測圖像修復區域上仍然存在一定的局限性。

Zhao等[14]提出通過計算壓縮的修復圖像中壓縮次數的之間差異來檢測修復區域。Liu等[15]在離散余弦變換（DCT，discrete cosine transformer）域中提取近十萬個特征來定位圖像修復區域，能夠有效地檢測重壓縮下的圖像修復偽造。但是，這兩種方法只能檢測經歷了JPEG壓縮后處理操作的修復圖像，無法檢測其他后處理操作。Zhang等[16]提出一種混合取證策略來檢測經過多個后處理操作的修復偽造，但它無法定位圖像的修復區域。

Zhu等[17]首次提出了一種基于卷積神經網絡的方法來檢測樣本塊圖像修復篡改。卷積神經網絡遵循編碼器?解碼器的網絡結構構建。該方法可以在保持檢測精度的同時大大減少檢測時間。后來，Wang等[18]改進了語義分割中性能優秀的基于掩膜的區域卷積神經網絡（Mask R-CNN，mask region-based convolutional neural network）檢測圖像修復篡改并識別修復區域。為了進一步利用所有尺度的特征信息，Wang等[19]提出在Mask R-CNN中將金字塔網絡和反向連接相結合以提取更多特征。此外，Lu等[20]提出一種基于長短期記憶?卷積神經網絡的圖像修復檢測方法，利用卷積神經網絡識別篡改圖像中的可疑相似塊，再使用長短期記憶網絡識別圖像中正常的紋理一致的區域，去除虛假可疑的相似塊，降低誤報率。

1.2 深度學習圖像修復取證

隨著深度學習的發展，研究人員提出了基于深度學習的圖像取證方法來檢測偽造的數字圖像。起初，研究人員只是使用簡單的卷積神經網絡進行圖像取證[21,22]。隨后，一些研究發現在卷積神經網絡的輸入中使用特殊的特征代替圖像內容會獲得更好的圖像取證性能，如噪聲殘差[23]、直方圖特征[24]、約束濾波器[25]等。除了簡單的卷積神經網絡與輸入特征的改變外，研究人員嘗試使用長短期記憶架構在像素級別上定位篡改區域[26-27]或者使用多分支卷積神經網絡檢測偽造區域[28-29]，這給圖像修復取證提供了很好的指導作用。

對于深度學習圖像修復取證，由于修復區域和原始區域在感知上是一致的，而且不同于樣本塊圖像修復，深度學習圖像修復取證沒有傳統方法可以提取修復區域與原始區域的不一致性特征。Li等[30]發現修復圖像在高通濾波后的殘留域中修復區域和原始區域中高頻分量存在顯著差異，利用這一特征，提出了高通濾波圖像殘差的全卷積網絡來定位深度學習圖像修復篡改的區域。Wang等[31]提出基于更快的區域卷積神經網絡（Faster R-CNN，faster region-based convolutional neural network）的語義分割網絡來檢測深度學習圖像修復的方法，該全卷積網絡模型可以捕獲修復區域和真實區域的差異特征，在檢測深度學習圖像修復上表現良好的性能。Li等[32]發現噪聲殘留域中修復區域和原始區域具有明顯的差異，基于噪聲域提出了一種用于通用深度學習修復檢測的新框架，可以識別由不同深度學習修復方法修復的區域。Wu等[33]提出了一個深度學習圖像修復檢測網絡，網絡由增強塊、提取塊和決策塊組成，可以準確檢測和定位修復篡改。

盡管在深度學習圖像修復取證上，已經有不少研究成果，但是目前缺少能夠同時檢測樣本塊圖像修復和深度學習圖像修復的方法。

圖1 網絡結構

Figure 1 Network structure

2 雙分支網絡檢測模型

本文提出了一個雙分支網絡檢測模型，它能夠準確檢測圖像修復區域。該模型的一個分支是高通濾波卷積網絡（HPCN，high-pass filter convolutional network），參考文獻[30]中的網絡結構；另一個分支是雙注意力特征融合網絡。高通濾波卷積網絡分支主要用于捕獲圖像修復區域與原始區域之間的高頻分量差異，而雙注意力特征融合（DAFF，dual-attention feature fusion）分支主要負責捕獲圖像修復區域與原始區域之間內容及紋理上的差異。整體的網絡結構模型如圖1所示。

2.1 高通濾波卷積網絡分支

圖像中的高頻分量對應圖像變化劇烈的部分，即圖像的邊緣、噪聲或者細節部分；而低頻分量則與之相反，對應變化度較小的部分。高通濾波的作用是削弱低頻分量并保持高頻分量相對不變。在文獻[30]中發現圖像的修復區域相對于原始區域包含更少的高頻分量，因此HPCN分支使用一組高通濾波器來削弱圖像中的低頻分量。高通濾波器的內核使用3個一階高通濾波器初始化，不同于一般的卷積，這3個濾波器分別作用于RGB圖像的每個通道，將產生的9個特征圖作為后續輸入。

殘差網絡[34]可以解決深度網絡的退化問題，因其性能優越常被用于圖像分類和目標檢測等許多計算機視覺應用。為了準確地從特征圖中捕獲出修復區域和原始區域中高頻分量的差異，HPCN分支使用4個殘差塊來提取特征，其參數配置如表1所示。每個殘差塊都由兩個與ResNet50相同的瓶頸單元組成。瓶頸單元先用核大小為1的卷積對特征圖進行降維，再用核大小為3的卷積提取特征，最后用核大小為1的卷積增加特征圖的維數，參數量得到大幅減少。瓶頸單元中的恒等映射，用來將淺層特征圖復制給深層高語義的特征圖結合，通過殘差塊HPCN分支獲得1 024個特征圖，它們的空間分辨率是輸入圖像的1/16。

圖2 雙注意力機制結構

Figure 2 Structure diagram of dual attention mechanism

表1 HPCN分支中殘差塊的參數配置

2.2 雙注意力特征融合分支

基于樣本塊的圖像修復區別于深度學習的圖像修復的一個顯著特點是：基于樣本塊的圖像修復會在圖像全局搜索最相似的塊進行填充。為了捕獲相似性的塊，DAFF在預處理模塊為圖像增添了局部二值模式特征圖。局部二值模式是一種用于描述圖像局部紋理特征的算子，在圖像取證中提取特征有一定的作用[35]，它表示某一像素點與它的8鄰域構成的紋理特征，其計算公式為

當基于樣本塊的圖像修復將最匹配的塊填充到缺失區域時，紋理特征將在缺失區域內部傳播，因此修復區域的局部二值模式值和原始區域中對應位置的局部二值模式值相同。為圖像添加局部二值模式特征圖可以幫助捕獲圖像修復區域與原始區域之間紋理上的差異。

文獻[28]對幾種主流的主干網絡進行對比，發現可視幾何組（VGG，visual geometry group）在篡改區域的特征提取上有著更高的適用性。因此，DAFF分支中基于VGG-16構建了特征提取模塊，首先將最后的3個全連接層去掉，然后將卷積層劃分為5個部分，前2個部分為卷積塊，后3個部分的卷積塊添加雙重注意力機制[36]，稱為雙注意力卷積塊。在每個卷積塊最后都使用了最大池化來減少網絡的參數，在雙注意力卷積塊中，只有第一個雙注意力卷積塊使用最大池化。池化層雖然可以通過減少網絡的參數來實現提高訓練效率，但是同樣有降低特征圖的空間分辨率、丟棄特征圖部分信息等不可忽視的缺點。因此，在最后兩個雙注意力卷積塊中去掉了池化層，并且在第二個雙注意力卷積塊中使用了空洞卷積?？斩淳矸e可以豐富深層特征的空間信息，并生成高分辨率的特征圖。DAFF分支中特征提取模塊的參數配置如表2所示。

=softmax(T) (3)

表2 DAFF分支中特征提取模塊的參數配置

2.3 融合模塊

當兩個分支捕獲了高頻分量、內容及紋理上修復區域和原始區域之間的差異后，為更好地融合特征并進行最終的預測，將兩個分支的輸出送入如圖3所示的Inception模塊進行特征融合。Inception是GoogleNet中的模塊[25]，它使網絡變寬，既能減少計算開銷和內存消耗又能豐富特征。融合模塊的具體步驟如下。

1) 連接HPCN分支和DAFF分支的輸出。

2) 使用3個不同大小的過濾器進行特征提取，核大小為1×1、3×3、5×5。

3) 將特征圖連接起來作為輸出。

對融合模塊的特征圖再進行softmax分類，以獲得圖像修復像素級別的定位圖。

圖3 融合模塊的結構

Figure 3 The illustration of the fusion module

2.4 損失函數

3 實驗結果與分析

使用PASCAL VOC[37]創建了基于深度學習和基于樣本塊的普通圖像修復數據集和對象移除圖像修復數據集，在數據集上訓練測試了本文提出的方法，并與圖像修復檢測的文獻[17]、文獻[30]、文獻[33]中評估的性能指標1分數和交并比進行了比較。

3.1 實驗數據集

目前暫無用于圖像修復取證的公開數據集，本文使用PASCAL VOC創建了樣本塊圖像修復和深度學習的圖像修復數據集。PASCAL VOC包含20種特定對象的自然圖像，并提供有對象的像素級的分割圖，為創建對象移除的圖像修復數據集提供了便利。首先將PASCAL VOC 2007和PASCAL VOC 2012訓練集的圖像混合去除重復的圖像，獲得共21 542幅圖像；然后采用3種方法創建圖像的缺失區域，分別是：①中心矩形區域；②隨機1到5個矩形區域；③隨機一些線、圓、橢圓；最后分別采用基于樣本塊的圖像修復方法[4]和基于深度學習的圖像修復方法[9]對圖像進行修復。圖4展示了幾個示例圖像。將這一部分數據集90%的圖像作為訓練集，10%的圖像作為驗證集。

圖4 實驗數據集中的一些示例

Figure 4 Several examples of the experimental dataset

將PASCAL VOC 2007和PASCAL VOC 2012測試集圖像混合去除重復圖像，同樣采用訓練集中的方法創建圖像的缺失區域，并使用基于樣本塊的圖像修復方法[4]和基于深度學習的圖像修復方法[9]對圖像進行修復，獲得8 915幅修復圖像作為測試集。另外，為了驗證本文提出的方法是否符合實際情況，從PASCAL VOC 2007中的300幅對象像素級分割圖中選取了一些對象（如人、貓、狗等）作為圖像缺失區域進行修復，更準確地模擬現實生活中圖像修復的用途。將這一部分數據集作為對象移除圖像修復的測試集對網絡效果進行驗證。圖像修復數據集的數量如表3所示。

3.2 實驗設置

該實驗的實驗環境為Ubuntu16.04，Nvidia GeForce RTX 2080ti GPU。實驗中選擇Adam[31]作為優化器，初始學習率設置為0.000 1，此后的每個epoch學習率降低80%。因為數據集中的圖像大小不一致，所以將每一批次的大小設置為1。整個實驗訓練迭代10次，選擇驗證集結果中1分數值最高的模型作為最后模型。

表3 圖像修復數據集的數量

3.3 評估指標

本文主要使用兩種逐像素分類指標來評估性能，分別是1分數和交并比。它們是測試集評估指標數據的平均值，計算如下。

表4 3種損失在不同圖像修復數據集上的檢測結果

4.3 實驗結果與分析

對于本文提出的方法，我們使用了焦點損失、加權交叉熵損失和標準交叉熵損失進行實驗。在隨機缺失的樣本塊圖像修復和深度學習圖像修復、對象移除的深度學習修復的數據集上進行測試，檢測結果如表4所示。

加權交叉熵損失在修復區域和原始區域兩類交叉熵損失前面添加了不同的權重。將像素錯判為原始區域的懲罰大于將像素錯判為修復區域的懲罰。因此，使用加權交叉熵損失具有較高的召回率，但準確率較低?？紤]到實際用途中修復區域可能小于未修復區域，在訓練中使用焦點損失來增加修復區域的權重，并增加錯誤分類樣本的權重。通過實驗發現，焦點損失并不能有效提升性能。觀察數據集發現，隨機生成的修復區域與原始區域大小幾乎相同，不存在需要焦點損失解決的正負樣本不平衡問題。所以本文方法采用標準的交叉熵損失函數。

為了驗證本文方法的有效性，對網絡結構進行了消融實驗，定量驗證評估指標1分數值如表5所示。

消融實驗各結構分解如下。

1) 1-Base：HPCN分支，文獻[18]中的高通全卷積網絡。

2) 2-Base：去除DAFF分支中雙重注意力模塊和特征融合模塊的網絡，即DAFF分支的基礎網絡結構。

3) 2-Base+DA：在DAFF分支的基礎網絡結構上增加了雙重注意力模塊。

4) 2-Base+DA+FF：在DAFF分支的基礎網絡結構上增加了雙重注意力模塊和特征融合模塊。

5) 本文提出的網絡：帶有HPCN分支和DAFF分支的雙分支網絡。

表5 消融實驗的檢測結果

分析表5中數據可以看出，雖然在增加了雙注意力機制后，樣本塊圖像修復檢測的1分數值降低了，但是當導入雙注意力模塊和特征融合模塊時，1分數值提高。這可能是因為樣本塊圖像修復的痕跡很大程度依賴于淺層的紋理，在淺層網絡雙重注意力機制提取了相似圖像塊的全局依賴，將其與深層的語義特征進行融合使得網絡的檢測結果更準確。這說明添加雙重注意力機制和特征融合能夠幫助網絡有效地提取樣本塊圖像修復區域與原始區域的相似塊特征。深度學習圖像修復檢測的1分數值在導入雙注意力模塊和特征融合模塊得到進一步提升。將HPCN分支和DAFF分支結合后，樣本塊圖像修復和深度學習圖像修復的1分數值得到了提升，這說明雙分支網絡不僅可以同時檢測深度學習的圖像修復區域和樣本塊的圖像修復區域，還在檢測圖像修復區域的性能上得到了進一步的提升。

為了檢測本文方法的性能優于現有先進的方法，將本文方法與文獻[17]、文獻[30]、文獻[33]分別在樣本塊圖像修復和深度學習圖像修復數據集上重新訓練，然后在隨機缺失的樣本塊圖像修復、對象移除的樣本塊圖像修復、隨機缺失的深度學習圖像修復、對象移除的深度學習修復的數據集上進行測試，進行評估指標1分數和交并比的比較，結果如表6所示。

表6 不同模型在不同圖像修復數據集上的檢測結果

從表6中可以看出，基于雙分支網絡的圖像修復取證算法在所有指標上都超過3種先進的方法。對于基于樣本塊技術的修復圖像，無論是隨機缺失的修復圖像還是對象移除的修復圖像，本文算法檢測在1分數值提高了2%以上。特別是對于對象移除的修復圖像，本文提出的算法比排名第二的算法在1分數值高2.05%，在交并比上數值高3.53%。對于基于深度學習技術的修復圖像，雖然本文方法較排名第二的算法提升不多，但是排名第二的算法在檢測基于樣本塊技術的修復圖像時，檢測精度大大降低，甚至在對象移除的數據集上只有31.36%的1分數值。雖然該方法在深度學習圖像修復中效果較好，但卻在樣本塊修復的圖像中忽略了樣本塊的相似性，導致其在樣本塊圖像修復數據集上表現較差。這說明本文提出的算法不僅能夠檢測基于深度學習的圖像修復，還能夠檢測基于樣本塊的圖像修復，并取得了優越的性能。

為了更直觀地感受本文方法的檢測效果，本文從隨機缺失的樣本塊圖像修復、對象移除的樣本塊圖像修復、隨機缺失的深度學習圖修復、對象移除的深度學習修復的數據集選取了多幅圖像，展示了文獻[17]、文獻[30]、文獻[33]和提出方法的預測掩模圖，如圖5所示。

從圖5可以看出，在樣本塊圖像修復中，文獻[17]、文獻[30]、文獻[33]都無法準確定位修復區域邊緣，這是因為它們忽略了樣本塊圖像修復中圖像塊的相似性。在深度學習圖像修復中，文獻[30]和文獻[33]都表現出優越的檢測性能，但是本文提出方法能精確地分割出修復區域和原始區域。這說明本文提出的方法可以準確定位修復的移除對象區域的邊界，表明了本文提出的方法不僅提高了圖像修復檢測的性能，而且在實際應用中表現出良好的性能。

在對圖像進行篡改之后，為了掩蓋篡改痕跡，通常會用JPEG壓縮和高斯模糊進行后處理操作。在圖像的傳播中，也會經歷JPEG壓縮。為了驗證本文提出方法的優越性，對數據集進行JPEG壓縮和高斯模糊的后處理操作，然后選擇檢測樣本塊圖像修復的文獻和檢測深度學習圖像修復的文獻與本文方法進行比較。

文獻[30]指出大多圖像最低使用75的質量因子（QF，quality factor）進行壓縮。質量因子越小，壓縮率越大，圖片質量越差，圖像會失真。當質量因子低于75時，圖像視覺質量過低，無法保證視覺感知上與原始圖像一致。因此對于JPEG壓縮后處理操作，分別使用95和75的質量因子對修復圖像進行JPEG壓縮處理。高斯模糊核大小代表鄰域每個像素對當前處理像素的影響程度，高斯核的維數越高，圖像的模糊程度越大。當高斯核大于5×5時，同樣會使得圖像過于模糊，無法保證圖像的視覺感知。因此對于高斯模糊后處理操作，分別使用3×3和5×5的高斯核對修復圖像進行高斯模糊操作。魯棒性檢測結果的1分數值如表7所示。

對于JPEG壓縮的后處理操作，3個模型的1分數值都隨著質量因子的降低而降低，檢測深度學習圖像修復的文獻[30]在檢測樣本塊圖像修復上，隨著圖像質量因子的降低1分數值大幅下跌；而檢測樣本塊圖像修復的文獻[18]在檢測深度學習圖像修復上，隨著圖像質量因子的降低1分數值也出現了大幅下跌。但是本文提出的方法，在檢測不同類型的樣本修復上，隨著圖像質量因子的降低，其檢測效果都優于該類型圖像修復模型。對于高斯模糊的后處理操作，本文提出方法的檢測結果也表現出優秀的性能，這說明本文提出方法的魯棒性是最佳的。

5 結束語

本文提出了一個雙分支的深度神經網絡，它是一種新穎的圖像修復盲取證方法。利用雙分支

圖5 不同模型的實際檢測結果

Figure 5 The actual detection results of different models

表7 不同模型的魯棒性檢測結果的F1分數值

同時捕獲圖像在高頻分量、內容及紋理上修復區域和原始區域的差異，并將結果進行多尺度融合檢測圖像的修復區域?？梢杂行У貜浹a當前缺少同時檢測樣本塊圖像修復和深度學習圖像修復的方法，并且它能夠清晰地檢測出修復圖像中移除對象的區域邊界，適用于現實場景。大量的實驗表明了該方法的有效性。雖然實驗數據顯示本文方法能夠很好地識別兩種圖像修復算法檢測的區域，也能抵抗修復圖像的后處理操作，但是其在兩種算法上的性能存在一定的差距，在樣本塊圖像修復上的性能還有待提升。未來將進一步提高圖像修復檢測的性能。

[1] SRIDEVI G, SRINIVAS KUMAR S. Image inpainting based on fractional-order nonlinear diffusion for image reconstruction[J]. Circuits, Systems, and Signal Processing, 2019, 38(8): 3802-3817.

[2] DOU L, QIAN Z, QIN C, et al. Anti-forensics of diffusion-based image inpainting[J]. Journal of Electronic Imaging, 2020, 29(4): 043026.

[3] ZHANG Y, DING F, KWONG S, et al. Feature pyramid network for diffusion-based image inpainting detection[J]. Information Sciences, 2021, 572: 29-42.

[4] CRIMINISI A, PéREZ P, TOYAMA K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on image processing, 2004, 13(9): 1200-1212.

[5] QUY TRAN B, VAN NGUYEN T, DUY TRAN D, et al. Accelerating exemplar-based image inpainting with GPU and CUDA[C]//2021 10th International Conference on Software and Computer Applications. 2021: 173-179.

[6] XU T, HUANG T Z, DENG L J, et al. Exemplar-based image inpainting using adaptive two-stage structure-tensor based priority function and nonlocal filtering[J]. Journal of Visual Communication and Image Representation, 2022, 83: 103430.

[7] IIZUKA S, SIMO-SERRA E, ISHIKAWA H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 1-14.

[8] ZENG Y, FU J, CHAO H, et al. Learning pyramid-context encoder network for high-quality image inpainting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 1486-1494.

[9] SUVOROV R, LOGACHEVA E, MASHIKHIN A, et al. Resolution-robust large mask inpainting with fourier convolutions[C]//Pro- ceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2022: 2149-2159.

[10] WU Q, SUN S-J, ZHU W, et al. Detection of digital doctoring in exemplar-based inpainted images[C]//2008 International Conference on Machine Learning and Cybernetics. 2008, 3: 1222-1226.

[11] BACCHUWAR K S, RAMAKRISHNAN K. A jump patch-block match algorithm for multiple forgery detection[C]//2013 International Mutli-Conference on Automation, Computing, Communication, Control and Compressed Sensing (iMac4s). 2013: 723-728.

[12] CHANG I C, YU J C, CHANG C C. A forgery detection algorithm for exemplar-based inpainting images using multi-region relation[J]. Image and Vision Computing, 2013, 31(1): 57-71.

[13] LIANG Z, YANG G, DING X, et al. An efficient forgery detection algorithm for object removal by exemplar-based image inpainting[J]. Journal of Visual Communication and Image Representation, 2015, 30: 75-85.

[14] ZHAO Y Q, LIAO M, SHIH F Y, et al. Tampered region detection of inpainting JPEG images[J]. Optik, 2013, 124(16): 2487-2492.

[15] LIU Q, SUNG A H, ZHOU B, et al. Exposing inpainting forgery in jpeg images under recompression attacks[C]//2016 15th IEEE International Conference on Machine Learning and Applications (ICMLA). 2016: 164-169.

[16] ZHANG D, LIANG Z, YANG G, et al. A robust forgery detection algorithm for object removal by exemplar-based image inpainting[J]. Multimedia Tools and Applications, 2018, 77(10): 11823-11842.

[17] ZHU X, QIAN Y, ZHAO X, et al. A deep learning approach to patch-based image inpainting forensics[J]. Signal Processing: Image Communication, 2018, 67: 90-99.

[18] WANG X, WANG H, NIU S. An intelligent forensics approach for detecting patch-based image inpainting[J]. Mathematical Problems in Engineering, 2020, 2020(8): 1-10.

[19] WANG X, NIU S, WANG H. Image inpainting detection based on multi-task deep learning network[J]. IETE Technical Review, 2021, 38(1): 149-157.

[20] LU M, NIU S. A detection approach using LSTM-CNN for object removal caused by exemplar-based image inpainting[J]. Electronics, 2020, 9(5): 858.

[21] BARNI M, COSTANZO A, NOWROOZI E, et al. CNN-based detection of generic contrast adjustment with JPEG post-processing[C]//2018 25th IEEE International Conference on Image Processing (ICIP). 2018: 3803-3807.

[22] SHAN W, YI Y, HUANG R, et al. Robust contrast enhancement forensics based on convolutional neural networks[J]. Signal Processing: Image Communication, 2019, 71: 138-146.

[23] ZHOU P, HAN X, MORARIU V I, et al. Learning rich features for image manipulation detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 1053-1061.

[24] BARNI M, BONDI L, BONETTINI N, et al. Aligned and non-aligned double JPEG detection using convolutional neural networks[J]. Journal of Visual Communication and Image Representation, 2017, 49: 153-163.

[25] BAYAR B, STAMM M C. Constrained convolutional neural networks: a new approach towards general purpose image manipulation detection[J]. IEEE Transactions on Information Forensics and Security, 2018, 13(11): 2691-2706.

[26] BUNK J, BAPPY J H, MOHAMMED T M, et al. Detection and localization of image forgeries using resampling features and deep learning[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2017: 1881-1889.

[27] BAPPY J H, SIMONS C, NATARAJ L, et al. Hybrid lstm and encoder–decoder architecture for detection of image forgeries[J]. IEEE Transactions on Image Processing, 2019, 28(7): 3286-3300.

[28] WU Y, ABDALMAGEED W, NATARAJAN P. Mantra-net: Manipulation tracing network for detection and localization of image forgeries with anomalous features[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 9543-9552.

[29] BARNI M, PHAN Q T, TONDI B. Copy move source-target disambiguation through multi-branch CNNs[J]. IEEE Transactions on Information Forensics and Security, 2020, 16: 1825-1840.

[30] LI H, HUANG J. Localization of deep inpainting using high-pass fully convolutional network[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 8301-8310.

[31] WANG X, WANG H, NIU S. An image forensic method for AI inpainting using faster R-CNN[C]//International Conference on Artificial Intelligence and Security. 2019, 11634: 476-487.

[32] LI A, KE Q, MA X, et al. Noise doesn't lie: towards universal detection of deep inpainting[C]//Proceedings of International Joint Conference on Artificial Intelligence. 2021: 786-792.

[33] WU H, ZHOU J. IID-Net: image inpainting detection network via neural architecture search and attention[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(3): 1172 - 1185.

[34] SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.

[35] ZHANG D, CHEN X, LI F, et al. Seam-carved image tampering detection based on the cooccurrence of adjacent lbps[J]. Security and Communication Networks, 2020, 2020: 1-12.

[36] FU J, LIU J, TIAN H, et al. Dual attention network for scene segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 3146-3154.

[37] EVERINGHAM M, ESLAMI S, VAN GOOL L, et al. The pascal visual object classes challenge: a retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.

Image inpainting forensics method based on dual branch network

ZHANG Dengyong1,2, WEN Huang1,2, LI Feng1,2, CAO Peng1,2, XIANG Lingyun1,2, YANG Gaobo3, DING Xiangling4

1. Hunan Provincial Key Laboratory of Intelligent Processing of Big Data on Transportation, Changsha University of Science and Technology, Changsha 410114, China 2. School of Computer and Communication Engineering, Changsha University of Science and Technology, Changsha, 410114, China 3. School of Information Science and Engineering, Hunan University, Changsha 410082, China 4. School of Computer Science and Engineering, Hunan University of Science and Technology, Xiangtan 411004, China

Image inpainting is a technique that uses information from known areas of an image to repair missing or damaged areas of the image.Image editing software based on it has made it easy to edit and modify the content of digital images without any specialized foundation. When image inpainting techniques are used to maliciously remove the content of an image, it will cause confidence crisis on the real image. Current researches in image inpainting forensics can only effectively detect a certain type of image inpainting. To address this problem, a passive forensic method for image inpainting was proposed, which is based on a two-branch network. The high-pass filtered convolutional network in the dual branch first used a set of high-pass filters to attenuate the low-frequency components in the image. Then features were extracted using four residual blocks, and two transposed convolutions were performed with 4x up-sampling to zoom in on the feature map. And thereafter a 5×5 convolution was used to attenuate the tessellation artifacts from the transposed convolutions to generate a discriminative feature map on the high-frequency components of the image. The dual-attention feature fusion branch in the dual branch first added a local binary pattern feature map to the image using a preprocessing block. Then the dual-attention convolution block was used to adaptively integrate the image’s local features and global dependencies to capture the differences in content and texture between the inpainted and pristine regions of the image. Additionally, the features extracted from the dual-attention convolution block were fused, and the feature maps were up-sampled identically to generate the discriminative image content and texture on the feature maps. The extensive experimental results show the proposed method improved the1 score by 2.05% and the Intersection over Union(IoU) by 3.53% for the exemplar-based method and by 1.06% and 1.22% for the deep-learning-based method in detecting the inpainted region of the removed object. Visualization of the results shows that the edges of the removed objects can be accurately located on the detected inpainted area.

image forensics, image forgery detection, deep learning, attention mechanism

TP393

A

10.11959/j.issn.2096?109x.2022084

2022?03?27；

2022?08?17

李峰，lif@csust.edu.cn

國家自然科學基金（62172059, 61972057, 62072055）；湖南省自然科學基金（2020JJ4626, 2020JJ4029）；湖南省教育廳優秀青年項目（19B004）

The National Natural Science Foundation of China (62172059, 61972057, 62072055), Natural Science Foundation of Hunan Province (2020JJ4626, 2020JJ4029), Scientific Research Fund of Hunan Provincial Education Department of China (19B004)

章登勇, 文凰, 李峰, 等. 基于雙分支網絡的圖像修復取證方法[J]. 網絡與信息安全學報, 2022, 8(6): 110-122.

ZHANG D Y, WEN H, LI F, et al. Image in painting forensics method based on dual branch network[J]. Chinese Journal of Network and Information Security, 2022, 8(6): 110-122.

章登勇（1980?），男，江西南昌人，長沙理工大學副教授，主要研究方向為多媒體信息安全、圖像處理與模式識別。

文凰（1996?），女，湖南望城人，長沙理工大學碩士生，主要研究方向為多媒體信息安全。

李峰（1964?），男，湖南常德人，長沙理工大學教授，主要研究方向為多媒體信息安全、圖像處理與模式識別。

曹鵬（1982?），男，湖南常德人，長沙理工大學講師，主要研究方向為圖像處理與模式識別、圖像取證。

向凌云（1983? ），女，湖南婁底人，長沙理工大學副教授，主要研究方向為信息安全、信息隱藏與數字水印、隱寫分析、自然語言處理、模式識別與機器學習。

楊高波（1973?），湖南岳陽人，湖南大學教授、博士生導師，主要研究方向為圖像/視頻信息安全、多媒體通信、紋理壓縮。

丁湘陵（1981?），男，湖南株洲人，博士，湖南科技大學副教授，主要研究方向為多媒體內容安全、圖像/視頻處理、密碼分析。