基于雙鑒別網絡的生成對抗網絡圖像修復方法

劉波寧，翟東海

(西南交通大學 信息科學與技術學院，成都 610031)(*通信作者電子郵箱boningliu@qq.com)

0 引言

在傳統的圖像修復方法中，修復方法一般可以分為兩種：第一種是適用于小尺寸的圖像修復方法，如快速行進算法[1]、Criminis算法[2-3]等。第二種方法是適用于較大面積的圖像填充修復，如PatchMatch方法[4]和統計塊概率修復方法[5]?？傮w來說，傳統圖像修復方法基于原圖，由于在內容上缺乏高層次的連貫性，使得修復結果不令人滿意;而且一旦圖像的缺失比例過大，導致重要的參考信息丟失，也同樣無法讓人取得滿意的效果。

利用特征學習的深度學習修復方法[6-12]恰好填補了傳統圖像修復方法內容缺乏高層次連貫和難于應對大塊缺失區域的缺陷。隨著圖形處理器(Graphics Processing Unit, GPU)技術的發展，深度學習技術在圖像分類[13]、圖像檢測識別[14-15]、圖像目標定位[16-18]、圖像生成[19-20]等方面的應用逐漸廣泛。

在深度學習的圖像修復中，圖像生成是圖像修復基礎， 本文采用的生成對抗網絡(Generative Adversarial Network, GAN)[10]模型中的生成網絡也來源于圖像生成的研究[21]。在圖像生成中，Vincent等[6]引入去噪的自動編碼器，重建并學習干凈的輸入信號來生成圖像。隨后的研究中，Dosovitskiy 等[7]通過解碼器網絡反向表達深度卷積網絡的特征(例如VGG(Visual Geometry Group)[13]網絡)來重建對象圖像，這使得生成的圖像在真實性上有了重要的突破。隨后的研究中，大多都著力于圖像的真實性上，比如，Kingma等[8]提出的變分自動編碼器(Variational Auto-Encoder, VAE)通過在隱含層之前加入規則化的編碼器，使得可以通過從隱含層采樣或插入隱含層來生成更加真實的圖像。然而，由VAE生成的圖像因為其基于像素的高斯似然性訓練，輸出的部分圖像是模糊的。于是，在進一步的研究中，Larsen等[9]通過增加一個對抗訓練來改善VAE，這就可以產生更真實的圖像。

在這些圖像生成的研究基礎之上，逐漸提出了一些比較典型的圖像修復方法。其中較為出眾并廣泛使用的一類是基于生成對抗網絡[10]的圖像修復方法。比如Li等[11]提出的人臉修復方法在人臉修復上取得了較好的效果，這種方法在生成網絡修復人臉后，利用了人臉目標檢測技術，檢測生成圖像的人臉具體器官，比如鼻子、眼睛等是否符合常理位置，然后改進網絡生成的人臉，進而起到較好的修復效果。而Yeh等[12]提出的語義圖像修復方法，則利用了潛在的相似圖像，生成網絡通過對這些相似圖像的特征不斷來推斷缺失圖像的缺失區域，最后經過迭代優化形成修復圖像。

本文所提出的算法是基于Iizuka等[22]提出的全局和局部網絡的圖像修復方法。后者是一種經典的修復方法，這種算法利用了生成對抗網絡，在傳統的生成對抗網絡中，生成網絡負責生成圖像，鑒別網絡負責鑒別生成網絡生成圖像的效果優劣，而此算法則額外增加了一個全局鑒別網絡用來負責鑒別破損區域修復后的全局圖像是否符合視覺連貫性，最后綜合全局和局部的兩種鑒別結果來判斷圖像的修復效果。整個修復流程為先通過訓練生成網絡來完成初步的圖像修復，然后不斷通過負責鑒別全局圖像視覺連貫性的全局鑒別網絡和負責鑒別生成網絡輸出的修復圖像真實性的局部鑒別網絡與生成網絡對抗訓練，在迭代訓練中一步一步產生較好修復效果。

但是，上述算法包括在本文實驗中使用的特征卷積算法[23]都存在一定的問題,比如:在Li等[11]提出的人臉修復方法中，需要定位一些小部件是否符合人的主觀，比如鼻子和眼睛是否真實和清晰，生成的位置是否正確，這涉及到一些目標檢測識別技術，而這給算法的復雜度和訓練時間開銷帶來更高的挑戰。語義圖像修復方法[12]中利用圖像語義的判斷技術，對生成圖像的生成效果進行判定，這同樣涉及到了比較復雜的圖像語義判別。以上兩種方法都對不同的圖像數據缺乏適應性。而在Iizuka等[22]提出的圖像修復方法中，雖然模型較為簡單，但這導致絡在海量的圖像訓練中，容易出現特征過度學習的問題。

因此，為了降低修復模型的復雜性，增強普適性，改善特征過度學習的問題，使得模型圖像修復的質量和效果更加出眾，本文提出了一種基于邊緣結構信息檢測和局部信息增強的生成對抗網絡的圖像修復方法，該方法主要有以下工作：

1)尋找相似塊填充破損區域，通過保留破損區域的圖像結構與紋理信息，來提高修復網絡生成圖像的質量和網絡的訓練速度。

2)在全局鑒別網絡中，限定圖像輸入區域排除無用特征信息干擾，利用檢測邊緣結構信息來約束修復網絡生成的圖像，使其生成具有視覺連通性的修復圖像。

3)局部鑒別網絡增加緩沖池技術，通過在緩沖池中增加更多的特征輔助塊，來避免修復網絡掉入過度學習的陷阱。

1 生成對抗網絡

生成對抗網絡(GAN)[10]的核心思想是“零和博弈”[24]，GAN模型如圖1所示，目標函數如式(1):

Ez～pz(z)[log(1-D(G(x)))]

(1)

GAN模型主要有兩部分組成：第一部分是生成圖像的生成網絡Generator，通過輸入一組無序隨機的噪聲z來映射為一張圖像；第二部分是鑒別圖像真偽的鑒別網絡Discriminator，通過不斷學習真實圖像x特征來加強對某一類圖像的鑒別能力。GAN的目標函數很好地體現了對抗的思想，即是最小化生成網絡生成圖像與真實圖像的差距，最大化鑒別網絡的鑒別真實圖像和生成圖像能力，即最大化生成圖像與真實圖像的差距。

圖1 經典的GAN模型Fig. 1 Classic GAN model

在生成對抗網絡訓練中，把隨機噪聲z輸入生成網絡，生成網絡卷積映射生成一張圖像，即G(z)，然后把生成圖像G(z)及其標簽“0”和真實圖像x及其標簽“1” 一起送入鑒別網絡D中，訓練鑒別網絡D的鑒別能力，使得鑒別網絡D輸出的概率D(G(z))趨于0而D(x)趨于1 。這樣，生成對抗網絡就能根據鑒別網絡輸出的概率數值區分輸入圖像是來自真實圖像還是生成圖像。

同時，這個概率數值D(G(z))將反饋給生成網絡，生成網絡將根據概率數值結果來調整自己的生成圖像，在下一次訓練的時候，生成更真實的圖像欺騙鑒別網絡，使得D(G(z))這一概率數值趨于1。隨著訓練迭代進行，生成網絡與鑒別網絡之間形成一種對抗關系最后達到微妙的平衡，此時D(G(z))趨于0.5。這時候，在給定生成網絡G的情況下，目標函數式(1)在式(2)得到鑒別網絡D的最優解:

DG(x)=pdata(x)/(pdata(x)+pg(x))

(2)

在這種情況下，鑒別網絡無法判斷生成網絡生成的圖像是真實圖像還是生成圖像，因為生成網絡生成了極為逼近真實圖像的圖像。生成對抗網絡通過大量的特征學習，能夠很好地學習到同類圖像數據集中的圖像特征，從而生成逼真的圖像。

2 雙鑒別網絡修復算法

本文運用生成對抗網絡來修復圖像，修復模型分為兩部分，如圖2所示，分別是負責修復圖像的修復網絡和負責鑒別圖像修復效果并反饋給修復網絡的鑒別網絡。與傳統的生成網絡不同的是，本文采用的修復網絡，不再是從一組噪聲作為輸入并通過不斷地卷積等手段生成一張圖像，而是直接將一張圖像作為輸入，通過對稱的卷積層和反卷積層，將一張破損的圖像修復為一張符合視覺的圖像。

在經典的生成對抗網絡中，用D(G(z))來衡量生成網絡生成圖像的能力。而在本文中，為了使得修復圖像符合視覺連貫性，引入衡量更為多樣化的圖像損失loss的概念，取代了在生成對抗網絡中，D(G(z))對生成圖像的簡單判斷。通過最小化圖像損失loss，使得修復網絡盡可能生成接近人眼視覺連貫性的圖像，取得最好的修復效果。修復圖像的生成對抗網絡目標函數如式(3):

Ez～pz(z)[log(1-Loss)]

(3)

其中:C代表Completion Network，也就是修復網絡，負責生成修復的圖像;D代表Discrimination Network，包含兩個鑒別網絡，分別是局部鑒別網絡和全局鑒別網絡，負責鑒別修復圖像的修復效果;x是完好的圖像，從完好的訓練數據集P中抽取出來;z是等待修復網絡C修復的破損圖像。 式(3)中定義了一個全新的圖像損失函數Loss，來恒量修復網絡的修復效果，計算式如下：

Loss=λ1Lossglobal+λ2Losslocal

(4)

其中：λ1和λ2是兩個權重系數，用來平衡全局鑒別網絡和局部鑒別網絡之間的權重占比；而Lossglobal代表全局鑒別網絡的損失，Losslocal代表局部鑒別網絡所輸出的損失。詳細損失構成在2.2節中論述。

圖2 本文提出的GAN模型Fig. 2 Proposed GAN model

2.1 修復網絡相似塊搜尋

本文的修復網絡采用了破損圖像作為輸入，但是為了最大化遏止修復網絡在生成修復圖像時，由于擬合無序信息而產生損失，在待修復的破損區域，還采用了相似填充的方法。

在文獻[10]的研究中，直接將一組隨機的噪聲作為輸入，在生成網絡的擬合下，這組噪聲慢慢映射生成一張逼真的圖像。后來在文獻[11]、文獻[12]、文獻[21]的圖像生成方法中，都用圖像替換了噪聲輸入，其中，文獻[11]方法和文獻[12]方法使用的是破損圖像，文獻[21]方法使用的是人工手繪圖像，這些圖像的使用提升了生成網絡生成圖像的效率和質量。

破損圖像替換了噪聲輸入后能提升生成圖像的效率和質量的根本原因是噪聲是一組無序的隨機數，它沒有保留任何有助于生成網絡生成圖像的信息，生成網絡為了擬合這組無序信息，建立無序噪聲與圖像之間的映射，會產生許多不必要的損失。文獻[11]方法和文獻[12]方法雖然采用了破損圖像作為輸入，在一定程度上減少了映射的損失，但是并未對最為重要的破損區域加以處理，同樣還是對生成網絡造成了很大的損失。

本文采用相似填充方法將訓練用的破損圖像進行預處理，通過把破損區域周圍的完好圖像信息傳播到破損區域內，以此保證待修復圖像內沒有像噪聲一樣的無用干擾信息，從而降低修復網絡為了擬合輸入圖像產生的損失。該方法通過比對周圍鄰域塊的相似程度，從破損區域的周圍找出一塊合適的填充塊，填充到破損的區域里面。填充的相似塊能夠提供給修復網絡一些結構和紋理信息，減少特征映射時的損失，從而提高修復網絡生成圖像的質量和速度。

為了盡量保留與完好塊相似的結構與紋理信息，在尋找相似塊的時候，本文參考了PatchMatch方法[4]來尋找一個最好的相似塊。同時，考慮到神經網絡的耗時性，為了提高相似塊的搜索速度，本文簡化了PatchMatch方法，如圖3所示，具體操作如下：

1)簡化偏置信息。隨機選擇破損區域相鄰的一個完好塊，并在圖像內給完好塊隨機分配一個偏置塊，記錄這個完好塊與破損塊之間的位置信息。

2)傳播。用偏置信息和位置信息更新破損塊。

3)隨機搜索。以隨機偏置塊為基準，以0.5的收斂速度隨機搜索更好的偏置塊，更新破損塊。

圖3 PatchMatch簡化方法Fig. 3 PatchMatch simplified method

為了在尋找的效率和質量上有更好的表現，本文進一步對隨機的迭代作出了一定的限制，設定隨機搜索的次數為2次。

2.2 雙鑒別網絡

針對修復區域容易與邊緣結構紋理信息不一致的問題，Iizuka等[22]提出的圖像修復方法中增加了負責鑒別全局圖像區域的全局鑒別網絡。在這種方法中，修復的圖像既要在局部上產生合適的圖像，又需要在全局上擁有較好的視覺連通性。因此，為了維持這種全局的一致性，采用了破損周邊權重衡量的方法。但是，這種權重方法在對生成的修復圖像約束的同時，過于突出周圍某些權重信息， 從而對待修復區域的修復產生了負面影響；同時，在采用了全局圖像作為輸入時，也為全局鑒別網絡引入了過多的特征，從而形成了信息干擾。

本文同樣也采用了全局鑒別與局部鑒別的雙網絡結構，即是由局部鑒別網絡來負責破損區域的圖像生成結果鑒別，由全局鑒別網絡來負責整體視覺連通性的修復結果鑒別。但是針對上述兩個問題，本文采用了基于結構邊緣信息約束的方法來解決權重失衡的問題，同時，限制了全局鑒別網絡的圖像輸入區域，以便排除因為過多特征產生的干擾，最終使得全局鑒別網絡能夠更加關注于全局圖像的視覺連貫性；而局部鑒別網絡，能更加關注于當前破損區域的生成圖像效果。

2.2.1 全局鑒別網絡

在本文中，全局鑒別網絡的輸入區域(圖4虛線外框)并非是整張圖像而是限定在以破損區域(圖4虛線內框)中心為中心、面積為破損區域兩倍的區域，使得這兩者的面積符合：

2×Areabroken=Areaglobal

(5)

之所以采用這樣的限定，是因為在圖像修復的過程中，本文主要關注以下兩點：第一，修復網絡生成的修復圖像要符合視覺連貫性，即修復后的破損區域與周圍完好區域的紋理和結構一致；第二，避免引入過多的無關特征信息干擾，這些信息容易導致修復網絡學習到無關特征，影響修復效果。采用限定輸入圖像區域大小的方法，不影響全局鑒別網絡對破損圖像待修復區域的圖像鑒定；同時，因為限定區域以外的圖像沒有輸入全局鑒別網絡，也就避免了更多的特征信息干擾。

在限制圖像中無關特征信息干擾的同時，對全局鑒別網絡增加了一個結構邊緣信息約束。這是由于修復網絡在無約束時過分追求破損區域與完好區域的平滑連接，生成了過平滑的圖像。觀察這些過平滑的圖像，能觀察到一些明顯的紋理信息，但是符合視覺連貫性圖像注重的結構信息卻大部分丟失，如圖4(c)所示。所以，本文需要進一步在修復網絡中突出結構信息，讓結構信息在修復網絡生成的圖像中得到非常好的再現。

圖4 全局鑒別網絡不同圖像對比Fig. 4 Different image comparison in global discrimination network

本文將完好圖像和修復圖像先進行邊緣結構檢測，然后，通過對比兩者之間的結構差異，進而以此來懲罰那些在結構上與完好圖像不一致的修復圖像，從而提高修復網絡對修復圖像結構信息的重視程度。

鑒于全局鑒別網絡同時考慮了結構和紋理信息，本文對全局損失函數改進如下：

Lossglobal=loss(D(Areaglobal))+lossstructure

(6)

式中lossstructure為結構損失懲罰項，用來懲罰修復圖像和完好圖像像素點間在結構上的差異：

(7)

其中:N是Areaglobal區域(圖4虛線外框)內的全部像素點數；pi表示完好圖像的第i個像素點，同時qi表示修復圖像中與之對應的像素點。

2.2.2 局部鑒別網絡

針對局部鑒別網絡在海量圖像訓練中容易產生特征漂移[23]，即特征過度學習的問題，本文采用緩沖池存儲干擾塊，避免局部鑒別網絡掉入過度學習的陷阱。

在文獻[10]的原始局部鑒別網絡中，把修復后的圖像以及與之對應的完好圖像作為局部鑒別網絡的輸入進行訓練，局部鑒別網絡根據完好圖像的特征與修復后圖像的特征的差異構造局部鑒別損失。通過鑒別損失可以很好地衡量圖像修復的效果，局部鑒別損失越小說明修復效果越好。

但是，在對局部鑒別網絡進行大規模的訓練時，特征的映射會產生“漂移”，即特征過度學習。局部鑒別網絡容易產生特征過度學習的根本原因是因為訓練時輸入的圖像塊所在區域過小，并且來自同一個圖像類別，這導致了圖像塊的特征過于集中和單一。特征過度學習造成的后果是修復網絡為了滿足局部鑒別網絡的鑒別結果，生成的圖像過分地注重某個特定的特征而忽略了全局的連通性，或者是過于注重多個特征從而造成某些特征重復出現的圖像。在文獻[22]中，研究者通過保留上次迭代訓練的一半圖像來抑制這種影響。

為了克服特征漂移問題，在本文的算法中，引入了一種既包含主要特征也包含附加特征的輔助特征塊。輔助特征塊既要包含原本完好圖像塊的主要特征以保證局部鑒別網絡學習的主要特征不會出現嚴重偏差；同時，為了避免局部鑒別網絡過擬合，輔助特征塊又要包含豐富的附加特征，這些附加特征提高了局部鑒別網絡的泛化能力，避免局部鑒別網絡特征過度學習，進而提升修復網絡生成圖像的真實性。同時，為了提高算法的運行效率，本文采用緩沖池技術來存儲和處理輔助特征塊。

輔助特征塊的搜尋算法如圖5所示，主要分為以下步驟：

1)在同一個訓練批次下，提取當前訓練圖像中修復后的破損區域(Inpainted image)，并隨機選取該批次中的n張完好圖像。

2)在n張完好圖像中按序抽取一張圖像，用滑動窗口在該圖像中搜索上述修復區域的最佳相似塊，并把相似塊放入緩沖池。

3)重復步驟2)，直至找到所有相似塊。

圖5 緩沖池存儲輔助特征塊Fig. 5 Storage of assisted feature patches by cache pool

在上述算法中尋找到的相似塊就是輔助特征塊，為了提高搜索效率，同時考慮到破損區域的大小，本文設置滑動窗口步長為劃定的破損區域邊長的一半。

在訓練局部鑒別網絡時，把緩沖池中輔助特征塊和修復網絡的修復塊一起作為局部鑒別網絡的訓練輸入。由于這些輔助特征塊是在相同圖像類別中的不同圖像尋找的，比如人臉圖像這一類別中的不同人臉實例上的特征，因此，可以保證局部鑒別網絡學習到主要特征的同時還學習到很多附加特征。

在文獻[22]中，局部鑒別網絡的模式是輸入一個修復圖像，輸出一個局部鑒別損失。而在引入了輔助特征塊后，局部鑒別網絡采用緩沖池存儲的多個圖像塊和一個修復圖像塊作為輸入，由此也產生了多個局部鑒別損失。為了綜合反映多個局部鑒別損失的情況，本文重新定義了局部鑒別損失Losslocal，其中，把修復網絡生成的修復塊輸入局部鑒別網絡得到第一個局部損失稱為lorigin，同時，把緩沖池內的特征輔助塊輸入局部鑒別網絡計算出相應的n個圖像損失從而得到它們的累加和。給上述兩項賦予不同的權值，組合成一個新的局部鑒別損失，如式(8)：

(8)

其中：li表示第i個像素點的損失；α與β為權重衡量系數，以突顯在訓練的過程中對修復圖像塊的重視，本文把α設置為0.9，β設置為0.1，并限定輔助特征塊數為4個。

3 算法流程

使用Mini-batch的隨機梯度下降(Stochastic Gradient Descent, SGD)訓練生成對抗網絡，共進行n輪迭代。根據實驗經驗，一般經過30輪的迭代時，實驗能取得較好的收斂結果。本文算法流程如下：

1)

For 迭代次數的第1,2,…,n次 do：

2)

Fork= 1,2,…,Kd步 do：

3)

從完好的訓練集Pdata(x)中抽取一個mini-batch共m個

圖像{x(1),x(2),…,x(m)}，對抽取的每個圖像隨機

切分固定大小的破損區域，完成最鄰相似填充，作為

輸入數據集{z(1),z(2),…,z(m)}

4)

數據集輸入修復網絡生成相應的修復圖像{G(z(1)),

G(z(2)),…,G(z(m))}

5)

使用SGD算法更新局部鑒別網絡和全局鑒別網絡的參

數Φ1和Φ2

6)

7)

End

8)

Fork= 1,2,…,Kg步 do：

9)

把m個圖像{z(1),z(2),…,z(m)}輸入修復網絡生成相

應的修復圖像{G(z(1)),G(z(2)),…,G(z(m))}

10)

用上述步驟中訓練好的兩個鑒別網絡(參數Φ1和Φ2)

來鑒別修復網絡的修復圖像{G(z(1)),G(z(2)),…,

G(z(m))}

11)

使用SGD算法更新局部鑒別網絡和全局鑒別網絡的參

數Φ1和Φ2

12)

根據鑒別網絡的結果{D(G(z(1))),D(G(z(2))),…,

D(G(z(m)))}，使用SGD算法更新修復網絡的參數θ

13)

14)

End

15)

End

4 實驗結果與分析

4.1 參數設置及數據集

為了驗證本文修復方法的效果，本文對圖像修復進行了多輪的實例驗證。實驗的平臺是Windows 10，Python3.6和Tensorflow結合的編程環境，Intel 4.20 Ghz CPU時鐘頻率，內存16.0 GB。

本文進行了大量的實驗來證明本文的模型在各類圖像中的學習能力，其中重點訓練了建筑和臉部圖像上合成缺失內容的能力。 生成對抗網絡訓練的參數(如學習率)按照文獻[11]中的建議設置，learningrate為0.001，momentum為0.5。 為了平衡不同損失的影響，實驗中λ1為0.4，λ2為0.6，α設置為0.9，β為0.1。

本文使用了兩個數據集來驗證本文的方法，分別是牛津建筑物數據集(The Oxford Buildings Dataset)和CelebA人臉數據集來訓練和評估本文的模型，將掩模大小設置為中間覆蓋，覆蓋范圍設置為全圖的30%進行訓練，以確保至少有一個必要的圖像成分丟失。

4.2 實驗對比

在建筑類圖像修復的效果對比上，本文采用了近些年來基于深度學習并且修復效果比較好的幾種算法，分別是：1)GolbalLocal方法[22]；2)Context Encoder方法[23]；3)Semantic Inpainting方法[12]。同時，為了直觀地展現本文修復方法的有效性和優越性，本文采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)指標來表示修復算法修復的圖像和原圖像的差距，PSNR值越大，代表修復的效果越好。為了進一步分析本文方法在圖像修復中，特別在結構上的優異性，還增加了結構相似性(Structural SIMilarity index, SSIM)來評價修復結果，SSIM值越接近1，結構越為相似。

不同方法在牛津建筑物類圖像中的修改效果如圖6所示。由圖6可以看出，在圖像1中，對比門柱和窗戶的修復效果，可以清晰看出本文的修復方法修復效果最好；在文獻[22]方法的修復效果圖6(c)中，明顯可以看出建筑的修復中顏色出現了偏差，建筑的結構修復也出現了偏離；在圖6(d)的修復中，特征明顯學習過度，在修復的時候，出現了特征重復，圖像較為模糊，修復效果較差；在圖6(e)的修復中，修復的效果較好，結構比較清晰，紋理也較好。圖6中的圖像2和圖像4都是屬于窗戶特征明顯的圖像：在圖6(f)的修復中，本文方法避免了過度學習導致的圖像平滑，在結構和紋理上修復效果都較為出眾；在圖6(c)的修復中，因為采用的是周邊權重的恒量，可以看到明顯引入了周邊的窗戶對修復區域的影響，表現為窗框重疊、扭曲等；在圖6(d)的修復中，在面對這類全局特征過于明顯的圖像時，出現了修復區域過平滑的缺陷，圖像較為模糊；在圖6(e)的修復中，修復效果稍有缺陷，表現為窗戶的修復過于刻板、邊緣的修復稍微扭曲的情況。圖6中圖像3是典型的曲線修復圖像：在本文方法的修復效果圖6(f)中，建筑的二層邊緣維持了一個較順滑的形狀，紋理上也比較符合視覺一致；而在圖6(c)～(e)的修復中，則明顯缺乏視覺連通性，修復效果較差。不同修復方法的峰值信噪比(PSNR)和相應的SSIM值如表1所示。

圖6 不同方法在牛津建筑物類圖像中的修復效果Fig. 6 Completion effects of different methods in building images of Oxford

因為Context Enconder方法[23]在人臉修復上效果欠佳，本文用Generative Face Completion方法[11]來代替Context Enconder方法[23]。Generative Face Completion方法[11]采用迭代下降生成損失的方法來逼近最佳效果，以此修復圖像。不同方法人臉類圖像的修復效果如圖7所示。為了驗證各算法在人臉大缺失區域修復上的效果，本文采用了40%破損面積進行訓練。

由圖7可以看出，本文方法很好地突顯了人臉的結構信息。在圖7修復的男性人臉圖像1中：圖7(d)～(e)的修復方法在破損和完好區域的邊緣連接出現不同程度的結構扭曲，而圖7(f)的本文方法修復中，特別是在男性右耳部分，則保持了出眾的結構。在圖7修復的女性人臉圖像2和圖像3中：圖7(c)的修復方法因為沒有采用特征輔助學習，女性右眼都明顯出現了特征失真、人臉細節模糊的狀況，而圖7(f)的本文方法修復中，在兩張女性的眼睛細節和人臉部皮膚上都保持了較為完好的紋理信息。用PSNR和SSIM衡量不同方法的修復效果，結果如表2所示。

圖7 不同方法在人臉類圖像中的修復效果Fig. 7 Completion effect of different methods in face images表1 不同方法建筑修復圖的PSNR和SSIMTab. 1 PSNR and SSIM of building completed images obtained by different methods

圖像PSNR/dB文獻[22]方法文獻[23]方法文獻[12]方法本文方法SSIM文獻[22]方法文獻[23]方法文獻[12]方法本文方法建筑圖像122.419.321.6822.560.86320.79440.84650.8711建筑圖像223.320.922.124.710.84210.80540.82640.8542建筑圖像317.917.117.521.540.79640.77570.78190.8358建筑圖像420.518.818.921.530.84330.82410.82190.8598

表2 不同方法人臉修復圖的PSNR和SSIMTab. 2 PSNR and SSIM of face completed images obtained by different methods

5 結語

本文提出了一個基于深度學習網絡模型來進行圖像修復的方法，該模型基于生成對抗網絡，采用了雙鑒別網絡的模型。在網絡的修復模型中，本文對破損圖像的輸入進行完好的相似信息填充處理，減少擬合損失;而在鑒別模型中，本文對全局鑒別網絡采用了邊緣結構信息的檢測突出結構信息，對局部鑒別網絡使用了輔助特征塊控制過度學習的問題。實驗結果表明，本文方法在不同種類數據集圖像的修復中，具有良好的適應性，對破損圖像也有較好的修復效果。