融合監督注意力模塊和跨階段特征融合的圖像修復改進網絡

黃巧玲，鄭伯川，*，丁梓成，吳澤東

（1.西華師范大學 數學與信息學院，四川 南充 637009；2.西華師范大學 計算機學院，四川 南充 637009）

0 引言

圖像修復是指數字圖像中缺失區域的補全。圖像修復的目的是用語義合理、視覺逼真的內容填補缺失的區域，同時與圖像的其余部分保持語義一致性。圖像修復在許多領域中都有著重要的應用：在圖像編輯領域，圖像修復技術可以從圖像中摳除不需要的對象或恢復受損圖像中的缺失區域，還可以還原一些變質的老照片等；在醫學研究領域，圖像修復可以用于去除醫學成像系統產生的噪聲和偽影；在公共安全領域，圖像修復技術被用于修復掌紋、指紋、人像，以實現更好的鑒定識別。因此，圖像修復技術具有重要的研究意義，近年來，隨著深度學習技術的發展，圖像修復技術研究越來越成為研究的熱點問題之一。

早期圖像修復方法可以分為兩類：基于擴散的方法［1-3］和基于補丁的方法［4-6］。前者主要基于偏微分方程或變分法將信息從周圍區域擴散到缺失區域；后者則通過復制和粘貼將圖像內容從已知區域傳播到缺失區域。早期圖像修復方法在處理小的缺失區域時視覺效果較好，然而對于較大的缺失區域，則無法創建已知圖像區域都不存在的大型結構和對象。

隨著深度學習技術廣泛應用于圖像處理領域，近年來主要借助深度學習技術修復圖像，取得了不錯的效果。從網絡設計的角度，基于深度學習技術的修復方法可分為單階段網絡（一個生成器）［7-17］、雙階段網絡（兩個生成器）［18-25］和漸進式網絡（多個生成器）［26-30］。雖然單階段網絡的網絡結構簡潔，能生成看似合理的圖像結構及紋理，但在修復區域的邊界時，經常會生成扭曲的結構和模糊的紋理，這是因為卷積神經網絡無法從圖像較遠的區域提取信息。Yu 等［19］提出了一種改進的兩階段網絡的生成式修復框架，由粗網絡和細化網絡組成，細網絡對粗網絡修復結果進行細調。細化部分包括2 個細化網絡，在一個細化網絡中，引入上下文注意模擬相關性，能夠更好地利用較遠區域圖像特征作為參考；同時引入門控卷積和基于補丁的生成對抗網絡鑒別器，提高了對非規則缺失區域圖像修復的效果。漸進式修復網絡整體修復效果較好，但是由于包括多次迭代，前一個生成器的輸出用于指導下一個迭代，因此計算成本高，對設備要求高。

現有的兩階段網絡采用編碼器-解碼器體系結構，雖然可以有效地編碼上下文信息，但它保存空間圖像細節并不完整，如文獻［19］修復高分辨率圖像（例如512×512）時可能會產生偽影和模糊的紋理。實驗結果表明：直接將上一階段的輸出傳遞到下一階段不一定能得到最好的修復效果。因此，本文引入了跨階段特征融合（Cross-Stage Feature Fusion，CSFF）機制［33］，有助于將多尺度上下文特征從上一階段傳播到下一階段，提高修復性能；另外，本文在第一階段和第二階段之間插入一個監督注意力模塊（Supervised Attention Module，SAM）［33］，以實現漸進式學習，通過提供真實圖像的監督，有助于優化網絡特征?；谖墨I［19］中的兩階段網絡，本文提出了一種融合SAM 和CSFF 的兩階段圖像修復網絡（Gated convolution based CSFF and SAM，Gconv_CS），該網絡更加關注第一階段恢復的圖像送入到第二階段恢復時的信息損失情況，以及傳入到第二階段圖像信息的有效性。同時，本文還提出了修復網絡用于修復大熊貓面部遮擋缺損區域，較好地恢復了大熊貓的面部圖像。

1 相關工作

現有的圖像修復方法主要可分為兩大類：傳統的修復方法和基于深度學習技術的修復方法。

1.1 傳統的修復方法

傳統的圖像修復方法主要包括基于擴散的方法［1-3］和基于補丁的方法［4-6］。

基于擴散的方法 擴散是指帶有光滑性約束的局部信息傳播過程。Bertalmio 等［1］率先提出利用擴散進行圖像修復，即在重建過程中利用待修復區域的邊緣信息，確定擴散的方向，向邊緣內擴散已知的信息。Ballester 等［2］將圖像修復問題描述為一個變分問題，提出了基于圖像灰度和梯度方向的聯合插值擴散。Tschumperlé 等［3］提出了一個通用的各向異性擴散方程，獲得了較好的修復效果。然而，由于邊界擴散預測的局限性，通常會引入擴散相關的模糊，因此，基于擴散的方法無法修復大的缺失區域。

基于補丁的方法 基于補丁的圖像修復方法的核心思想是計算出補丁級別的相似性，以將補丁外觀信息從背景區域傳播到缺失區域。Barnes 等［4］提出了一種隨機最近鄰補丁匹配算法，該算法的補丁匹配時間少，在圖像編輯軟件工具中得到廣泛應用。Huang 等［5］提出了一種基于增強補丁匹配的自動補全算法，通過定義補丁偏移和轉換的先驗概率完成自動補全。Ding 等［6］首先通過非局部紋理的相似性度量來選擇多個候選補丁，然后應用α-均值濾波器計算每個候選補丁像素強度，最后對缺失區域逐像素修復?；谘a丁的方法主要依賴于低級圖像信息計算相似性，對于較大的缺失區域無法生成語義正確的結果。

1.2 基于深度學習技術的修復方法

隨著深度學習技術的發展和廣泛被用于圖像處理中，近年來，越來越多基于深度學習技術的圖像修復網絡模型被提出。根據所采用的修復階段的不同，可以將這些圖像修復網絡模型分為單階段、兩階段和漸進式修復三類網絡模型。

單階段修復方法 單階段修復網絡由一個生成器構成，包括一個編碼器和一個解碼器。Pathak 等［7］首次設計了一種基于編碼器-解碼器結構的深度神經網絡模型用于圖像修復，通過組合像素級的重建損失和對抗損失［8］訓練模型，取得了較好的效果。自此，基于深度學習技術的圖像修復方法得到了廣泛的關注。Lizuka 等［9］在單個生成器的基礎上引入全局和局部上下文鑒別器訓練全卷積補全網絡，提高了圖像補全的一致性。Liu 等［10］設計了一個部分卷積運算，該卷積運算能實現掩模逐步更新，從而能更好地填充不規則的孔洞，提升圖像修復性能。Xie 等［11］改進了Liu 等［10］的部分卷積，引入可學習的雙向注意映射。Zeng 等［12］部分改進了生成器的編碼器，提出了金字塔-上下文編碼器網絡，利用注意機制填補缺失的區域，通過注意轉移來完成圖像補全。Liu 等［13］嘗試同時恢復圖像待修補區域的結構和紋理，通過特征均衡融合紋理特征（來自編碼器淺層）和結構特征（來自編碼器深層）。為了能夠更好地修復單個目標對象，Liao 等［14］利用語義分割圖來指導混合場景的修復過程，但該方法需要在訓練階段輸入額外的語義分割信息。Zhang 等［15］提出了一種基于像素的密集檢測器定位修復區域的位置，并將該位置信息插入到重建損失中，使生成器注意到修復區域進一步增強修復結果，以更好地訓練修復網絡。Wang 等［16］通過有效性可遷移卷積和區域復合歸一化模塊，使模型更好地利用插值過程中的有效像素。Zhu 等［17］也從動態概念出發，為圖像修復提出了一種掩模感知卷積和逐點歸一化?；趩坞A段的圖像修復方法由于缺乏足夠的約束，它的修復結果可能會受到影響，如結果中會出現平滑的紋理和不正確的語義等情況。

兩階段的圖像修復方法 所謂兩階段的圖像修復方法指采用的網絡模型包括兩個生成器，前一個完成粗修復，后一個完成更準確的修復。Yu 等［18］提出了兩階段的生成式修復網絡框架，該框架由粗化網絡和細化網絡組成。在細化網絡中，引入上下文注意模擬相關性，并應用于大面積缺失區域的修復，取得了較好的結果。受文獻［10］的啟發，Yu 等［19］采用門控卷積和基于補丁的生成對抗網絡鑒別器改進他們之前的工作［20］，提高了對非規則缺失區域圖像的修復效果。Nazeri 等［21］提出了一種邊緣引導的兩階段圖像修復方法，首先恢復缺失區域的邊緣圖，隨后將該邊緣圖與缺失圖像相結合作為第二階段的輸入，提升缺失圖像的最后修復效果。Ren 等［22］采用邊緣平滑處理的圖像作為結構表示，然后將結構重建和紋理生成相結合完成修復任務。與通常由兩個生成器構成不同，Wu等［23］提出的兩階段網絡模型由一個局部二進制模式的學習網絡和一個生成式修復網絡構成。在兩階段的修復網絡中，第一階段更關注全局的修復，第二階段則細調第一階段修復結果，更關注局部的修復，實現漸進式的修復，使圖像修復結果與真實圖像具有更好的視覺一致性。

漸進式的圖像修復方法 漸進式的圖像修復模型由多個生成器構成，前一個的修復結果送到下一個生成器繼續修復。Zhang 等［20］將圖像修復過程分為4 個不同的階段，并使用LSTM（Long Short-Term Memory）架構［26］控制漸進過程的信息流；然而對不規則缺失區域修復效果不好。為克服這一不足，Guo 等［27］提出了具有多個膨脹模塊的全分辨率殘差網絡；Li 等［28］提出了一個漸進式的視覺結構重建網絡，逐步重建圖像結構和相關的視覺特征，以完成圖像修復；Li 等［29］提出在特征空間中遵循遞歸框架，設計了遞歸特征推理網絡逐步完成圖像修復；Zeng 等［30］提出一種基于置信度的迭代插值方法，文獻［30］網絡類似于文獻［18］，不同的是，用第二個生成器的輸出修復圖像和置信圖，置信圖引導每次迭代時只保留缺失區域的高置信度像素，并在下一次迭代中關注缺失區域剩余像素，以逐步完成圖像修復。漸進式修復網絡整體修復效果較好，但是由于包括多次迭代，前一個生成器的輸出用于指導下一次迭代，因此計算成本高，對設備要求高。

2 Gconv_CS模型

2.1 整體網絡結構

本文提出的融合SAM 和CSFF 模塊的圖像修復網絡（Gconv_CS）是在文獻［19］的網絡模型（Gconv）結構上改進得到。如圖1 所示，整個網絡結構屬于兩階段網絡，由粗網絡和細網絡構成，粗網絡和細網絡都是簡單的編碼器-解碼器結構，采用門控卷積進行卷積操作。Gconv_CS 的粗網絡的輸入是真實圖像Igt和二值掩模圖像M（非缺失像素為0，缺失像素為1），缺損圖像Iin=Igt⊙(1 -M)，Iin先通過第一階段的粗網絡進行修復，得到第一階段的修復結果。將第一階段的修復結果送入SAM 模塊學習注意引導特征，再送入細網絡，微調第一階段的修復結果。同時使用CSFF 機制，將第一階段的編碼器-解碼器的特征信息融合到第二階段的編碼器中，補全在第一階段修復過程損失的信息。第二階段的細網絡由兩個編碼器、一個解碼器構成，其中一個編碼器添加了上下文注意力模塊，另一個編碼器與粗網絡的編碼器采用相同的空洞門控卷積，將兩個編碼器的結果拼接后送入解碼器中，最后將解碼器輸出的最終修復結果和二值掩模圖像拼接后送入譜歸一化馬爾可夫鑒別器（Spectral-Normalized Markovian Discriminator）［19］中鑒別。

圖1 Gconv_CS的網絡結構Fig.1 Network structure of Gconv_CS

表1～5 展示了詳細的網絡結構參數，其中k表示卷積核大小，s表示步長，p表示填充，d表示空洞率，GConv 表示門控卷積，↓表示下采樣，D-GConv 表示空洞門控卷積，T-GConv表示轉置門控卷積，SAM 表示監督注意力模塊，Contextual Attention［18］表示上下文注意力模塊，Conv 表示卷積。

表1 粗網絡中編解碼器參數Tab.1 Parameters of encoder-decoder in coarse network

表2 細網絡中編碼分支結構參數Tab.2 Parameters of encoding branch structure in fine network

表3 細網絡中上下文注意力編碼分支結構參數Tab.3 Parameters of contextual attention encoding branch structure in fine network

表4 細網絡中解碼器參數Tab.4 Parameters of decoder in fine network

表5 鑒別器參數Tab.5 Parameters of discriminator

2.2 監督注意力模塊

通常上階段的修復結果直接傳遞到下一階段，但是傳給下階段的特征信息不一定對修復都有用，因此為了盡可能地傳遞有用特征信息，在第一階段和第二階段之間引入一個SAM模塊，在網絡的訓練階段提供真實圖像的監督，用于過濾無用特征信息，訓練出更好的網絡模型。SAM 有2個作用：1）在網絡訓練階段提供真實圖像監督信號，有助于在下階段恢復圖像；2）生成的注意特征力圖能抑制信息較少的特征傳入下一階段，只允許有用的特征傳播到下一階段。SAM 的網絡結構如圖2 所示，SAM 輸入上階段的修復圖像特征Fin∈RH×W×C，其中H×W為空間維數，C為通道數（C=48），通過1×1 卷積生成圖像與真實圖像計算L1 損失得到殘差圖像Rs∈RH×W×C，真實圖像能夠提供監督，優化修復過程。接下來，由圖像Rs使用1×1 卷積和sigmoid 激活生成像素級注意力特征圖Ma∈RH×W×C。使用1×1 卷積對輸入特征Fin進行卷積操作后再與注意特征圖逐元素相乘。注意特征圖起到控制輸入到下階段特征信息的作用，抑制信息較少的特征傳遞，以實現對特征的重新校準。然后，將校準后的特征與輸入特征相加作為SAM的輸出，傳遞到下一階段進行修復。

圖2 SAM的網絡結構Fig.2 Network structure of SAM

2.3 跨階段特征融合機制

在兩個編碼器-解碼器之間引入了CSFF 機制。CSFF 的網絡結構如圖3 所示，CSFF 將上階段的編碼器和解碼器中相同大小的特征圖分別經過1×1 卷積后融合成一個相同大小的特征圖，然后再與下階段的兩個編碼器中相同大小的特征圖分別進行融合。CSFF 有兩點作用：1）減少編碼器-解碼器中重復上下采樣造成的信息損失影響；2）上階段的多尺度特征能豐富下階段的特征，保留更多的圖像細節特征。

圖3 CSFF的網絡結構Fig.3 Network structure of CSFF

2.4 損失函數

為了更好地修復圖像，本文使用像素級重構損失、感知損失和生成對抗損失訓練網絡。

在實驗中，將真實圖像表示為Igt，對應的二進制掩模表示為M（已知像素為0，缺失像素為1），Gi為第i階段的生成器，因此，第i階段圖像修復結果表示如式（1）所示：

其中⊙表示像素級乘法。

像素級重構損失，包含第一階段和第二階段的像素級重構損失，它的定義如式（2）所示：

其中i表示第幾階段。

感知損失對圖像修復的有效性已得到廣泛驗證，我們將它包括在內，以提高感知重建的準確性。定義如式（3）所示：

其中：?i為修復網絡的第i層特征映射，Ni為?i中元素數。

對抗損失在圖像修復領域應用廣泛，用來提升圖像修復的視覺質量。為了穩定GAN（Generative Adversarial Network）的訓練，使用譜歸一化馬爾可夫鑒別器。定義如式（4）所示：

其中：Dsn為鑒別器，G為缺失圖像z的修復網絡，x是真實圖像。

最后，修復網絡的總損失函數如式（5）所示：

其中：λrec、λper、λadv為權重參數，將參數設置為λrec=100，λper=10，λadv=1。

3 實驗與結果分析

3.1 數據集和評價指標

本文的實驗數據集包括兩個公共數據集和一個自制大熊貓面部數據集。CelebA-HQ 數據集［31］包含30 000 張人臉圖像，隨機選擇28 000張作為訓練集，其余2 000張作為測試集。Places2數據集［32］是大規模場景識別數據集，選擇其中10個類別，每個類別隨機選擇3 000 張圖像，共計30 000 張圖像構成本文修復圖像數據集。每個類別選2 980張，共計28 000張圖像作為訓練集，其余2 000張圖像作為測試集。自建的大熊貓面部數據集包含30 000 張大熊貓面部圖像，隨機選擇28 000張圖像作為訓練集，其余2 000張圖像作為測試集。

為了定量評價圖像修復性能，采用幾個常見的評價指標：L1 損失、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結構相似性（Structural SIMilarity，SSIM）指數和Fréchet 起始距離（Frechet Inception Distance，FID）值。L1 損失是計算修復圖像和真實圖像之間的平均絕對值誤差，以評估每個像素的修復精度，L1 損失越小，圖像修復精度越高；PSNR 是常用的衡量信號失真的指標，PSNR 值越高，圖像質量越高；SSIM指數從亮度、對比度和結構等方面將修復結果與真實圖像進行比較，SSIM 值越高，與真實圖像越相似；FID 值從真實圖像的計算機視覺特征統計方面，衡量兩組圖像的相似度，是計算真實圖像和修復圖像的特征向量之間距離的一種度量，FID 值越小，修復圖像越逼真。前3 個指標基于低級像素值，而后一個指標與高級視覺感知相關。

3.2 實驗設置

本文模型是端對端的訓練，基于PyTorch 框架實現，所有實驗在3 個NVIDIA Tesla T4 GPU 上進行。訓練時采用動量衰減指數β1=0.5，β2=0.999 的Adam 優化器更新網絡參數。網絡初始化學習率為0.000 2，40 個epoch 迭代訓練網絡。每一輪訓練迭代過程，隨機選取8 張512×512 的圖像輸入網絡。

3.3 消融實驗

為了驗證修改部分對模型的有效性，在公開數據集CelebA-HQ 上做消融實驗。實驗結果如表6 所示，基線模型為文獻［19］的Gconv 網絡模型，以Gconv 為基礎分別添加CSFF 模塊和SAM，最后同時添加兩個模塊，對比測試它們的圖像修復性能。添加CSFF 對PSNR 和SSIM 分別提升了20.3%、0.04%，FID 和L1 損失分別降低了9.4%、1.4%；添加SAM 對PSNR 和SSIM 分別提升了22.0%、0.06%，FID 和L1損失分別降低了10.01%、1.5%；同時添加兩個模塊對PSNR、SSIM、FID 和L1 損失等指標結果都有改善，PRNR 和SSIM 分別提升了56.3%、0.51%，FID 和L1 損失分別降低了19.2%、4.2%。實驗結果說明Gconv_CS 網絡結構中添加的兩個模塊是有效的，能提高圖像修復性能。

表6 消融實驗結果對比Tab.6 Ablation experiment result comparison

3.4 對比實驗

將CA（Contextual Attention）［18］、PEN（Pyramid-context Encoder Network）［12］、PConv［10］、Gconv［19］和本文的Gconv_CS模型做對比實驗，對以上模型的圖像修復結果進行定性定量分析比較。其中：CA 是一個由粗到細的兩階段模型，它引入上下文注意模塊，有助于在有效像素之間建立遠距離相關性；PEN 的主干網絡是U-Net，通過跨層的非局部模塊從深到淺填充缺失區域；PConv 采用部分卷積層處理孔內外顏色差異的問題；Gconv 是一個兩階段模型，結合了門控卷積和馬爾可夫鑒別器用于圖像修復。

分別對CelebA-HQ 和Places2 兩個公開數據集進行修復對比，其中對比了5 種修復算法對512×512 大小圖像的修復，圖像缺失區域采用Liu 等［10］提出的非規則缺失區域的掩模數據集。修復指標定量對比實驗結果如表7、8所示，其中Masks表示缺失區域占比。

表7 在CelebA-HQ數據集上的定量實驗結果比較Tab.7 Quantitative experiment result comparison on CelebA-HQ dataset

表8 在Places2數據集上的定量實驗結果比較Tab.8 Quantitative experiment result comparison on Places2 dataset

從表中結果可以看出，Gconv_CS 模型在所有修復模型中具有最佳性能：在缺失區域面積較小的時候，5 種修復模型的結果差別不大；但是修復缺失區域面積較大時，CA、PEN 和PConv 這三種修復網絡的修復結果較差，Gconv 和Gconv_CS相對較好。再對比Gconv 和Gconv_CS 發現，Gconv_CS 優于Gconv，如在修復Masks 大小為1%～10%時，在CelebA-HQ 數據集上，相比Gconv 網絡模型，Gconv_CS 模型的PSNR 與SSIM指標上分別提升了1.5%、0.5%，FID 與L1 損失上分別減少了21.8%、14.8%；同樣地，在Places2 數據集上，Gconv_CS 模型的PSNR、SSIM 分別提升了26.7%、0.8%，FID 與L1 損失分別減少了7.9%與37.9%。

圖4 顯示了5 種修復模型的視覺效果。

圖4 五種圖像修復模型的視覺比較Fig.4 Visual comparison of five image inpainting models

如圖4 可見，比較面部修復結果，Gconv_CS 可以更好地修復面部特征。CA、PEN 和PConv 能大致修復面積較小的缺失區域，但它們修復結果會存在大量的偽影，面部五官的修復結果不真實，難以辨別；對大面積缺失區域的修復結果的視覺質量相對較差，易產生扭曲的結構，模糊的紋理。Gconv修復效果較好，但對于大面積缺失區域的修復結果也會出現模糊、偽影等現象，難生成復雜結構性紋理，如：背景修復出現偽影（圖4（f）中，第3～7 行白色圈標注的區域）；對嘴唇、牙齒的修復結果不自然（圖4（f）中第5、6 行）；對眼睛等復雜結構的修復結果模糊，眼球顏色不統一（圖4（f）中第2、6、8行）。Gconv_CS 模型能更好地修復圖像，對背景修復更自然，對眼睛、牙齒等復雜結構的修復更加美觀，與真實圖像最接近。

4 實例應用

在對動物進行攝像拍照時，由于動物身處周邊環境的復雜性，拍攝的動物圖像難免會被周圍的遮擋物遮擋，不能拍攝到完整的動物圖像，如在拍攝大熊貓面部時，大熊貓面部圖像往往被障礙物遮擋，不能拍攝到完整的大熊貓面部圖像。去除大熊貓面部圖像上的遮擋區域有以下意義：1）拍攝者能夠更方便地獲得完整的大熊貓面部圖像，不必找時機在沒有遮擋物時再拍攝；2）為基于大熊貓面部圖像的大熊貓個體識別提供沒有遮擋物的面部圖像，提高面部圖像識別的準確率。特別對于野生大熊貓，由于野生環境復雜，不僅很難拍攝到野生大熊貓的圖像，而且即使拍攝到，大多有遮擋物。因此，為了得到完整的大熊貓圖像，需要采用圖像修復方法去除遮擋物。如圖5 所示，4 張大熊貓面部圖像都有竹子或者竹葉的遮擋，采用Gconv_CS 網絡模型去除這些遮擋，恢復完整的大熊貓面部圖像。從修復圖像可以看出，Gconv_CS網絡模型能成功修復遮擋區域，恢復完整的大熊貓面部圖像，獲得較好的視覺結果。

圖5 大熊貓面部去遮擋展示Fig.5 Display of giant panda face de-masking

5 結語

通過在Gconv 網絡模型中添加CSFF 和SAM 兩個模塊進行改進，實驗結果表明這兩個模塊有效改進了Gconv 的圖像修復性能。主要原因是：CSFF 模塊通過跨階段特征融合機制將上階段的編碼器和解碼器特征進行融合，同時獲取上階段低級和高級特征，再將融合后的特征與下階段兩個編碼器對應大小特征進行融合，彌補上階段信息順序傳遞過程中的丟失的信息；SAM 通過將上階段修復區域的修復情況作為控制信息，起到過濾特性信息的作用，使得下階段修復時網絡模型更加注意上階段修復不理想的區域，優化下階段修復結果。后續研究將把Gconv_CS 網絡模型用于野生動物圖像的遮擋修復，特別是應用于修復大熊貓遮擋區域，提升對野生動物的目標檢測和個體識別性能。