基于多路徑殘差網絡交叉學習的圖像超分辨率重建

郭鋒鋒，馬 璐

（宿州職業技術學院，安徽宿州234000）

0 引言

圖像超分辨率重建是低分辨率圖像經過一系列操作獲得對應高分辨率圖像的技術。在生產生活中，由于硬件設備的限制和后續圖像處理的需要，需要對低分辨率圖像進行超分辨重建。圖像超分辨率重建技術具有較低的成本和較好的靈活應用的特點，因此被廣泛應用在醫學影像［1］、遙感監測［2］、人臉識別［3］和其他一些領域［4-5］。

圖像超分辨率重建方法存在很多，其中傳統的方法主要有插值法和基于重建的方法［6-7］，這些方法重建速度快，但重建圖像邊緣比較模糊，細節信息丟失比較嚴重。隨著信息技術的發展，基于學習的超分辨率技術開始迅速發展起來。楊建超提出基于稀疏編碼的圖像超分辨率重建，并獲得了較好的重建效果［8］。Dong等人優化字典學習過程，提高的了圖像超分辨率重建速度和準確度［9］。另有基于樣例的超分辨率重建方法被提出，利用結構相似的圖像塊對高分辨率圖像重建［10］。2014年ANR方法和A+方法在基于流型學習和錨點鄰域回歸等理論上進一步提高了超分辨率重建的圖像質量［11-12］。而隨著深度學習在圖像處理領域的廣泛應用，SRCNN［13］借鑒基于字典學習的超分辨率重建方法，提出利用深度卷積網絡進行超分辨率重建圖像，并獲得不錯的結果，但網絡模型訓練時間比較長。后來，VDSR［14］網絡模型被提出，只對低分辨率圖像中缺失的高頻信息進行重建，并增加卷積網絡深度，顯著的提高了重建圖像的質量和網絡模型學習效率。而后，利用殘差網絡的超分辨率重建模型SRResNet［15］和EDSR［16］進一步的提高了超分辨重建圖像的質量。

但是圖像超分辨率重建的網絡模型多為單支網絡進行訓練學習，不能夠充分學習高低分辨率圖像之間的映射關系。而為了增強網絡學習能力，本文提出了基于多路徑殘差網絡交叉學習的網絡模型。首先利用訓練更快、學習能力更強的殘差網絡進行訓練學習訓練數據集中高低分辨率圖像映射先驗信息，再擴展單支殘差網絡為3支獨立的殘差網絡并聯為網絡模型，并使用原來學習的網絡模型進行初始化，以增強超分辨率重建網絡模型的先驗信息學習能力。為了進一步充分利用多路徑網絡的信息，采用一種網絡交叉學習的方法實現不同路徑網絡的信息共享。通過文中實驗可證明，利用本文提出的超分辨率重建網絡獲得的高分辨率圖像，在主客觀評價中都優于其他一些深度卷積網絡模型。

1 殘差網絡

殘差網絡（ResNet）是一類主要由殘差塊構成的卷積神經網絡，該網絡是由何凱明等人于2015年提出［17］。傳統卷積網絡在達到一定深度后，常常在淺層網絡參數更新時造成深層網絡的梯度消失，從而導致無法更新淺層網絡的參數。另一方面，隨著卷積網絡深度的增加，網絡也會出現退化問題，網絡深度增加反而會造成網絡性能下降。由此，ResNet為了解決上述問題，引入了跳躍連接的殘差塊，殘差塊結構如圖1。殘差塊的輸出x0為：

其中，xi為殘差塊的輸入，F（xi）為xi經過卷積層1、激活層relu和卷積層2后得到的結果。在普通卷積網絡中，如圖1，當卷積網絡深度過大而深層的卷積層出現冗余時，即理想中的卷積層映射為恒等映射xo＝xi，則卷積層優化函數為H（xi）＝xi。而如果殘差塊出現最優輸出xo＝xi時，其卷積層優化公式為F（xi）＝x0-xi＝0。顯然，殘差塊的卷積層優化更簡單，有效解決了卷積網絡退化問題。

另一方面，在ResNet中假設某一淺層單元的特征為xl，任意深層的特征xL可以計算為：

在反向傳播中假設損失函數為C，則根據鏈式法則可計算淺層單元傳遞：

從公式中可見反向傳播中網絡的深層單元梯度信息可不通過權重層直接傳遞到淺層單元，并且1+］保證了不會出現梯度消失的情況。

圖1 無跳遠連接單元和殘差塊單元

相比于傳統卷積網絡，ResNet通過加入跳躍連接而使網絡優化變得更容易。跳躍連接類似于執行了簡單映射，并不會使網絡參數增加，其計算復雜度也不會增大。此外，網絡退化和梯度消失的問題得以解決，也使得ResNet允許實現更深層的網絡訓練和學習并表現出更出色的性能。

在將ResNet網絡用于單幅圖像的超分辨率重建問題時，假設高分辨率圖像由低分辨率圖像信息和丟失高分辨率信息構成，則利用殘差網絡可只進行丟失高分辨率信息的學習，而低分辨率信息采用跳躍連接的方式直接映射，避免了重建工作的重復，降低圖像重建任務的計算復雜度。

2 多路徑交叉學習殘差網絡

為了增強殘差網絡對于單幅圖像的超分辨率重建，提高卷積網絡的學習能力，本文提出了多路徑交叉學習的殘差網絡。其結構如圖2：

圖2 多路徑交叉學習殘差網絡

該殘差網絡主要由3支子殘差網絡構成，每支殘差網絡互相交叉共享特征信息。低分辨率圖像Image先分別通過不同的預處理操作Pre0，Pre1，和Pre2進行圖像的初級變換，再分別通過特征層Conv1進行特征分解為多個特征層，然后通過交叉學習的殘差網絡重建高分辨率圖像，最后通過Pro_t層對3支不同路徑獲得的高分辨率圖像進行疊加獲得最終的圖像SR。

2.1 多路徑殘差網絡

單一路徑的殘差網絡直接使用待重建的低分辨率圖像最為輸入數據，雖然能夠比較好的實現圖像超分辨率重建的任務，但對低分辨率圖像信息處理比較簡單，沒有很好利用圖像數據先驗信息在不同特征表達中的信息側重。為了對低分辨率圖像特征進行更具有針對性的學習，多路徑殘差網絡被提出。該網絡主要由3支殘差網絡組成，每支殘差網絡由預處理操作層（Pre0，Pre1，和Pre2）、特征層（Conv1）、殘差網絡層和重建層（Conv2和Pro_t）構成。

預處理操作層主要對低分辨率圖像進行一定的預處理操作，使圖像數據從多個角度進行下游任務的學習。其中，Pre0層為對低分辨率圖像進行簡單的雙三次插值操作?？紤]到高分辨率圖像到低分辨率圖像的映射關系之間，丟失的主要是高頻邊緣和紋理信息，Pre1層則為低分辨率圖像進行雙三次插值操作和Sobel邊緣檢測操作。而根據一些傳統圖像重建方法可知，不同幾何變換后進行重建的圖像進行融合會使圖像質量有一定的提升，因此Pre2層則對低分辨率圖像進行雙三次插值、旋轉180度并鏡像變換。

特征層Conv1由1個大小為3*64*H*W（H和W分別為輸入圖像的高度和寬度）的卷積層組成，主要用來對輸入圖像進行特征分解為64通道的特征圖，為下游殘差網絡學習做準備。

殘差網絡層為由16個殘差塊單元（如圖1）級聯組成的殘差網絡，其中每個殘差單元中的2個conv卷積層大小為64*64*H*W，激活函數采用relu函數。3支路徑的殘差網絡層結構相同。殘差網絡層是該網絡的主體部分，用來學習高低分辨率圖像之間的先驗映射信息。同時，采用相同的結構也更方便網絡的訓練。

重建層由初級重建層Conv2和融合層Pro_t組成。其中Conv2為大小64*3*H*W的卷積層，主要用來將64通道的特征圖重建為3通道圖像。融合層Pro_t主要是將3支路徑重建的圖像進行融合。假設3個通道初級重建后的圖像分別為SR1，SR2和SR3，對應的融合系數矩陣分別為w1，w2和w3，則最后的重建圖像SR為：

因此，融合層采用大小為9*3*H*W的卷積層。

在網絡訓練階段，由于每支路徑的殘差網絡結構相同，可采用由簡到繁的訓練步驟。本文先單獨進行1路徑（Pre0路徑）的網絡訓練，再以該訓練好的網絡權重參數為基礎對其他兩支路徑的網絡進行初始化，并分別單獨訓練，最后將3支路徑網絡進行聯合訓練。這能夠大大較少訓練所花費的時間。

2.2 多路徑交叉學習殘差網絡

為了更進一步增強多路徑殘差網絡的特征學習能力，且考慮到增加殘差網絡深度會大大增加網絡的計算復雜度，本文提出采用多路徑殘差網絡進行交叉學習的策略。交叉學習使得不同路徑的殘差網絡可以共享特征信息。

在多路徑殘差網絡基礎上，對殘差網絡層進行調整。殘差層由殘差單元（ResUnit）和擴展殘差塊（ResBlock2）構成。每支交叉學習路徑的殘差層如圖3：

圖3 交叉學習框架中的殘差層

其中ResUnit由3個殘差塊單元（ResBlock）級聯組成，而擴展殘差塊單元ResBlock2結構如圖4所示。

圖4 擴展殘差塊單元ResBlock2

交叉學習采用在殘差層的每個ResBlock2前兩兩交叉共享信息的方式進行學習，即Pre0路徑和Pre1路徑、Pre1路徑和Pre2路徑、Pre1路徑和Pre3路徑。

在多路徑交叉學習殘差網絡進行訓練時，仍然使用單支網絡逐一訓練的方式。其中，待訓練的殘差網絡交叉學習的另一支路徑的信息直接采用特征層的輸出信息。在完成單支網絡訓練后再進行整體網絡的訓練。

3 實驗及結果

為了驗證提出的多路徑交叉學習殘差網絡在圖像超分辨率重建中的性能，本文利用Pytorch框架搭建了多路徑交叉學習殘差網絡（Proposed），并利用配置為i7 CPU、顯卡為GTX1080Ti的計算機上進行訓練。同時，引用了 SRCNN［13］、VDSR［14］、算法 1［18］、GEGREEMV［19］與本文方法在標準數據集 Set5、Set14和B100上進行對比。

本文搭建的網絡訓練集采用DIV2K數據集，初始學習速率為0.01，網絡卷積層的其它參數則采用第3、4節中所設定數值。實驗結果如表1。

表1 不同超分辨率重建算法的PSNR（dB）比較

圖5 butterfly（SRCNN、算法1、GEGREEMV、VDSR、Proposed

圖7 woman（SRCNN、算法1、GEGREEMV、VDSR、Proposed）

根據表1中的實驗結果可以看到，相對其他幾種用于單幅圖像超分辨重建的算法，本文提出的多路徑交叉學習殘差學習網絡獲得重建圖像的PSNR最高。這客觀反映了本文所提出的算法的有效性和優越性。

而圖5～7為實驗中幾種算法在SET5上尺度因子為4時重建的部分結果圖像，從圖中可以看到，本文算法對于圖像邊緣的重建更清晰，且沒有重影，優越于其他幾種方法。這也可以證明邊緣信息學習路徑可以增強殘差網絡對于圖像邊緣信息的學習能力。

此外，多路徑殘差網絡（Proposed 1）和多路徑交叉學習殘差網絡（Proposed 2）在SET5和SET14測試的結果如下。根據表2可知多路徑交叉學習殘差網絡比多路徑殘差網絡重建的圖像PSNR高，這證明了交叉學習策略的應用在增強殘差網絡學習能力中的有效性。而交叉學習則在不增加網絡卷積層深度的情況下，擴展了多路徑殘差網絡學習的信息數據，有效增強了超分辨率重建網絡的特征表達能力。

4 結論

基于深度學習的單幅圖像超分辨重建問題在近幾年被越來越多的研究學者所關注。而針對當前殘差網絡在圖像超分辨率重建應用中存在的問題，本文提出了多路徑殘差網絡交叉學習來增強卷積網絡對高低分辨率圖像之間先驗映射信息的學習能力。通過擴展圖像數據邊緣和幾何變換下的特征學習，多路徑殘差網絡能夠更精確的學習先驗映射中的邊緣細節。另一方面，提出殘差網絡交叉學習的策略，在增加少量參數的情況下實現不同路徑通道信息的共享，提高單支網絡的特征表達能力，從而進一步優化最終的超分辨重建圖像。本文所提算法分別在多個數據集上與當前的一些殘差網絡模型進行了對比，實驗結果在客觀和主觀評價中均表現出本文算法超分辨率重建的圖像質量更好。