像素補償的輕量級圖像超分辨率重建*

王 梅，李云紅，李麗敏，李嘉鵬，史含馳

(西安工程大學 電子信息學院,西安 710048)

圖像超分辨重建(Super-Resolution,SR)是計算機視覺的基本任務之一,目標是將給定的低分辨率(Low-Resolution,LR)輸入圖像恢復成高分辨率(High-Resolution,HR)圖像[1]。該任務在人臉識別[2]和圖像修復[3]等領域有著重要的作用。隨著深度神經網絡(DNNs)的快速發展,SR在性能上有了前所未有的飛躍。文獻[4]首次在超分辨率領域中使用的深度學習,提出一種基于深度學習的超分辨率卷積神經網絡(Super-Resolution Convolutional Neural Network,SRCNN),該結構采用三層卷積神經網絡,重建出良好的效果。在此基礎上,文獻[5]在網絡中加入殘差鏈接構建20層基于殘差學習的超分辨率網絡(Accurate Image Super-Resolution Using Very Deep Convolutional Networks,VDSR),通過加入殘差模塊以及自適應梯度裁剪的方法提高了模型的收斂速度。DRRN[6]算法是在VDSR算法上提出,通過深度遞歸殘差網絡結構、殘差連接和批歸一化等關鍵設計,實現了高質量的圖像超分辨率重建效果。文獻[7]提出了超分辨率殘差網絡 SRResNet,學習低分辨率圖像到高分辨率圖像的映射關系,實現圖像的超分辨率重建。文獻[8]優化了傳統ResNet中的不必要模塊,提出增強深度超分辨率網絡(Enhanced Deep Residual Networks for Single Image Super-Resolution,EDSR),采用多尺度參數共享的方式提升網絡性能。文獻[9]提出的金字塔超分辨率網絡LapSRN用于將輸入的低分辨率圖像分解為不同尺度的子圖像,每個子圖像都對應著特定的分辨率級別,重建網絡使用這些子圖像來逐漸重建出高分辨率的圖像。文獻[10]考慮到不同通道特征的重要性不同,利用通道注意力(Residual Channel Attention Networks,RCAN)對不同通道賦予權重,通過通道間的依賴關系聚焦邊緣紋理特征?；谧⒁饬Φ姆赐队熬W絡ABPN[11]在通過引入注意力機制自動捕捉和強化圖像的局部細節信息。文獻[12]提出的基于整體注意力的超分辨率重建網絡(Single Image Super-Resolution via a Holistic Attention Network,HAN)利用了兩種不同的注意力機制,該模型使用層次注意模塊(LAM)來融合不同階段的特征信息,同時利用通道-空間注意模塊(CSAM)來調節通道和位置之間的整體關系,獲得更好的超分效果。文獻[13]采用非局部平均濾波的思想,提出非局部均值超分辨率重建算法,有效抑制了人工偽影,在視覺效果上取得了良好的結果。文獻[14]提出生成式對抗網絡重建算法,修改了殘差網絡結構和網絡參數,使重建后的圖像視覺效果更好。為了降低算法模型的復雜度,文獻[15]設計了一種輕量級的自適應加權超分辨率網絡(Adaptive Weighted Super-Resolution Net‐work,AWSRN),實現了準確率和計算消耗之間的平衡,減少圖像的空間冗余。文獻[16]提出多重蒸餾網絡(Lightweight Image Super-Resolution with Information Multi-distillation Network,IMDN)采用多重蒸餾模塊分離圖像特征,在降低網絡參數的同時提高重建性能。文獻[17]提出一種像素注意力網絡(Efficient Image Super-Resolution Using Pixel Attention,PAN),通過像素注意力模塊引入了較少的附加參數,生成了更好的SR結果。文獻[18]提出 AMGAN旨在解決多重降質情況下的超分辨問題。

以上算法取得了不錯的重建效果,但多數網絡模型傾向于將大量的卷積層堆疊的標準模式,不能充分利用中間層次的特征信息。針對上述問題,文中提出一種基于像素補償的輕量級超分辨率重建網絡(Lightweight super-resolution network based on pixel compensation,LSRNPC)。在網絡模型方面,首先利用像素坐標注意力模塊構建殘差嵌套注意力網絡,在減少模型參數的同時快速捕捉高頻特征信息。其次,通過創建多分支網絡來融合不同層次的特征,并采用全局級聯和融合的方式來獲取包含更全面信息的特征。然后設計了像素補償機制來分配特征通道的權重比例,以較少的額外參數來保留更多深層信息特征,使得重建后的圖像紋理更加豐富。在實驗設計方面,將文中算法與SRCNN,FSRCNN,VDSR,IMDN,PAN等算法對比并進行定量和定性的評估,以驗證文中算法的有效性,通過比較各個算法在重建圖像質量、保留細節和提升視覺感知上的表現,可以評估論文算法的優勢和改進之處。

1 像素補償的圖像超分辨率重建網絡

圖1展示了像素補償的圖像超分辨率重建網絡整體框架。該網絡框架包括三個模塊:特征提取模塊(Feature Extraction Module,FRM)、非線性特征模塊(Nonlinear Feature Module,NFM)和最后的重建模塊(Reconstruction Module,RM)。對于給定的數據對(ILR,IHR),首先利用特征提取模塊對圖像ILR提取淺層特征F0,具體過程為

F0=f0(ILR),

(1)

其中,f0(·)表示卷積核為3×3的卷積層。提取的淺層特征F0被輸入到非線性特征模塊來獲取具有更加細致的深層特征。非線性特征模塊由級聯的殘差嵌套注意力網絡(Residual Nested Attention Network,RNAN)、多分支融合網絡(Multi-branch Fusion Networks,MFN)以及長跳躍鏈接組成。NFM提取過程為

FDR=CNFM(F0),

(2)

式中:CNFM(·)為MFN的特征提取操作;FDR為該模塊的輸出。將提取到的深層特征FDR通過重建模塊來得到高分辨率圖像。不同于其他方法,重建模塊由像素補償網絡(Pixel Compensation Network,PCN)和一個3×3的卷積層構成。該模塊可以將提取出的高頻特征進行細化,得到更精確的高頻特征和更具有豐富紋理信息的重建特征,該過程為

ISR=fRE(FDR),

(3)

式中:fRE(·)為重建模塊;ISR為網絡重建出的高分辨率圖像。

1.1 殘差嵌套注意力網絡

殘差嵌套注意力網絡(Residual Nested Attention Networks,RNAN)使用殘差嵌套網絡提取不同層次的信息,以聚焦更多邊緣細節紋理特征。RNAN包含三個殘差組(Residual Group,RG)和長跳躍連接,每一個殘差組包含四個具有短跳躍連接的像素坐標注意塊(Pixel Coordinate Attention Block,PCAB),這種結構可進一步優化網絡的表征能力。

PCAB結構如圖2所示。該結構使用像素坐標注意力模塊(Pixel Coordinate Attention Mechanism,PCAM)代替傳統的通道注意力模塊,在降低參數的同時,得到更為優秀的注意力特征提取特征。當輸入的特征經過第N個RG時,該過程為

FN=HN(FN-1),

(4)

式中:HN為第N個RG;FN-1、FN為第N個RG的特征輸入與特征輸出。當特征圖經過殘差組中的PCAB時,先通過兩層3×3的卷積層、Relu激活函數,然后輸入到PCAM中來捕獲特征的方向感知和位置敏感信息,以此增強高頻特征。

圖3展示所設計的PCAM的結構。PCAM不僅考慮了通道間的信息,而且利用了特征的位置信息,這使得嵌套網絡更準確地定位到并識別目標區域。同時該網絡結構具有更少的參數量,從而降低網絡的復雜度。

為了使得注意力模塊通過像素位置信息在空間上實現交互,將全局平均池化分解為水平方向與垂直方向的兩種操作分別得到對應的1D特征。具體而言,對于W×H×C的特征,分別在X軸Y軸上進行池化操作,以第C個通道特征為例,分別用下列公式來對水平方向與垂直方向生成的特征進行表示

(5)

(6)

f=?(F1([Zh,Zw])),

(7)

式中:[,]為Concat操作;?為Relu激活函數;f∈RC/r×(H+W)為對空間信息的映射結果。另外通過1×1的卷積層以及Sigmoid函數,得到與輸入特征一樣的通道張量,通過長跳躍連接與輸入特征進行卷積,得到高頻特征。具體為

(8)

式中:δ為Sigmoid函數;C2d(·)為卷積操作;yc為像素坐標注意力模塊的輸出。

1.2 多分支融合網絡

如圖4所示,多分支融合網絡(Multi-branch Fusion Networks,MFN)使用一種順序并聯策略進行不同分支的特征融合。該網絡采用多分支框架結構,將嵌套殘差注意力網絡中每個殘差組的輸出作為該模塊的輸入,先通過卷積層進行通道降維,去除大量冗余參數,再對不同分支進行特征融合,進一步提取圖像高頻特征。

圖4 多分支融合網絡

對于第i個殘差組的輸出特征Fi,首先把Fi輸入到1×1的卷積層,將特征維度降低一半,以便于維持拼接后特征維度不變;之后通過Relu函數對特征進行激活;最后將激活后的特征通過Concatenation層與下個分支提取的特征融合,以此類推。特征Fi表示不同分支的輸入特征,使用以下公式進行融合。

(9)

式中:xi為第i個融合特征的輸出;f(·)為卷積和Relu操作。通過這種順序級聯的方式,特征融合模塊可以整合來自所有中間特征,從而有助于提取更多層次的上下文信息。最后將RNAN和MFN輸出特征輸入Concatenation層、1×1卷積層,得到非線性特征模塊輸出的特征圖,再與淺層特征F0求和后,輸入重建網絡,具體為

FDR=Conv1×1([x3,F3])+F0,

(10)

式中:Conv1×1(·)為1×1的卷積層;[,]為Concat操作;FDR為非線性特征模塊的輸出。

1.3 重建模塊

目前,基于深度學習的超分辨率重建算法的重建模塊基本由上采樣(基于插值或基于亞像素卷積)和卷積層組成?；趤喯袼鼐矸e的上采樣,實現從低分辨率特征到高分辨率特征的映射,使重建的圖像更接近原始圖像,但其運算參數較多,結構較為復雜?；诓逯档纳喜蓸铀惴?降低了運算難度,但重建的圖像存在邊緣模糊,紋理錯位的現象。因此,文中設計U-PB網絡,U-PB網絡由雙線性插值層、像素補償模塊(Pixel Compensation Block,PB)以及兩個卷積層的組成。其中PB結構如圖5所示。

圖5 像素補償網絡結構

為了實現網絡的輕量化,PB結構采用深度可分離卷積(Depthwise Seperable Convolution,DSC)[19]以及sigmoid函數并聯而成。DSC層利用卷積操作對輸入特征的不同通道進行獨立運算,對不同的通道提取不同的特征,不必擴展特征圖的通道,節約運算成本。具體為

Fout=Fin+δ(Conv1×1DSC(Fin)),

(11)

式中:Fin為輸入PB的特征;Conv1×1DSC為尺寸大小為1×1的DSC卷積核;Fout為PB的輸出。由U-PB結構組成的重建模塊在提高運算速度的同時進一步加強重建特征的高頻信息,在一定程度上補充了由于上采樣而導致的像素損失。

1.4 損失函數

在圖像視覺領域,損失函數用來定義模型所生成的HR圖像與真實的參考圖像之間的差異,在基于深度學習的優化過程中起著不可缺少的作用。在超分辨率重建算法中,通常使用損失函數L1與損失函數L2作為重建過程的損失函數。其中,L2損失函數收斂速度較慢,對異常數據過于敏感,重建后的圖像經常出現缺失高頻細節和輪廓邊緣過于平滑的問題,而L1損失函數可以防止重建過程中圖像的失真現象[20]。因此文中使用L1損失函數作為優化函數,表達為

(12)

式中:yi為重建后的圖像;f(xi)為對應的真值圖;i為第i張訓練圖像。

2 實 驗

實驗環境:采用Pytorch深度學習框架搭建,在Ubuntu18.04 LTS 64-bit操作系統上實現,服務器擁有 12 GB 的運行內存,顯卡為NVIDIA RTX 3060。文中的實驗采用Adam優化器,設置β1=0.9,β2=0.999,ε=10-8。學習率初始值設為0.000 1,批次設置為8。利用DIV2K作為訓練集,epoch設為300,每訓練50個epoch學習率變為原來的一半。

2.1 數據集

采用DIV2K(DIVerse 2K)數據集對模型進行訓練。該數據集一共包含1 000幅真值圖像。其中含有800張訓練集圖片用于模型訓練,100張驗證集圖像來驗證模型效果以及最后100幅測試圖像對模型進行測試。對于測試部分,采用了超分辨率重建任務中廣泛使用Set5,Set14,BSD100,Urban100和Manga109共5個基準數據集。這些測試集包含生活中常見的圖像種類,用于驗證不同算法的模型性能。此外,在進行論文網絡算法的訓練之前,還需要對數據集中的訓練圖像進行預處理操作。將數據集中訓練圖像分別進行了2、3和4倍的雙三次下采樣處理之后,作為訓練網絡的輸入圖像。

2.2 評價標準

圖像超分辨率重建任務中,通常使用兩種角度對重建圖像進行評價。一種是主觀評價,由人的視覺感官系統直觀地對重建圖像的清晰度、邊緣紋理細節部分進行評價。另一種為客觀評價,通過各類指標數值評估重建后圖像與真值圖像的差異。為了有效地驗證模型的重建效果,通常使用峰值信噪比(Peak Signal To Noise Ratio,PSNR)和結構相似性(Structure Similarity,SSIM)評估不同類型的模型生成圖像的重建質量。

2.2.1 PSNR指標

(13)

(14)

式中:Xi為真值圖像像素點;xi為重建后的圖像的像素點;xmax為真值圖像中的最大像素值;MSE為回歸損失函數中最常用的誤差。MSE是對應真實圖像像素值與重建圖像像素值之間差值的平方和,當MSE最小時,PSNR數值取最大。此時,像素點差異最小,但由于沒有考慮到人眼的視覺感知能力,因此容易導致圖像主觀感知質量較差,所以需要與SSIM指標一起使用。

2.2.2 SSIM指標

(15)

式中:μxμy為圖像像素的平均值;?x?y為圖像像素的標準差;?xy為兩個圖像的協方差;C1、C2為常數。SSIM指標沒有特定單位,其取值范圍在0到1之間,值越接近1表示重建圖像與原圖在結構上越相似,效果越好,反之重建圖像的效果越差。

2.3 消融實驗

為了驗證論文算法各個模塊的優越性,采用RCAB代替PCAB,用亞像素卷積代替像素補償網絡,去掉多分支特征融合模塊(Multi-branch Fusion Module,MFM)。其中,RCAB是RCAN提出的一種考慮特征信道之間的相互依賴性自適應的調整特征的模塊,亞像素卷積是SR算法中常見的上采樣方法。

由表1可以看出,通過將“PCAB+RIR”和“RCAB+RIR”進行客觀指標的比較,所設計模型參數量較小,同時在放大倍數為2時,PSNR/SSIM都有不錯的提升。上述實驗結果證明了PCAB可以利用像素位置注意力來捕獲更多高頻特征?！癙CAB+MFM”組合與“RCAB+MFM”組合相比,參數量降低了32k,在2倍放大倍數下,PSNR/SSIM均有提高,PSNR平均提高了0.04 dB,SSIM提高了0.000 5。實驗證明了“PCAB+MFM”在網絡參數增加較少時,重建圖像的數值更高,提升了網絡的表達能力。為了體現所設計PB模塊的有效性,文中設計了對應的消融實驗。

表1 不同模塊對網絡模型的影響

從表1可以看出,當參數量增加65k時,在2倍放大倍數下,PSNR增加了0.08 dB,SSIM增加了0.006,證明了所提出PB模塊的有效性。

在Set5數據集下,不同重建算法4倍上采樣的參數量和性能如圖6所示?？梢灾庇^看出,文中算法模型參數量僅有0.645 M,相比于CARN,參數量大小相差2.5倍,并且重建出來的效果優于CARN。與輕量級算法MemNet相比,參數量降低了16k,PSNR高了0.41 dB。

圖6 不同網絡參數量對比

2.4 實驗結果與分析

為了證明所提出算法的有效性,在5個基準數據集上與對比算法進行不同倍數的客觀對比,具體見表2～4。從表中可以看出,所提出的方法在放大倍數為2倍,3倍和4倍時所有的PSNR值均處于最優,最高可以提升0.26 dB。同時所提出方法的SSIM值也優于大多數算法,因此可以證明所提出算法的有效性。

表2 2倍尺度下不同算法的PSNR/SSIM對比

表3 3倍尺度下不同算法的PSNR/SSIM對比

表4 4倍尺度下不同算法的PSNR/SSIM對比

2.5 主觀視覺分析

為了驗證算法的有效性,在DIV2K數據集上進行放大因子為4的測試實驗。如圖7所示,在圖像“0801.png”上不同算法的測試結果?？梢钥闯鲈贒IV2K測試集中,千萬級參數的CARN算法重建出企鵝毛發的較為粗糙,存在結構形失真的現象。SRCNN以及FSRCNN算法無法重建出毛發的細節,重建效果較差。對比同為輕量級PAN算法,文中重建出的毛發數量和細節更加清晰,證實了文中重建算法的有效性。

為了進一步直觀地比較不同算法的重建效果,在主觀視覺方面進行細節分析。圖8為不同算法在Set5數據集下放大倍數為2倍“baby”圖像重建的可視化結果。從重建圖像細節來看,論文提出的算法重建的圖像瞳孔色澤鮮艷,睫毛形狀與紋理更加清晰。與其他算法相比,文中提出的算法重建效果更加優異。圖9為不同算法在Set14數據集下放大倍數為3倍“comic”圖像的各算法的重建效果,其他算法對帽子銀飾邊緣部分較為模糊,重建效果并不理想。文中算法可以重建出銀飾掛墜的形狀,細節恢復更加清晰。圖10為不同算法在Urban100數據集下放大倍數為4倍“img031”圖像各算法的重建效果。對局部擴大后,可以看出夜光下燈絲的細節重建效果更加細膩。

圖8 放大尺度為2倍的效果對比圖

圖9 放大尺度為3倍的效果對比圖

圖10 放大尺度為4倍的效果對比圖

通過與其他算法進行對比,文中算法在不同尺度下重建的圖像邊緣清晰,紋理清晰,在色澤方面更接近原圖,重建效果更加準確。

3 結 論

文中提出一種基于像素補償的輕量級超分辨率重建網絡。為了減少模型參數的同時恢復更多的高頻信息,設計像素坐標注意力模塊,通過利用通道間信息以及特征的位置信息得到包含有更多高頻信息的特征?？紤]到不同階段特征所包含信息的差異性,設計多分支融合機制自適應的融合中間特征來獲取到更具有表示性的特征。最后設計像素補償網絡避免上采樣中的信息損失,提升重建效果。大量的對比實驗證明所提出算法可以在較少的參數量下取得更優的PSNR/SSIM值,重建出的圖像紋理清晰,具有更好的視覺效果。