多路徑特征融合的遙感圖像超分辨率重建算法

張艷，盧宣銘，劉國瑞，劉樹東，孫葉美

(天津城建大學 計算機與信息工程學院，天津 300384)

0 引言

遙感圖像作為地表信息的重要數據，在遙感領域有著關鍵作用。高分辨率(high resolution，HR)的遙感圖像不但具有豐富而細致的紋理，而且其所包含的關鍵信息在物體識別[1]、目標檢測[2-3]、土地覆蓋分類[4-6]等工作中有著不可取代的價值。然而，因為受到成像設備以及圖像傳輸條件的限制[7-8]，所獲得的衛星圖像往往是低分辨率(low resolution，LR)圖像。因此,采用超分辨率(super-resolution，SR)重建技術來增強遙感圖像的分辨率具有重要的應用價值。

隨著計算機視覺的發展，卷積神經網絡(convolutional neural network，CNN)在自然圖像超分辨率重建領域廣泛應用。Dong等[9]提出的SRCNN(super-resolution convolutional neural network)算法，利用三層卷積完成圖像特征提取、特征非線性映射，獲得了較好的重建效果，但由于層數過少，導致提取的特征有限。Kim等[10]提出的算法加深了網絡層數，通過加入殘差學習提高了學習速度和特征提取能力；他們還提出了一種具有短跳連接的遞歸卷積網絡[11]，將所有訓練結果進行監督，避免了梯度消失的問題，另外加入了殘差的思想，提高了圖像重建的效果。Tai等[12]提出的深度遞歸殘差網絡采用參數共享的策略，緩解了過深的網絡導致梯度消失的問題，但由于網絡比較龐大，增加了運行計算的時間。劉樹東等[13]提出的對稱殘差卷積神經網絡采用塊內對稱短跳連接和塊外長跳連接的方式，彌補了深度網絡圖像細節退化嚴重的損失，但無法充分學習到遙感圖像的深層特征，重建性能有限。

在遙感圖像的超分辨率重建方面，Lei等[14]利用深度卷積神經網絡學習遙感圖像中的多層次特征信息來提高遙感圖像的重建效果，但隨著網絡加深，梯度消失也越明顯。Ma等[15]結合小波變換和遞歸殘差網絡，充分使用不同頻段的遙感圖像補充圖像細節，但網絡復雜，加大了訓練的難度。He等[16]把拉普拉斯金字塔加入遙感圖像超分辨率算法中，采用級聯的方式逐步細化，取得了不錯的效果，但難以滿足實時應用的需要。Xu等[17]提出的深度記憶連接算法，利用跳躍連接和殘差連接加快了網絡收斂速度。Gu等[18]的深度殘差激勵算法，利用殘差模塊和激勵模塊的組合，使不同層次的局部特征信息得到更好的融合，提高了網絡的魯棒性和重建能力，但模型在加深網絡的同時，也加大了網絡計算量和內存消耗等問題。

由于遙感圖像內容復雜、細節信息豐富，在超分辨率重建方面仍然存在一些困難。通常，遙感圖像中的目標具有比較廣泛的尺度，所以在設計模型上應考慮局部和全局的特征信息，從而使模型能夠學習到多層次的特征，提高重建效果。為了解決上述問題，本文提出一種基于多路徑特征融合的遙感圖像超分辨率重建算法。該算法模型由3個部分組成：淺層特征提取模塊、特征融合模塊和圖像重建模塊，如圖1所示。其主要特點是：引入多路徑特征融合網絡結構，可充分融合各卷積層的特征內容，從而學習到足夠的細節信息，增強了特征利用率；模型的輕量化設計，在提高模型重建性能的同時，減少了內存的占用和計算時間。

圖1 多路徑特征融合的遙感圖像超分辨率重建算法模型

1 多路徑特征融合網絡構建

1.1 淺層特征提取模塊

淺層特征提取模塊由2個3×3的卷積層構成，其中每層卷積的特征維度為64。淺層特征提取模塊用于提取LR圖像中的特征信息。該模塊用式(1)表示。

S=F(ILR)

(1)

式中：ILR表示網絡的輸入；F表示淺層特征提取模塊的函數；S表示輸出的特征。

由于帶泄露線性整流(leaky recitiffied linear unit，LReLU)函數可以緩解網絡訓練中神經元死亡的問題，因此，在相應的卷積層后加入LReLU替代ReLU，以此增強網絡訓練的穩定性。LReLU的計算方法如式(2)所示。

(2)

式中：x為輸入信息；α為設置的參數，本文設置為0.05。

1.2 特征融合模塊

特征融合模塊是本網絡的核心模塊，由4個多路徑特征融合模塊(multi path fusion，MPF)組成。MPF模塊包含增強融合單元和蒸餾單元，模塊圖如圖2所示。增強融合單元由3個基本單元組成，每2層卷積層可以看作一個基本單元。通過多條路徑的連接，充分融合了不同網絡層豐富的特征，使網絡能夠學習更多的細節信息，增強了特征利用率，從而使重建的圖像細節部分更為清晰。為了減少模型的尺寸，減少了基本單元中卷積層的通道數，將通道數分別設置為48和64，從而減少參數，提高了重建的速度。蒸餾單元由1×1的卷積層組成，用來蒸餾信息。MPF模塊如式(3)所示。

(3)

圖2 MPF模塊網絡結構圖

1.3 圖像重建模塊

圖像重建模塊由一個1×1的卷積層、一個轉置卷積層以及一個3×3卷積層組成。首先，利用1×1卷積層減少輸出特征圖的數目，從而降低計算成本；然后，通過轉置卷積層來放大圖像，為了進一步加強網絡的有效性，根據2、3和4倍不同放大系數將轉置卷積的內核分別設置為4×4、5×5和8×8，這樣既提高了模型的效率，而且有助于提高重建圖像的質量；最后，利用3×3卷積層生成高分辨率圖像。

1.4 損失函數

圖像重建使用最廣泛的損失函數為均方誤差(mean square error，MSE)，但使用平均絕對誤差(mean absolute error，MAE)損失函數有時能獲得比MSE損失函數更好的效果。所以模型先利用MAE損失函數進行訓練網絡，然后用MSE損失函數對網絡進行微調。MAE和MSE的計算如式(4)、式(5)所示。

(4)

(5)

式中：N表示訓練樣本的數量；xi表示第i個樣本的實際值；xk為第i個樣本的預估值。

2 實驗分析

為了驗證本文算法的有效性，在NWPU-RESISC45和UC Merced 2個遙感數據集上，對模型結構進行了消融實驗，并將本文算法(multi fusion convolution network，MFCN)與Bicubic、SRCNN、FSRCNN、VDSR、DRRN、SymRCN 6種算法[19]進行比較。采用峰值信噪比(peak signal to noise ratio，PSNR)與結構相似度(structural similarity index，SSIM)[20]來衡量圖像重建質量，其定義如式(6)、式(7)所示。

(6)

(7)

式中：Y和Y*表示原始高分辨率圖像和重建圖像；M和N表示圖像的尺寸；μY和μY*分別表示原始圖像的和重建圖像的平均灰度值；σY和σY*分別代表原圖與重建圖像的方差；σYY*代表原圖與重建圖像的協方差；C1、C2代表常數。PSNR和SSIM的值越大表示重建圖像效果越好，與原始圖像更加接近。

實驗測試的硬件環境為搭載Intel(R) Xeon(R) CPU E5-1650 v4@3.6 GHz×12處理器，配置Tesla K20c GPU，內存為64 GB的計算機，軟件環境為Linux操作系統、Matlab R2016a軟件、caffe深度學習框架、CUDA Tookit 8.0開發包。

實驗中將帶泄漏線性整流函數的斜率設為0.05，對于網絡的初始化，采用文獻[21]所使用的方式，并且用Adam算法對模型優化。最小批量大小和權重衰減分別設置為64和10-4，網絡學習率設置為10-4，并且在迭代2×105后降低為10-5。

2.1 數據集設置

本實驗使用的訓練數據集包含了700幅遙感圖像，其中100幅圖像來自文獻[22]的NWPU-RESISC45數據集，另外600幅圖像來自文獻[23]的UC Merced數據集，并且從上述數據集中另外挑選了100幅遙感圖像用于實驗測試。為了實現學習樣本的多樣性，本文算法對訓練數據集中的圖像進行了數據擴充，得到了28 000幅訓練圖像。由于人眼的視覺對亮度的感受較為敏銳[24]，而且在Y通道上進行映射并不影響重建的水平[9]，因此實驗僅在Y通道上做訓練，在其他通道上只是使用插值放大操作，這樣在減輕計算量的同時也確保了圖像重建的質量[25]。

使用雙三次插值法以因子m(m=2，3，4)倍對原始高分辨率圖像進行下采樣，從而生成了相應的低分辨率圖像，然后將獲得的低分辨率圖像裁剪成h×h大小的子圖像，以相同的方法將原始高分辨率圖像裁剪成mh×mh的子圖像。由于當采樣因子變大時，裁剪過大的子圖像無法獲得足夠的圖像信息，所以為了充分利用圖像中的信息，根據m(m=2，3，4)倍采樣大小，將低分辨率圖像和高分辨率圖像分別裁剪為352/702，252/752，192/762。

2.2 消融實驗及分析

如圖3所示，針對不同路徑連接的模型進行了對比實驗。圖3中，結構a中僅采用了單一的短路徑和長路徑連接；結構b在結構a模型上，多增加了中路徑的特征信息；結構c模型在結構b模型的基礎上，把輸入的信息也融合到了網絡中，充分利用了不同卷積層的特征。

表1 在NWPU-RESISC45數據集上3種結構的特征融合模型的PSNR和SSIM對比

圖3 路徑模塊的局部圖

在NWPU-RESISC45數據集上對3種結構模型進行不同采樣因子的重建實驗，PSNR和SSIM平均值如表1所示?？梢钥闯?，結構c模型的PSNR值和SSIM值的平均值高于結構a和結構b，分別提高0.08 dB和0.03 dB，表明多路徑特征融合模塊提取了更多的特征，提高了模型的重建性能。

2.3 本文算法和經典算法的對比分析

為進一步驗證本文算法，將本文算法與Bicubic、SRCNN、FSRCNN、VDSR、DRRN、SymRCN算法進行比較。表2給出了各算法在NWPU-RESISC45和UC Merced數據集上的PSNR和SSIM平均值?？梢钥闯?，雙三次插值算法的PSNR和SSIM平均值最低。SRCNN和FSRCNN作為早期的超分辨率重建算法，雖然算法性能有一定的提高，但重建的圖像效果仍然欠佳。本文算法相較于VDSR、DRRN、SymRCN算法在PSNR平均值上分別提升了0.57 dB、0.42 dB和0.14 dB，在SSIM平均值上分別提高了0.032 7、0.021 3和0.002 2。該實驗進一步證明了本文算法引入的MPF模塊，充分利用了不同網絡層的特征，在評價指標上相較其他算法均有不同程度的提升。

表2 在NWPU-RESISC45和UC Merced數據集上不同超分算法的平均PSNR和SSIM

圖4為采樣2倍情況下，NWPU-RESISC45數據集中Runway521圖像的各算法重建圖像。圖5為采樣2倍情況下，UC Merced數據集中Denseresident91圖像的各算法重建圖像。圖6為采樣3倍情況下，NWPU-RESISC45數據集中Baseball666圖像的各算法重建圖像。圖7為采樣4倍情況下，UC Merced數據集中Airplane94圖像的各算法重建圖像。

圖4 NWPU-RESISC45中的Runway521采樣2倍的重建對比圖

圖5 UC Merced中的Denseresident91采樣2倍的重建對比圖

圖6 NWPU-RESISC45中的Baseball666采樣3倍的重建對比圖

圖7 UC Merced中的Airplane94采樣4倍的重建對比圖

從圖4至圖6可以看出，Bicubic算法所重建的圖像較為模糊且信息丟失嚴重，重建的效果較差。SRCNN、FSRCNN、VDSR、DRRN和SymRCN算法雖然相較于Bicubic算法有了明顯的改善，但在細節方面仍然存在相應的丟失，并且存在一些噪聲，影響主觀效果。而本文算法所重建的圖像細節信息更加豐富，且沒有明顯的噪聲，和原圖更為接近。圖7中，本文算法所重建的圖像雖在評價指標上略低于SymRCN算法，但對生成的圖像細節控制較好，視覺效果更好。

表3給出了不同算法在NWPU-RESISC45和UC Merced數據集上的平均測試時間。從表3可以看出，SRCNN算法和DRRN算法在平均時間上明顯高于其他算法，FSRCNN算法和VDSR算法在平均時間上有所進步。MFCN算法對比其他算法在平均時間上相對較少，雖然MFCN算法的平均時間略高于SymRCN算法，但在視覺效果上表現更好。

2.3 真實遙感數據對比實驗

為了進一步驗證MFCN算法的魯棒性，本文對真實遙感圖像數據集RSSCN7中4張分辨率較低的遙感圖像進行了不同倍數的重建。為清晰對比MFCN算法重建后的圖像與原始模糊的遙感圖像的紋理細節，本文將原始模糊的遙感圖像放大，與重建后的圖像尺寸大小一致，重建結果如圖8至圖9所示。

由圖8可以看出，放大2模型重建的圖像細節信息豐富，邊緣清晰，視覺效果較好。圖9中放大3模型重建的圖像邊緣明顯，但丟失一些細節，重建效果一般。圖9中的放大4模型重建的圖像邊緣較為平滑，細節信息不足，重建效果不理想。由此可知，MFCN算法可以有效重建復雜的真實遙感圖像，但對待圖像的高倍數重建，其效果有待加強。

圖8 RSSCN7中Resident003和RiverLake272實驗對比圖

圖9 RSSCN7中Industry224和RiverLake118實驗對比圖

表3 在NWPU-RESISC45和UC Merced數據集上不同超分算法的平均測試時間 s

3 結束語

本文提出一種基于多路徑特征融合網絡的遙感圖像超分辨率重建算法，通過引入MPF模塊，充分提取和深度融合了不同卷積層的特征，有效彌補了由于網絡加深造成丟失細節信息的問題；同時減少了卷積層的通道數以及模型的層數，提高了重建效率。

在NWPU-RESISC45和UC Merced數據集上的實驗結果表明，本文算法的評價指標相較于比較算法均有提高，并且本文算法的重建圖像細節信息豐富，視覺效果較好。在后續的工作中，該算法在客觀評價指標上仍有提升空間，將考慮如何減少偽影和更加充分的恢復圖像的紋理，從而進一步提高圖像的重建質量。