改進的基于通道注意力反饋網絡的遙感圖像融合算法

吳 蕾，楊曉敏

（四川大學電子信息學院，成都 610065）

0 引言

遙感圖像融合是一種將低分辨率多光譜（Low-resolution MultiSpectral，LMS）遙感圖像和高分辨率全色（PANchromatic，PAN）遙感圖像融合成高分辨率多光譜（High-resolution MultiSpectral，HMS）圖像的算法。高分辨率多光譜遙感圖像廣泛地應用在地球觀測、分類、目標檢測、環境監測和光譜分解等領域［1-2］。然而由于當前硬件的局限性，遙感衛星只能分別獲取地表多波段的多光譜LMS 圖像和單波段的全色PAN 圖像，這兩種圖像在信息上是互補的。為了得到HMS 圖像，遙感圖像的融合技術得到了研究者們的廣泛關注。隨著遙感圖像越來越重要，遙感圖像融合算法也在不斷地改進，如何將多光譜圖像和全色圖像的互補信息盡可能多地融合到高空間分辨率多光譜圖像中，是遙感圖像融合中重點關注的問題。

近幾十年來，遙感圖像融合算法的效果一直在不斷提升，傳統的遙感圖像融合算法大致能夠分為兩類：一類是基于成分替換（Component Substitution，CS）的算法；另一類是基于多分辨率分析（Multi-Resolution Analysis，MRA）的算法［3-5］。由于PAN 和LMS 圖像的光譜范圍不一致，即使在融合策略上進行了改進，現有的CS/MRA 算法也會表現出一定程度的光譜失真。

通過整理總結傳統的遙感圖像融合算法，可以發現許多提取和整合空間細節特征的過程和卷積神經網絡有相似之處，并且卷積神經網絡所提取到的特征比手工設計的提取規則所提取到的特征具有更強的表征能力。因此，為了克服傳統算法所存在的缺點，已經有很多基于卷積神經網絡（Convolutional Neural Network，CNN）的遙感圖像融合算法被提出。例如，Masi 等［6］使用基于超分辨率的三層CNN 結構進行了遙感圖像融合，率先提出了基于CNN 的遙感圖像融合算法PNN（Pansharpening by CNN），顯著提高了遙感圖像融合算法的性能。Wei 等［7］提出了一種深度殘差遙感圖像融合神經網絡DRPNN（Pansharpening by Deep Residual CNN），用于魯棒和高質量的PAN 和LMS 圖像融合。該算法融合了殘差學習過程，在殘差學習架構的支持下，形成了極深的卷積濾波框架，提高了融合的精度，同時也保證了網絡的性能可以快速收斂。Shao 等［8］提出了雙分支的CNN 來分別提取LMS 和PAN圖像的特征，并采用殘差連接以增強遙感圖像融合的性能。Yang等［9］提出了一種結合了有關遙感圖像融合的先驗知識的網絡結構，該算法從LMS 和PAN 圖像中提取高頻信息，并將它們用作網絡的輸入。該網絡是在頻率域而不是空間域中進行訓練的，因此其泛化能力和性能都優于傳統算法和基于簡單網絡結構的遙感圖像融合算法。

上述算法中所有的卷積神經網絡都是前饋的，由于前饋網絡的感受野較小，獲取的上下文信息不足，淺層卷積層所提取到的淺層特征表征能力不足，在網絡隨后的卷積層中這些淺層信息會被重用，這會導致網絡的重構性能降低。同時LMS 圖像和PAN 圖像具有不同的信息，但是上述算法在融合時，平等地對待特征圖的各個通道，忽略了各個特征圖之間各通道的相互依賴關系。針對以上問題，本文提出了改進的通道注意力反饋網絡，即使用反饋網絡將深層特征反向傳回從而優化淺層特征并且引入通道注意力機制充分利用各通道之間的相互依賴關系來進一步提升反饋網絡的性能。本文的主要工作有兩個，分別如下：

1）引入了反饋卷積神經網絡，學習深層特征和淺層特征之間的相互依賴關系，在保留LMS 圖像的光譜信息和PAN 圖像的細節信息的同時可以生成更深層次的特征。

2）使用注意力機制為反饋過程中產生的特征圖以及特征圖的各個通道，自動分配不同的注意力資源，使網絡模型可以學習到盡可能多的有用信息。

1 相關工作

1.1 反饋機制

在人類視覺系統中普遍存在反饋機制，能夠將信號從高階區帶到低階區［10］。將反饋機制應用在圖像處理中可以取得很好的效果。例如，對于單幅圖像的超分辨率，Haris 等［11］根據反投影理論構造了上投影和下投影單元，以此來實現一種迭代誤差的反饋。Li 等［12］精心設計了一個反饋模塊，為低級視覺任務提取強大的高級表示，并傳輸高級特征來細化低級特征，實現反饋機制。

同樣地，反饋機制也可以應用到遙感圖像融合中，通過學習深層特征和淺層特征之間的依賴性來得到更深層次的特征。本文設計了一種具有特殊特征提取模塊的反饋模塊，特征提取模塊由三對密集跳躍連接的上下采樣層組成，通過迭代的上、下采樣實現了反投影機制，通過學習各種上、下采樣算子，使網絡生成強大的特征。其中的密集跳躍連接允許重用來自前一層的特征，避免重復學習冗余的特征。該特征提取模塊可以提取出強大的高級表示，然后網絡的反饋連接將高級表示反向地傳回到輸入，并再次送入反饋模塊來進行處理。通過不斷的反饋學習，得到最終的深層特征。

1.2 通道注意力機制

在卷積神經網絡中最重要的就是卷積算子，它使網絡在提取每一層特征時能融合空間信息和信道信息?；谔卣鞯倪@種空間組成關系，Hu 等［13］提出了一個新的建筑單元，稱為“壓縮-激發”模塊，該模塊首先明確地表示出通道之間的互相依賴關系，然后根據依賴關系來自適應地校準通道相關的特征響應，來提高網絡產生的特征的質量。這是一種通道注意力機制，該機制通過運用全局信息，有偏向地強調有用的信息特征，抑制作用有限的特征。Zhang 等［14-15］將通道注意力（Channel Attention，CA）應用在了圖像超分辨率中，并且取得了不錯的效果。

在遙感圖像融合算法中，LMS圖像是多通道的，每個通道都有不同的光譜信息，PAN 圖像是單通道有非常清晰的細節信息的灰度圖。在融合的過程中，首先將PAN 圖像和LMS 圖像在通道上進行拼接，如果平等對待每個通道則不能很好地保留LMS 圖像的光譜信息和PAN 圖像的細節信息。將通道注意力機制應用在遙感圖像融合中，就可以針對性地提取出LMS圖像的光譜特征和PAN圖像的細節特征。

2 本文算法

2.1 算法框架

為了直觀地展示本文算法，首先給出了本文的總體網絡結構如圖1所示。算法的實現主要有3個步驟：1）用了雙通道特征提取層分別提取LMS 圖像的光譜特征和PAN 圖像的細節特征，并且將這兩部分特征與反饋輸出的表征能力較強的深層特征拼接在一起。其中，特征提取層2 在提取PAN 圖像特征的同時會對特征下采樣以適應LMS 特征的尺寸；2）結合以后的特征輸入到反饋層，在反饋層中先經過殘差通道注意力模塊（Residual Channel Attention Block，RCAB）強調有用的信息來優化特征，然后將優化后的特征輸入到反饋模塊（Feedback Block，FB），在反饋層中經過若干次反饋，最終輸出具有有力表征能力的特征，在這之前的輸出結果都是作為反饋量和輸入特征合并到一起的；3）反饋結構輸出的特征經過重建層（1 個反卷積層和1 個3×3 的卷積層）再與上采樣后的LMS圖像相加，從而得到最終的重建HMS圖像。

圖1 本文算法框架Fig.1 Framework of proposed algorithm

2.2 通道注意力機制

以前基于卷積神經網絡的遙感圖像融合算法平等地對待LMS 和PAN 圖像各通道的特性，這對于實際情況不靈活。為了更多地獲取有用信息，可以通過特征通道之間的相互聯系性來更多地關注到有用的信息特征，從而形成通道注意機制。該機制最重要的就是如何合理地去關注每個通道上的特征。對此，本文主要考慮兩個方面：一方面，LMS 圖像和PAN 圖像中包含的信息并不相同。PAN 圖像中的信息是高頻成分，包含了很多細節和紋理信息；LMS 圖像中具有豐富的光譜信息和低頻成分。另一方面，在卷積的過程中每個卷積算子都只有一個局部的感受野，并不能充分利用到上下文信息，因此獲取的特征也是缺少上下文信息的。

基于這些分析，引入了通道注意力機制。首先運用全局平均池化將全局的通道空間信息轉化成信道描述符，如圖2所示。

圖2 通道注意力機制示意圖Fig.2 Schematic diagram of channel attention mechanism

X=[X1，X2，…，XC]是一個通道注意力機制的輸入，其中包含C層大小為H×W的特征圖。通過空間維度H×W對X進行收縮，可以得到通道級的統計量z，第c層的元素z可以表示為：

其中：xc(i，j)為第c層特征xc在(i，j)處的值；FGP(·)為全局池化函數。這種通道統計量可以看作是局部描述符的集合，其統計量有助于表達整個圖像。

為了通過全局平均池化完全捕獲聚合信息的通道依賴性，本文引入了一個門控機制。正如文獻［14］中討論的，門控機制應該滿足兩個標準：首先，它必須能夠學習通道之間的非線性交互作用。其次，由于需要的是多通道的特征，而不是單一的激活，它必須學習一種非互斥的關系，本文選擇使用sigmoid函數來實現簡單的門控機制：

其中：f(·)和變量δ(·)分別表示sigmoid 門控和ReLU（Rectified Linear Units）函數；HD是降維卷積層的權值集，降維卷積層起到的通道降維作用，降維比例為r。降維后的維信號被ReLU函數激活后，再通過升維卷積層增大通道數r倍，升維卷積層權值集為HU。然后得到最終的通道統計量w，用于重新調節輸入xc：

其中：wc和xc分別為第c層通道的比例因子和特征圖。

同時，受文獻［7］中殘差模塊（Residual Block，RB）的啟發，本文將CA 集成到RB 中，提出殘差通道注意力模塊（RCAB），如圖3所示。

其中：Cb為通道注意函數；Fb-1和Fb是RCAB 的輸入和輸出，RCAB 從輸入中獲取殘差Xb。剩余分量主要由兩層疊加得到：

圖3 殘差通道注意力模塊示意圖Fig.3 Schematic diagram of residual channel attention block

2.3 反饋模塊

在反饋模塊中，本文采用了三組由下采樣卷積層和上采樣反卷積層構成的投影組，在每個卷積層和反卷積層之間又加入了稠密連接，這樣可以增加各層特征之間的聯系，通過特征重利用的方式，在相同的卷積層數下，可以生成表征能力更強的特征。

如圖4所示，第t次迭代的反饋模塊接收到反饋信息來糾正淺層表示然后將更強大的深層表示輸出到下一次迭代和重構模塊。FB 按順序包含3 個投影組，它們之間有密集跳越連接。每個投影組主要包括一個上采樣操作和一個下采樣操作，它們可以將深層特征投影到淺層特征中。

在FB開始時，通過卷積層Conv(1，m)對進行拼接和壓縮，通過反饋信息來優化輸入特征產生重新優化的輸入特征，公式表達如下：

其中：Conv(·)為初始壓縮卷積操作；的拼接。設為FB 中第i組投影組在第t次迭代時給出的HMS和LMS特征圖?？梢杂墒剑?）得到：

其中：Ci↑為在第i個投影組使用反卷積層Deconv(k，m)的上采樣操作。對應地可由式（8）得到：

其中：Ci↓為使用卷積層Conv(k，m)在第i個投影組的下采樣操作。除了第一個投影組外，在Ci↑和Ci↓之前添加卷積核大小為1的卷積層Conv(1，m)來減少參數和提高計算效率。

為了從每個投影組中挖掘有用信息，并確保在下一次迭代中映射輸入LMS 特征的大小不變，對投影組生成的MS特征進行融合（圖4中的實線箭頭），生成FB的輸出：

其中：Conv表示Conv(1，m)的函數。

圖4 反饋模塊示意圖Fig.4 Schematic diagram of feedback block

3 實驗驗證與分析

3.1 實驗設計

3.1.1 實驗設置與數據集

本文實驗中使用PReLU（Parametric ReLU）作為激活函數，每次迭代中除最后一層之外的所有卷積層和反卷積層都使用了PReLU。除了在每次反饋中具體分析每個輸出的圖像，將最后一次反饋網絡輸出的圖像作為最終的銳化結果。使用文獻［12］方法初始化網絡參數，采用Adam 優化網絡參數，初始學習率為0.000 1，每200 個epoch 學習率乘以0.5，提取的圖像特征層數為64。網絡是在Pytorch 框架上實現，并在NVIDIA 1080TiGPU上進行訓練。

各個衛星得到的圖像種類不盡相同，為了驗證算法的適用性，實驗采用了三種衛星的圖像，分別是Spot-6、QuickBird和WorldView2，這三種衛星圖片覆蓋了建筑、植被和海洋等場景。所有的LMS 圖像尺寸為64×64，PAN 圖像的尺寸256×256。由于無法獲取真正的HMS 圖像，本文將原始的尺寸為256×256的MS圖像作為參考圖像，原始MS圖像下采樣4倍的圖像作為LMS 圖像來充當訓練集。由于有些對比算法需要訓練集，為了公平原則，所有的訓練集圖像都保持一致。

3.1.2 不同通道注意力模塊的對比實驗

在本節實驗中探討了反饋網絡中添加不同的通道注意力機制模塊（CA 和RCAB）的效果。結果圖像和HMS 圖像之間的相關系數如圖5 所示，一共訓練了1 000 個epoch。圖5 中：Base表示添加任何通道注意力機制模塊；CA表示添加了通道注意力機制模塊；RCAB 表示添加了殘差通道注意力機制模塊。從圖5可以看出：添加了RCAB模塊的反饋網絡得到的結果圖像與HMS 圖像的相關系數最高，未添加任何通道注意力模塊的反饋網絡得到的結果圖像與HMS 圖像的相關系數最低，這說明通道注意力機制確實可以改進反饋網絡的效果，并且RCAB模塊能表現出更好的性能。

圖5 不同通道注意力模塊結果的相關系數Fig.5 Correlation coefficients of different channel attention block results

3.2 評價方法

本文對所對比的其他遙感圖像融合算法和本文算法得到的結果圖像進行了定量和定性分析。主觀上通過觀察結果圖像的整體顏色和局部放大圖的細節來進行比較；客觀上采用了6 種常見的客觀評價指標：1）計算兩幅圖像相似性的相關系數（Correlation Coefficient，CC）［16］，CC 的值越大，說明與HMS 圖像越相似；2）全面反映銳化結果質量的合成圖像無方向性全局相對誤差 ERGAS（Erreur Relative Global Adimensionnelle de Synthese）［17］，ERGAS 的值越小，說明銳化結果越好；3）平均通用圖像質量指數Q［18］，Q 的值越大，說明銳化效果越好；4）反映結果圖像光譜質量的波譜角度映射表（Spectral Angle Mapper，SAM）［19］，SAM 的值越小，說明光譜質量越好；5）對所有通道求平均光譜誤差（Relative Average Spectral Error，RASE）［20］，RASE 的值越小，表示銳化結果的平均光譜表現越好；6）直接對結果圖像和參考圖像求像素值差異的均方根誤差（Root Mean Square Error，RMSE）［20］，RMSE的值越小，說明銳化結果和參考圖像之間差別越小。

3.3 實驗結果分析

在本實驗部分，通過大量的定量和可視化評估，驗證了本文算法可以表現出優良的性能。實驗對比了六種不同的遙感圖像融合算法，這六種算法都是具有代表性的且涵蓋了遙感圖像融合的三大類算法：1）基于多分辨率分析的算法有基于小波變換的算法（Least-Squares，LS）［21］；2）基于成分替換的算法有用摳圖算法進行銳化（Pansharpening with Matting Model，MMP）［22］、主成分分析法（Principal Component Analysis，PCA）［23］、快速強度-色調-飽和度遙感影像融合算法（Fast Intensity-Hue-Saturation，FIHS）［24］；3）基于深度學習的算法有PNN［6］和DRPNN［7］。

3.3.1 Spot-6數據集

圖6 展示了一系列Spot-6 衛星的建筑圖片，其中：圖6（a）～（c）分別為參考的HMS、PAN 和LMS 圖像；圖6（d）～（j）分別為通過LS、MMP、PCA、FIHS、PNN、DRPNN 和本文算法所得到的銳化結果。由于衛星圖像是多通道的（R、G、B、近紅外），為了主觀效果的展示，銳化結果僅僅展示了R、G、B三個通道。

從圖6 的實驗結果可以看出：LS、PCA 和FIHS 算法得到的銳化結果有一定程度的光譜失真，尤其是PCA 算法和FIHS算法所得到的圖明顯偏藍；LS算法和MMP算法的結果細節比較模糊，細節信息丟失嚴重。相對于LS、MMP、PCA、FIHS 這些傳統算法，PNN 算法、DRPNN 算法和本文算法在細節方面跟圖6（a）中參考圖像比較一致；但是在光譜方面，PNN 算法和DRPNN 算法的結果圖像顏色比參考圖像淡。所以在主觀評價上，本文算法取得了較好的結果。

圖6 Spot-6 衛星圖像在不同算法下的融合結果Fig.6 Fusion results of Spot-6 satellite images under different algorithms

表1為各個算法結果圖像的客觀評價指標的值。

表1 圖6實驗結果的客觀評價指標Tab.1 Objective evaluation indicators of Fig.6 experimental results

其中：CC 和Q 這兩個指標的值越大表示算法的效果越好，而ERGAS、SAM、RASE、RMSE 這四個指標的值越小表示算法的效果越好。從表1 可以看出本文算法在CC 和Q 指標上取得了最大值，在ERGAS、SAM、RASE和RMSE指標上取得了最小值，在各個指標上都是最優的。本文算法的RMSE 降低最明顯，比傳統算法降低了50%以上，相較于次優的DRPNN 算法降低了12.92%。結合前面視覺上的效果，由此可以得出在Spot-6 衛星圖像上，本文算法無論在主觀還是客觀上都取得了較好效果。

3.3.2 QuickBird數據集

圖7 展示了一系列QuickBird 衛星的建筑和海洋圖片，其中：圖7（a）～（c）分別為參考的HMS、PAN 和LMS 圖像；圖7（d）～（j）分別為通過LS、MMP、PCA、FIHS、PNN、DRPNN 和本文算法所獲取的銳化結果。由于衛星圖像是多通道的，但是能顯示出的彩色圖是3 通道的（R、G、B），為了主觀效果的展示，銳化結果僅僅展示了R、G、B三個通道。

圖7 QuickBird 衛星圖像在不同算法下的融合結果Fig.7 Fusion results of QuickBird satellite images under different algorithms

圖7的實驗結果中：FIHS算法的結果有嚴重的光譜失真，整幅圖像顏色偏白；PCA 算法的結果的紋理和輪廓邊緣都很模糊；LS 算法的結果也有輕微的光譜失真。從總體上看，MMP 算法、PNN 算法和DRPNN 算法都跟圖7（a）中的參考圖像比較接近。但是從放大的跑道圖中可以看出，這三個算法在細節上都有一定的模糊。無論是整體圖和局部圖7（j）中本文算法的效果都比較好。

從表2 可以看出本文算法在CC 和Q 指標上取得了最大值，在ERGAS、SAM、RASE 和RMSE 指標上取得了最小值，在各個指標上都是最優的，DRPNN 算法的結果都是次優的。本文算法的RMSE 降低最明顯，比傳統算法降低了50%以上，相較于次優的DRPNN 算法降低了11.52%。結合前面視覺上的效果，由此可以得出在QuickBird 衛星圖像上，本文算法無論在主觀還是客觀上都取得了較好效果。

表2 圖7實驗結果的客觀評價指標Tab.2 Objective evaluation indicators of Fig.7 experimental results

3.3.3 WorldView2數據集

圖8 展示了一系列WorldView2 衛星的植被和建筑圖片，其中：圖8（a）～（c）分別為參考的HMS、PAN 和LMS 圖像；圖8（d）～（j）分別為通過LS、MMP、PCA、FIHS、PNN、DRPNN 和本文算法所獲取的銳化結果。由于衛星圖像是多通道的，但是能顯示出的彩色圖是3 通道的（R、G、B），為了主觀效果的展示，銳化結果僅僅展示了R、G、B三個通道。

圖8 的實驗結果中：LS 和PCA 算法的結果細節模糊非常嚴重，局部圖中樹的邊緣都看不清；MMP 算法的結果有輕微的光譜失真；FIHS 算法的結果有嚴重的光譜失真，整幅圖像顏色偏紫、偏白。從總體上看，PNN 算法和DRPNN 算法、本文算法結果都跟圖8（a）中的參考圖像比較接近。但是從放大的局部圖中可以看出，PNN和DRPNN的放大圖中樹的紋理都沒有了，而本文算法的放大圖與參考圖像非常接近，樹的輪廓和紋理都比較清晰。

圖8 WorldView2衛星圖像在不同算法下的融合結果Fig.8 Fusion results of WorldView2 satellite images under different algorithms

從表3 可以看出本文算法在CC 和Q 指標上取得了最大值，在ERGAS、SAM、RASE 和RMSE 指標上取得了最小值，在各個指標上都是最優的。本文算法的RMSE 降低最明顯，比傳統算法降低了60%以上，相較于次優的DRPNN算法降低了53.55%。結合前面視覺上的效果，由此可以得出在WorldView2 衛星圖像上，本文算法無論在主觀還是客觀上都取得了較好效果。

表3 圖8實驗結果的客觀評價指標Tab.3 Objective evaluation indicators of Fig.8 experimental results

4 結語

本文針對以往遙感圖像融合的深度學習算法中沒有利用深層特征去修正淺層特征的問題，提出了一種改進的反饋網絡遙感圖像融合算法。本文算法使用反饋的深度學習網絡來進行遙感圖像融合，而且在反饋網絡中加入了殘差通道注意力模塊對其進行改進。首先通過通道注意力機制重構輸入圖像的各通道特征，然后通過反饋連接將包含有用信息的深層特征帶回到輸入中以優化輸入的淺層特征，最后重建出來的HMS 圖像在光譜上和細節上都有較好的效果。通過實驗驗證，本文算法在不同的數據集上銳化得到的圖像沒有出現光譜失真和畸變，空間細節也比較豐富，在六種客觀評價指標上也表現出最佳性能，這說明本文算法能較好地將LMS 圖像的光譜信息和PAN圖像的細節信息融合到一起。

由于卷積神經網絡是反饋的，卷積的參數比較龐大，在運行時需要較大的內存，運行速度較慢，而且需要較大的數據集來訓練網絡。如何減少網絡的參數、提升運行速度是值得繼續研究的問題。