多耦合反饋網絡的圖像融合和超分辨率方法

王 蓉，端木春江

浙江師范大學計算機科學學院，浙江 金華 321000

高動態范圍和超分辨率成像技術使圖像、視頻等媒體呈現出更生動的色彩和更豐富的紋理信息，從而達到更逼真、更沉浸式的視覺體驗效果，在電子攝影、視頻制作、虛擬現實以及國防安全等領域受到了廣泛關注。與現實場景相比，本文常用的圖像設備拍攝的圖片動態范圍十分有限，且圖片分辨率較低。而且研究表明，高動態范圍（high dynamic range，HDR）的圖像比低動態范圍（low dynamic range，LDR）圖像可以提供更豐富的細節信息，高分辨率（high resolution，HR）圖像對人臉識別、目標檢測、行為識別等人工智能算法提供更高的準確性。圖像多曝光融合（multi exposure fusion，MEF）和超分辨率（super resolution，SR）作為兩個技術手段分別解決低動態范圍和低分辨率（low resolution，LR）的問題。

目前，大多數多曝光融合方法都采用三步融合過程：首先衡量LDR 圖像序列的像素質量，然后設計融合策略、構建權重，最后與原LDR圖像加權求和得到最終融合圖像。例如，Ma 等[1]提出快速多曝光方法，通過全卷積網絡預測LDR 圖像序列的權重圖，并且利用引導濾波器優化權重。Bavirisetti 等[2]提出了多尺度引導濾波方法，通過多尺度圖像分解和結構傳遞，傳輸像素級互補的源圖像信息到融合圖像。Ma 等[3]提出了基于結構塊分解方法，通過分解圖像塊為三個獨立的部分，信號強度，信號結構，平均強度，分別融合處理三個結構分量，從而解決重影問題。Li等[4]針對結構塊分解方法存在的光暈以及偽影問題，提出了快速多尺度結構塊分解的方法，通過結構塊隱式分解，有30倍的加速。Xu等[5]提出了生成對抗網絡的多曝光融合方法，利用生成器和對抗鑒別器的對抗關系，實現了融合圖像的概率分布接近真實圖像。上述所有算法中的神經網絡結構都是前饋的，由于前饋網絡的感受視野小，獲取的上下文信息不足。淺層卷積層提取的特征表達能力不足，后面的卷積層中會重新利用淺層特征，導致網絡的重建能力降低。

近年來卷積神經網絡的方法對單幅圖像超分辨率（SⅠSR）有較好的效果，SRCNN[6]是第一個深度卷積神經網絡的圖像超分辨率方法，通過學習非線性映射將LR特征映射到HR 特征中。VDSR[7]是一個非常深的卷積神經網絡，通過學習LR 圖像和HR 圖像之間的殘差特征，從而快速地收斂模型。SRCNN[6]和VDSR[7]都是預先將LR 圖像放大到和HR 圖像同樣的大小，這種方式可能會增加訓練復雜度。為了克服這個缺點，Dong等[8]提出了基于沙漏型卷積神經網絡結構的圖像超分辨率方法，通過先縮小后擴大特征通道數目來學習LR圖像到HR圖像的非線性映射，可以有效地減少計算量。Haris等[9]發現很多方法沒有充分探索LR 圖像和HR 圖像之間的關系，提出了基于深度反投影網絡的圖像超分辨率方法，通過迭代的反卷積層和卷積層對LR 圖像進行上采樣和下采樣，從而學習到更深層次的特征。Li等[10]發現反饋機制沒有很好地應用于圖像超分辨率中，提出了基于反饋網絡的圖像超分辨率，通過高質量信息引導，細化低質量信息，能更好地重建超分辨率圖像。

然而現有的方法將MEF 和SR 分別作為單獨的分支來研究，如果將它們簡單地進行聯合，實現的效果不太理想。因此，本文需要將MEF 和SR 建立聯系，利用更有效的方法，探索其中的相關性。本文提出了一種基于多耦合反饋網絡MCF-Net 及其方法。模型包括：N個子網和輸出模塊；在方法中，首先，將N張下采樣圖片,,分別輸入至N個子網，提取的低分辨率特征,,；然后，根據低分辨率特征,,提取對應圖像的超分辨率特征,,；得到融合高分辨率特征,,并輸入至下個MCFB 中，直至第T個MCFB 得到融合高分辨率特征,,；然后，獲取對應的融合超分辨率圖像,,；最后，融合N個子網中第T個重建模塊REC 輸出的,,得到高動態范圍、超分辨率圖像Iout。實驗結果表明，和傳統融合方法相比，無論在客觀評價還是主觀評價，本文方法都能取得較好的融合效果和超分辨率結果。此外，本文在消融實驗中開展了對比分析，以得到極度曝光子網和非極度曝光子網之間最有效的耦合方式，以及得到極度曝光子網和中間曝光子網的最優融合權重。

1 相關工作

1.1 圖像超分辨率方法

Li等[10]提出了基于反饋網絡的超分辨率方法，反饋網絡利用反饋塊CFB，充分提取低頻深層特征，重建產生SR圖像，并且將提取出的低頻特征傳遞給下個CFB，最后一個反饋塊重建產生最終的SR圖像。

反饋模型包括三部分，分別是初始特征提取塊、深層特征反饋塊和重建塊。LR圖像先經過兩層卷積層計算和激活層提取出淺層特征；淺層特征輸入至反饋塊提取深層特征；然后一方面將深層特征輸入至反卷積層，和LR圖像的上采樣元素相加得到SR圖像，另一方面將深層特征聯合淺層特征，輸入至反饋塊提取得到精細化的特征，其中t表示反饋塊的個數；最后一個反饋塊的特征輸入至反卷積層，目的是將特征尺寸調整到HR圖像大小，然后通過卷積層計算，完成最后的重建。反饋結構如圖1所示。

圖1 反饋網絡結構Fig.1 Feedback network structure

1.2 圖像融合方法

Deng 等[11]提出了基于耦合反饋網絡的圖像曝光融合和超分辨率方法，將反饋機制應用于圖像曝光融合中。耦合反饋網絡通過耦合反饋塊融合極高曝光信息和極低曝光信息，并且采用耦合反饋機制，兩個子網分別進行多次特征耦合以及特征提取得到更深層次的融合特征。在此之前的反饋結構是同層反饋特征進行提取和細化，而耦合反饋塊允許不同子網的反饋特征進行信息交互，使得極高曝光子網和極低曝光子網都耦合了互補的曝光信息。其網絡結構如圖2所示。

圖2 耦合反饋塊結構Fig.2 Coupled feedback block structure

傳統的卷積網絡只能解決低分辨率問題或圖像曝光融合問題，而耦合反饋網絡通過耦合反饋機制建立超分辨率任務和多曝光融合任務之間的內在聯系，從而同時實現超分辨率和圖像多曝光融合；此外耦合反饋塊采用迭代的上采樣層和下采樣層對耦合信息進行充分提取，提取出兩個耦合特征的深層信息。

然而極高曝光圖像和極低曝光圖像所含有的動態范圍極其有限，它們僅有部分亮度細節和暗部細節，而缺乏中間曝光細節。耦合反饋網絡從極度曝光圖像中提取出的色彩信息以及紋理細節較少，即使采用耦合反饋機制進行深層融合，最終產生的融合圖像和真實圖像的動態范圍也有較大差距，色彩飽和度缺失，紋理細節還不夠豐富。本文提出的多耦合反饋網絡的輸入包含N個均勻曝光的圖像，分別輸入至對應的N個子網中。在多耦合反饋網絡中，中間子網接收來自極度曝光子網輸出的極高曝光信息和極低曝光信息，極高曝光子網和極低曝光子網相互傳遞互補的曝光信息，介于極高曝光和中等曝光的子網和對應的介于極低曝光和中等曝光的子網相互傳遞互補的曝光信息。因此N個子網每次迭代都獲取了互補的曝光信息，從而融合得到亮度均衡的曝光信息，經過T次迭代，每個子網都得到了深層融合的曝光信息，中間子網將中等曝光信息和極度曝光信息進行充分融合，得到亮度范圍更廣的曝光信息，因此最終的融合超分辨率圖像亮度范圍更廣泛、分辨率更高。

2 網絡結構

本文提出了多耦合反饋網絡的多曝光低分辨率圖像融合方法，該方法建立了多個深度卷積神經網絡，分別提取極度曝光信息和非極度曝光信息。圖3 展示了多耦合反饋網絡的多曝光低分辨率圖像融合結構，包括：N個子網和輸出模塊。

圖3 多耦合反饋網絡模型Fig.3 Model of multi-coupled feedback network

N個子網分別對應N張下采樣圖像,,，其中,i為0 時，,表示極高曝光、低分辨率圖像和極低曝光、低分辨率圖像,i大于0時，,分別表示介于極高曝光和中等曝光的過曝光、低分辨率圖像和介于極低曝光和中等曝光相同程度的欠曝光、低分辨率圖像，表示中等曝光、低分辨率圖像；每個子網均包括淺層特征提取塊FEB、超分辨率塊SRB、多耦合反饋網絡和重建模塊REC并依次連接。

淺層特征提取塊FEB，用于提取,,的LR特征,,,其中

每個多耦合反饋網絡均包含T個多耦合反饋塊MCFB，上層子網用于獲取，得到融合HR特征，下層子網用于獲取，得到融合HR特征,中間子網用于獲取得到融合HR 特征,并將融合特征分別輸入至同一子網的重建塊REC中；其中，為上層子網的第i個子網的第t-1 個MCFB 輸出的融合HR 特征，為下層子網的第i個子網的第t-1 個MCFB 輸出的融合HR特征；為中間子網的第t-1 個MCFB輸出的融合HR特征。

重建塊REC，用于接受超分辨率塊SRB 輸出的SR特征或多耦合反饋網絡輸出的融合SR 特征，其中根據SR 特征得到對應的SR 殘差圖像，根據融合HR 特征得到對應的融合SR殘差圖像，并將獲取的SR殘差圖像或融合SR 殘差圖像與對應圖像的上采樣圖像進行元素相加，分別生成原LR、LDR的SR重建圖像,,或對應的具有融合特征的SR圖像；

輸出模塊，用于融合每個子網的最后一個SR 重建圖像得到HDR、SR重建圖像Iout。

2.1 超分辨率塊（SRB）

N個多重曝光的LR 圖像輸入至N個子網絡的FEB 提取得到淺層特征，之后輸入至SRB進行提取和細化得到高質量特征。在SRB中，本文采用迭代的上采樣反卷積層和下采樣卷積層構成。如圖4所示，每個工作組的反卷積層和卷積層分別采用跳躍連接，這樣不僅增加了各工作組特征之間的聯系，并且通過特征重用的方式，從而生成表達能力強的特征。SRB按順序包含六個工作組，通過跳躍連接進行特征重用。每個工作組主要有一個上采樣層和下采樣層，它們分別用來將LR 特征反投影到HR 特征中和HR 特征投影到LR 特征中。設Lj和Hj分別是第j個工作組的LR 特征圖和HR特征圖，Lj可以表示為：

圖4 超分辨率模塊結構Fig.4 Super-resolution module structure

其中，Conv(·)是在第j個工作組使用卷積Conv(k,p)的下采樣操作。除第一個工作組外，在DeConv(·) 和Conv(·)之前加入卷積Conv(1,p)以壓縮通道數，有效減少參數。

為了有效利用每個工作組的特征，并且確保傳遞給MCFB 的特征圖大小相同，對每個工作組的LR 特征進行融合，SRB的輸出表示如下：

其中，Conv1×1是Conv(1,p)；根據實驗，這里融合的特征不包括L0效果更好。

N個淺層特征通過SRB 分別輸出,,。SRB 和MCFB 都采用反饋塊結構，但是SRB用來學習多重曝光的低分辨率圖像的深層特征，為之后多曝光融合做準備，因此它重建產生LDR、SR圖像。而MCFB 用來融合互補的曝光特征，重建得到HDR、SR圖像。

2.2 多耦合反饋網絡

N個淺層特征經過SRB 后，圖像的大部分紋理細節保留在深層特征中，因而針對深層特征選擇合適的融合策略將很大程度影響融合性能的好壞。傳統的基于耦合反饋機制的算法中，僅僅將極高曝光特征和極低曝光特征進行融合，這種融合得到的圖像缺乏部分中間曝光細節。多耦合反饋網絡將多個互補的曝光信息進行充分融合，從而產生動態范圍更廣，分辨率更高的圖像。

2.2.1 多耦合反饋機制

很多研究[9-10]證明，反饋機制對圖像重建效果有用。多耦合反饋網絡采用多耦合反饋機制，用來細化超分辨率特征和多曝光融合特征。每個多耦合反饋網絡均包含T個多耦合反饋塊MCFB 依次連接，第t次迭代的MCFB 接收到多個子網的反饋信息來糾正同一子網的淺層表達Flr，然后將更強大的深層表達輸入至下一次迭代和重建塊。

上層子網包括極高曝光子網和過度曝光子網，第t-1 個MCFB 的輸入分別是極高曝光特征和過度曝光特征，它們只擁有亮度細節，而缺乏暗部細節，因此提供下層子網中對應的極低曝光特征或欠曝光特征。上層子網中第i個上層子網的第t個MCFB 的輸出可以表示為：

其中，為第i個上層子網的FEB 提取的極高曝光或過度曝光淺層特征，為第i個上層子網的第t-1個MCFB的反饋特征，為第i個下層子網的第t-1個MCFB的反饋特征。

從上式可以看出，,為同一子網的特征，有助于實現超分辨率，而為不同子網的互補曝光特征，有利于實現多曝光融合。fMCFB為MCFB 操作，用來實現互補曝光特征的融合。

下層子網包括極低曝光子網和欠曝光子網，第t-1個MCFB 的輸入分別是極低曝光特征和欠曝光特征，它們只擁有暗部細節，而缺乏亮度細節，因此提供下層子網對應的極高曝光特征。第i個下層子網的第t個MCFB的輸出可以表述為：

其中，為第i個下層子網的FEB提取的極低曝光或欠曝光淺層特征。

上層子網和下層子網通過MCFB 相互傳遞互補曝光特征并且充分融合，因此它們會分別改善曝光不均衡的問題。

中間子網既包含部分亮度細節，又有部分暗部細節，但它缺乏極度曝光下的細節，因此提供極度曝光特征可以補充它的不足。中間子網的第t個MCFB 的輸入分別為中等曝光淺層特征,中等曝光子網的第t-1 個MCFB 提取的反饋特征，極高曝光子網和極低曝光子網的第t-1 個MCFB 提取的反饋特征,。中間子網的第t個MCFB 的輸出可以表述為：

設t=1,分別是為極高曝光或過曝光子網、中等曝光子網和極低曝光或欠曝光子網的SRB輸出的深層特征。

設每個子網MCFB的數量為T，那么總共會產生NT個重建圖像，即，其中：根據多耦合反饋機制的實驗表明，每個子網的第t個MCFB比第t-1 個MCFB重建生成的圖像質量更高。因此本文使用每個子網的第T個MCFB的重建圖像。最終的融合圖像表述為：

其中，wi,w-i,wm分別為上層子網、下層子網和中間子網重建圖像的權重。這里沒有直接參與融合圖像的生成，但是每個MCFB的重建圖像可以使是高質量的融合特征，從而保障是每個子網中最豐富的融合圖像，其中：T≥t≥1,

2.2.2 多耦合反饋塊（MCFB）

多耦合反饋塊MCFB 將互補的曝光信息,,進行充分融合，并且細化同一子網的淺層特征Flr，從而得到更深層次的融合特征。圖5 展示了極高曝光子網、中等曝光子網和極低曝光子網中第t次迭代MCFB的結構以及它們之間的聯系。

如圖5 所示，中等曝光子網的第t個MCFB 接受四個輸入：中等曝光子網的FEB提取的淺層特征和第t-1 個MCFB 輸出的反饋特征，極度曝光子網的反饋特征,。三個反饋特征分別實現不同功能，是同一個子網的反饋特征，用來細化淺層特征，促進超分辨率的效果。,為中間網絡提供亮度細節和暗部細節，用來促進多曝光融合效果。

在MCFB開始時，通過卷積層Conv(1,p)對,,,進行拼接和壓縮，產生重新優化的輸入特征，公式表達如下：

其中，Cin為初始壓縮卷積操作，為的通道拼接。

之后通過多個工作組對進行提取和細化，工作組之間使用跳躍連接。每個工作組包含一個上采樣操作和一個下采樣操作，用來將LR 特征反投影到HR特征以及將HR 特征投影到LR 特征。設和是第t個MCFB 的第b個工作組產生的LR特征和HR特征，可以表示為：

其中，為第b個工作組使用反卷積層DeConv(k,p)進行上采樣操作。從上式可以看出，前b-1 個工作組的所有LR 特征聯合后的特征輸入至反卷積層。同樣是前n-1 個工作組的HR特征聯合，再經過Conv層產生的LR特征?？梢员硎緸椋?/p>

其中，為第n個工作組的卷積層Conv(k,p)進行下采樣操作。

由于,是極度曝光網絡的反饋特征，用來促進圖像多曝光融合。然而隨著工作組數量不斷增加，圖像融合的效果開始會變好，后面逐漸變差?？赡苁墙涍^工作組多次反卷積和卷積操作，,的記憶逐漸消退。為了加強,的影響，不僅在MCFB 的開始提供極度曝光信息,，還要在中間的工作組再次提供信息，重新激活,的記憶。設工作組的數量為B，則在第個工作組，將,,拼接，產生重新優化的LR特征，表示如下：

其中，Cout為Conv(1,p)。融合的特征沒有效果更好。第t個MCFB的輸出特征有兩個流動方向，一方面重建為SR融合圖像，促進形成高質量融合特征；另一方面提供反饋特征給第t+1 個MCFB，繼續細化淺層特征以及融合極度曝光特征和中等曝光特征。

上面主要描述了中等曝光子網中MCFB 結構。由于中等曝光子網缺乏部分亮度細節和暗部細節，提供極度曝光子網的特征,給中等曝光子網的MCFB，促進極度曝光信息和中等曝光信息的融合，從而得到曝光信息更加豐富的特征。而上層子網更缺乏暗部細節，因此上層子網的第i個子網的第t個MCFB 的輸入為：有助于實現超分辨率，促進亮度信息和暗部信息的融合。由于下層子網更缺乏亮度細節，因此下層子網的第i個子網的第t個MCFB的輸入為

2.3 損失函數

本文網絡同時實現圖像超分辨率和圖像曝光融合，損失函數包括：

（1）在每個子網中，原低動態范圍、低分辨率的超分辨率重建圖像與對應的地面真實圖像之間的損失，通過平均結構相似度作為損失函數。

（2）在每個子網中，每個MCFB 的多曝光融合后的超分辨率重建圖像與地面真實圖像Igt之間的損失，通過平均結構相似度作為損失函數：

其中，LSSIM(·)為結構相似性損失函數；分別表示HR極高曝光或過曝光真實圖像、HR中等曝光圖像和HR 極低曝光或欠曝光真實圖像；Igt表示HR、HDR標準圖像；λ1為超分辨率的損失權重，λ1為多曝光融合與超分辨率的損失權重，經過大量實驗，表明當λ1=λ2=1 時，多曝光融合效果與超分辨率結果最好。所有損失可以分為兩類，前一種是保障SRB 的超分辨率效果，后一種是保障每個MCFB的多曝光融合效果。通過端到端的方法訓練整個網絡，不斷降低損失值，直到損失穩定為止。

3 實驗結果

3.1 實驗建立

（1）數據集和數據預處理

本文的模型使用SⅠCE 數據集[12]作為訓練、驗證和測試數據。實驗中，將數據集以350、100、100的比例分為訓練集、驗證集和測試集。為了產生LR訓練數據集，本文將HR 圖像進行雙三次下采樣，分別為2 倍下采樣和4倍下采樣。

實驗實施細節：本文模型中，采用多曝光圖像數量N為3，每個子網的MCFB 個數均為3。本文實驗使用Pytorch 來實現和訓練網絡模型，通過ADAM 來優化網絡的權重，學習率初始值設置為1E-4，并且每200 輪衰減0.5，學習率下限為1E-6。實驗中，采用NVⅠDⅠA GeForce RTX 3090GPU來加快訓練速度。每個子網包括FEB、SRB、MCFB 和REC，表1 展示了模塊的網絡參數。所有模塊的Conv 層和DeConv 層都使用PReLU 激活函數。

（2）對比方法

本文提出的多耦合反饋網絡同時實現了圖像超分辨率和多曝光融合，而目前大多數方法主要研究圖像超分辨率或者圖像曝光融合，很少將圖像超分辨率和曝光融合聯合起來，因此本文將目前最前沿的圖像超分辨率方法和最前沿的圖像曝光融合方法結合作為對比實驗。圖像超分辨率的方法主要有RLFN[13]、SCET[14]、RCAN[15]、SRFBN[10]、SWinⅠR[16]，圖像曝光融合方法主要有MEFNet[1]、FAST SPD-MEF[4]、MEF-GAN[5]、U2Fusion[17]。本文結合4種SR方法和4種MEF方法，并且改變SR方法和MEF方法順序，即SR+MEF或者MEF+SR，產生32種對比方法。同時選取了CF-Net[11]進行比較。為了客觀評估所提方法的性能，本文在SⅠCE 公開數據集上進行實驗并且與其他33種方法進行比較。

3.2 客觀評價指標

本節選擇3個指標（結構相似性、峰值信噪比、多曝光融合結構相似性）來客觀評價所提方法和對比方法的性能。

（1）峰值信噪比（peak signal-to-noise ratio，PSNR），公式如下：

其中，MSE（mean square error）表示當前圖像X和參考圖像Y的均方誤差，n為每像素的比特數，一般取8，即像素灰階數為256。

（2）結構相似性（structural similarity，SSⅠM[18]），通過亮度、對比度和結構比較兩張圖像塊的差異。SSⅠM值越大，融合效果越好。

（3）多曝光融合結構相似性（multi-exposure image fusion structural similarity，MEF-SSⅠM[19]），為多曝光圖像融合任務的性能評價指標，從圖像結構和內容方面比較融合圖像與源圖像的相似性，相較于SSⅠM，MEFSSⅠM 更加注重圖像色差以及色彩偏離度等信息，公式如下：

3.3 實驗與分析

在本節中，首先驗證耦合反饋機制性能；然后通過大量的定量和可視化評估，驗證了本文算法可以表現優良的性能。實驗對比了33種不同的多曝光圖像融合和超分辨率算法，這33 種方法涵蓋了卷積神經網絡的五大類算法：（1）基于生成對抗網絡的算法（MEF-GAN）；（2）基于殘差注意力機制的算法（RCAN）；（3）基于多尺度結構塊分解的算法（Fast SPD-MEF）；（4）基于Transformer的算法（Swin-ⅠR）；（5）基于反饋網絡的算法（SRFBN）。最后進行消融實驗分析。

3.3.1 多耦合反饋機制驗證

本小節實驗中探討了多耦合反饋機制對圖像融合的效果。極高曝光子網、中間子網和極低曝光子網的第一個到第三個MCFB 的圖像質量評價如表2 所示。其中：PSNR，SSⅠM，MEF-SSⅠM 這4 個指標值越大表示圖像質量越高。從表2 可以看出第t+1 個MCFB 的重建圖像比第t個MCFB的重建圖像的效果更好，這說明多耦合反饋機制確實可以提升融合圖像的性能，因此本文選擇T=3 的MCFB個數。

表2 多耦合反饋機制對多耦合反饋網絡的影響Table 2 Ⅰnfluence of multi-coupling feedback mechanism on MCF-Net

3.3.2 客觀評價

為了驗證本文方法在2倍放大下的有效性，本文使用SⅠCE 數據集[12]，與其他先進方法進行比較。這些對比方法是由SR 方法和MEF 方法相結合的，表3 展示了本文的方法與對比方法進行2 倍放大在PSNR、SSⅠM、MEF-SSⅠM這3種指標下的結果。表格的上部分展示了SR 方法在MEF 方法之前執行（SR+MEF）的對比結果，而下部分展示的是MEF 方法在SR 方法之前執行（MEF+SR）的對比結果。

表3 2倍放大下的融合結果對比Table 3 Comparison of fusion results under magnification factor of 2

表3中的每種方法都采用100對圖像融合后的平均值作為評價指標，將融合質量指標第一的數值用黑體突出，排名第二的值用下劃線突出。從表3 可以看出，本文的方法融合效果最好，在34 種方法中PSNR、SSⅠM、MEF-SSⅠM 均排名第一，并且PSNR 指標相較第二名的CF-Net方法提高0.84 dB，SSⅠM提高0.022 2，MEF-SSⅠM提高0.006 8。

本文發現，這些先進方法的組合產生的融合圖像，無論在哪個指標，都不是最高的，可能是由于兩個任務獨立處理，沒有進行信息共享。然而本文方法將這兩個任務作為一個整體進行處理，而且進行信息交互和協作，因此可以同時實現圖像融合和超分辨率，并且獲得較好的融合效果。

3.3.3 主觀評價

圖6和圖7可視化地描述了本文方法和其他先進方法在4倍放大下產生的融合圖像，其中子圖（a）、（b）、（c）為不同曝光序列圖，子圖（d）～（j）為SR+MEF 和MEF+SR的部分實驗結果，子圖（k）為耦合反饋網絡的實驗結果，子圖（l）為本文方法的實驗結果。由實驗結果可知，與SR+MEF 和MEF+SR 方法相比，本文方法在細節提升很大，與耦合反饋網絡相比，本文緩解了由于耦合反饋機制產生的圖像動態范圍較低現象。

圖7 “風景”在4倍放大下的不同方法的比較Fig.7 Comparison of methods for picture of“natural scene”with magnification factor of 4

如圖6 所示，根據子圖（d）～（g）可以看到臉部有或多或少的失真，比如：眼鏡、鼻子、嘴等，而且子圖（e）、（h）的臉部蠟黃，子圖（g）、（i）的臉部較為灰暗，子圖（d）的臉部過亮，無法看清五官，而從子圖（l）可以看到臉部細節更加清晰，膚色更均勻，沒有過亮或過暗現象。根據子圖（k）可以看出人臉的膚色泛白，而從子圖（l）可以看出人臉的膚色正常，從而緩解動態范圍低的現象。

如圖7 所示，根據子圖（d）～（g）可以看出很難分辨天空和樹枝，整張圖看起來太亮或者太暗，而從子圖（l）可以看出樹枝有著清晰的邊緣信息，整張圖有良好的對比度和色彩飽和度。根據（k）可以看出天空的顏色灰暗，山的紋理細節丟失較多，而（l）可以明顯地看出，天空的顏色更藍，山的紋理細節更加清晰，而且更加符合人眼的視覺感受。

3.3.4 消融實驗

本小節研究極度曝光網絡和中間網絡之間的耦合關系；同時研究融合權重對最終融合圖像的影響。

（1）MCFB 之間耦合方式的影響：為了研究子網之間耦合的關系，本文進行3種連接方式的探索：①每個子網都接受其他子網的曝光信息；②上層子網與中間子網之間相互傳遞曝光信息，下層自網絡與中間子網路相互傳遞曝光信息；③上層子網與下層子網之間相互傳遞曝光信息，中間子網接受來自極度曝光網絡的曝光信息。圖8 展示了3 種耦合方式對比：對于圖（a），極度曝光子網接收了中間子網的曝光特征和互補曝光特征，在下次迭代時將融合的特征再次輸入中間子網，很可能造成曝光特征冗余的現象；對于圖（b），極度曝光特征接收與它亮度相近的中等曝光特征，而沒有得到互補的亮度特征，因此極度曝光子網融合產生的特征缺乏部分亮度信息；對于圖（c），極度曝光子網分別接收到互補的曝光特征，因此融合產生的特征既具有亮度特征，又包含暗部細節，中間子網接收來自極度曝光子網的特征，使得融合產生亮度更廣泛的特征。

圖8 三種耦合方式對比Fig.8 Comparison of three coupling modes

表4 展示了3 種耦合方式在PSNR、SSⅠM 和MEFSSⅠM 下的結果?？梢钥闯雠c前兩種耦合方式相比，第三種耦合方式（多耦合反饋機制）的重建圖像在各項指標下均取得了最好的結果，因此本文使用第三種耦合方式構建多耦合反饋網絡。

表4 子網絡不同的耦合方式對融合圖像的影響Table 4 Ⅰnfluence of different coupling modes of sub-networks on fused images

（2）融合權重的影響：本文最終的融合圖像是由中等曝光子網和極度曝光子網的最后一個重建圖像加權融合產生的，因此每個子網的重建圖像都對融合圖像有影響。為了獲得最佳融合圖像，本文設置wo=wu,wm從0.1到0.9。

（3）表5展示了在SⅠCE測試集[12]和PQA數據集[19]根據權重系數的變化，PSNR、SSⅠM、MEF-SSⅠM 指標的結果。本文可以看出，在SⅠCE 數據集，當wo=wu=wm=1/3 時，PSNR 最高，而SSⅠM 和MEF-SSⅠM 不是最高的。當wo=wu=0.2,wm=0.6時，SSⅠM和MEF-SSⅠM最高，而PSNR 不是最高的。在PQA 數據集，wm=0.6或wm=0.7 或wm=0.9 時，MEF-SSⅠM的值最高。綜上所述，本文選擇wo=wu=0.2,wm=0.6 作為各個子網的權重，這也說明了中等曝光子網對超分辨率融合圖像的貢獻更大，從而驗證了本文提出模型的有效性。

表5 融合權重對圖像融合的影響Table 5 Ⅰnfluence of fusion weight on image fusion

4 結束語

基于深度學習的超分辨率塊能提取深層次特征的能力和反饋機制強大的圖像重建特性，本文提出多耦合反饋網絡，用來同時解決圖像超分辨率問題和圖像曝光融合問題。實驗結果表明，本文算法較好地保留了原圖像序列的邊緣，區域邊界及紋理等細節信息，避免了邊緣產生光暈、偽影，達到了較好的融合效果；同時本文算法探索得到極度曝光子網和中等曝光子網最有效的耦合方式以及重建圖像融合的最優權重；而且提出了包含N個子網的多耦合反饋網絡，適用于任意曝光圖片數量進行融合。因此，本文方法實現了將N個多曝光圖像融合生成超分辨率質量更高、動態范圍更廣的圖像。后續研究工作，將對本文方法中的多耦合反饋網絡進行優化，以使其能夠得到更好的融合效果。