?

基于多路混合注意力機制的水下圖像增強網絡

2024-01-27 06:57孫山林井佩光
電子與信息學報 2024年1期
關鍵詞:集上特征提取注意力

李 云 孫山林 黃 晴 井佩光

①(廣西財經學院大數據與人工智能學院 南寧 530003)

②(桂林電子科技大學信息與通信學院 桂林 541000)

③(桂林航天工業學院電子信息與自動化學院 桂林 541000)

④(天津大學電氣自動化與信息工程學院 天津 300072)

1 引言

隨著近年來海洋工程的快速發展,海洋技術也在向智能化方向迅速轉變。自主水下航行器(Autonomous Underwater Vehicle, AUV)廣泛應用于水下目標識別、目標檢測、海洋探索等領域。然而,水下的復雜環境和光線在水中的散射和衰減影響,導致AUV獲取圖像存在色偏、低對比度和模糊等問題?;谒聢D像目標檢測等視覺任務較難實現。因此,研究如何增強水下圖像具有重要意義,這可以提高水下任務的準確性。

波長頻率對圖像傳輸具有顯著的影響和限制。高頻率波長可實現高分辨率,但傳輸距離會減??;光學器件、環境和傳輸媒介等因素也會對波長頻率產生影響[1]。目前,水下圖像增強方法分為基于物理模型方法和基于非物理模型方法?;诜俏锢砟P头椒ú豢紤]水下成像物理模型,僅通過調整圖像的局部特征和像素值來提高其視覺質量,如:自適應直方圖均衡化[2]、限制對比度直方圖均衡化[3]、基于融合的方法[4]、灰色世界方法[5]、小波變換[6]等。上述方法在復雜多變的水下環境中沒有考慮水下成像的物理模型,可能會引入其他色偏、偽影或過度曝光等問題?;谖锢砟P偷姆椒ㄊ峭ㄟ^水下成像的先驗知識估算出水下成像的物理模型參數[7],并利用反演模型來恢復清晰的水下圖像,如:霧線先驗[8]、衰減曲線先驗[9]、一般暗信道先驗[10]等。這些基于物理模型的方法雖然實現了一定程度的圖像恢復,但過度依賴水下場景先驗知識,當先驗不適用時,對圖像恢復效果較差,泛化性不強,具有一定的局限性。

隨著深度神經網絡的強大學習能力的發展,深度神經網絡在圖像增強中得到廣泛應用,可用于非線性系統的復雜映射關系,能夠自動地從數據中學習特征,避免了傳統方法手工特征提取的繁瑣和不準確性。Li等人[11]提出了一種名為Ucolor的基于介質傳輸引導的多色空間嵌入的水下圖像增強網絡,它利用多顏色空間嵌入以及基于物理模型和學習方法的優點,解決水下圖像的顏色偏差和低對比度問題。李鈺等人[12]提出一種基于生成對抗網絡的水下圖像增強方法,通過多尺度生成器實現清晰的水下圖像,此方法能夠有效地修正色偏、對比度,保護細節信息不丟失。Marques等人[13]提出了一種名為低光水下圖像增強器(Low Light Under Water image Enhancer, L2UWE)的框架,用于低光水下圖像的高效增強。該框架基于本地對比度和多尺度融合技術,能夠有效地提高水下圖像的清晰度和亮度。Li等人[14]構建了水下圖像增強基準(Underwater Image Enhancement Benchmark, UIEB)并提出了WaterNet水下圖像增強網絡,該方法能夠很好地恢復色偏和圖像細節。Sun等人[15]提出基于Pix2Pix生成對抗網絡,并引入了深度殘差學習和多層感知機等技術以提高模型性能和泛化能力,能夠有效去除霧化效應、校正色偏和增加圖像細節。方明等人[16]提出基于注意力的多尺度水下圖像增強網絡,引入注意力機制并設計多尺度特征提取模塊,較好地恢復圖像顏色和紋理信息。米澤田等人[17]提出一種新穎通用的多尺度級聯網絡,有效解決特征提取有限的問題。Zhuang等人[18]提出了一種基于超拉普拉斯反射先驗的水下圖像增強方法,通過建立超拉普拉斯反射先驗模型,利用反射成分的統計特征對圖像進行約束和優化,以實現圖像的增強和去噪。Zhuang等人[19]提出了一種基于貝葉斯Retinex模型的水下圖像增強方法,通過建立物理模型并利用局部統計特征對圖像進行優化和約束,實現水下圖像的增強和去噪。上述方法雖然有效恢復了色偏、低對比度、低照度,但是忽略了水下圖像對比度、亮度和顏色之間的關系,沒有自適應平衡水下圖像的對比度、亮度和顏色。

針對上述水下圖像的問題,本文提出一種基于多路混合注意力機制的水下圖像增強網絡,自適應地平衡水下圖像對比度、亮度和顏色之間的關系,在多個數據集上對所提出的方法進行了評估分析。與傳統的水下圖像增強方法對比,實驗結果表明,本文所提方法在圖像的對比度、亮度和顏色方面恢復得更好。本文的主要貢獻如下:

(1)提出多路特征提取模塊。通過對直方圖均衡、伽馬矯正和白平衡3種圖像特征提取,分別獲得不同尺度的對比度、亮度和顏色的特征信息,為混合注意力學習模塊提供不同深度和尺度的特征。

(2)設計了多支路特征融合模塊。針對水下圖像對比度、亮度和顏色不佳的問題,融合直方圖均衡、伽馬矯正和白平衡3種圖像特征,增強融合特征的互補性。

(3)構建混合注意力學習模塊。分別從通道維度和像素維度兩個維度出發,學習直方圖均衡、伽馬矯正和白平衡特征與融合互補性特征之間的相關性矩陣,計算局部和全局特征的依賴性,實現具有圖像增強的導向性輸出,恢復增強圖像的圖像細節、明亮度和色偏。

2 基于多路混合注意力機制的水下圖像增強網絡

該網絡結構如圖1所示,由4部分組成:基礎部分、多支路特征融合模塊、多路特征提取模塊、混合注意力學習模塊?;A部分,對輸入圖像進行直方圖均衡、伽馬校正和白平衡算法的處理,這3種算法用于調整圖像的對比度、亮度和顏色。多支路特征融合模塊,由8個CR單元(卷積層+ReLU層)和1個跳躍連接組成,通過將原圖像和3種預處理圖像拼接后送入到多支路特征融合模塊進行圖像特征的融合,跳躍連接從第4個CR單元連接到最終的輸出。多路特征提取模塊,由3個Inception[20]模塊并行組成,將原圖像和3個預處理圖像分別拼接后進行圖像對比度、亮度和顏色的特征提取。在多支路特征融合模塊和多路特征提取模塊后加入3個混合注意力學習模塊,對提取的特征和融合特征在通道維度和像素維度計算出對比度、亮度和顏色的相關性矩陣,得到的矩陣作用于融合特征,最終與跳躍連接相加得到增強圖像。

2.1 基礎部分

針對水下圖像色偏、對比度低和畫面模糊等問題,本文方法在將圖像送入網絡之前進行了直方圖均衡、伽馬矯正和白平衡。對原始圖像IRAW進行直方圖均衡、伽馬校正和白平衡,生成3個輸出IHE, IGC, IWB。其中,白平衡算法用于圖像顏色的矯正,直方圖均衡用于提高圖像的對比度,而伽馬校正算法則用于平滑擴展圖像暗調的細節。

白平衡算法采用文獻[4]中提出的白平衡算法,論文中對灰度世界算法進行了改進,將灰度世界算法中的照度通過從場景的平均值計算得出的μI值來估計,并通過參數λ進行調整,如式(1)所示

其中,μref為光源顏色的平均值,λ=0.2。

直方圖均衡算法采用對比度受限自適應直方圖均衡算法,通過分塊的方式對圖像進行直方圖均衡,引入一個限制系數限制直方圖的高度來限制對比度的增強大小,防止圖像對比度增強過度以及噪聲的放大。

(1) 將圖像等分為M塊,計算該分塊區域圖像的灰度閾值C

其中,Mavg為像素均值,xpix和ypix分別為該分塊區域的x和y上的像素個數,Mg為該分塊的灰度級數量。α為限制系數,α=0.01,C為灰度閾值。

(2) 通過灰度閾值C來限制每個分塊區域,將超出閾值的像素值平均分配

其中,Spix為超過閾值的像素總數,Mpix為每一級的像素個數。

(3) 對每個分塊區域進行直方圖均衡化,通過雙線性插值運算處理避免分塊區域產生塊狀效應,最后對圖像進行中值濾波使圖像變得平滑。

人眼感知外界光源的感光值與外界輸入的光強并非線性關系,而近似呈指數關系。因此,使用伽馬校正可以使圖像適應人眼的特性。伽馬校正對圖像的灰度值進行非線性操作,使輸出圖像的灰度與輸入灰度呈指數關系

其中,gamma為校正系數,gamma=0.7。

2.2 多支路特征融合模塊

為增強直方圖均衡、伽馬矯正和白平衡方法的互補性,本文設計了多支路特征融合模塊,將原圖和3種圖像預處理特征進行融合。該網絡由8個CR單元和1個跳躍連接組成,其中使用了不同大小、不同輸出通道的卷積進行特征提取。具體而言,8個CR單元的卷積核大小分別為7×7, 5×5,3×3, 1×1, 7×7, 5×5, 3×3和9×9,如圖1(a)所示。大尺寸的卷積可以更好地進行全局特征提取。輸入圖像是3種預處理圖像IHE, IGC, IWB與原始圖像IRAW的拼接,通過拼接圖像送入網絡進行學習,以融合圖像的對比度、亮度和顏色特征。在第4個CR單元中,連接一個1×1的卷積進行通道降維,并跳躍連接到最終的輸出結果上。最后,在通道維度將輸出分離為3個輸出

其中, ?為通道維度拼接,Convi為多支路特征融合模塊第i層的卷積操作,δr為ReLU激活函數,Conv1×1為1×1的卷積操作,Skip為跳躍連接的輸出。

2.3 多路特征提取模塊

多路特征提取模塊由3個GoogLeNet中的Inception模塊并行組成,Inception模塊如圖1(b)所示。本文將原圖IRAW和3種處理圖像IHE,IGC,IWB分別拼接后,輸入到這3個模塊中進行特征提取。每個模塊內有4個不同卷積大小的分支,利用不同分支對輸入圖像提取不同尺度的對比度、顏色和亮度特征信息,最后將不同尺度的特征信息融合。多個分支增加了網絡的寬度;同時采用小卷積層代替大卷積層,增加了網絡的深度,且不會影響卷積表達能力。通過多個具有不同感受野的卷積分支進行特征提取,增加了空間特征的豐富性和特征的多樣性。這4個分支的結構分別為:1×1卷積、1×1和5×5的卷積、1×1和兩個3×3的卷積、1×1的卷積和平均池化。

將3種預處理圖像與原圖IRAW沿通道維度進行拼接,Iin為任一IHE, IGC, IWB,得到輸入Xin

將Xin送入模塊的4個分支進行特征提取,得到4個分支的輸出Y1,Y2,Y3,Y4

其中,Convi×i為i×i大小的卷積操作,AvgPool為平均池化操作。

將Y1,Y2,Y3,Y4沿通道維度進行拼接,通過一個1×1的卷積核進行通道降維

2.4 混合注意力學習模塊

近幾年來,注意力機制在圖像處理中得到了廣泛的關注。Bahdanau等人[21]首次將注意力機制應用于自然語言處理領域。目前,注意力機制不僅在自然語言處理中被廣泛使用,而且在圖像處理中也得到了廣泛的應用。該機制的核心思想是使網絡更關注需要關注的地方。通過利用圖像中不同區域之間的關聯性,計算出區域之間的全局依賴關系。本文在網絡中引入了混合注意力學習模塊,該模塊對提取的3個特征和3個融合特征的通道維度和像素維度分別計算對比度、亮度和顏色的相關性矩陣,計算得到的矩陣作用于融合特征,如圖1(c)所示。

在通道維度對多路特征提取模塊提取的特征和多支路特征融合模塊的融合特征進行通道維度的相關性矩陣計算,得到的矩陣作用于融合特征。通過計算每個通道在不同空間位置上的重要性來加權每個通道的輸出。提取的特征和融合特征經過1×1的卷積生成輸入

其中,Cin為多路特征提取模塊提取的特征,Fin為多支路特征融合模塊的融合特征,Qc,Kc,Vc?RC×H×W。

通道維度的自注意力學習可以定義為

其中,δsg,δsm為Sigmoid和Softmax激活函數,LN為LayerNorm操作。

接下來,對通道維度的自注意力輸出進行像素維度的自注意力學習。讓每個像素點關注自己的重要性,并得到每個像素點的權重,以加權融合特征的每個像素點。像素自注意力能夠捕捉不同空間位置之間的相關性。將通道自注意力的輸出經過1×1的卷積生成輸入

其中,Ac為通道自注意力的輸出,Ac?RC×H×W。

像素維度的自注意力學習可以定義為

其中,GlobalPool為全局池化操作。

2.5 損失函數

在網絡訓練中,需要使用損失函數來監督網絡的學習過程。損失函數的作用是描述網絡預測值和真實值之間的差距大小,并提供一個標準來幫助網絡進行訓練,使得模型朝著收斂的方向前進。在本文的網絡中,使用了兩個損失函數來監督網絡的學習過程。

平均絕對誤差(Mean Absolute Error, MAE),是指預測值與真實值之間差值的絕對值的平均值,表示了預測值的平均偏移程度。MAE損失函數不會放大誤差值,其損失值相對平緩,對異常像素具有更好的魯棒性。MAE損失函數的公式定義如式(14)所示

其中,O(x)和G(x)為本文網絡增強圖像和參考圖像,H, W, C為圖像的高度、寬度和通道數。

結構相似性指標(Structural Similarity Index Measure, SSIM)[22]是一種用于衡量兩張圖片相似程度的指標,可以評估圖像在亮度、對比度和結構等方面的相似度。當SSIM接近1時,說明兩張圖片在結構和紋理上更接近。SSIM損失函數的公式定義如式(15)所示

其中,μO和σO表示O(x)的均值和標準差,μG和σG表示G(x)的均值和標準差,σOG表示O(x)和G(x)的協方差,C1,C2表示正則化參數。

總損失函數可以定義為上述MAE損失函數和SSIM損失函數的線性組合,具體形式如式(16)所示

3 實驗

3.1 實驗設置

本文選取3類公開的水下數據集進行網絡的訓練和測試。實驗過程中,在Linux18.04系統上使用PyTorch框架完成了訓練和測試,該系統的CPU為i9-11900K,內存為64 GB,顯卡為NVIDIA Ge-Force RTX3090。在訓練過程中,對輸入的水下圖像進行了統一大小和隨機翻轉處理。其中,Batchsize為4,40個epoch,優化器采用Adam算法,初始學習率為0.001。

3.2 水下圖像數據集

水下圖像增強基準[14](Underwater Image Enhancement Benchmark, UIEB)包含了各種水下場景中不同特征的圖像退化情況,例如光線不足、模糊等。該數據集共有950個真實世界的水下圖像,其中有890張圖像具有相應的參考圖像,而剩下的60張無法獲得滿意的參考圖像,則被用作數據集的測試集。在這890張具有參考圖像的水下圖像中,參考圖像是通過50名志愿者在12種增強算法中選出質量最好的圖片。

增強水下視覺感知[23](Enhancement of Underwater Visual Perception, EUVP)包含了大量的成對和非成對的水下圖像。數據集使用了7種不同的攝像頭進行水下拍攝,這些圖像是在海洋探測和人機合作中收集的,在不同能見度的條件下和不同地點進行拍攝的。此外,數據集中也包含了一些從公開的YouTube視頻中提取的圖像,這些圖像經過篩選包含了不同場景、不同水體類型、不同照明條件等。EUVP數據集分為3個子集:合成的水下暗場景圖像、使用ImageNet生成的退化水下圖像和水下真實場景圖像。

大規模水下圖像[24](Large Scale Underwater Image, LSUI)包含了4 279張真實水下圖像,每張圖像都有相應的高質量參考圖像、語義分割圖和介質傳輸圖,覆蓋了更加多樣化的水下場景,包括不同的光照條件、水體類型和目標類別。

本文選用UIEB, EUVP的兩個子集和LSUI。其中,ImageNet生成的退化水下圖像用EUVP1表示,水下真實場景圖像用EUVP2表示,數據集的訓練集和測試集按照9:1進行劃分,劃分情況如表1所示。

表1 4種不同水下數據集的劃分

3.3 評價指標

為了評估本文提出網絡的性能,本文采用兩類評價指標:有參考評價指標和無參考評價指標。其中,有參考指標需要使用參考圖像進行評估,而無參考指標則不需要使用參考圖像。下面將介紹這兩類評價指標。

3.3.1 有參考評價指標

本文使用了均方誤差(Mean Squared Error,MSE)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結構相似性SSIM這3個指標來衡量增強圖像與參考圖像之間的差異程度。MSE得分越低,PSNR得分越高,表明增強圖像在內容上與參考圖像的相似度更高。而SSIM得分越高,則表明增強圖像在結構和紋理上與參考圖像的相似度更高。

3.3.2 無參考評價指標

水下色彩圖像質量評價指標(Underwater Colour Image Quality Evaluation, UCIQE)[25],采用了色度、飽和度和對比度的線性組合進行定量評估,主要應用于量化水下工程和監測圖像中的不均勻顏色投射、模糊和低對比度等問題。UCIQE得分越高,表明結果在色度、飽和度和對比度之間的平衡越好。UCIQE的公式定義如式(17)所示

其中,c1=0.468 0,c2=0.274 5,c3=0.257 6,σc,σconl,σs分別為色度標準差、亮度對比和飽和度的平均值。

3.4 消融實驗

為了驗證網絡的有效性和收斂性,本文在UIEB數據集上進行了消融實驗,并選擇了有參考評價指標作為評價指標。在實驗中,把網絡各組成部分分為:A:多支路特征融合模塊;B:白平衡的多路特征提取模塊和混合注意力學習模塊;C:直方圖均衡的多路特征提取模塊和混合注意力學習模塊;D:伽馬矯正的多路特征提取模塊和混合注意力學習模塊;E:跳躍連接。評價指標數值結果如表2所示,加粗表示最優值。每個消融網絡和本文提出方法在訓練過程的損失變化如圖2所示??梢钥闯?,完整網絡在訓練過程中始終具有最低的損失和最佳的收斂性。

表2 網絡結構消融實驗數值結果

圖2 消融實驗訓練損失曲線圖

3.5 對比實驗

3.5.1 定性分析

為了進一步驗證本文所提方法在增強各種水下場景的水下圖像方面的有效性,本文選擇了UIEB數據集、EUVP數據集和LSUI數據集,并針對不同的色偏、模糊遮擋和低照度情況,使用多種方法以及本文提出的方法進行了定性評價和分析。

(1)UIEB數據集定性分析,在UIEB數據集上,不同方法和本文提出方法的增強圖像的視覺效果對比如圖3所示。其中,Fusion[4], Dehaze[26]和UResnet[27]方法在提高圖像明亮度方面表現較好,但在減少色偏方面的效果較差,甚至可能引入其他色偏。Shallow-UWnet[28]和WaterNet[14]方法可以有效去除色偏,但對于去除模糊遮擋的效果并不理想。HLRP[18]和BRUE[19]方法可以有效地去除色偏和模糊遮擋,但是對于圖像恢復的明亮度和細節效果較差。GDCP[10]方法不僅沒有去除色偏,還可能引入其他色偏。相比之下,本文所提方法在去除色偏、模糊遮擋和提高圖像明亮度3個方面都獲得了不錯的效果。

圖3 UIEB數據集上不同方法生成的水下圖像視覺對比

(2)EUVP數據集定性分析,在EUVP1和EUVP2數據集上,不同方法和本文提出方法的增強圖像的視覺效果對比分別如圖4和圖5所示。其中,GDCP和Dehaze方法并沒有很有效地去除色偏和模糊遮擋,并且存在增強過度導致的曝光現象。Fusion方法能夠有效地去除模糊遮擋和增強圖像細節,但對于去除色偏的效果并不明顯。HLRP和BRUE方法能夠有效地去除模糊遮擋和色偏,但是對于圖像恢復的明亮度和細節效果較差。Shallow-UWnet,WaterNet和UResnet方法都能夠很好地去除色偏并適度提高圖像明亮度,但Shallow-UWnet并不能很有效地去除模糊遮擋。相比之下,本文所提方法能夠有效地去除色偏和模糊遮擋,并提高圖像的明亮度,同時增強了圖像的細節。

圖4 EUVP1數據集上不同方法生成的水下圖像視覺對比

圖5 EUVP2數據集上不同方法生成的水下圖像視覺對比

(3)LSUI數據集定性分析,在LSUI數據集上,不同方法和本文方法的增強圖像的視覺效果對比如圖6所示。Fusion, GDCP和Dehaze方法在提高圖像明亮度方面表現較好,但是沒有很好地去除色偏和模糊遮擋。HLRP和BRUE方法在可以有效地去除色偏和模糊遮擋,但是存在增強過度導致的曝光現象。Shallow-UWnet和UResnet方法能夠有效地去除色偏,但是對于去除模糊遮擋和提高圖像明亮度效果較差。WaterNet方法在去除色偏、模糊遮擋和提高圖像明亮度效果較好,但是在增強圖像細節方面沒有本文提出的方法效果好。相比之下,本文提出的方法在去除色偏、模糊遮擋和提高圖像明亮度3個方面都獲得了不錯的效果。

圖6 LSUI數據集上不同方法生成的水下圖像視覺對比

3.5.2 定量分析

為了驗證本文提出的方法的有效性,本文在UIEB, EUVP和LSUI數據集上使用了有參考評價指標和無參考評價指標來與其他方法進行定量分析。

(1)UIEB數據集定量分析,在UIEB數據集上,本文方法與不同的方法進行了評價指標數值的比較,具體結果如表3所示,加粗表示最優值。結果表明,本文提出的方法在UIEB數據集上,MSE和SSIM評價指標排名第1。從表3可以看出,Fusion方法的PSNR指標和UCIQE指標最好,但是PSNR指標是基于像素誤差評價的,人眼對于這種誤差的敏感度并不是絕對的。圖3的視覺對比顯示,使用Fusion方法增強的水下圖像引入了不同程度的色偏,雖然Fusion方法的PSNR數值較高,但是其視覺效果不如本文方法好。

表3 UIEB數據集上不同方法的定量評價

從表3可以看出,Fusion, GDCP和Dehaze方法在UCIQE指標上都獲得了不錯的數值。根據式(17),UCIQE指標是色度、飽和度和對比度的線性組合。但從圖3可以看到,這3種方法得到的增強圖像在色度、飽和度和對比度方面過度增強,在解決去除色偏、模糊遮擋等問題方面效果并不好。UCIQE指標在某些情況下可能存在局限性,與主觀視覺存在一定的差距。綜合來看,本文方法取得了較好的結果。

(2)EUVP數據集定量分析,從表4和表5可以看出,本文方法在EUVP數據集的兩個子集上SSIM指標都獲得了最高的數值,說明本文方法生成的增強圖像在結構相似性方面與參考圖像更為接近。

表4 EUVP1數據集上不同方法的定量評價

表5 EUVP2數據集上不同方法的定量評價

在EUVP1數據集上UResnet方法在MSE和PSNR指標上略高于本文方法,但從圖4可以看出,UResnet去除模糊遮擋的效果并不如本文方法好。在UCIQE指標上,GDCP方法獲得了最高的數值,但從圖4可以看出,該方法并沒有很好地去除色偏,并且對比度過高導致圖像失真和細節缺失。

在EUVP2數據集上Shallow-UWnet和UResnet方法雖然在MSE和PSNR指標上略高于本文方法,但從圖5可以看出,它們并沒有像本文方法那樣在圖像細節恢復方面表現得好。此外,UResnet方法生成的增強圖還存在一定的色偏問題。

(3)LSUI數據集定量分析,從表6可以看出,本文方法在LSUI數據集上SSIM獲得了最高的數值,說明本文方法生成的增強圖像在結構相似性方面與參考圖像更為接近。從表6可以看出,WaterNet在MSE和PSNR指標上略高于本文方法,但從圖6中可以看出WaterNet方法在去除色偏方面和圖像細節上并不如本文方法好。

表6 LSUI數據集上不同方法的定量評價

3.6 運行時間

本文對不同方法在UIEB數據集上的運行時間和FPS進行了測試。根據表7的數據,本文方法的FPS并不高,但是生成的圖像很好地解決了水下圖像出現的問題。與其他方法相比,在速度和量化指標方面仍具有一定的競爭力。

表7 不同方法的運行時間和FPS

4 結束語

本文設計了一個基于多路混合注意力機制的水下圖像增強網絡。本網絡通過特征融合模塊融合對比度、亮度和顏色特征,增強其互補性;通過混合注意力模塊自主學習相關性矩陣。為了達到上述目的,本網絡引入了多路特征提取模塊進行多路特征提取,增加了網絡的寬度、深度以及特征多樣性。同時,在網絡中構建了混合注意力學習模塊,從通道維度和像素維度對提取的特征和融合特征計算出相關性矩陣,得到的矩陣作用于融合特征。實驗結果表明,與其他方法相比,本文方法能夠很好地恢復色偏、模糊遮擋和提高圖像明亮度,并具有較好的泛化性。但是,本文方法的時間復雜度略高,很難滿足實時處理的要求,需要進一步改進方法。

猜你喜歡
集上特征提取注意力
讓注意力“飛”回來
Cookie-Cutter集上的Gibbs測度
鏈完備偏序集上廣義向量均衡問題解映射的保序性
基于Daubechies(dbN)的飛行器音頻特征提取
復扇形指標集上的分布混沌
“揚眼”APP:讓注意力“變現”
Bagging RCSP腦電特征提取算法
A Beautiful Way Of Looking At Things
基于MED和循環域解調的多故障特征提取
幾道導數題引發的解題思考
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合