基于Res2Net-IDCN-SCF算法的多模態醫學圖像融合

程 穎,方賢進

(安徽理工大學 計算機科學與工程學院,安徽 淮南 232001)

圖像融合是將不同模態的信息融合到1張圖片中,在許多領域有著廣泛的應用,例如在軍事和醫學領域[1]。醫學影像在臨床診斷治療中扮演著至關重要的作用,它們包含1個部位的生理和結構等信息,能夠輔助醫生分析患者的病情。醫學影像有多種類型,其中磁共振成像(magnetic resonance imaging,MRI)展示了結構軟組織信息,計算機斷層掃描(computed tomography,CT)展示了骨骼信息,單光子發射計算機斷層成像(single photon emission computed tomography,SPECT)展示了細胞功能代謝信息[2]。不同序列MRI圖像展示的腦腫瘤信息有較大差異,液體衰減反轉恢復序列(fluid-attenuated inversion recovery pulse sequence,FLAIR)對腦實質內的病灶敏感,T1加權像(T1-weighted-imaging,T1)提供腦部解剖信息,T2加權像(T2-weighted-imaging,T2)展示腦腫瘤和水腫形狀和細節,對比增強T1加權像(contrast-enhanced T1-weighted,T1ce)鑒別腫瘤與非腫瘤性病變[3]。因此,融合多個序列信息,實現多模態醫學圖像融合,消除模態之間冗余信息,有助于醫生對多個序列信息的提取并提高診斷效率。

近幾年,很多方法被用于解決醫學圖像融合的問題,這些方法包括:基于金字塔變換的方法[4]、基于小波變換的方法[5]、基于稀疏矩陣的方法[6]、基于卷積神經網絡(convolutional neural networks,CNN)的方法[7]、基于生成式對抗網絡(generative adversarial networks,GAN)的方法[8]等?；诮鹱炙儞Q的方法融合圖像能夠整合一定的結構信息,但不能有效保存顯著特征并且會提供不需要的邊緣信息。為了解決這個問題,基于小波變換的方法被提出。Bhardwaj等[5]提出了基于離散小波變換與遺傳算法在醫學圖像融合的應用,但仍然存在著泛化性能低、無法保留源圖像特征的提取細節、邊緣會產生偽影等問題。因為CNN[15]良好的特征提取能力,Liu等[7]將多模態融合的工作擴展到醫學圖像上,使用CNN生成權重圖以融合2張圖像的特征。Ma等[8]將GAN應用在圖像融合上,利用GAN的生成特性,生成包含2張源圖信息的融合圖像,但GAN訓練不穩定,生成的樣本具有隨機性、可控性低。在此基礎上,Ma等[9]提出了雙鑒別器融合網絡,設計2個鑒別器分別學習2個模態的語義信息,能更好地學習到圖像中的信息,提高圖像的融合質量,但在融合圖像的結果中腫瘤邊緣信息仍然存在偽影,而且網絡結構并未捕捉到源圖中的多尺度信息。

現有的醫學圖像融合方法已經能實現較好的融合結果,同時保留多模態圖像幾何信息和紋理信息,但對腦腫瘤病灶邊緣信息和多尺度信息提取仍然存在不足。因此,提出一種基于殘差多尺度網絡(residual multi-scale network,Res2Net)、交錯稠密網絡和空間通道融合的多模態醫學圖像融合(multimodal medical image fusion based on Res2Net and interleaved dense connection network and spatial channel fusion,Res2Net-IDCN-SCF)算法。針對腦腫瘤圖像多尺度紋理信息提取有限的問題,采用Res2Net作為編碼器提取圖像的紋理結構特征并用交錯稠密網絡進行解碼,構建鑒別器約束掩碼圖像和腦腫瘤邊緣圖像的差異,豐富腦腫瘤邊緣細節,設計注意力融合方法,減少多模態圖像的冗余,整合更多有效信息。

1 Res2Net-IDCN-SCF算法結構

Res2Net-IDCN-SCF特征訓練網絡的融合架構如圖1所示。由圖1可知,Res2Net-IDCN-SCF算法包括整體網絡架構和其中的融合算法。

圖1 Res2Net-IDCN-SCF融合架構Fig.1 Fusion architecture of Res2Net-IDCN-SCF

1.1 基于Res2Net的稠密融合網絡

算法分為基于Res2Net的稠密融合網絡和融合算法2個部分:基于Res2Net的稠密融合網絡由基于Res2Net的編碼器、交錯稠密解碼器、掩碼鑒別器和損失函數組成;融合算法由空間融合算法和通道融合算法組成。

1.1.1 基于Res2Net的編碼器 為了捕捉粒度級別的多尺度特征,Res2Net[10]在殘差網絡(residual network,ResNet)基礎上增加了每個網絡層的感受野,Res2Net網絡結構如圖2所示。由圖2可知,與傳統CNN的不同之處在于其使用了更小的濾波器捕捉多尺度特征信息,同時計算負荷相似,以分層殘差連接的網絡結構保留了更多圖像中的語義信息。在特征圖X進入1×1的卷積層后被等分為4個子特征圖xi,其中i∈(1,2,…,s)。子特征圖xi的通道數是特征圖X的1/s,隨后進行3×3卷積操作。這個卷積操作被定義為Ki(x),如下:

圖2 Res2Net網絡結構Fig.2 Architecture of Res2Net

Ki(x)=fReLU(fconv(x)),

(1)

式(1)中,fconv(x)指3×3的卷積計算,fReLU(·)指線性整流單元(rectified linear unit,ReLU)。

用fi(xi)定義每個子特征圖xi的計算函數,下一個子特征圖xi+1的輸出由xi和yi構成。這樣的分層殘差連接能提取更多的多尺度特征信息,xi+1接收xi的特征信息Ki(xi+1),其卷積算子比Ki(xi)的感受野更大。fi(xi)的定義如下:

(2)

式(2)中,s是子特征圖的切片數。

1.1.2 交錯稠密解碼器 Unet++[11]的交錯稠密連接網絡優化了醫學圖像分割工作,重新設計了跳躍連接以減少編碼器和解碼器之間的語義差異。在深度神經網絡中,跳躍連接可以保留源圖像中豐富的語義信息和紋理信息,然而,在編碼器和解碼器之間使用跳躍連接可能會產生意想不到的語義差異。因此,采用交錯稠密連接網絡(interleaved dense connection network,IDCN)作為解碼器對特征圖進行重構。每個稠密塊(dense block,DB)由卷積算子組成,每一層的DB接收不同尺度的特征圖。每層最后一個DB接收的輸入包括上一層輸出到下采樣的結果和同一層的稠密跳躍連接信息,減少了編碼與解碼之間信息的丟失。

在交錯稠密連接網絡中,假設xi,j表示DB模塊的輸出,i表示下采樣的方向,j表示跳躍稠密連接的方向,xi,j的映射計算公式如下:

(3)

式(3)中,K(·)表示卷積算子,由1個卷積層和1個ReLU激活函數組成;U(·)表示上采樣層,[·]指稠密跳躍連接層;[xi,k]指稠密跳躍連接的輸入。

1.1.3 掩碼鑒別器和損失函數 為了豐富融合圖像在腦腫瘤病灶區域的邊緣紋理細節,構建了掩碼鑒別器約束掩碼源圖像和腫瘤邊緣圖像之間的差異性。預先訓練了輪次為250、學習率為0.003和動量為0.9的Unet模型。融合圖像經過Unet預訓練模型獲得粗分割腫瘤邊緣圖像,由鑒別器判斷掩碼源圖像與腫瘤邊緣圖像的真假,用于約束腫瘤邊緣圖像使其接近于掩碼源圖像,使融合圖像的腫瘤病灶邊緣接近掩碼源圖像。

在訓練階段,總損失函數被定義為Ltotal,如式(4)所示:

Ltotal=Lpixel+λLSSIM,

(4)

式(4)中,λ表示2個函數之間的權衡指數;Lpixel和LSSIM分別表示像素損失函數和相似度損失函數,它們的計算方式分別如式(5)和式(6)所示:

(5)

LSSIM=1-fSSIM(I,O),

(6)

其中,I、O表示輸入和輸出圖像;(i,j)表示圖像中第(i,j)個像素點;H和W表示圖像的長和寬;fSSIM(I,O)表示2個圖像的相似性函數。

掩碼鑒別器的損失LD計算公式如下:

LD=[-log2D(Im)]+[-log2(1-D(OU))],

(7)

式(7)中,Im指掩碼源圖像;OU指腫瘤邊緣圖像;D(·)指掩碼鑒別器;[·]表示計算圖像均值函數。

1.2 融合算法

為了更好地整合多模態圖像信息,設計空間和通道融合算法能夠在最大限度上整合圖像信息,減少空間和通道信息冗余。融合算法的流程如圖3所示。由圖3可知,假設通過基于Res2Net的編碼器獲得的2張多尺度特征圖分別為PI和PV,融合特征圖PF的計算如下:

圖3 融合算法Fig.3 Fusion algorithm

(8)

1.2.1 空間融合算法 假設特征圖為P∈C×H×W,首先將其重塑和轉置為PX∈HW×C,再經過n×n的池化算子得到特征圖PZ∈HW/n2×C,P經過重塑和池化算子得到PY∈C×HW/n2。PX和PY進行矩陣乘法,并經過歸一化函數得到空間因子HW×HW/n2,其公式如下:

(9)

(10)

(11)

(12)

(13)

采用n×n的池化算子降低計算復雜度,提高融合性能?？臻g融合細節如圖4所示,由圖4可知空間通道算法中張量的變化過程。

圖4 空間融合算法Fig.4 Spatial fusion algorithm

1.2.2 通道融合算法 通道融合算法過程如圖5所示。由圖5可知,與空間融合算法不同,通道融合是從通道數到維度對圖像特征圖進行整合,增強融合特征圖的維度信息。假設特征圖為P∈C×H×W,與空間融合算法類似,通過重塑,轉置n×n的池化算子得到:PX∈C×HW、PY∈HW×C和PZ∈C×HW。通道因子C×C是由PX和PY矩陣乘法計算后通過歸一化函數得到,其計算如式(14)所示:

圖5 通道融合算法Fig.5 Channel fusion algorithm

(14)

(15)

(16)

(17)

(18)

1.3 訓練和融合過程

Res2Net-IDCN-SCF融合算法流程描述如下:

1) 圖像特征網絡訓練階段。先將網絡構建完成,用已配準過的數據集進行訓練。用1.1節中描述的基于ResNet的編碼器對圖像進行特征提取,捕捉多尺度紋理和語義信息。在訓練的過程中,直接將提取到的多尺度信息特征圖送入交錯稠密解碼器之中,不進行融合的計算。從交錯稠密解碼器中得到的融合圖像用1.3節中掩碼鑒別器進行約束訓練。

2) 圖像壓縮編碼過程。對源圖像進行編碼并壓縮多尺度特征,得到分別包含2張圖像紋理特征信息的融合特征圖。

3) 圖像融合過程。將2張壓縮得到的特征圖通過1.2節的融合策略進行計算,獲得1張精簡整合的多尺度融合特征圖。

4) 圖像重構解碼過程。多尺度融合特征圖由交錯稠密解碼器重構得到融合圖像。

2 實驗設計與結果分析

2.1 數據集

Res2Net-IDCN-SCF算法在BraTS2021(brain tumor segmentation challenge 2021)[12]公開數據集上進行實驗驗證,進行T1ce和T2模態之間的融合。由于BraTS2021數據集是三維的,先將三維腦腫瘤數據切片成256像素×256像素大小的二維數據切片。使用2510個數據對網絡進行訓練,選擇4種常見的融合網絡進行對比實驗。融合測試階段是在訓練集以外的數據切片中隨機選取24對圖像進行測試,所有評價指標是24對圖像量化結果的均值。

2.2 實驗設置

訓練網絡時基本參數是輪次為50,批量大小為4,學習率為0.001,實驗采用PyTorch框架,在NVIDIA GeForce RTX 3060 GPU上實現。

2.3 對比算法和評價指標

選取的對比算法包括:1) 基于非下采樣剪切波變換和參數自適應脈沖耦合神經網絡(non-subsampled shearlet transform and parameter-adaptive pulse coupled neural network,NSST-PAPCNN)[13]的醫學圖像融合算法;2) 零學習快速醫學圖像融合(zero-learning fast medical image fusion,Zero-learning)[14]算法;3) 用于紅外與可見光圖像融合的生成式對抗網絡(generative adversarial network for infrared and visible image fusion,FusionGAN)[8];4) 用于多分辨率圖像融合的雙鑒別器條件生成式對抗網絡(dual-discriminator conditional generative adversarial network for multi-resolution image fusion,DDcGAN)[9]。

從6個維度對融合結果進行量化評估:信息熵(entropy of information,EN)、互信息(mutual information,MI)、結構相似性(structure similarity index measure,SSIM)、多尺度結構相似性(multi scale structural similarity index measure,MI_SSIM)、標準差(standard deviation,STD)、峰值信噪比(peak signal to noise ratio,PSNR)[15]。其中,EN是度量圖像中信息量的指標,該值越大表示融合圖像細節信息越充足。MI是用于評估2幅圖像信息相似性的指標,該值越大說明融合圖像的信息量越充足,融合表現越好。SSIM衡量圖像之間的相似性,值越大表示融合圖像與源圖像越相似,有更好的融合質量。MI_SSIM更貼近視覺感知評估,是結構化信息量的度量指標。STD是衡量圖像信息豐富程度的指標,值越大,圖像的灰度級分布越分散,融合圖像信息越豐富。PSNR度量信息與噪聲之間的比值,反映圖像的失真程度,數值越大,圖像質量越好。

2.4 對比實驗

對比實驗的指標結果和融合效果分別如表1和圖6所示。由表1可知,Res2Net-IDCN-SCF算法在EN、MI、SSIM、MI_SSIM和STD這5個指標中有最好的表現,但PSNR弱于NSST-PAPCNN算法和Zero-learning算法。EN指標比NSST-PAPCNN算法提高了3.5%,MI指標比Zero-learning算法提高了3.4%,SSIM指標比NSST-PAPCNN算法提高了0.7%,MI_SSIM指標比FusionGAN算法提高了5.3%,STD指標比DDcGAN算法提高了23.2%。表明Res2Net-IDCN-SCF算法的融合結果包含更多源圖像的結構和語義信息,圖像質量更高,但圖像對比度還有待提升。評價指標量化結果說明,Res2Net-IDCN-SCF算法在圖像信息豐富程度上有良好的結果。圖6中選擇了3幅圖像進行定性評估,并對病灶區域進行放大處理,右上角放大區域可明顯看到腫瘤病灶區域融合情況。由圖6可知,NSST-PAPCNN算法腫瘤病灶區域明顯,但存在偽影,圖像清晰度較低,包含來自T2圖像病灶區域信息較少。Zero-learning算法有較好的融合效果,對比度較高,但病灶區域細節不夠平滑。FusionGAN算法存在區塊丟失效應,因此結果較差,來自源圖像的語義信息少。DDcGAN算法在腦腫瘤病灶區域相較于NSST-PAPCNN算法包含更多的紋理細節信息,但仍然存在偽影,并且病灶區域清晰度不夠。Res2Net-IDCN-SCF算法相較所對比的4種算法圖像質量更高,偽影更少,擁有更多來自于2個模態的語義結構和紋理細節信息,并且病灶區域平滑。上述結果表明,Res2Net-IDCN-SCF算法擁有較好的融合質量。

表1 T1ce-T2 數據集融合的均值結果比較Tab.1 Comparison of mean results for fusion of T1ce-T2 datasets

圖6 T1ce-T2數據集上的對比實驗結果Fig.6 Comparative experimental results of T1ce-T2 datasets

2.5 消融實驗

為了驗證所設計模塊的有效性,對Res2Net-IDCN-SCF算法進行了消融實驗,結果如表2所示。由表2可知,在基準線算法中引入基于Res2Net的編碼器對圖像進行編碼,使融合結果的EN、MI和MI_SSIM量化指標有所提升,說明基于Res2Net的編碼器對圖像特征等多尺度信息的提取優于基準線算法。在此基礎上,為了驗證IDCN的有效性,將其引入基準線。結果顯示,引入IDCN后擁有更豐富的圖像細節和更多的源圖像信息。最后,引入SCF算法,結果表明,融合性能提升,圖像信息更豐富。消融實驗各個模塊添加后圖像融合結果如圖7所示。由圖7可知,增加Res2Net和IDCN模塊后,圖像的信息增強但平滑度下降。Res2Net在基準線基礎上對信息的提取有明顯提高。Res2Net-IDCN-SCF算法的圖像擁有豐富的細節和清晰的圖像質量。上述結果表明,Res2Net-IDCN-SCF算法擁有較好的視覺效果和指標結果。

表2 消融實驗結果Tab.2 Results of ablation experiment

圖7 T1ce-T2 數據集上的消融結果Fig.7 Ablation results of T1ce-T2 datasets

3 結論

針對腦腫瘤病灶邊緣信息和多尺度信息提取存在的不足,提出了一種用于多模態醫學圖像融合的Res2Net-IDCN-SCF算法。首先,圖像通過基于Res2Net的編碼器提取多尺度結構信息。為了更好地整合多個模態圖像的差異性,減少信息冗余,將提取到的多尺度結構信息進行空間和通道融合,更好地保留了圖像的紋理結構和圖像語義信息。通過交錯稠密解碼器減少融合特征圖和源圖像之間的語義差異,提高融合圖像的質量。更進一步地,使用掩碼鑒別器提高了融合圖像腦腫瘤病灶區域的邊緣信息。從實驗結果來看,Res2Net-IDCN-SCF算法所處理圖像質量優于所對比的其他算法,在T1ce和T2模態融合效果上可以保留更多的細節信息。評價指標EN、MI、SSIM、MI_SSIM和STD優于對比算法,Res2Net-IDCN-SCF算法融合結果具有更多的結構和語義信息。但在圖像對比度方面略有缺失,后續的研究中將進一步聚焦于此。