循環分層解耦卷積和最大濾波的三維腦腫瘤圖像分割

李 鏘，李瑞璇，劉恒忻，關 欣，Mohammed Jajere Adamu

(天津大學微電子學院，天津 300072)

腦腫瘤是人類大腦膠質細胞病變而引發的疾病之一，大腦生長的異常細胞嚴重影響人體健康，而且腦腫瘤病發率很高，每年的發病率約為每10 萬人中3～8 例[1].腦部的核磁共振成像(magnetic resonance imaging，MRI)通過無創技術得到高質量的顱骨偽影圖像，在腦腫瘤診斷中起重要作用[2].醫生可以通過多模態的腦腫瘤圖像確定腫瘤的大小和形狀，但是從MRI 圖像中提取關鍵信息極為困難.與二維圖像相比，由于三維圖像擁有額外的維數，其數據量更大，圖像分析難度更大.此外，膠質瘤普遍呈觸角結構生長，不均勻且沒有規律，分割時很容易出現邊界模糊的現象.而在醫學領域對目標分割精確度要求很高，通常情況下腦腫瘤圖像需要經驗豐富的專家花費大量時間進行標注，這些因素使得三維腦腫瘤圖像自動分割成為研究的熱點.

近年來U-Net 架構[3]因為高效性和通用性在醫學圖像處理任務中得到廣泛應用，成為腦腫瘤圖像分割的主流框架，其利用上、下采樣編碼捕獲圖像高級語義信息，通過模塊的跳躍連接獲得目標位置信息.隨著研究的進一步開展，許多U-Net 變體逐漸出現在醫學圖像領域，有效解決了2D 到3D 圖像擴展出現的各種問題.一些研究設計小的3×3 卷積核實現更多的非線性計算來解決過擬合問題[4]，級聯策略解決類不平衡問題，密集塊、跳躍連接也被應用在網絡中來降低參數提高效率[5-10].

雖然U-Net 及其變體在分割方法上取得了令人印象深刻的結果，但是醫學圖像的計算量往往較大，卷積核大小的局限使得U-Net 難以對圖像進行全局處理，無法通過擴大感受野來捕獲長距離的空間相關性信息.目前基于Transformer 的方法被越來越多地用在三維醫學圖像處理中，在全局上、下文交互建模得到較好效果[11]，TransBTS[12]將變換器與3D-UNet結合捕獲了長距離空間相關信息，但網絡的計算復雜性非常大且訓練成本很高，難以投入實際應用.研究者將目標轉向輕量級網絡來降低計算復雜度，Chen等[13]開發的DMF-Net 通過使用擴張卷積和多光纖單元減輕了計算復雜度高的問題.Luo 等[14]使用分層解耦卷積(hierachical-decoupled convolution，HDC)來代替三維卷積，通過用高效地表達多視圖的空間環境來進一步降低計算成本.輕量級網絡在參數降低的同時出現分割精度局限性，不能完全獲得三維卷積的效果，而且仍然存在長距離上、下文關聯不足的問題.Zhao 等[15]在DMF-Net 基礎上嘗試將循環卷積單元連接到三維多纖單元，通過循環卷積層的特征積累來增強模型的上、下文信息整合能力，在輕量條件下進行了全局信息關聯，獲得了不錯的分割效果，然而這些工作忽略了對細節域信息的處理.

多尺度方法被認為能有效改善網絡分割性能，提取全局關聯信息和局部細節，同時融合所提取的包含位置信息和語義信息的多尺度圖像特征.Google-Net[16]通過引入不同大小的卷積核，拓寬了網絡的多尺度表示；Zhang 等[17]嘗試了特征提取后在連接處進行多尺度融合.此外，腦腫瘤分割任務也常應用多尺度特征抽取器Inception 模塊[18-20]，Ibtehaz 等[21]通過使用跳躍連接，巧妙地將平行連接的起始點修改為連續連接，并獲得了不同的尺度特征.隨后研究者能通過輕量級的方式降低了3D Inception 的計算復雜度，如深度可分離卷積代替標準卷積，3D ESP-Net[22]將ESP-Net[23]擴展到3D 腦腫瘤分割任務.Wang 等[24]提出DFP-Net，將擴張卷積和特征金字塔聯系到一起，使用具有不同擴張率和多個接收場的過濾器及池化操作來檢測輸入特征，在輕量化和精度上均有更好的效果.雖然多尺度方法同時提取全局和局部特征，包含了細節域信息，但腦腫瘤圖像往往存在大量細節區域信息，尤其是邊緣區域不規則的特點顯著，因此局部域的特征增強對分割準確性也至關重要.

研究者對于腦腫瘤圖像的局部細節特征增強問題進一步展開研究.Cui 等[25]利用單獨的分支處理該層級邊緣信息再級聯到整體網絡，但并聯的方式會增加額外的參數.注意力模塊被應用于特征增強和融合，如Hu 等[26]提出的通道注意力機制(squeeze and excitation，SE)模塊可以自適應地重新校準特征，使網絡能夠通過學習自動獲取每個通道的權重，Zhang等[27]在級聯處加入注意力模塊，將語義更強的深度特征送到SE 中，從而獲得精確的高級別細節信息，張為等[28]提出多尺度空間注意力來關注圖像關鍵部位信息.卷積注意力模塊(convolutional block attention module，CBAM)將空間注意力和通道注意力結合，加強目標特征并做多維度融合，能夠有效地提高重要信息的表達同時抑制背景信息，TADPN[29]提出空間和通道注意力來增強特征提取能力.此外，更多的研究者通過后處理的方式來細化分割，定位局部域目標像素.DFP-Net 利用3D 條件隨機場CRF 對分割結果進行后處理，解決了下采樣時因圖像尺寸縮小引起的局部細節被忽略的問題，但是這種方式在訓練低分辨率圖像時會丟失一些特征信息.Liu 等[30]將注意力機制添加到特征提取后的精細分割模塊中，提高網絡模型的聚焦能力，并進一步提高小目標區域的分割精度.

現有腦腫瘤分割網絡存在的問題可以總結為：①三維圖像分割受限于參數量和卷積核的尺寸，難以建立全局上下文信息關聯，并且網絡難以訓練；②大部分方法沒有重視目標細節域的處理，邊界處分割準確性不足.針對這些問題，本文提出一種兼顧全局和局部的輕量級腦腫瘤分割網絡，以少量的參數完成較高的分割精度.該分割網絡以3D U-Net 為基礎框架，特征提取階段以循環分層解耦卷積單元為基本模塊，將循環卷積連接到分層解耦中，多視圖解耦降低了計算復雜度，同時利用多時域在不同位置得到的反饋信息建立上下文信息聯系，解決全局樣本中不同切片間和不同局部域各自獨立問題.在上采樣和下采樣連接處加入改進的包含擴張金字塔和注意力機制的多尺度特征處理模塊，結合多維度擴張卷積來提取全局低級位置信息和細節域高級語義信息，通過注意力機制來增強所提取的目標信息進行多尺度融合，利用像素定位針對細節域局部信息做分割的細化處理，將上述過程獲得的包含了大量復雜信息的特征圖通過非線性最大濾波模塊進行像素激活，聚合多維度特征并突出局部區域中激活值較大的預測像素點，增強目標像素與其他像素的區別，解決邊界像素模糊問題.

綜上所述，本文提出了一種包括特征提取和像素級定位的完整輕量網絡，主要由循環分層解耦模塊組成，將循環卷積連接到卷積層，分層解耦降低計算開銷，循環卷積進行特征積累解決全局長距離上、下文信息關聯不足問題.其次，提出了包含擴張金字塔和注意力機制的多尺度特征模塊，提取融合全局和局部特征，增強目標區域特征表達.最后，針對腦腫瘤圖像細節信息較多的特點，設計了最大濾波的像素定位模塊，對所提取的特征圖進一步做像素點激活，解決由于忽略局部域細節造成的邊界模糊問題.

1 研究方法

如圖1 所示，本文提出的RHMF-Net 是一個基于輕量網絡的先提取后定位、模擬全局和局部多尺度特征的輕量腦腫瘤分割網絡.首先特征提取階段循環分層解耦(recurrent hierarchical-decoupled convolution，RHDC)模塊為基本編解碼模塊，以多尺度特征處理模塊(multiscale feature processing module，MFPM)連接編解碼.在像素定位階段利用最大濾波(maximum filtering，MAXF)模塊做后處理細化粗分割，最后利用Softmax 整合生成與輸入圖像大小相同的圖像，獲得圖像的最終分割結果.

圖1 算法整體框架Fig.1 Overall algorithm framework

1.1 特征提取基本模塊

1.1.1 循環卷積單元

特征提取基本模塊為輕量分層解耦結構，其多視角融合思想很大程度上解決了參數冗雜的問題.然而三維圖像切片間和遠距離不同局部域間的依賴關系也至關重要，分層解耦結構將圖片直接分層忽略切片間的聯系，而且卷積核大小的局限忽略了不同局部域間信息的關聯.為了獲得有關聯的上、下文信息，本文利用循環卷積神經網絡(recurrent convolutional neural networks，RCNN)通過多時域的反饋信息積累將上、下文序列進行緊密關聯，避免了不同局部域彼此獨立.

RCNN 可以聯系之前一段時間內獲得的信息對當前輸入做下一步預測，提高語義的豐富性使得預測更加準確，在三維圖像處理任務中能更好地處理局部區域內的信息關聯.RCNN 接收一個新的輸入，整合當前輸入和之前時間內的信息生成一個整合之前一段時間的總體輸出.具體來說，T 時間某位置根據之前網絡各個位置的整體反饋進行預測，通過聯系全局來對局部域類別區分.作為RCNN 基本單位，循環卷積單元本質在于T 個時間步的權重共享，因此每一步的輸出不僅依賴于當前時間步 Tn，并且依賴于之前的時間步 T0～ Tn?1，圖2 為 T0～ T3循環卷積過程.

圖2 循環卷積單元結構Fig.2 Structure of the recurrent convolutional unit

循環卷積主要表現為離散時間的特征積累，在T = 0卷積層僅與當前輸入有關，中間累積隱藏層，最后在 Tu時刻輸出，這里包含了一個前饋層和u 個遞歸子層.表示第l 層的輸出，時間T 處網絡的輸出可以表示為

式中：r1為前饋卷積層的輸入；r2為第l 層輸入；fl為卷積運算；和分別為 r1和 r2的權重；bi為偏置，經過σ激活函數激活.

設 xl表示第l 層輸入( m, n )位置上第i 個特征，最終輸出表示為

1.1.2 循環分層解耦卷積模塊

將循環卷積單元連接到分層解耦卷積模塊，RHDC 模塊整體結構如圖3 所示.整個過程基于多視角形式維系了低參數量的上、下文信息整合能力，以極少的計算代價獲得全局關聯信息，且與二維方法相比，三維空間背景感知力得以提高.主干網絡采用4 個循環分層解耦卷積模塊的下采樣編碼器和4 個對應解碼器組成.其中分層解耦卷積模塊以跨空間域和通道域的分層解耦卷積為單位，主要是主卷積在聚焦視圖上分層提取多尺度特征并通過互補的視角來提取三維空間上下文特征，在減少參數數量級的同時更好地融合三維空間信息.將輸入特征圖通過1×1×1 三維卷積后，在空間上將3×3×3 的三維卷積核分解，得到3×3×1 和1×3×3 兩種互補的三維卷積，也就是三維圖像的兩個不同角度二維視圖.將通道分為4 組，第1 組使用1×1×1 卷積核提取圖像特征，其余使用3×3×1 卷積核提取腦腫瘤相關特征，然后將4 組特征圖進行連接來整合通道間的信息，最后使用1×3×3 卷積核從多個角度提取空間特征信息，避免了計算整個三維卷積計算的開銷，并可以有針對地獲得目標信息，輸出可表示為

圖3 RHDC模塊整體結構Fig.3 Overall structure of the RHDC module

式中：x 為模塊輸入；x1～x4為按照通道劃分的4 組特征圖；h1～h4表示不同分支處理結果；RConv 為3×3×1 循環卷積；C 為連接；Conv_1 為1×1×1 卷積；W 為1×3×3 卷積.

1.2 多尺度特征處理模塊

在循環卷積建立全距離上、下文聯系后，編碼器的上、下采樣連接處加入了MFPM 模塊，主要是從局部和全局角度進一步捕捉多尺度圖像特征并進行融合處理，獲得目標區域信息同時抑制背景信息在網絡中的流動.首先使用由多個并行擴張卷積層組成的擴張特征金字塔(dilated feature pyramid，DFP)獲得多尺度特征，然后將所得的特征圖通過CBAM 注意力機制[31]，在通道維度增強多尺度目標語義關鍵信息，在空間維度得到目標位置信息并有效融合.多尺度特征處理模塊的結構如圖4 所示，其由DFP 和CBAM 兩個模塊組成，有效地增強了網絡的多尺度特征提取融合能力.

圖4 MFPM模塊結構Fig.4 Structure of the MFPM module

擴張金字塔中擴張卷積層可以擴展卷積的感受野，卷積層能提取更加豐富的特征，模塊由疊加了多個擴張率不同、步長為1 的3×3×3 卷積層組成，為了獲得大小不變的輸出，進行與擴張率相等大小的填充(padding)，最后求和來融合多個結果.DConv 為擴張卷積，將各級結果相加得到最終輸出為

CBAM 將通道和空間上的作用模塊分解，分別在通道和空間維度對特征圖進行處理，增強輸入關鍵信息的同時抑制背景信息，由于CBAM 模塊沒有直接計算3D 圖像，生成的特征圖參數量很小.模塊首先在通道維度壓縮圖像，對金字塔的多尺度目標信息進一步做增強處理，其主要基于通道關系進行通道特征的校準進而增強特征表達，可以結合深層和淺層特征，增強分辨率較高但語義較弱特征.通道注意力將每個通道都設為一個特征檢測目標，增強輸入圖像關鍵點，并通過壓縮通道輸入圖的空間維度來聚合空間信息.Ic( x )表示通道注意力的輸出，其公式為

式中：AvgPool 為平均池化加強整體重要信息；MaxPool 為最大池化去除低能量信息，抑制非重要信息的流動；MLP 表示多層感知器和隱藏層組成的權值共享網絡得到的一維注意力圖信息聚合，在元素求和后經過σ激活函數得到輸出.

空間注意力模塊更加注重目標信息，將特征圖沿通道池化，得到二維特征，利用特征空間的內部依賴關系生成空間注意力圖.空間注意力模塊是通道注意力模塊的互補操作，首先沿通道軸分別進行AvgPool、MaxPool 兩次池化，ψ表示聚合操作，這樣可以有效地突出目標區域，最后建立連接生成特征圖Is( x) 為

1.3 最大濾波像素定位模塊

腦腫瘤占圖像整體部分很小，沒有具體形狀而且邊緣突觸較多，這些無規則的細小邊緣呈復雜狀態分布，難以被準確捕捉并正確分類，且編碼解碼網絡處理后的特征圖包含大量上、下文關聯信息以及多尺度信息，如果直接對特征圖進行分割，很難完成目標像素精準分類，尤其是邊緣部分的判斷困難，極易出現邊界模糊現象.針對這個問題，本文設計了像素定位模塊來連接上、下采樣和分割模塊，對所提取的特征圖進一步建模來精確捕捉目標區域進行邊緣細化，實現更精確的分割.新模塊利用3D 最大濾波作為新的后處理步驟來進行定位以細化粗分割，整體結構如圖5 所示.

圖5 MAXF模塊結構Fig.5 Structure of the MAXF module

卷積是一種平移等方差的線性運算，因此在這種相似的模式下即使是處于不同位置的像素所產生的輸出也極為相似，這對像素-標簽形式的語義分割工作有極大障礙，由特征提取后的卷積譜圖仍存在模糊的分割點.最大濾波器補償局部區域內卷積對于細節點的判別，多用于關鍵點的探測，利用最大池化來選擇局部區域中激活值最高的預測點，細化粗密集的預測.

最大濾波在許多任務中展現了一定的特征強化作用，但是最大濾波只考慮單尺度特征，并不適用于三維譜圖的分割，因此將最大濾波器擴展成為3D 最大濾波器，利用3D 最大濾波來選擇最終分割的像素信息，它可以變換三維特征圖中每個尺度的特征，在特征圖的每個通道上分別采用3D 最大濾波.M 為最大濾波處理，在給定的位置i，對于空間位置s 的尺度τ和φ×φ空間距離獲得局部區域 Is三維鄰域的最大值，這個操作由3D 最大濾波實現，具體表示為

為將3D 最大濾波嵌入到特征提取的分割結構，本文提出了MAXF 模塊.MAXF 可以來選擇局部區域的高預測值像素，增強與其他像素區別，而且整個結構是由簡單的可微算子構造，計算開銷很小，模塊輸出y，則有

除3D 最大濾波之外，MAXF 主要包含Conv_3 三維卷積、歸一化處理Norm 以及激活函數Relu.

2 實驗與分析

2.1 實驗數據及評價標準

實驗在MICCAI 腦腫瘤分割比賽的BraTS2020數據集[32-33]進行算法的性能評估.數據集包含訓練集和驗證集，其中訓練集有369 個病例，驗證集有125 個病例，圖像大小為240×240×155.訓練集包含專家對每幅圖像手動進行標注的真實結果(ground truth，GT)，驗證集未公開GT，需要將結果上傳至官網進行驗證.每個受試者都有4 張MRI 圖像，分別為T1 加權(T1)、T1 加權對比度增強(T1ce)、T2 加權(T2)和液體衰減反轉恢復(Flair).多模態3D 核磁共振成像來自于19 個醫學機構，用到不同的協議、磁場強度以及MTI 掃描儀.GT 的注釋包括4 種腫瘤區，分別是正常組織(標簽0)、壞死部分和非增強腫瘤區(標簽1)、腫瘤周處水腫(標簽2)和活動性增強腫瘤(標簽4).注釋合并為3 種嵌套的子區域：整體腫瘤區(whole tumor，WT)包含標簽1、2、4；核心腫瘤區(tumor core，TC)包含標簽1、4；增強腫瘤區(enhancing tumor，ET)包含標簽1.

實驗分別計算了整體腫瘤、核心腫瘤和增強腫瘤的Dice 相似系數及Hausdorff 距離.其中，Dice 相似系數是分割任務最常用的評估方式，主要表述模型得到的輸出結果與真實值的符合程度.Dice 計算結果是真實陽性與所有結果中包括假陽性和假陰性的比例，Dice 值越高表示模型的分割性能越好，具體表示為

式中：TP 表示真陽性；FP 為模型預測的假陽性；FN為模型預測的假陰性.

Hausdorff 距離評估真實分割結果邊界到預測得到的邊界之間的距離，計算預測區域與真實值之間的距離，并測量腫瘤邊界分割的質量，可表示為

式中a 和b 分別是集合A 和B 的歐幾里得距離.

2.2 實驗設置

本文實驗基于python 3.8、pytorch 1.9.0 環境，服務器運行環境為Ubuntu 16.04，CPU 為Intel Core i99900X(3.5 GHz)，顯卡為11 GB 的Nvidia GTX 2080Ti.圖6 為算法整體流程，主要包含4 個步驟：預處理、網絡訓練、保存模型以及驗證集分割.首先將4 種模態的腦腫瘤訓練集圖像做預處理，因為醫學圖像數據集很少，為了增加訓練數據的樣本量、增強算法的魯棒性和泛化能力，進行數據集擴充，對圖像做隨機旋轉和隨機強度偏移的數據增強并進行裁剪.剪后的128×128×128 大小的圖像輸入到RHMFNet，批處理量為8，批量歸一化采用同步批歸一化(synchronized match norm)，激活函數使用ReLu 函數，初始學習率為1×10－3，Adam 優化器進行網絡自動優化，訓練輪數900，每批訓練計算損失函數并更新參數.網絡的平均訓練時間為12.5 h，而同等硬件設備條件下的3D-UNet 平均訓練時間為85 h.本文應用廣義Dice 損失(generalized Dice loss，GDL)為損失函數，定義為

圖6 算法流程Fig.6 Flow chart of the proposed algorithm

式中：rlm和 plm分別為類別l 下第m 個位置處的真實值和預測概率；ωl為每個類別的權重，定義為

保證分母值不為零，令ε＝1×10－5.最后得到訓練結果在驗證集上做分割結果驗證.

表1 展示了RHMF-Net 的網絡架構具體細節及參數.特征提取步驟包含編碼層、解碼層以及連接層，編碼層、解碼層均由RHDC 及3×3×3 卷積或3×3×3 反卷積為基礎模塊上、下采樣，解碼層包含了對應的殘差連接.連接層由多尺度模塊連接編解碼層，特征圖的大小并未改變.特征提取后的特征圖尺寸還原到輸入的原圖像尺寸，經過像素定位的后處理，主要為3×3×3 卷積和最大池化.

表1 RHMF-Net架構細節Tab.1 Structural details of RHMF-Net

2.3 結果分析

本節主要對網絡性能進行詳細的分析，對不同模塊進行有效性驗證和消融實驗，分析各個模塊的性能，并將RHMF-Net 與現有的腦腫瘤分割網絡進行對比，驗證本文網絡的有效性.

2.3.1 消融實驗

為了驗證方法的有效性，進行了兩個階段的消融實驗，分析其在ET、WT 和TC 3 個區域的Dice 值和Hausdorff 距離上的效果.第1 階段在基礎網絡上評估每個模塊的有效性，第2 階段對網絡整體進行了單個模塊的消融實驗，進一步對各模塊分析.以HDCNet 為基礎網絡，RHMF-Net 主要包括特征提取階段的 RCNN、MFPM，以及像素定位階段提出的MAXF，實驗結果如表2 所示.

表2 不同網絡結構下的Dice系數和Hausdorff距離Tab.2 Dice coefficient and Hausdorff distance under different network structures

1) 評估循環卷積模塊的影響

RHDC 將RCNN 連接到分層解耦模塊中，與HDC 相比，RCNN 在3 個區域的精度均有明顯提升，相比于HDC 分別增加了0.67%、1.07%和0.21%，Hausdorff 距離也有改善.消融去實驗結果如表2 中第5 行所示，相比于RHMF，去除RCNN 后的網絡各項指標明顯下降.實驗結果表明，RCNN 對網絡的各項指標都有提升，對于整體腫瘤判別效果提升最為明顯，說明RCNN 的時域關聯性提升了網絡整體預測能力.

2) 評估多尺度處理模塊的影響

多尺度模塊包含擴張金字塔和CBAM 注意力機制，模塊作用網絡對于整體腫瘤和核心腫瘤的判別效果有所提升，分別為0.36%和1.05%.消融實驗結果如表2 中第6 行所示，相比于RHMF，去除MFPM后網絡的各項指標明顯下降.實驗結果表明，多尺度模塊聚焦于不同尺度特征，能有效地提取融合全局和細節信息.

3) 評估最大濾波模塊的影響

像素定位階段的最大濾波模塊作為后處理步驟連接編碼層和分割層.表 2 中第 4 行是嵌入了MAXF 的HDC 的實驗結果，相比于HDC 分割效果有明顯提升，在消融實驗(第7 行)中，核心腫瘤精度下降最多.實驗結果表明：MAXF 專注于細節域信息捕捉，在細節信息較多的腫瘤分割任務中，能有效地解決邊緣模糊問題.

2.3.2 與先進網絡對比情況

為了進一步驗證網絡的有效性，在BraTS2020驗證集上將RHMF-Net 與經典網絡以及先進網絡比較.表3 列出了經典腦腫瘤分割網絡和最新的先進網絡，以及目前效果最好的輕量網絡的分割結果.由表3 可以看出，大部分方法較經典網絡有更好的分割能力，此外，輕量網絡很大程度上降低了參數量，與傳統3D 方法相比減少了計算開銷.

表3 不同腦腫瘤分割網絡在BraTS2020驗證集上的性能比較Tab.3 Performance comparison of different brain-tumor segmentation networks on the BraTS2020 validation dataset

與其他方法相比，RHMF-Net 在參數和精度上均有一定競爭力，在增強腫瘤、全腫瘤和核心腫瘤3 個區域上分割結果分別為77.23%、90.01%和83.10%，參數量為0.42×106，遠低于其他先進網絡，但同時與其分割精度相當.在輕量網絡中，RHMF-Net 也有較好的表現.其中HDC-Net 為參數量最低的輕量網絡，RHMF-Net 在3 個區域的Dice 值上分別高于HDC-Net 0.47%、1.23%和2.72%，且僅增加很少參數.VT-UNet 是先進方法Transformer 的輕量化變體，有良好的分割性能，RHMF-Net 雖然在增強腫瘤與整體腫瘤區域上的精度略低于VT-UNet，但是在核心腫瘤和Hausdorff 距離上都有更好的表現，且參數量為VT-UNet 的1/28.

2.3.3 單維度注意力模塊有效性驗證

經典的SE 是單維度通道注意力模塊，關注特征信息在通道間的關系，校準動態通道特征；而對于分辨率較高但語義較弱的特征，CBAM 還結合了空間注意力，從空間塊中獲得高級的類別信息，有助于重構原始圖像分辨率.本節實驗對比了CBAM 與SE模塊的分割性能，二者均為輕量化模塊，并不影響網絡的參數量，最終比較結果如表4 所示.

表4 不同注意力模塊的分割結果對比Tab.4 Comparison of segmentation results under different attention modules

相比于單維度的通道注意力模塊SE，CBAM 在BraTS2020 數據集的分割結果更好，能更好地提取圖像的整體特征，可以結合圖像深層和淺層多類別特征信息，增強目標信息同時獲得位置信息，更靈活高效地處理多尺度關系，顯著提升分割效果.

2.3.4 不同損失函數對比實驗

考慮到網絡性能，本文比較了不同損失函數對網絡的影響，如表5 所示.在本文網絡Softmax Dice Loss(SDL)、Focal Loss(FL)和GDL 均表現出良好的分割能力，說明本文所提網絡有一定的穩定性.SDL和FL 分別在整體腫瘤和增強腫瘤上出現最高值，但是其他區域的分割效果并不突出，而GDL 的分割結果的整體上都接近于最高值，并在核心腫瘤、Hausdorff 距離有最好的表現，能更好地指導手術，因此本文最終采用GDL 作為損失函數.

表5 不同損失函數的分割結果對比Tab.5 Comparison of segmentation results under different loss functions

2.3.5 分割結果可視化

為了直觀展示本文網絡分割效果，對RHMF-Net和其他網絡的分割結果進行可視化對比.由于MICCAI 官方競賽網站未公開驗證集的真實分割結果，本文展示了在BraTS2020 訓練集上的分割結果圖像.圖7 為水平面、矢狀面和冠狀面的腦腫瘤圖像，紅、黃、綠3 種顏色代表不同的腫瘤類別，從左到右分別為(a)未分割原圖、(b)經典網絡U-Net 分割結果圖像、(c)先進網絡TransBTS 分割結果圖像、(d)輕量網絡 HDC-Net 分割結果圖像、(e)本文網絡RHMF-Net 分割結果圖像和(f)專家手動標注結果(GT).可以看出與其他網絡結果相比，本文網絡和先進網絡與專家標注結果更為接近.

圖7 MRI分割結果圖像Fig.7 MRI images of segmentation results

3 結 語

本文針對腦腫瘤圖像特征提出了一種結合全局依賴關系和局部細節信息處理的輕量網絡，用于多模態三維腦腫瘤圖像的精細分割，緩解人工處理代價過大和普通機器處理訓練較難的問題.在本文網絡中，采用結合了輕量卷積塊的循環卷積單元來替代經典3D 卷積，添加多尺度處理模塊，更好地捕捉全局和細節信息，提出最大濾波模塊用于特征提取后的細節域像素定位處理，以增強網絡的分割效果.在BraTS2020 數據集上的分割結果分別為77.23%、90.01%和83.10%，參數量為0.42×106，與其他網絡相比，在具有較少數據量的同時達到較高的分割精度.改進后的網絡能夠處理全局性關系和細節分割，明顯改善了三維圖像計算開銷巨大和輕量網絡分割精度不足的問題.