多模態MRI腦腫瘤圖像分割方法研究進展

孫康康，陳偉，李奇軒，孫佳偉，焦竹青，倪昕曄*

0 前言

腦腫瘤是大腦中腦細胞的異常生長，被認為是一種危及生命的疾病[1]。相關數據顯示，腦腫瘤占全球所有原發性中樞神經系統腫瘤的85%以上，約占癌癥相關死亡的2%～3%，對人類健康構成巨大威脅[2]。因此，腦腫瘤的早期診斷和治療尤為重要。MRI 是一種非侵入性成像技術，能清晰顯示軟組織病變，廣泛應用于腦腫瘤疾病的診斷和治療。利用不同的成像序列獲得同一組織不同角度或形態的MRI圖像通常稱為多模態MRI圖像[3]。不同模態的MRI圖像能夠反映腫瘤區域的不同信息，而僅用單一模態的MRI圖像所能表達的信息量有限，因此可以利用多模態MRI圖像來準確地分割病變區域[4]。用于腦腫瘤分割的常用MRI模態包括流體衰減反轉恢復（fluid attenuated inversion recovery, FLAIR）、T1 加權（T1-weighted, T1）、對比增強T1 加權（contrast-enhanced T1-weighted, T1ce）和T2 加權（T2-weighted, T2）。多種模態圖像信息能夠有效互補，充分細分相關區域的腫瘤，從而提高分割的準確性。從多模態MRI 圖像中自動準確地分割腦腫瘤是臨床診斷和制訂治療方案的重要步驟，可以為定量圖像分析、輔助診斷和手術計劃提供依據。目前，大部分腦腫瘤分割工作還是依賴于醫生人工勾畫，這種手動分割方法費時費力且受個人經驗影響。因此，開發一種準確、可靠的自動腦腫瘤分割方法具有重要的臨床意義。

MRI 反映腦腫瘤形狀、結構和位置是高度可變的，不同腫瘤的形狀和紋理差異較大且一些腫瘤沒有明確的邊界，因此自動腦腫瘤分割是一項具有挑戰性的任務[5]。為解決上述難題，研究者基于不同原理提出了大量算法，這些算法可以分為傳統圖像分割方法和深度學習方法兩大類。傳統腦腫瘤分割方法依賴于圖像本身的特征提取，而基于深度學習的方法通過神經網絡自動從原始數據中學習特征表示，用高精確度的算法模型生成分割圖像。

本文綜述了近年來多模態MRI 腦腫瘤圖像分割方法的研究進展。首先簡要介紹了腦腫瘤分割中常用的MRI 圖像。然后分別對傳統圖像分割方法和深度學習方法的最新研究進展進行討論，其中重點介紹了深度學習模型在腦腫瘤分割中的應用并展示了部分方法在BraTS（brain tumor segmentation）數據集上的分割結果。最后分析了現有的基于多模態MRI 圖像的腦腫瘤分割方法存在的問題，并對未來的研究趨勢進行了展望，為相關研究者全面、快速地了解該領域的研究現狀提供參考。

1 多模態MRI腦腫瘤圖像

多模態MRI是不同成像參數下的成像序列，能從多角度保留腦部疾病的結構特征。主要包括常規MRI，如FLAIR、T1、T1ce 和T2、擴 散 加 權 成 像（diffusion weighted imaging, DWI）、磁敏感加權成像（susceptibility weighted imaging, SWI）、擴散張量成像（diffusion tensor imaging, DTI）、磁共振波譜成像（magnetic resonance spectroscopy,MRS）、灌注加權成像（perfusion weighted imaging,PWI）等[6]，可以提供更全面的信息，有助于醫生進行更準確的疾病診斷和制訂治療計劃。在腦腫瘤多模態MRI中，常用的MRI序列包括FLAIR、T1、T1ce和T2。四種模態中的每一種都包含解剖信息的特定特征，不同模態的特征差異顯著。圖1 是BraTS2020 訓練集中一個典型腦腫瘤影像，從左至右依次為同一患者的不同MRI模態成像結果?？梢钥闯?，T1模態有利于觀察組織的解剖結構，如大腦中的灰質和白質。T2 和Flair 模態可以很好地捕捉到腫瘤和正常組織之間邊緣明顯的水腫區域，適合檢測有瘤周水腫的腫瘤。而T1ce模態在識別具有高對比度的腫瘤核心和增強腫瘤方面更有效，它可以突出活躍腫瘤，清晰區分壞死區和實質區邊界。不同模態的MRI 圖像對病變區域具有不同的表征優勢，因此，與使用單模態MRI 相比，使用多模態MRI 進行分割有助于降低不確定性，提高分割性能[7]。

2 傳統分割方法

傳統多模態MRI 腦腫瘤圖像分割方法可以分為分水嶺圖像分割方法、基于圖論的分割法等。國內外學者就基于分水嶺和圖論方法對MRI 腦腫瘤圖像的分割做了相關研究[8-14]。

2.1 分水嶺分割法

分水嶺分割技術本質上是一種基于區域增長的分割方法，可以用來分割圖像中不同物體的邊界，這種分割技術已廣泛應用于腦腫瘤分割。

針對腦部MRI圖像中因噪聲、灰度不均勻及邊界模糊不連續等造成腫瘤難以準確分割的問題，劉岳等[8]提出了一種基于形態學重建和梯度分層修正的分水嶺分割方法，首先對原始圖像進行形態學混合開閉重建以平滑去噪，然后根據梯度圖像的三維地貌體積對其進行分層，多尺度修正消除產生過分割的非規則局部極小值，最后運用標準分水嶺變換實現圖像分割。相比標準分水嶺和一些改進方法，該方法過分割率和欠分割率均較低，具有較好的分割效果。但分水嶺分割方法容易受到圖像中的噪聲和物體表面細微的灰度變化的影響，繼而產生過分割現象。針對這個問題，RAJAMANI等[9]在分水嶺算法基礎上提出了一種基于圖譜方法的高效標記檢測方法來解決過分割問題，改進的分水嶺算法的Dice 和Tanimoto系數的精度分別為93.13%和88.64%。為了提高腫瘤的分割和識別精度，SIVAKUMAR 等[10]在常用的分水嶺算法基礎上使用卷積和相關形態學運算區分前景和背景，提出的改進分水嶺算法提供了平均99.31%的腦腫瘤分割精度。此外，也有研究將支持向量機（support vector machine, SVM）等技術用于MRI 圖像分割和腫瘤檢測，HATCHOLLI SEERE 等[11]使用閾值和分水嶺方法分割得到合適的腫瘤大小和形狀后提交給SVM分類器來確定腫瘤，與其他分類器相比，SVM會給出更好的結果?；诜炙畮X的分割算法可以獲得完整的封閉曲線，為后續處理提供輪廓信息，而分水嶺算法對噪聲比較敏感，容易出現過分割的情況。

2.2 基于圖論的分割法

基于圖論的分割方法其本質就是移除特定的邊，將圖劃分為若干子圖從而實現分割。該方法是一種組合優化方法，即將圖像分割問題轉化為最優化問題。李偉等[12]提出了一種基于圖論的最大流/最小切優化準則的三維腦腫瘤分割算法，結合期望最大化參數估計方法（expectation maximization, EM）來自動估計混合高斯模型的參數，實現了腦部腫瘤快速、準確且具有魯棒性的三維分割。但是該方法還需要簡單的人工交互，尚未完全實現全自動腦腫瘤分割。之后，GAMMOUDI 等[13]提出了一種基于圖切的MRI腦腫瘤圖像分割方法，通過將輸入圖像分割成最優的片段數，并使用超像素方法減少圖中的節點數量，結合社區檢測算法獲得更準確的分割，實驗結果表明，該方法具有較高的分割精度。MAMATHA 等[14]提出了一種基于圖論的分割方法，該方法通過對極坐標圖像構造加權有向圖來對MRI腦圖像進行分割，相比K 近鄰方法具有更好的分割精度?；趫D論的圖像分割技術涉及較多的理論知識，在腦腫瘤圖像分割領域應用并不常見，因此關于這方面的文獻還比較少。

這些傳統圖像分割方法都取得了不錯的分割效果，但也具有一定的局限性。分水嶺方法會導致圖像出現嚴重的過分割現象，傳統的基于圖論的分割方法計算復雜度大，容易受到噪音的影響，且分割速度慢。腦腫瘤的位置、大小和形狀多變，以及不同種類腦腫瘤在MRI圖像中呈現的灰度差異較大且邊界模糊等因素，限制了此類圖像分割算法的效果和應用。

3 深度學習分割方法

深度學習是一種基于人工神經網絡的機器學習概念[15]，通過神經網絡對輸入數據進行特征提取，而不需要過多的人為參與[16]。近年來，隨著深度學習的發展和應用領域的擴大，卷積神經網絡（convolutional neural networks, CNN）等深度學習模型已廣泛應用于腦腫瘤分割領域[17-18]。與傳統圖像分割方法相比，基于深度學習的方法可以自動從圖像中提取特征，具有更高的精度和魯棒性。目前主流的基于深度學習的多模態MRI腦腫瘤圖像分割方法可分為基于CNN的方法、基于生成對抗網絡（generative adversarial networks, GAN）的方法和基于Transformer的方法。

3.1 基于CNN的分割方法

基于CNN的腦腫瘤分割方法早期采用小尺度圖像塊分類的思想來進行分割網絡的設計，從而將像素標簽預測轉換為像素所在局部圖像塊分類問題[19]。但是由于相鄰像素塊基本是重復的所以會造成一定的計算冗余且需要更大的存儲空間。針對這個問題，SHELHAMER等[20]提出了全卷積網絡（fully convolution network,FCN），實現了像素級別的分類。U-Net[21]網絡是FCN的一種改進和擴展，由于其優異的性能，被廣泛應用于醫學圖像分割。自從引入U-Net 以來，編碼器-解碼器語義分割架構諸如Attention U-Net[22]、3D U-Net[23]、U-Net[24]已經在各種2D 和3D 醫學圖像分割任務上取得了巨大的成功。最近，一些研究者又做了如下工作，表1 列舉了基于CNN 的多模態MRI 腦腫瘤分割方法在BraTS系列數據集上的性能表現結果。

表1 基于卷積神經網絡的多模態MRI腦腫瘤分割方法評估結果Tab.1 Evaluation results of multimodal MRI brain tumor segmentation method based on convolutional neural network

受U-Net 的啟發，KERMI 等[25]提出了一種基于2D深度神經網絡（deep neural networks, DNNs）的全自動高效腦腫瘤分割方法，采用加權交叉熵損失和廣義骰子損失作為損失函數來解決腦腫瘤數據中的類別不平衡問題，提高了網絡的分割性能。后來NOORI等[26]利用注意力機制和多視圖融合技術改進了2D U-Net架構，在腦腫瘤分割中取得更好的結果。不同模態的MRI信息對腦腫瘤分割至關重要，XUE等[27]提出了一種基于多編碼器和多解碼器CNN的分割方法，用于處理不同的圖像模態和預測輸入圖像的不同子區域（多類分割），驗證了多編碼器-解碼器結構的有效性?；?D CNN 的方法忽略了關鍵的3D 空間上下文，一些學者開始利用3D 卷積進行腦腫瘤分割。PENG 等[28]提出了一種多尺度3D U-Net 架構，利用多個U-Net 塊捕獲不同分辨率的空間信息，并使用3D深度可分離卷積替代標準的3D 卷積以降低計算成本。ZHOU 等[29]提出了一種基于空洞卷積的3D CNN，解決了傳統DNNs由于重復的跨步和池化操作導致的特征圖分辨率損失問題，提高了模型對不同大小腫瘤的區分能力?；?D CNN的方法具有更強的上下文信息感知能力,但3D 模型訓練起來速度慢且需要更多的內存。ZHOU等[30]提出了一種高效的3D殘差神經網絡用于多模態MRI腦腫瘤分割，該網絡使用輕量級3D ShuffleNetV2作為編碼器，具有較低的計算復雜度和內存消耗。ZHANG 等[31]提出了一個跨模態深度特征學習框架，通過融合來自不同模態數據的知識來學習豐富的特征表示，以彌補醫學數據規模上的不足，結果表明所提出的框架能夠有效地提高多模態MRI 腦腫瘤分割的性能。為了解決腦腫瘤分割中缺失模態的問題，ZHOU 等[32]提出了一種新的基于特征增強生成和多模態融合的DNNs，用于缺失MRI模態的腦腫瘤分割。該方法首先通過特征增強生成器生成表示缺失模態的三維特征增強圖像，然后利用基于多編碼器的U-Net網絡進行最終的腦腫瘤分割。為了進一步提高分割精度，TIAN等[33]在CNN中引入了軸向注意力機制來捕獲更豐富的語義信息，并通過深度監督和混合損失模型處理數據類別不平衡問題，提高了分割性能。綜上所述，基于CNN 的分割方法能夠自動提取特征和處理高維數據，但存在分割模型泛化能力不足、解釋性較差等問題。

3.2 基于GAN的分割方法

基于GAN的深度模型具有泛化性和魯棒性，常用于腦腫瘤分割、檢測、多模態合成。表2 列舉了基于生成對抗網絡的多模態MRI腦腫瘤分割方法在BraTS系列數據集上的性能表現結果。

表2 基于生成對抗網絡的多模態MRI腦腫瘤分割方法評估結果Tab.2 Evaluation results of multimodal MRI brain tumor segmentation method based on generative adversarial networks

REZAEI 等[34]提出了一種新的3D 條件生成式對抗結構voxel-GAN，用于緩解腦腫瘤語義分割中訓練數據不平衡的問題。后來，CIRILLO 等[35]提出了一種用于腦腫瘤分割的3D volume-to-volume GAN，稱為Vox2Vox，并驗證了集成多個Vox2Vox模型可以產生高質量的分割輸出。另外，DING等[36]提出了一種兩階段ToStaGAN 方法，其中第一階段采用U-Net 網絡作為“粗”生成網絡，第二階段采用U型上下文自編碼器作為“細”生成網絡，通過充分利用高層次的語義信息來提高腦腫瘤的分割性能。同年，KHANH等[37]提出了一種稱為3D-GAN的分割方法，該方法的新穎性集中在多尺度GAN的構建以及引入了三維腦MRI和腫瘤的可視化應用程序來提高分割的精度。同樣改進了GAN網絡模型的還有CUI 等[38]在GAN 基礎上進行創新提出GAN-segNet，通過將輸入數據的自編碼器學習表示加入到GAN中，同時使用一個基于焦點損失概念的創新損失函數，可以準確地分割腦腫瘤，同時有效地減輕標簽不平衡的影響。為了獲得更好的生成和分割性能，在循環生成對抗網絡（cycle-consistent GAN,cycleGAN）的基礎上，ZHU等[39]提出了一種雙尺度多模態感知DualMMP-GAN，用于生成高質量的新模態MRI，并提出將給定模態與生成模態相結合的方法來進行腦腫瘤分割，其分割性能優于單模態圖像。AZNI等[40]使用cycleGAN從多通道MRI圖像中進行特征提取，采用遷移學習技術向網絡中注入有價值的特征，提高了分割的準確性。深度學習方法可以用于腦腫瘤分割任務，但通常需要難以獲得且耗時的手動注釋分割標簽來進行訓練。YOO等[41]提出一種新的基于GAN的弱監督腦腫瘤MR 圖像分割方法，該方法利用簡單易獲取的二值圖像級標簽，在沒有真值標注的醫學磁共振圖像中有效地分割異常區域。

綜上所述，基于GAN的腦腫瘤分割方法能生成更接近真實標記數據的腦腫瘤醫學圖像，在一定程度上解決了腦腫瘤分割中訓練樣本不足的問題。由于GAN 對訓練數據的依賴性小、易于與其他神經網絡結合、生成效果好等優點，近年來基于GAN 的腦腫瘤分割方法得到了越來越多的應用。但GAN 在訓練中存在著不穩定等問題，難以收斂。

3.3 基于Transformer的分割方法

盡管基于CNN的分割方法具有很好的表示能力，但受限于卷積核感受野的大小，很難從全局特征空間建立一個顯式的長距離依賴，這就給學習全局語義信息帶來很大的挑戰，而全局語義信息對于腦腫瘤分割這種密集預測任務至關重要。受到自然語言處理領域注意力機制的啟發，目前許多研究將注意力機制與CNN相結合來解決這個問題。Transformer最早應用于自然語言處理領域，是一種主要基于自注意力機制的深度神經網絡[42]。Transformer在建模全局上下文信息和建立長距離依賴方面有良好表現。得益于其強大的表征能力，Transformer 已經逐漸應用在計算機視覺領域。其中，視覺Transformer（vision Transformer, ViT）[43]首先證明了將Transformer 應用于圖像處理的可行性和有效性。目前，一些研究者已經將Transformer 應用于3D 多模態MRI 腦腫瘤分割任務，并取得了令人滿意的結果。表3列舉了基于Transformer 的多模態MRI 腦腫瘤分割方法性能表現，這些方法多以Transformer為框架。

表3 基于Transformer的多模態MRI腦腫瘤分割方法評估結果Tab.3 Evaluation results of multimodal MRI brain tumor segmentation method based on Transformer

近年來，越來越多的研究工作傾向于將Transformer和CNN相結合，以達到網絡模型既能提取全局信息又能提取局部信息的目的。WANG 等[44]提出了一種新的基于編-解碼結構的分割框架TransBTS，該框架將3D CNN 和Transformer 結合起來用于多模態腦腫瘤分割，不僅利用3D CNN捕獲局部上下文信息，同時利用Transformer學習全局語義相關性，從而提升了分割精度。為了設計一種更有效的腦腫瘤分割模型，LI 等[45]提出了一種混合CNN-Transformer 體系結構TransBTSV2。與TransBTS[44]不同，TransBTSV2 在跳躍連接部分引入可變形卷積來捕獲形狀感知的局部細節，從而改進了模型分割。為了降低Transformer 的計算復雜度，LIU[46]等提出了Swin Transformer，它利用基于窗口的自注意力來減少參數和計算，并使用移位窗口機制來實現全局依賴建模。之后，HATAMIZADEH等[47]提出了U-NETR，其采用純Transformers 作為編碼器來學習輸入的序列表示，并有效地捕獲全局多尺度信息，從而獲得了更好的分割精度。LIANG 等[48]也提出了一種高效的基于Transformer 的U-Net，稱為3D PSwinBTS，通過基于3D 并行移位窗口的Transformer 模塊提取遠程上下文信息，并在編碼器中引入語義先驗，以實現高效的語義建模。比較典型的還有JIANG 等[49]提出了一種新的3D 醫學圖像分割方法SwinBTS，該方法使用3D Swin Transformer作為編碼器來提取上下文信息，并使用改進的Transformer 模塊來增強細節特征提取能力，從而使得模型對圖像中占比較小的類別（如增強腫瘤）也具有較強的分割能力。LIANG 等[50]提出了一種基于Swin Transformer 的三維U 型對稱腦腫瘤分割網絡BTSwin-U-Net，該網絡使用自監督學習框架來解決訓練數據較少的問題。多模態MRI圖像的聯合利用實際上是多模態圖像分割任務的關鍵問題。然而，現有的腦腫瘤分割方法大多采用早期融合策略，將多模態圖像連接起來作為網絡輸入，導致很難探索不同模態之間的非線性關系。為了緩解這個問題，XING等[51]提出了一種新的嵌套模態感知Transformer，稱為NestedFormer，用于有效和魯棒性的多模態腦腫瘤分割。該方法利用嵌套Transformer 建立用于腦腫瘤分割的多模態MRI 模態內和跨模態間的長距離依賴關系，從而獲得更有效的特征表示。針對在臨床實踐中，并不總是能夠獲得一套完整的MRI，缺失模態的問題導致現有多模態分割方法的性能嚴重下降。為了解決上述問題，YANG 等[52]提出了一種具有MD-Stage 和TD-Stage 的雙重解糾纏網絡D2-Net，該網絡旨在捕獲模態和腫瘤區域之間的相關性，用于缺失模態的腦腫瘤分割。

綜上所述，基于Transformer的分割方法可以處理長距離依賴性和全局上下文信息，但Transformer模型復雜的計算和巨大的訓練成本是將其應用于腦腫瘤圖像分割的主要挑戰。結合ViT 的腦腫瘤圖像分割方法已經取得了非常先進的效果，未來對ViT的改進將繼續獲得更好的分割網絡。

目前，在腦腫瘤分割中，深度學習算法可以通過在足夠大的數據集上進行訓練來學習分割MRI圖像。與傳統的分割方法相比，基于深度學習的多模態MRI腦腫瘤分割方法能夠直接從數據中學習復雜的特征表示，預處理步驟更少，具有效率高、結果更準確、泛化能力強等優點。然而，MRI 圖像中可能存在偽影和噪聲，導致腦腫瘤邊界模糊、對比度低，從而影響分割的精度。此外，深度學習方法需要大量人工標記的數據來訓練模型，但醫學圖像數據往往難以獲取且規模相對較小，這也帶來了一定的困難。

4 總結與展望

本文主要從傳統分割方法和深度學習分割方法對近年來多模態MRI 腦腫瘤圖像分割方法進行了梳理。通過對比分析，無論是哪一類方法都可以解決分割中的一些問題，相比于更早的研究有明顯的改進，例如分割準確率更高、處理速度更快等。然而，在泛化能力方面存在不足。傳統的腦腫瘤分割方法大多簡單易行，但難以處理復雜圖像，分割精度普遍較低?；谏疃葘W習的圖像分割方法可以從腦腫瘤圖像中提取高層次的語義特征和全局特征，但其可解釋性較差。深度學習技術的應用推動了腦腫瘤分割研究的進展，盡管有所突破，但仍有挑戰有待解決，需要進一步研究探索。

通過對現有分割方法的研究和總結，從以下幾點分析存在的問題并展望未來的研究方向：（1）目前腦腫瘤MR圖像分割方法通常需要大規模的標注數據來訓練模型，而這些數據的收集成本很高。因此，采用自動編碼器等無監督模型，以及通過少量標簽的弱監督學習來準確分割腦腫瘤MR圖像將成為一個熱點研究方向。（2）深度學習的腦腫瘤分割方法目前仍然缺乏可解釋性和透明性，盡管基于深度學習的方法在腦腫瘤分割領域表現突出，但臨床醫生難以直接理解模型的決策過程，從而不能與其臨床判斷進行比對，創造更有價值的臨床腦腫瘤圖像分割網絡，這導致現有的基于深度學習的腦腫瘤分割方法還未真正實現臨床應用。因此，提高深度學習模型在腦腫瘤分割中的可解釋性是一個重要的研究方向。（3）由于腦腫瘤背景在MR圖像中所占比例太大，而腫瘤區域所占比例太小，在分割過程中很難準確有效地定位，所以如何解決類不平衡問題仍需要研究者不斷探索。（4）隨著深度學習技術的發展，越來越多的研究成功地將基于神經網絡的模型應用到腦腫瘤分割任務中，從流行的CNN 到最近的Transformer。深度神經網絡雖然很大程度上提升了腦腫瘤分割精度，但網絡復雜度也隨之增加，無法實時分割，如何使用Transformer構建輕量化分割網絡實現腦腫瘤的高精度分割，從而實現腦腫瘤分割方法的臨床應用將會是未來研究的重點。

盡管腦腫瘤分割面臨較多挑戰，但隨著深度學習技術的不斷進步，以及腦腫瘤影像質量的提升，相信在不遠的將來，目前腦腫瘤分割方法的局限性與不足會逐一解決，從而促進其在臨床實踐中的應用。

作者利益沖突聲明：全體作者均聲明無利益沖突。

作者貢獻聲明：倪昕曄設計本研究的方案，對稿件重要的智力內容進行了修改；孫康康起草和撰寫稿件，獲取、分析或解釋本研究的文獻；陳偉、李奇軒、孫佳偉、焦竹青獲取、分析或解釋本研究的文獻，對稿件重要的智力內容進行了修改；倪昕曄獲得了江蘇省重點研發計劃社會發展項目、江蘇省衛健委面上項目資助。全體作者都同意發表最后的修改稿，同意對本研究的所有方面負責，確保本研究的準確性和誠信。