基于3D深度殘差網絡和多模態MRI的腦膠質瘤自動分級

王瑞，劉志強，齊崇，孟藍熙，李少武

1.北京市神經外科研究所/首都醫科大學附屬北京天壇醫院，北京 100070；2.國家癌癥中心/國家腫瘤臨床醫學研究中心/中國醫學科學院北京協和醫學院腫瘤醫院放療科，北京 100021

前言

腦膠質瘤是最常見的腦部腫瘤［1］，根據2016版世界衛生組織（World Health Organization,WHO）中樞神經系統腫瘤分類標準［2］，腦膠質瘤可以分為I～IV級：I級和II級為低級別腦膠質瘤（Low Grade Gliomas,LGG），III 級和IV 級為高級別腦膠質瘤（High Grade Gliomas,HGG）。其中LGG生長速度較慢，通常手術輔助其他治療手段預后較好，而HGG生長迅速、惡性程度高、侵襲性強，患者在手術切除后仍有很高的病死率，術后需要進一步輔助放療和化療，生存預后差。因此，腦膠質瘤的準確分級在確定治療方案和預測預后方面起著重要作用。磁共振成像（Magnetic Resonance Imaging,MRI）已被廣泛應用于腦膠質瘤的無創診斷、監控和隨訪［3］。與單模態MRI 相比，多模態MRI：包括T1加權像（T1）、T1對比增強加權像（T1C）、T2加權像（T2）、T2液體衰減反轉恢復像（FLAIR）、灌注加權像、彌散加權像、彌散張量加權像和波譜等，可以提供更豐富的腫瘤信息，為腫瘤的精確分級提供基礎。目前，腦膠質瘤分級的標準方法基于組織病理學分析，存在以下局限性：（1）活檢是一種侵入性手術，有潛在的風險；（2）由于MRI 圖像上的腫瘤信號不均勻，活檢可能存在固有的取樣誤差；（3）不同檢驗者之間可能存在觀察的不確定性；（4）組織病理學分析費時，可能會延誤診斷。為克服以上缺點，發展計算機輔助腦膠質瘤的自動分級技術尤為重要。如何利用多模態MRI 提供的豐富信息，快速實現腦膠質瘤精確的自動分級是具有挑戰性的問題。

傳統的模式識別和機器學習方法（如線性判別分析［4-5］、K-均值聚類［6］、決策樹［7］、支持向量機［8-9］等）已經應用于單模態或多模態MRI 圖像實現腦膠質瘤的分級，傳統的方法需要手動勾畫感興趣區域（Region of Interests,ROIs），基于ROIs 提取腫瘤形狀和統計特征、MRI 圖像強度特征、以及圖像紋理特征等用于圖像分類。這些方法訓練模型前需手動勾畫ROIs和特征提取，這個過程耗費時間和精力、并且依賴經驗，從而影響分級效率和準確性。

深度卷積神經網絡在圖像識別方面有很好的應用效果［10-14］，與傳統方法相比，訓練模型的過程中可自動提取全面的圖像特征，在腫瘤自動分級應用方面有很大的潛力，尤其是深度殘差網絡（Residual Network,ResNet）［15-16］，它具有容易優化、增加深度提高準確性而不引起梯度消失的特點，同時考慮不同層面的MRI 圖像具有序列信息，二維網絡提取特征會丟棄掉部分信息，而三維（3D）網絡可以更好地捕獲序列信息和空間維度特征，而且不同模態的MRI具有不同的圖像信息。本研究基于3D深度殘差網絡和多模態MRI圖像實現腦膠質瘤的自動分級。

1 資料和方法

腦膠質瘤自動分級工作流程（圖1）主要包括：（1）多模態MRI 圖像預處理；（2）預處理后的多模態MRI 圖像和膠質瘤分級標簽（LGG 或HGG）輸入3D深度殘差網絡模型進行訓練和驗證，確定最終的模型；（3）新患者的多模態MRI 圖像進行預處理；（4）預處理后的多模態MRI 圖像輸入到已經訓練好的3D深度殘差網絡模型得到分級結果（LGG或HGG）。

1.1 數據

本研究中用于訓練和測試3D深度殘差網絡模型的數據來自BraTS2020公共數據集［17-19］，包括369例腦膠質瘤，其中HGG 293例、LGG 76例。每例術前MRI圖像均包含T1、T1C、T2和FLAIR 4個模態的圖像（圖2）。這些數據來自于多家機構的不同掃描設備，由1～4名醫生手動勾畫腫瘤區域，包括增強腫瘤區（Enhancing Tumor,ET）、瘤周水腫區域（Peritumoral Edema,ED）、壞死和非增強腫瘤核心區域（Necrotic/Non-enhancing Tumor Core,NCR/NET），并由神經放射科醫生確認，根據組織病理學分析確定膠質瘤分級并作為金標準用于模型訓練和測試。多模態MRI圖像已經與標準空間的參考圖像進行配準，并將顱骨剝離分離出大腦區域，將大腦圖像重新采樣至（1×1×1）mm3體素分辨率，所有腫瘤區域的并集生成MASK結構。

1.2 數據預處理

腦膠質瘤多模態MRI 圖像3D 空間每個維度都具有復雜的成像特征，為了充分利用所有空間維度信息，本研究利用3D空間表示腦膠質瘤的異質性，即按照3D 腦組織的邊界輪廓對MRI 圖像和MASK 結構進行3D 裁剪，并重新采樣到64×64×64 的體素，多模態MRI圖像和MASK 結構作為模型輸入。為了減少非標準MRI 強度值偽影，對多模態MRI 圖像進行歸一化處理，如公式（1）所示：

其中，x表示每個模態MRI的強度值，μ表示MRI圖像中整個大腦非腫瘤區域強度值的平均值，σ表示對應的標準差。歸一化后的強度值截斷在［-5,5］區間，并最終歸一到［0,1］之間，圖3是歸一化后的多模態MRI圖像強度值分布。

1.3 3D深度殘差網絡模型

本研究采用的3D 深度殘差網絡模型如圖4所示，圖4a 是20 層的3D 殘差網絡模型框架，圖4b～d 分別是3 個殘差模塊：Res-Block 0、Res-Block 1、Res-Block 2［16］。多模態的3D-MRI 圖像和腫瘤區3DMASK 作為模型輸入，經過卷積核是3×3×3、特征圖數量是16、步長（Stride）是1 的3D 卷積（Conv3D），連接正則歸一化Batch Norm 和激活函數ReLU，連接殘差塊Res-Block 0 和Res-Block 1 的組合、兩次殘差塊Res-Block 2 和Res-Block 1 的組合，特征圖數量從64過渡到256，圖像尺寸從64×64×64 降到16×16×16，連接正則歸一化Batch Norm、激活函數ReLU、平均池化（Average Pooling）和Flatten，經過全連接層Fullyconnected layer后，通過分類器Softmax classifier實現高低級別膠質瘤分類。

1.4 訓練和測試

369 例腦膠質瘤（293 例HGG 和76 例LGG）數據樣本分別被隨機分成訓練樣本（64%），驗證樣本（16%）和測試樣本（20%）。訓練過程中通過優化輸入數據結構和模型超參數，最終確定4個MRI模態的整個腦部區域和1個腫瘤MASK區域同時作為輸入，網絡模型的輸入數據維度是5×64×64×64，設置超參數BatchSize 為2，選擇Adam 優化器沿著梯度下降的方向優化模型，即每迭代2個訓練樣本更新一次優化權值，設置最大迭代次數Epochs 為100，設置初始學習率（Learning Rate,LR）為1e-4。

本研究采用二值交叉熵函數Binary Crossentropy作為損失函數，如公式（2）所示：

其中，yi是第i個樣本的標簽，HGG 標記為1，LGG 標記為0，N是參與計算的樣本數量，p(yi)代表第i個樣本預測為HGG的概率。

訓練過程中自動調整LR，即訓練迭代次數增加10 次后，驗證數據集上的損失函數不再減小，LR 減小為原來的一半。為避免出現過擬合現象，訓練過程中應用數據增強和Early-Stopping 技術，數據增強是訓練過程中將數據進行隨機翻轉或旋轉以增加訓練數據的多樣性，Early-Stopping是訓練迭代30次后，驗證數據集上的損失函數不再減小，停止繼續迭代，保留在驗證數據上損失函數最小的模型作為最終的模型。

對于測試樣本，將每例患者的多模態MRI 圖像經過1.2 節中的預處理后輸入到已經訓練好的3D 深度殘差網絡模型，即可以得到腫瘤的自動分級結果。

1.5 評價

分類結果的評價基于準確率（Accuracy,ACC）、敏感性（Sensitivity,SEN）、特異性（Specificity,SPE）、受試者工作特征（Receiver Operating Characteristic,ROC）曲線下面積（Area Under Curve,AUC）。定義高低級別膠質瘤混合矩陣（表1），即患者被識別為HGG 為正例（Positive）事件，被識別為LGG 為負例（Negative）事件。預測為HGG，實際為HGG，即為正確的正例事件（True Positive,TP）；預測為LGG，實際為LGG，即為正確的負例事件（True Negative,TN）；預測為HGG，實際為LGG，即為錯誤的正例事件（False Positive,FP）；預測為LGG，實際為HGG，即為錯誤的負例事件（False Negative,FN），其中計算概率閾值設置為0.5，即預測概率≥0.5 時被識別為高級別HGG，否則被識別為LGG。

表1 高低級別腦膠質瘤混合矩陣Table 1 Confusion matrix of high and low grade gliomas

ACC 表示預測正確的樣本占所有樣本的比例，如公式（3）所示：

SEN 表示實際為正例的樣本中，被預測為正例的樣本比例，即HGG 樣本中被預測為HGG 的比例，如公式（4）所示：

SPE表示在實際為負例的樣本中，被預測為負例的樣本比例，即LGG 樣本中被預測為LGG 的比例，如公式（5）所示：

2 結果

本研究的驗證數據集包括隨機選出的59 例腦膠質瘤樣本，其中HGG 48 例、LGG 11 例；測試數據集包括隨機選出的75 例腦膠質瘤樣本，其中HGG 62例、LGG 13 例。圖5是3D 深度殘差網絡預測腦膠質瘤分級表現的ROC 曲線，對于驗證數據集，SEN、SPE、ACC 和AUC 分別為0.94、0.91、0.93、0.97；對于測試數據集，SEN、SPE、ACC 和AUC 分別為0.95、0.62、0.89和0.93。

本研究分別探究了不同的圖像區域、不同的MRI 模態組合作為輸入數據，以及使用不同的數據增強方式和網絡模型超參數組合時數據的分類結果。（1）表2是不同的圖像區域作為輸入數據的分類結果，其中參考模型代表1.2 小節數據預處理中的輸入數據，腫瘤區域代表只提取多模態MRI 圖像中的腫瘤MASK 區域；（2）表3是不同的MRI 模態組合作為輸入數據的分類結果，其中參考模型代表4個模態（T1、T1C、T2和FLAIR）MRI和MASK 區域；（3）表4是不同數據增強方式的分類結果，其中參考模型代表使用翻轉和旋轉的組合作為數據增強方式；（4）表5是使用不同網絡模型超參數組合的分類結果，其中參考模型代表使用1.3和1.4小節描述的超參數。

表2 不同圖像區域作為輸入數據的分類結果Table 2 Classification results with different image regions as input

表3 不同MRI模態組合作為輸入數據的分類結果Table 3 Classification results with different combinations of MRI modality as input

表4 不同數據增強方式的分類結果Table 4 Classification results of different data augmentation manners

表5 不同網絡模型超參數組合的分類結果Table 5 Classification results of different model superparameter combinations

3 討論

腦膠質瘤的準確分級在精確制定治療方案和預測預后方面起著重要作用，侵入性活檢存在潛在風險和固有的取樣誤差，不同檢驗者的觀察存在不確定性且組織病理分析費時費力，自動分級技術可以克服活檢存在的以上缺點。相比于傳統的模式識別和機器學習方法，基于深度學習方法是近幾年的研究熱點，非常具有潛力。本文將3D 深度殘差網絡應用在多模態MRI 數據上實現了對高低級別腦膠質瘤的自動分級，文中利用的BraTS2020數據集是目前公開可以利用的多模態MRI 數據樣本，包含的數據豐富，是測試算法的優質數據庫。本文采用了20 層的3D 深度殘差網絡模型，二值交叉熵函數BinaryCrossentropy 作為損失函數，從不同角度（即不同的圖像區域、MRI 模態組合作為輸入數據，使用不同的數據增強方式和網絡模型超參數組合）來優化模型，初步結果表明多模態MRI 和腫瘤MASK 區域的組合比只考慮多模態MRI腫瘤MASK 區域的結果要好（表2）；如果只考慮單模態MRI圖像序列，T1C的預測效果最好，如果考慮2 個模態MRI 圖像序列，［T1C,T1］或［T1C,FLAIR］的組合預測效果較好，如果考慮3 個模態的MRI 圖像序列，［T1,T1C,T2］的組合預測效果較好（表3）；訓練過程中數據進行增強處理可以提高預測精度，旋轉和翻轉組合的方式預測效果最好（表4）。同時，進一步探究了通過增加網絡深度評價模型的表現，從初步實驗結果（表6）可以看到通過將網絡深度增加到56 層［15-16］，測試數據集的ACC和AUC并沒有提高。

表6 不同深度的殘差網絡模型的分類結果Table 6 Classification results of residual networks with different depths

不同研究者利用深度學習網絡在腦膠質瘤自動分級方面進行了不同的探索（表7）。Yang 等［20］利用2D 的GoogLeNet 和AlexNet 網絡，在113 例5 折交叉驗證數據集上，考慮T1C 模態作為輸入從頭開始訓練，GoogLeNet 網絡在驗證數據集的ACC、測試數據集的ACC 和AUC 分別為0.87、0.91 和0.94，AlexNet網絡在驗證數據集的ACC、測試數據集的ACC 和AUC 分別為0.87、0.86 和0.90。Naser 等［21］利 用VGG16 網絡，在110 例LGG 的5 折交叉驗證數據集上，考慮T1、FLAIR、T1C 的MRI 圖像數據作為輸入進行遷移學習，實現對II 級和III 級膠質瘤的分級ACC為0.89。Ge 等［22］基于2D CNN 模型，在295 例BraTS2017 數據集上，考慮4 個模態MRI 圖像作為輸入，在測試數據集上實現LGG和HGG分類的ACC為0.91。Shahzadi 等［23］使用VGGNet-LSTM 模型，在60例BraTS2015數據集上，考慮單模態FLAIR圖像作為輸入數據，在測試數據集上實現LGG 和HGG 分類ACC為0.84。與前述研究相比，本文在BraTS2020數據集上，考慮4個模態的MRI數據和腫瘤MASK區域作為模型輸入從頭開始訓練，在驗證數據集上，ACC和AUC分別為0.93和0.97，在測試數據集上，ACC和AUC 分別為0.89 和0.93。本研究采用的數據是目前公開可以利用的數據，雖然與其他研究者用的數據不同，但初步結果表明與其他研究者的結果相近。

表7 不同模型預測腦膠質瘤分級結果比較Table 7 Comparison of the performances of different models in glioma grading

本文利用BraTS2020 公開數據集，應用3D 深度殘差網絡在多模態的MRI 圖像上實現了對高、低級別腦膠質瘤的自動分級。研究采用的網絡模型不局限于對腦膠質瘤的自動分級，還可以實現對其他腫瘤的分級。同時可以應用在更多的醫學圖像處理領域，比如可用于腦膠質瘤基因狀態預測和患者生存期預測等方面，從而為精準醫療的實現提供更多助力。