基于多模態MRI與深度學習的乳腺病變良惡性鑒別

楊一風，祁章璇，聶生東

上海理工大學 醫學影像工程研究所，上海 200093

引 言

近年來，乳腺癌因高發病率和死亡率而成為危害女性身心健康的首要問題[1]．臨床上乳腺癌往往是由早期的乳腺病變逐漸惡化發展而來．但因其發病機理的不確定性和早期病情較為隱匿，往往會出現臨床漏診和誤診，從而導致良性病變沒有得到及時治療而逐漸發展為惡性癌變．因此，對早期乳腺病變的良惡性精確診斷及篩查，并對患者進行有針對性的防控和治療，對降低乳腺癌的死亡率具有重要意義[2]．

醫學影像檢查為乳腺病變診斷提供了有效工具[3]．然而，近年來隨著乳腺影像檢查數量不斷攀升，臨床醫師的閱片壓力激增，極易造成誤診、漏診．乳腺癌計算機輔助診斷（computer aided diagnosis，CAD）技術應運而生．現有的乳腺癌CAD 技術主要包括傳統機器學習和深度學習兩種方法．基于傳統機器學習的方法依賴于精細地靶區人工勾畫，以便于提取用于模型訓練的特征[4,5]．而基于深度學習的方法能夠實現高通量、自動化地感興趣區域（region of interest，ROI）特征提取，并且對ROI精細勾畫的依賴性較弱，在乳腺病變分類任務中得到了廣泛應用[6-11]．例如Samala 團隊[8]基于數字乳腺斷層成像（digital breast tomosynthesis，DBT）和乳腺鉬靶X 射線成像，設計了一種多階段遷移學習模型進行乳腺良惡性腫塊的自動分類．他們利用了非醫學圖像（ImageNet）數據上訓練的卷積神經網絡（convolutional neural network，CNN）模型的知識，首先用具有相對大樣本量的乳腺X射線數據進行微調，然后再遷移到基于小型DBT 數據的目標任務中，以提高模型在小樣本DBT 影像數據上的學習效率和診斷準確率．該模型得到了平均0.93 的受試者工作特征曲線下方面積（area under the curve，AUC）值，證明了當來自目標域的訓練樣本有限時，使用來自相似輔助域的數據進行額外的遷移學習是有利的．Dalmis 等[9]通過訓練DenseNet 網絡模型提取基于多參數的超快動態增強磁共振成像（dynamic contrast enhanced magnetic resonance imaging，DCE-MRI）的影像特征，實現了AUC 為0.811 的乳腺良惡性病灶分類準確率，表明超快DCE-MRI 可對乳腺良惡性病變進行有效鑒別診斷．該團隊進一步采用隨機森林分類器對臨床信息（患者信息、乳腺癌易感基因和表觀彌散系數）進行特征提取，并將影像特征與臨床特征相融合，顯著提高了模型的分類性能（AUC 提高至0.852）．Saritas 等[10]從鉬靶X 射線影像中提取影像特征，包括腫塊形狀、腫塊邊緣和腫塊密度，并與乳腺影像數據報告和數據系統（breast imaging reporting and data system，BI-RADS）分級和年齡進行特征融合，而后輸入人工神經網絡（artificial neural network，ANN）進行乳腺病變良惡性的預測，從而輔助臨床醫生判斷病人是否需要進行活檢．

CAD 模型效果不僅與模型本身結構有關，還取決于模型的輸入[12,13]．目前大多數研究是基于鉬靶X 射線或乳腺超聲圖像進行模型搭建，并且取得了較高的精度．相比于低分辨率的，對深位、高位病變低敏感性的鉬靶X 射線掃描，DCE-MRI 具有高分辨率、無創性、對乳腺病灶軟組織具有高靈敏度等優點，對提高臨床早期乳腺疾病的檢出率具有重要價值[14]．然而，臨床MRI 目前通常作為乳腺診斷的一種補充掃描，因此可用于實驗研究的MRI 數據相比鉬靶和超聲數據較少．受限于有限數據量，基于DCE-MRI 影像構建高精度的乳腺病變良惡性自動檢測模型仍具有一定挑戰性．

本研究提出了一種聯合非對稱卷積（asymmetric convolution，AC）和超輕子空間注意模塊（ultra-lightweight subspace attention module，Ulsam）的AC_Ulsam_CNN 網絡模型進行乳腺病變良惡性的自動鑒別診斷．首先，該模型通過增加網絡寬度和深度，并引入子空間注意力機制，從而能夠增強網絡的特征表達能力，提高模型的檢測性能．其后，將DCE-MRI 影像特征與其他臨床指標進行特征融合，通過增加特征的多樣性，以彌補因樣本量少導致的分類精度低的缺陷，進而獲得更準確可靠的分類結果．

1 實驗部分

1.1 實驗數據

本研究中的乳腺數據來自上海交通大學醫學院附屬新華醫院．具體入組標準為：（1）根據BI-RADS[15]，放射醫師擬診為患良性或惡性乳腺病變的患者（BI-RADS 評估為0～V 級）；（2）病灶最大截面直徑≥5 mm；（3）于同一醫院檢查并進行手術或活檢穿刺后取得病理結果；（4）術前影像檢查包括DCE-MRI 掃描，包括動態增強T1高分辨率各向同性容積采集序列（dyn-eTHRIVE，Dyn）掃描、動態增強T1高分辨率各向同性體積采集的減影序列（sdyn-eTHRIVE SENSE，Sdyn）掃描和擴散加權成像（diffusion-weighted imaging，DWI）掃描．自2014年1月至2019年12月間，符合數據入組條件的病例累計有277 例女性患者，包括良性乳腺病變119 例、惡性病變158 例（表1）．惡性病變中浸潤性癌占比最高，良性病變主要表現為纖維腺瘤和乳腺?。狙芯吭O計和實施方案已獲得由倫理委員會和合作醫院機構審查簽署的知情協議．所有參與者均簽訂書面知情同意書．

表1 乳腺病變良惡性數據分布Table 1 Data distribution of benign and malignant breast lesions

MRI 掃描均采用飛利浦Ingenia 3.0T 超導型磁共振設備．在注射釓噴替酸葡甲胺（Gd-DTPA）對比劑前，進行一次平掃采集；注射對比劑后，再進行數次連續且不間斷的重復性MRI 掃描．對比劑經病患手背由高壓注射器進行靜脈團注，劑量為0.2 mmol/kg、流速為2.0 mL/s，之后使用相同方法注射15 mL 濃度為0.9%的氯化鈉水溶液，記錄磁共振動態增強曲線（time intensity curve，TIC）類型．

Dyn 掃描設有5 個時序，分別記為S0～S4（如圖1所示）．Sdyn 掃描設有4 個時序，分別記為S0～S3．掃描層數均為150 層，層厚為1.2 mm，掃描時間均為58 s，影像分辨率為512 mm×512 mm，通道數為3．DWI 掃描設定擴散敏感系數b值為0.80 s/mm2，記錄各被試的表現擴散系數（apparent diffusion coefficient，ADC）．

圖1 設有5 個時序（S0～S4）的Dyn 掃描影像Fig.1 The images acquired using Dyn with 5 time phase scans (S0～S4)

1.2 實驗方法

本文提出的基于多模態MRI 數據和深度學習的乳腺病變良惡性鑒別方法流程主要包括：（1）數據預處理；（2）基于DCE-MRI 影像數據，采用遷移學習方法預訓練模型，以從不同的時序中篩選出對乳腺病變良惡性鑒別最為有效的掃描時序．（3）基于最優掃描時序，構建針對乳腺病變良惡性鑒別任務的AC_Ulsam_CNN 網絡模型．（4）將影像特征與臨床BI-RADS 分級指標、ADC 值和TIC類型進行特征融合，重新訓練混合AC_Ulsam_CNN 網絡，從而進一步提高乳腺病變良惡性鑒別的準確率．

1.2.1 數據預處理

本文使用的數據模態包括DCE-MRI 不同時序的掃描圖像和其他衍生指標，如：BI-RADS 分級指標、ADC 值和TIC 類型．

首先，對DCE-MRI 影像數據進行預處理．根據臨床醫師勾畫的金標準定位病灶位置，以病變區域為中心，設置大小為64*64 的像素窗口，分割出包含病灶區域且占比適中的ROI 圖像，并保存為灰度圖片，記為基于單一信源的ROI 數據．為豐富ROI 信息，分別選取時序相位掃描中的任意三個掃描進行通道融合．將融合后的圖像保存為具有三通道的彩色圖片，并記為基于多信源的ROI數據（如圖2所示）．

圖2 DCE-MRI 不同時序掃描的多信源組合ROI 影像示意圖Fig.2 The multi-source combined ROI images scanned by different time phase scans of DCE-MRI

其次，對衍生指標中的臨床BI-RADS 分級和TIC 評估數據分別進行量化處理．其中，根據臨床BI-RADS 分級結果，將對應分級（0 級、I 級、II 級、III 級、IVa 級、IVb 級、IVc 級和V 級）量化為0 到7，代表臨床對病灶性質的初步篩查評估；將TIC 評估中上升型、平臺型和流出型分別量化為數值0、1 和2；定量ADC 值則進行線性歸一化處理．

其中，X表示每個病例的ADC 特征值，Xmin表示所有病例ADC 特征值中的最小值，Xmax表示所有病例ADC 特征值中的最大值，Xnorm表示每個病例歸一化后的ADC 特征值．

最后，根據DCE-MRI 中不同時序掃描及其隨機排列組合，本實驗共獲得9 組基于單一時序掃描的單信源影像數據和13 組基于不同時序組合的多信源影像數據，如表2所示．其中，每組均包含95 106 張含乳腺病灶的ROI 圖像，包括良性病變31 722 張、惡性病變63 384 張．每張影像均有其對應的衍生指標，并且將臨床病理檢驗得到的良惡性診斷結果作為其真實標簽．

表2 DCE-MRI 中不同時序掃描及其組合Table 2 The different time phase scans and their combinations

1.2.2 基于不同時序的DCE-MRI 對乳腺病變良惡性的分類

DCE-MRI 掃描中包含多個不同時序的掃描序列，而不同時序掃描的影像對良惡性病灶的組織對比度強度具有不同的敏感性．因此，為篩選出對病灶良惡性鑒別最為有效的掃描序列，本文首先進行了初步的預實驗．然而，考慮到本實驗中樣本量不足，若直接從頭訓練模型，容易造成模型欠擬合或過擬合問題，難以進行最優時序的篩選．遷移學習為解決小樣本量醫學影像數據提供了有效方法[16]．其中，InceptionV3 模型因具有較強的特征表達能力被廣泛應用于各項分類任務[17]，并且已在乳房腫塊檢測研究[18-20]中取得了優異的成果．與其他CNN 相比，InceptionV3 計算成本和內存需求低，對有限數據集進行遷移學習的可行性高，因此本研究中采用經典的InceptionV3 作為預訓練模型．通過去除頂層分類器，并添加兩個輸出尺寸分別為128 和16 的Dense 層進行模型微調，最后采用Sigmoid 層作為模型的輸出層，以評估基于不同時序的DCE-MRI 對乳腺病變良惡性的分類性能．

1.2.3 基于AC_Ulsam_CNN 網絡的乳腺病變良惡性鑒別模型

基于遷移學習的方法往往依賴于目標數據與原始數據之間的相似性，而針對高維復雜的MRI數據，該方法在模型精度提升方面仍具有一定局限性．因此，為進一步提高DCE-MRI 影像數據對乳腺病變良惡性鑒別性能，基于篩選出的最優時序作為輸入圖像，本文構建了基于AC_Ulsam_CNN網絡的模型．如圖3所示，AC_Ulsam_CNN 網絡主要由兩個非對稱卷積模塊（AC Block）、兩個超輕子空間注意模塊（Ulsam Block）、兩個最大池化層（MaxPooling）和四個殘差式學習跳躍連接結構（分別為：(2)→(5)→(6)，(8)→(11)→(12)，(12)→(17)→(20)，(14)→(18)→(19)）組成，而后經過全局平均池化層（global average polling，GAP）、密集全連接層（Dense）和分類器層（Sigmoid）得到輸出結果．網絡結構參數設置如表3所示．

表3 AC_Ulsam_CNN 網絡結構參數設置Table 3 The parameter setting of the proposed AC_Ulsam_CNN structure

圖3 AC_Ulsam_CNN 的網絡結構示意圖Fig.3 The network structure diagram of AC_Ulsam_CNN

此外，為解決隨網絡結構的加深、梯度優化速度減緩、模型收斂慢等問題，模型中引入了批歸一化層（batch normalization，BN）和LeakyReLU 激活函數，并采用Sigmoid 函數進行激活輸出，以加快網絡優化速度，并提高模型的魯棒性．

非對稱卷積模塊（AC Block）是一種采用多個非對稱卷積核組合形式替換標準卷積核的特殊卷積結構，通過增加模型不同尺度方向的特征提取通路，從而提升模型的魯棒性[21]．非對稱卷積參數訓練后，與標準卷積參數的有效融合，也使得模型在訓練階段能夠更專注于特征提取的強化，得到高表征能力、強相關的特征．雖然訓練時間成本有提升，但卷積核參數的等效融合不會出現多余的計算量．因此，模型的性能提升無需多余的計算開支，該機制對解決因小樣本量數據而導致的模型過擬合問題具有充分的應用價值．本文設計的非對稱卷積模塊結構如圖4所示．首先，將上一層得到的特征圖分別輸入到尺寸為1×3、3×1 和3×3 的卷積核（c@1×3、c@3×1 和c@3×3，其中c 為卷積通道數）中進行訓練，并采用逐點求和方式進行融合，以提升局部顯著性特征的影響因子．而后采用殘差學習方式，將融合后的特征圖與原特征圖進行按通道拼接，從而避免圖像信息丟失，增強網絡的特征表達能力．

圖4 非對稱卷積模塊（AC Block）結構示意圖Fig.4 The structure diagram of asymmetric convolution module (AC Block)

為提高小容量、低空間復雜網絡的學習效率，超輕子空間注意模塊（Ulsam Block）[22]引入了子空間注意力機制．通過將輸入特征分組為g個特征子空間（本實驗中設置g=2），依次采用1×1 depth-wise 卷積學習新特征，經最大池化層降維后，再采用1×1 point-wise 卷積，從而可得到每個特征子空間的個體注意力圖．softmax 激活函數保證了g個特征子空間中的注意力圖的權重和為1．因此，Ulsam 模塊有助于網絡提取到多尺度和多頻率特征，同時也使模型能夠高效地利用跨通道信息．Ulsam Block 結構如圖5所示．

圖5 超輕子空間注意模塊（Ulsam Block）結構示意圖Fig.5 The structure diagram of ultra-lightweight subspace attention module (Ulsam Block)

1.2.4 融合多模態數據的乳腺病變良惡性鑒別

DCE-MRI 掃描能夠生成TIC，為鑒別病變性質提供了血流動力學參數[23]．ADC 作為DWI 成像中的一種衍生指標，能夠反應軟組織內水分子擴散情況，從而有效降低乳腺MRI 的假陽性，并被證明與乳腺良惡性程度具有強相關性[24]．因此，為進一步探索多模態數據融合在乳腺病變良惡性鑒別中的價值，本文設計了一種混合式AC_Ulsam_CNN 卷積神經網絡模型，通過將DCE-MRI 影像特征分別與其他衍生指標（臨床BI-RADS 分級、ADC 值和TIC 類型）進行特征級別的融合，即在圖3網絡全連接層部分，引入相應衍生指標特征，繼而將融合后的新特征輸入到Sigmoid 分類器中進行良惡性分類（圖6）．在此基礎上，我們還將文獻[6]和文獻[8]中所設計的經典模型應用于本研究數據中，以進行橫向對比實驗，進一步驗證所提模型的有效性．其中，文獻[6]所提模型為一種簡單線性堆疊卷積神經網絡，由三種尺寸大小為11×11、5×5 和3×3 的卷積核和尺寸分別為2 048、1 024的全連接層組成，通道數從初始的64 增加到512．文獻[8]在網絡層方面相較文獻[6]多引入了批量歸一化層，設計了一個10 層CNN，包含尺寸大小為3×3 的卷積核和大小分別為4 096、1 000、100個神經元的全連接層，通道數從初始的64 增加到384 又縮小至256．研究表明這兩種網絡結構在乳腺腫瘤良惡性分類任務中均表現出優異性能．

圖6 基于多模態數據融合的混合神經網絡結構示意圖Fig.6 The structure diagram of hybrid neural network based on multimodal data fusion

1.3 模型評估

受數據集樣本量大小限制，本實驗采用五折交叉驗證方法對各模型性能進行綜合評估，并對每折中的訓練集進行平移、旋轉和鏡像翻轉的數據擴增處理，以減小模型過擬合．此外，考慮到本實驗數據中良惡性病變具有類間不平衡問題，在網絡損失函數計算部分，我們根據正負樣本比例賦予類別權重因子，從而使模型結果不會偏向多數類別．采用準確率（accuracy，ACC）、靈敏度（sensitivity，Sens）、特異性（specificity，Spec），AUC 指標進行模型性能評估．計算公式如下：

其中，TP 表示惡性乳腺病變被正確分類的樣本數；FP 表示良性乳腺病變被錯誤分類的樣本數；TN表示良性乳腺病變被正確分類的樣本數；FN 表示惡性乳腺病變被錯誤分類的樣本數.

最后，采用IBM SPSS（v25.0）進行統計學分析，對不同模型的AUC 和ACC 進行比較．雙尾t檢驗p< 0.05 表示統計學意義．

1.4 實驗設置

在硬件配置為計算機芯片Intel Core（TMi7-8700），其內存為32 GB，NVIDIA 顯卡GeForce GTX 1080ti，軟件環境為Windows10 系統，Nvidia 顯卡驅動CUDA9.0，以及用于深度神經網絡的GPU加速庫CUDNN7.0 的實驗配置下，本文基于Python 和Keras 框架進行網絡模型開發．采用Adam 優化器進行超參數優化，設置各卷積層初始化方式為Xavier，網絡學習率為0.002，批處理大小為32，總訓練次數至少200 個epochs．

2 結果與討論

2.1 基于不同時序的DCE-MRI 對乳腺病變良惡性分類結果

本研究分別對9 個基于單一時序和13 個基于不同時序掃描的多信源組合構建遷移學習模型，進行乳腺良惡性分類預實驗．控制每次實驗均是在相同的數據劃分下基于相同InceptionV3 網絡結構完成訓練．基于不同時序的五折交叉驗證后的平均分類性能如圖7和圖8所示．其中，在基于各單一時序掃描中，基于DynS4 時序掃描具有最好的良惡性鑒別能力，AUC 為0.730，準確率ACC為0.725．而在組合序列中，基于DynS024 的組合序列對乳腺良惡性鑒別的AUC 和準確率ACC 可達到0.775 和0.749，高于基于單一時序的分類結果，這可能與單一時序中DynS2 和DynS4 具有較好的分類表現有關．因此，基于DynS4 時序掃描和DynS024 組合掃描序列對解決乳腺病變良惡性鑒別問題可能最具代表性，能夠更好地反映惡性病灶與良性病灶的紋理、形態等特征的差異性．

圖7 基于單一時序掃描的乳腺病變良惡性分類結果Fig.7 Differentiation results of benign and malignant breast lesions based on single-time phase scans

圖8 基于不同時序掃描的多信源組合的乳腺病變良惡性分類結果Fig.8 Differentiation results of benign and malignant breast lesions based on multi-source combination of different time phase scans

2.2 基于AC_Ulsam_CNN 網絡模型的乳腺病變良惡性分類結果

如表4所示，本實驗所設計AC_Ulsam_CNN 網絡模型在基于最優DCE-MRI 掃描序列下的乳腺良惡性鑒別性能有了進一步提升．其中，在DynS024 組合序列下，模型的平均AUC 可達0.826，比基于InceptionV3 模型提高了0.051（p= 0.027），準確率提升了0.013（p= 0.047），特異性提升了0.094．雖然在靈敏度指標上，所提模型略低于InceptionV3 模型，但其整體上對良性病變的鑒別能力與對惡性病變的鑒別能力相當，不存在偏倚，表明本文所提模型的有效性及可行性．

表4 基于InceptionV3 網絡與AC_Ulsam_CNN 網絡模型的分類結果對比Table 4 Comparison of differentiation results based on InceptionV3 and AC_Ulsam_CNN network models

2.3 基于多模態融合的乳腺病變良惡性分類

多模態數據融合能夠為乳腺病變診斷提供多維度、綜合性的病理信息，從而進一步提高其鑒別準確性．如表5所示，在基于不同模態特征融合的消融實驗中，我們發現各特征融合隊列均可獲得比單一DCE-MRI 模型具有更高的分類性能．其中，基于四種特征的整體融合模型進行良惡性病灶鑒別的平均ACC 達到了0.826，相比基于單一DynS024 特征的模型分類準確率提升了0.064（p= 0.009），AUC 值提升了0.051（p= 0.021），突出了多模態數據融合的優越性．

表5 基于多模態特征融合的消融實驗結果Table 5 Experimental results of ablation based on multimodal feature fusion

如表6所示，相比于文獻[6]和文獻[8]中的較為淺層的網絡模型，本文所提算法模型具有更好的乳腺病變良惡性鑒別性能，在各判別指標上均有提升．AC_Ulsam_CNN 網絡結構中采用非對稱卷積模塊，能夠增加模型的寬度，豐富特征圖信息的多樣性，而基于殘差式學習的跳躍連接結構進一步增加了網絡深度，彌補了隨網絡結構的加深而損失特征信息的不足．此外，超輕子空間注意模塊的引入進一步提高了模型對局部強相關性特征的注意力，使得本網絡模型能夠提取到更豐富的特征信息并得到了更好的良惡性鑒別結果．

表6 本文方法與其他方法的分類結果對比Table 6 Comparison of differentiation results between the methods from the literatures and the proposed method

3 結論

本研究構建了一種針對乳腺病變良惡性鑒別診斷的AC_Ulsam_CNN 網絡模型，通過多尺度特征提取并引入子空間注意力機制，增強了網絡的特征表達能力及其魯棒性．實驗表明，在基于DynS024 組合的DCE-MRI 影像上，所提模型能夠實現乳腺良惡性病變分類準確率為0.762．當模型進一步納入臨床BI-RADS 分級、ADC 值以及TIC 類型等特征指標后，基于多模態特征融合后的模型分類準確率可達0.826，顯著高于基于單獨的DCE-MRI 影像特征模型．因此，臨床BI-RADS 分級、ADC 值和TIC 類型對基于DCE-MRI 進行乳腺診斷的性能提升具有顯著貢獻，而多模態特征的融合也為CAD 提供了多維度、綜合性的信息，從而進一步提高病灶的檢測精度，有效輔助臨床醫生對乳腺病變的診斷．未來研究應進一步擴充乳腺病變數據量及模態的多樣性，提高模型泛化能力．

致謝

感謝參與本研究的上海交通大學醫學院附屬新華醫院的所有患者和研究人員．

利益沖突

無