基于深度學習對前列腺及前列腺癌MRI 分割的研究進展

朱靜逸，李海慶，金倞，3，耿道穎，，3

前列腺癌早期病灶在影像學上難以被發現，超過半數的前列腺癌病人到晚期才確診，早期精準篩查對于該病的干預治療十分重要[1]。MRI 對前列腺癌具有較高的軟組織分辨力，能很好地區分正常及病變組織，而基于深度學習的計算機輔助診斷系統可以幫助放射科醫生提高閱片效率并降低誤診、漏診率。其中，對前列腺及前列腺癌病灶分割是前列腺癌計算機輔助診斷中的一項關鍵技術，精確地對前列腺分割對于前列腺癌的精準診療、預后預測具有重要的臨床價值。

1 前列腺及前列腺癌病灶分割的常用MRI 數據集

目前，常用于前列腺分割及前列腺癌篩查的MRI 公開數據集包括PROMISE12（Pro12）、I2CVB、PROSTATEx Challenge （Pro -Ex）、PROSTATEx -2 Challenge（Pro-Ex2）、NCI-ISBI-2013（NCI-13）和QIN-PROSTATE Repeatability（QIN-Pro）等。數據集可以分為3 類，第1 類僅完成前列腺腺體分割任務，如Pro-12、NCI-13、QIN-Pro；第2 類僅進行前列腺癌分類或者分級，如I2CVB；第3 類可以同時實現分割與分類，如Pro-Ex 和Pro-Ex2，這2 個數據集由經驗豐富的病理學專家對數據進行5 級Gleason 等級標注，用于識別前列腺癌病灶并對前列腺癌病變進行分級。詳見表1。

表1 常用的前列腺及前列腺癌分割的MRI 公開數據集

2 基于深度學習的前列腺及前列腺癌MRI 影像分割研究

基于深度學習的前列腺分割，首先要將前列腺MRI 數據進行清洗、增強等預處理，然后通過深度學習框架進行特征提取，對深度學習模型進行訓練，通過不斷調整參數優化得到最優的訓練模型，將數據載入模型中完成對前列腺腺體或前列腺癌病灶的分割。目前常用于前列腺MRI 影像分割的深度學習方法可以分為5 類，包括卷積神經網絡（convolutional neural networks，CNN）、U-Net、分辨率增強、對抗生成（generative adversarial net，GAN）和Transformer。

2.1 CNN CNN 是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一。CNN 的基本結構包括輸入層、卷積層、池化層、激活函數層和全連接層五部分。Wang 等[2]基于CNN提出組織形變網絡（tissue deformation network，TDN）用于診斷前列腺癌，結果發現使用TDN 方法對特征提取和分類更加準確。Song 等[3]構建了一個基于補丁的深度卷積神經網絡（deep convolutional neural network，DCNN），結合多參數MRI 數據來分辨有無前列腺癌組織。Cheng 等[4]提出基于短連接的整體嵌套網絡（holistically nested net，HNN）用以分割前列腺腺體及中央帶，分割兩者的Dice 相似系數（Dice similarity cofficient，DSC）分別為0.92 和0.90。Arif等[5]分析了低風險前列腺癌病人的多參數MRI，利用一個3D CNN 模型來分割并識別前列腺中的病灶。在近幾年的研究中，Anneke 等[6]提到的3D Multistream CNN 分割方法的分割效能最好，在Pro-Ex 數據集上分割前列腺的DSC 可達0.939。該方法采用多平面3D CNN 的架構，可同時處理多個平面（橫斷面、冠狀面、矢狀面）的MRI 影像用以提升前列腺分割的分辨力，并且提高了分割前列腺的準確度。目前，基于CNN 的分割技術用于前列腺的分割效能均較好（均DSC＞0.85），但其缺點是池化層會丟失有價值的信息，忽略整體和局部之間的關聯性，且訓練模型需要大樣本量。

2.2 U-Net U-Net 是一種優秀的圖像分割方法，其網絡結構是對稱的，形似英文字母U，故而被稱為U-Net。就整體而言，U-Net 是一個編碼-解碼結構，編碼部分用于特征提取，解碼部分用于上采樣。與CNN 不同之處在于CNN 是圖像級的分割，而U-Net是像素級的分割，其輸出的是每個像素點的類別。Hassanzadeh 等[7]引入了基于8 種不同短連接結構的3D 全卷積神經網絡（fully convolutional networks，FCN）方法對前列腺MRI 影像進行分割，分割DSC達到0.873。Rundo 等[8]采用了一種新的USE-Net 的分割方法，在U-Net 編碼器和解碼器架構中都使用了注意力感知（squeeze-and-excitation，SE）模塊，該方法在多個數據集上進行了訓練和測試，結果表明SE 模塊能夠重新校準自適應特征，因而具有出色的跨數據集泛化性，在對前列腺中央帶和外周帶的分割DSC 分別達到0.915 和0.76。Astono 等[9]采用簡單的2D U-Net 方法在基于MRI T2WI 影像的非公開數據集中進行分析，在前列腺腺體和外周帶分割DSC 分別達到0.87 和0.89。Silva 等[10]開發了粗分割方法，該方法應用線性迭代聚類結合局部紋理的算法和概率圖譜深度CNN 中的空間知識以及粒子群優化方法，分割前列腺組織。Baldeon-Calisto 等[11]提出了一種AdaRes U-Net 的新方法，實現了帶有殘差學習框架的U-Net，提升了對MRI 中前列腺的分割性能（分割DSC 達到0.848）。Zhou 等[12]采用一種新穎的3D U-Net 方法用于前列腺MRI 分割，該模型具有3 個關鍵結構，包括分辨率感知卷積下采樣層、殘差批量歸一化結構和case-wise 損失函數，分割DSC 達到0.91。上述研究中的U-Net 在執行圖像分割任務的同時都可以保留細節信息，在處理小目標或者細節復雜的圖像時，分割效能較為良好。

2.3 分辨率增強技術 分辨率增強技術是指通過特定的算法將低分辨率圖像恢復成相應的高分辨率圖像，并將低分辨率圖像重建出高分辨率圖像的過程。該技術旨在克服或補償由于圖像采集系統或采集環境本身的限制所導致的圖像模糊、質量低下、興趣區不明顯等問題。分辨率增強技術包括基于插值的超分辨率增強技術和基于子像素卷積放大圖像尺寸等技術。Jia 等[13]提出了一種稱為混合鑒別網絡（hybrid discriminative network，HD-Net）的方法，在HD-Net 中能夠實現金字塔卷積塊和殘差細化塊，通過收集前列腺區域的多尺度空間上關聯信息，將多尺度特征結合起來將傳播損耗最小化，分割DSC 達到0.95。Zhu 等[14]提出一種邊界加權域自適應神經網絡（boundary-weighted domain adaptive neural network，BOWDA-Net），用來解決前列腺MRI影像邊界模糊的問題，將高級轉移學習方法用于BOWDA-Net 能夠解決MRI 斷面數量少的問題，邊界損失函數有助于在MRI 影像中對前列腺進行精確的邊界分割，分割DSC 達到0.925。Khan 等[15]對MRI 數據集的影像進行中心裁剪和歸一化，并提取二維圖像以獲取更好的分割結果，分割DSC 達到0.928。Liu 等[16]提出了一種用于醫學圖像的新型形狀感知元學習（shape-aware meta-learning，SAML）方法，該方法能夠通過模型訓練期間的域變化提升模型的魯棒性，還能利用形狀感知損失函數對元優化過程進行正則化處理，該方法分割DSC 達到0.876。Yaniv 等[17]將3D 光模塊替代了3D 卷積模塊來改進V-Net 網絡，在不影響分割結果的情況下，新網絡減少了參數，提升了分割的效率（DSC 為0.86）。Singh等[18]采用了基于圖譜的方法，結合部分體積校正算法對前列腺的移行帶和外周帶進行分割，最后利用3D Chan-Vase 輪廓方法進行形態學操作，從而獲得前列腺的分割區域。Liu 等[19]將多站點網絡用于前列腺分割，該方法能夠利用網絡主干中的特定域的批量規一化層來平衡站點間的數據異構性，并從多站點數據中學習高級圖像信息來實現分割方法的改進，分割DSC 達到0.915。Ghavami 等[20]評估了6 種不同深度CNN 模型用于前列腺T2WI 影像分割的效能，其中HighRes3dNet 方法分割的DSC 最高，達到0.89。Zhu 等[21]使用形態學方法和分水嶺變換對擴散加權成像（DWI）圖像進行粗分割，利用粗分割的輸出獲取興趣區（ROI），將ROI 調整為192 mm×192 mm 像素，然后輸入級聯的U-Net 架構用于前列腺MRI 影像的分割，分割DSC 達到0.87。Zavala-Romero 等[22]提出了一種用于前列腺MRI 影像分區分割的3D 多流U-Net，首先對數據集的圖像進行歸一化處理，然后利用線性插值來實現MRI 影像的像素值重新分布，數據集的預處理增強了前列腺MRI 影像的分割效果，分割DSC 為0.893。

近年來，基于U-Net 的方法和基于分辨率增強的方法在Pro-12 數據集上記錄的最佳DSC 分數為0.95[13]，這是在公開數據集記錄的最高DSC 值。

2.4 GAN GAN 屬于深度學習方法，是近年來復雜分布上無監督學習最具前景的方法之一[23]。該網絡以隨機變量作為輸入，并應用轉換函數生成與目標分布相似的分布數據。該方法包含2 個模塊，生成模型和判別模型，通過2 個模塊對抗學習產生相對好的輸出結果。

Kohl 等[24]提出了一種將全卷積網絡與對抗性訓練結合的GAN 模型，在CNN 中使用對抗性損失可以更好地檢測前列腺癌區域。Zhang 等[25]提出了用于前列腺癌分割的雙重注意對抗的GAN 網絡，將U-Net 作為網絡主體生成預測的輸入圖像掩碼，通過一個具有對抗性學習的鑒別器網絡來區分生成器預期掩碼和真實掩碼，使得網絡效率提高得更多。Nie 等[26]提出了基于GAN 方法的前列腺MRI 分割框架，該框架由分段網絡、置信度網絡和難度感知衰減機制組成，置信度網絡能夠生成提供分割區域信息的置信圖，難度感知衰減機制通過將信心學習與對抗性學習相結合來改進分割過程，分割DSC達到0.909。Girum 等[27]構建了一種深度生成模型神經網絡（deep generative model-driven net，DGMNet）用于前列腺MRI 的分割，分割DSC 達到0.93。Cem Birbiri 等[28]評估了cGAN、Cycle GAN 和U-Net 在前列腺T2WI 分割中的作用，其中cGAN 在mp-MRI數據集的DSC 方面表現最好，分割DSC 達到0.76。

基于GAN 的前列腺分割在公開數據集Pro-12上分割效能最佳的方法是SegDGAN，該方法中包括一個由密集連接塊組成的完全卷積生成網絡，以及一個具有多尺度特征提取的判別網絡，將其用于前列腺分割具有很好的分割效能，DSC 為0.925；同時，該方法采用了平均絕對誤差和DSC 系數來優化目標函數，從而提高了分割精度[29]。

2.5 Transformer 在前列腺MRI 影像特征提取過程中往往存在較為明顯的噪聲，為特征提取帶來了一定難度。Transformer 作為近期應用較為普遍的分割方法，比CNN 在自然圖像的分割上表現出更強的性能，同時對輸入的干擾有更好的魯棒性。Zhang等[30]提出了一種用于前列腺分割的并行分支架構的TransFuse 方法，該方法可以有效地捕獲影像間依賴關系和低級空間細節，能夠提升傳統CNN 方法對前列腺分割的準度。Hung 等[31]采用Transformer 方法建立了一種交叉切片注意力變換器（cross-slice attention transformer，CAT）模塊用于3D 前列腺區域分割，該模塊可以合并到任何現有的基于跳躍連接的網絡架構中，以分析其他解剖層面的遠程信息。Pollastri 等[32]提出了基于長距離自監督方法的Transformer 模型，能夠將不同解剖層面上收集的上下文信息合并在一起來構建重要的特征信息，該方法可以提高前列腺MRI 分割的精度。從2020 年開始，基于Transformer 的方法在醫學影像分割領域普遍應用，現已逐漸應用于前列腺MRI 影像分割，但是相關研究仍較少。在近期的研究中，基于CAT 模塊的前列腺分割效果最好，其DSC 分數最高可以達到0.904[32]。盡管Transformer 分割方法為近年的研究熱門，但目前其在前列腺中的分割效能明顯不如傳統前列腺MRI 分割方法，相關可供參考的前列腺研究仍較少。

3 小結

綜上所述，在網絡架構中結合CNN 和Transformer 各自的優勢可以做到揚長避短地提升分割效率，基于Transformer 和CNN 結合的前列腺MRI 分割方法將是未來前列腺影像分割的重點研究領域。相對于自然圖像，醫學影像的標注主要依靠放射科醫生和病理科醫生手工標注，前列腺癌計算機輔助診斷研究的挑戰主要還是具有精準標注的公開數據集仍然較少，因此未來應建立更多精準標注的公開數據集，以利于對前列腺癌計算機輔助診斷的研究。