基于深度學習分割掩膜的胸片圖像配準技術及其應用

劉遠明，王小義，郭琳，夏麗，權申文，錢令軍，李宏軍

1.深圳市智影醫療科技有限公司，廣東深圳 518000；2.青海省第四人民醫院，青海西寧 810007；3.首都醫科大學附屬北京佑安醫院，北京 100069

前言

可變形圖像配準是醫學圖像分析領域的一項重要技術［1］，在疾病診斷、疾病治療、術前術后比對等應用中有著至關重要的作用。醫學背景下，圖像配準被用于不同患者、不同時間、不同模態的兩個或多個圖像的對齊，這種對齊一般通過變形場實現，先使源圖像產生變形，然后使變形后的圖像與目標圖像對齊，配準過程中采用相似性度量源圖像與目標圖像的匹配程度。

目前深度學習在醫學圖像處理方面獲得了出色表現［2］，能夠幫助我們在完全不同的模式下進行圖像配準。深度卷積神經網絡（Convolutional Neural Networks,CNN）應用于計算機視覺任務（如圖像分割和圖像分類）中的效果優于之前的算法［3-5］。隨著圖像配準技術的發展，其在配準精度以及計算時間上的性能不斷得到優化。Balakrishnan 等［1］提出了VoxelMorph 快速學習框架，給定新的掃描圖像對后，VoxelMorph 能夠直接評估并快速計算變形場，加快圖像配準的分析、處理流程?；谧冃蜗闰災Ｐ偷膱D像配準方法可應用于低信噪比的同一模態圖像配準，適合用于常規配準方法無法實現精確配準的超聲及MRI 圖像［6］。為了解決當前基于深度學習的配準網絡需要不斷迭代的問題，Sokooti 等［7］提出采用大量人工生成的位移矢量場進行網絡訓練，最后得到一種一次完成非剛性配準的學習網絡RegNet。此外，其他學者在對不同配準對象實現高精度配準這一問題上提出了各自的研究路線，如利用標志點集優化可變形圖像配準的空間精度以及采用人工合成的變形圖像對，來訓練深度學習網絡，從而對變形較大的圖像實現高準確度的配準［8-9］。在縮短圖像配準計算時間方面，Woods等［10］提出和驗證了基于體素強度匹配的自動圖像配準方法，通過平衡速度和準確性之間的關系，可讓MRI圖像配準的準確度達到75～150 μm，在準確度損失很小的前提下大大減少了配準時間。Ashburner等［11］提出了一種用于微形圖像配準的算法，采用恒定歐拉速度值，實現快速的矩陣變換和計算，從而提高配準速度。

基于Lucas 等［12］的研究成果，許多可變形圖像配準建模的研究陸續出現［13］，其中大部分圖像配準問題被視為優化問題，一般可以表示為：

其中，f*表示圖像對（源圖像與目標圖像）的優化對比，IM表示源圖像（移動），IF表示目標圖像（固定），f表示源圖像到目標圖像每一點進行空間轉換的位移量，χ表示一個規則網格中排列的N個點的集合，R表示正則化項，λ表示平衡因子，Sχ表示源圖像經過空間轉換后生成圖像與目標圖像的相似度測量值。圖像配準的過程就是計算源圖像經過空間轉換后與目標圖像產生最大相似度的優化問題。這里采用均方誤差（Mean Square Error,MSE）來度量相似度［14-15］：

其中，SMSE表示均方誤差。典型的用于平滑轉換形變場的正則化項可以表示為：

其中，Rdiff表示源圖像與目標圖像空間變換的正則化。

準確分析兩張圖像的差異非常重要，現有的技術大多對變形場施加平滑約束，或將像素級損失納入目標函數中，以增強結構的合理性。然而，平滑的變形場不一定能產生真實客觀的結果，當兩張圖像器官相對位置距離太大時，普通平滑變形場產生的形變圖像會在結構上失真，為了保護圖像的形態結構，就需要對其做出合理的形變?？陀^量化醫學圖像形變的合理性，并將其融于基于深度學習的配準模型訓練過程是一項復雜的任務，本研究針對這一問題采用深度學習掩膜來參與訓練，即先用掩膜對圖像進行預處理，然后基于掩膜圖像去訓練模型。本研究主要針對胸片進行配準模型的優化，從而將其應用于胸片的減影分析。

1 材料和方法

1.1 圖像預處理

圖像預處理過程一般可以分為圖像去噪、圖像增強、圖像分割和圖像增廣。研究采用高斯濾波平滑以及自適應直方均衡化分別對圖像進行去噪和增強。進行圖像分割時，研究首先獲取了胸部X光片影像，然后對影像中的肺區進行標記，并用ResUNet 對標記后的圖像進行分割模型訓練以獲取掩膜［3,16-18］。ResUNet由UNet和ResNet組成，其中UNet部分包括4個編碼層和4個解碼層，在UNet的編碼層之前加一層ResNet 卷積層作為編碼層，在解碼層之后加一層ResNet卷積層作為解碼層。本研究中，3 位高年資影像科醫生對肺區進行平行標注，對醫生之間標注結果Dice 值≥98%的勾勒區域取平均值作為金標準，Dice 值＜98%的影像由3 位醫生進行討論，以討論后的結果作為金標準。一共標注406 例病例，年齡15～82歲，其中，男198例，女208例，正常樣本112例，異常樣本296 例；其中326 例作為肺區分割訓練集（20 例作為驗證集），80 例作為測試集。測試集在訓練后模型上的Dice 值為97.4%。最后在訓練數據上進行水平翻轉、旋轉、縮放、亮度變化等一系列操作以實現圖像增廣。

1.2 圖像配準網絡結構

圖像配準網絡架構遵循類似于UNet 的編碼-解碼器結構［17］，如圖1所示，首先編碼器采用ResNet 網絡結構對圖像進行特征提取，解碼器部分的每一個上采樣塊都引入了殘差連接。然后向該網絡輸入一對源圖像I 與目標圖像J，圖像I 和J 作為一個單一的多通道圖像被連接和反饋到網絡，最后經過ResUNet網絡的一系列卷積和池化層處理后輸出一個預測的變形場φ。此外，網絡使用了一個類似于空間變形網絡的參數共享的可微變形模塊（Spatial Transformer Networks,STN）［19-20］，使用φ對源圖像I 進行變形，會產生一個扭曲的圖像φ·I。

在基于優化策略的CNN 回歸配準方法中，可變形配準方法需要進行詳盡的迭代優化，同時需要參數調整來估計圖像間的變形場［21］。因此，訓練開始時，網絡會產生一個隨機變形場φ，經過訓練不斷調整參數，最后使源圖像經過扭曲后產生的圖像與目標圖像相似度最大，本文采用歸一化互相關性（Normailzed Correlation Coefficient,NCC）作為損失函數來指導網絡學習，同時還引入了一個簡單的正則化項R(φ)，該正則化項通過計算變形場的總變化量得到，其作用在于防止平滑變形場過擬合。與此同時，用掩膜限制肺區，用Dice loss 計算目標掩膜與變形后的掩膜差異。本研究將損失函數定義為：

1.3 圖像配準網絡訓練細節

本研究中配準模型共使用500 個患者在不同時期拍攝的圖像對，所有數據均由青海省各地方醫院提供并進行脫敏處理，研究首先將圖像縮放到統一尺寸512×512，然后將數據集按照8：1：1 的比例隨機分為訓練集，驗證集和測試集。訓練過程采用深度學習框架Pytorch 以及優化器Adam，學習率為10-3，輸入網絡的批次為16，公式（4）中的γ與λ分別設置為10-2和1。該模型在NVIDIA GPU GTX 2080ti 16 GB內存上訓練和測試，共進行200次迭代。

1.4 評估指標

圖像配準基于圖像間相似性最大化原理來實現。配準后需要對其性能進行評估，不同類型的圖像使用不同的評估標準，目前沒有一個絕對的金標準可以評估圖像配準的質量。醫學圖像配準質量評估有兩種經典方法：一種是單模圖像配準常用的NCC，一種是多模圖像配準常用的互信息（Mutual Information,MI）［7,22-24］。本研究采用NCC。

其中，SNCC表示歸一化互相關性損失函數，E表示期望值（均值），Var表示相應圖像的方差，χ表示圖像N個點的集合。本研究首先與兩個傳統配準模型進行對比，并引入了兩個常用于評價分割精度的指標來評估模型的對齊效果，一個是平均表面距離（Average Symmetric Surface Distance,ASSD），一個是豪斯多夫距離（Hausdorff Distance,HD）。此外，本研究還與一個基于深度學習的胸片配準模型進行了比較［25］。

2 結果與討論

2.1 圖像預處理與配準網絡訓練結果

研究共設置4組實驗來訓練網絡模型，以尋找最佳的方式進行X 射線胸片的配準，如圖2所示，圖2a表示原始圖像訓練，圖2b 表示原始圖像截取肺部區域圖像訓練，圖2c 表示原始圖像加肺區分割掩膜訓練，圖2d 表示肺區圖像加肺區分割掩膜訓練。實驗在保持網絡其它參數不變的情況下進行對比訓練。

訓練過程中MSE 損失值變化如圖3所示，根據網絡訓練情況以及相似性測量標準，研究發現肺區圖像加肺區分割掩膜訓練的模型損失值更低，因此采用掩膜截取的肺區圖像來訓練網絡會得到一個最佳的實驗結果，這個結果也成為了本文模型的基準。

2.2 模型比較

為了評價本研究所提出模型的配準性能，研究一方面采用了兩種傳統的配準方法Opencv ORB 和SimpleElastix［13］進行胸片配準以作為對照，另一方面還與一個基于深度學習的胸片配準模型進行了對比。兩種傳統模型之前均未用于胸片配準，因此研究將訓練產生的模型與兩個傳統模型同時進行胸片配準。實驗結果如表1所示，3個模型中，本研究提出的模型在配準后固定圖像與浮動圖像的相似性最大。Fang等［25］采用基于深度學習的模型進行訓練測試，根據局部互相關（Local Cross-Correlation,LCC）得到的相似度為0.350 3，本研究根據LCC得到的相似度為0.437 1。

表1 配準模型比較Table 1 Comparison of registration methods

2.3 配準應用于胸片的對比減影

將本文提出的配準模型用于胸片的對比減影分析，如圖4所示，減影圖像可以清晰地反映出兩個胸片的不同之處，讓醫生可以直觀分析病灶變化的趨勢。本文通過獲取兩張圖像的絕對差值對圖像進行減影，然后對配準后的兩張圖像做病灶分割，通過病灶面積的占比量化兩張圖像的差異值，從而有利于圖像配準在醫學領域的運用。

3 結論

本研究采用深度學習掩膜對原始胸片進行預處理，使用掩膜圖像訓練ResUNet 網絡，然后將它與其他已報道的配準模型進行比較。研究結果顯示深度學習掩膜結合深度學習圖像配準方法開發出的模型在胸片配準上具有良好的配準精度。提出的模型除

了可用于二維圖像配準，也能探究其在三維圖像上的應用效果，開發出基于掩膜的快速、精確的多模態下的圖像配準。