基于Non-local的腰椎間盤突出患者多裂肌分割方法

李 夏 ,胡 巍 ,王子民

(1.桂林電子科技大學 計算機與信息安全學院,廣西 桂林 541004;2.桂林市人民醫院 脊柱骨病外科,廣西 桂林 541004)

腰椎間盤突出癥(lumbar disc herniation,簡稱LDH)是臨床上常見的腰腿痛疾病。影像學研究表明[1-2]:慢性腰痛患者多裂肌的厚度和橫截面積明顯減少,多裂肌的脂肪含量明顯高于無腰痛的患者;慢性腰痛患者有多裂肌萎縮的情況,多裂肌的萎縮程度與病程和疼痛相關[2-3]。由于磁共振(magnetic resonance imaging,簡稱MRI)圖像的對比度低,脊柱和周圍結構之間的界限不清楚,圖像數據的爆炸性增長等原因,人工閱片的缺點也逐漸顯現。因此,使用計算機自動識別多裂肌的病變部位,即多裂肌脂肪浸潤部位,輔助LDH 分析尤為重要。

傳統的圖像分割方法包括閾值法[4-5]、區域生長分割算法[6-7]和基于活動輪廓的分割算法[8]等。但隨著處理圖像數量的增加,分割耗時長,且易出現分割不足或分割過度的情況。

隨著計算機技術和人工智能技術的發展,醫學圖像處理方面出現了許多新的研究成果。2015 年,Long等[9]提出了用于圖像分割的全卷積網絡(fully convolutional network,簡稱FCN),該網絡用卷積層替換全連接層,并使用上采樣操作恢復圖像的維度。Ronneberger等[10]提出了采用編碼器-解碼器結構的U-Net,還提出了跳躍連接,通過上采樣的特征映射連接到相應的編碼器部分,用于語義信息的傳遞。Milletari等[11]提出了適用于三維圖像分割的V-Net網絡,通過引入殘差結構來避免梯度消失,加速網絡收斂。Zhou等[12]提出了U-Net++網絡,將1到4層的U-Net全部連接在一起,讓網絡自動學習不同深度的特征。申亮亮等[13]提出了基于SOM-FCM 的腦腫瘤圖像分割算法。Tang等[14]開發了一種雙重緊密連接的U 形神經網絡,對CT圖像中的椎管、硬膜囊和椎體進行分割,以幫助診斷腰椎管狹窄癥。Kafri等[15]通過SegNet網絡對腰椎MRI進行語義分割來檢測腰椎管狹窄。DCSAU-Net[16]是用于醫學圖像分割的更深層次、更緊湊的分裂注意力U 型網絡。吳相遠等[17]提出了一種基于U-Net++的脊椎MRI圖像分割方法。上述方法解決了細節分割的問題,但在分割過程中出現了不同層次的圖片特征融合問題。Gu等[18]提出了CE-Net網絡,該網絡用ResNet[19]作為特征提取器,引入了密集空洞卷積和殘差多尺度池化幫助融合信息,有效提高了分割效果。MA-Unet[20]是一種基于多尺度和注意力機制的醫學圖像分割方法,通過注意力機制將局部特征與其相應的全局依賴性相結合,從而挖掘全局上下文信息。Su等[21]提出了用于醫學圖像分割的多尺度UNet(MSU-Net),該網絡對U-Net網絡的卷積塊進行了調整,將多個具有不同感受野的卷積序列組成多尺度塊,使網絡從圖像中獲取更多樣化的特征信息和更好的特征圖。Sinha等[22]使用引導式的自注意力機制來獲取更豐富的上下文依賴關系,該方法能夠將局部特征與其對應的全局特征結合起來,并以自適應的方式顯示相互依賴的通道映射?；赨-Net[23]的網絡的連續池化和卷積會降低圖像的分辨率,導致部分空間信息丟失,難以提取更多的特征,從而導致分割精確度較低。

1 本方法

基于Non-local的腰椎間盤突出患者多裂肌分割方法的網絡結構如圖1所示。首先以U-Net網絡作為骨干網絡并進行修改,網絡的編碼器由4個混合池化卷積組成,在網絡的中間部署了一個由2個級聯卷積組成的卷積模塊。解碼器由4個卷積模塊組成,每個模塊由Non-local模塊和一個3×3的卷積構成。

圖1 基于Non-local的腰椎間盤突出患者多裂肌分割方法的網絡結構

1.1 混合池化卷積模塊

由于連續的下采樣操作會降低特征圖的分辨率,同時也會降低全局特征與局部特征間的相關性。為了提高全局特征與局部特征間的相關性,構造了混合池化卷積模塊(hybrid pooling convolution,簡稱HPC)來代替傳統的卷積模塊。編碼器部分由4個混合池化卷積模塊組成?；旌铣鼗矸e模塊由1個卷積模塊和2個并行的下采樣分支組成,如圖2所示。首先,輸入圖經過2個卷積層,然后輸入2個下采樣分支。在第1個下采樣分支中,將特征圖輸入2×2的平均池化層(average pooling),再經過2個卷積層的處理,將特征圖再次輸入2×2的平均池化層。在另一個下采樣分支中,首先經過2×2的最大池化層(max pooling),再經過2個卷積層的處理,將特征圖再次輸入2×2的最大池化層。最后,將通過2個下采樣分支得到的特征圖進行合并,作為下一階段的輸入。下采樣操作可降低圖像分辨率,并保留圖像重要信息,但池化操作在提取圖像特征的同時也會丟失部分特征。平均池化可保留背景信息,最大池化可提取特征紋理,將2個下采樣分支得到的特征圖進行融合,可保留更多信息,減少空間信息的丟失,增強了網絡提取特征的能力。

圖2 混合池化卷積模塊

1.2 Non-local模塊

Non-local[24]的基本思想是某像素點處的響應是其他所有點處的特征權重和,將每個點與其他所有點相關聯,最終實現每個像素的全局感受野。其結構如圖3所示。第一步,輸入特征圖為C×H×W,C是特征圖的通道數,H是特征圖的高,W是特征圖的寬。特征圖分別經過3個1×1卷積核,將通道縮減為C/2,得到C/2×HW。第二步,將第2個分支矩陣進行轉置得到HW ×C/2,與第3個分支得到的結果C/2×HW進行矩陣乘法,得到HW×HW的矩陣,然后經過softmax進行歸一化。第三步,將歸一化得到的結果與第一分支的矩陣C/2×HW進行矩陣相乘,得到C/2×HW的結果。第四步,對矩陣C/2×HW再使用一個1×1卷積核,將通道恢復為原來的C,得到C×H×W的特征圖,它與輸入特征圖形狀一致。最后,將兩者進行相加。

圖3 Non-local模塊

1.3 損失函數

損失函數為Dice Loss,其計算式為

其中:pi為預測分割的第i個像素;gi為ground truth的第i個像素。

2 實驗

2.1 數據集

通過收集醫院腰椎間盤突出患者的腰椎MRI圖像得到原始數據集。該數據集包含311名腰間盤突出患者的腰椎MRI圖像,突出的腰間盤位于L4～L5腰椎區域。由于圖像來自不同時期和不同設備,數據不一致,需對圖像做預處理操作。第一步,將所有圖像的分辨率統一為224像素×224像素;第二步,為了使實驗中使用的數據更可靠,刪除模糊不清的圖像;第三步,由于患者在拍攝過程中的不規則運動會導致圖像模糊,圖像中出現較多的噪聲干擾,通過高斯濾波器減少圖像噪聲;第四步,多裂肌和周圍肌肉的灰度值相差較小,對圖像進行自適應直方圖均衡化,增強圖像的對比度,使分割更易于觀察;第五步,通過鏡像和旋轉圖像,得到含有1 244張圖像的數據集,其中984張用于訓練,108張用于驗證,152張用于測試。原始圖像與預處理后的圖像如圖4所示。

圖4 原始圖像與預處理后的圖像

2.2 實驗設置

實驗的程序基于Pytorch框架實現,操作系統為Ubuntu 16.04 64。優化器為Adam,初始學習率為1×10-3,總計訓練120個epoch。

以在脊柱多裂肌數據集測試集上的分割結果作為評價標準。為了評估不同方法的分割性能,采用的評價指標為Dice系數(dice similariy coefficient,簡稱DSC)、JAC card index(JAC)和Hausdorff distance(HD)。DSC 用來衡量重疊程度,HD 代表ground truth與分割邊界之間所有最小距離的最大距離。DSC和JAC值越大,網絡性能越好;HD值越小,網絡性能越好。

1) DSC的計算式為

2) JAC與DSC的關系為

3) HD的計算式為

其中:p為預測分割的像素集;g為ground truth的像素集。

2.3 實驗結果與分析

將本方法與其他方法進行對比分析,可視化結果如圖5所示。從圖5可看出,本方法的分割精度優于大多數現有方法。

圖5 本方法與其他方法的可視化結果對比

表1為本方法與其他方法的對比結果,相較于U-Net[10],本方法在DSC上提升9.5%,在JAC上提升了11.3%,在HD 下降了74.6%。相較于CENet[18],本方法在DSC上提升11.4%,在JAC上提升了13.7%,在HD 下降了71.8%。相較于MSUNet[21],本方法在DSC上提升2.2%,在JAC上提升了2.1%,在HD下降了34.8%。實驗結果說明,文中的分割精度優于大多數現有方法。

表1 本方法與其他方法的對比結果

第二組實驗是針對各模塊對實驗的影響分析,實驗結果如表2所示。實驗數據表明,在編碼器-解碼器中分別引入混合池化卷積模塊(hybrid pooling convolution,簡稱HPC)和Non-local模塊,可以提高網絡的性能。

表2 各模塊對實驗的影響

3 結束語

提出了基于Non-local的腰椎間盤突出患者多裂肌分割方法。一方面,將通過混合池化卷積得到的特征圖進行融合,可以保留更多的信息,增強了網絡提取特征的能力;另一方面,Non-local模塊將每個點與其他所有點相關聯,最終實現每個像素的全局感受野。本方法優于現有的大部分網絡框架,同時在分割可視化的結果上,本方法的分割精度優于大多數現有方法。