基于反注意力機制U-Net網絡的胃部腫瘤分割

王萍，徐凱成，張一弛，王海玲，蔡清萍，衛子然，胡尊琪

1.上海工程技術大學繼續教育學院，上海 201620；2.上海工程技術大學電子電氣工程學院，上海 201620；3.上海長征醫院腸胃外科，上海 200003

前言

胃癌是最常見同時也是致死率最高的腫瘤之一，據調查顯示，在我國因胃癌而死亡的人數占癌癥死亡人口的第3位［1］。上消化道內窺鏡檢查（胃鏡檢查）是檢測胃癌的金標準。但由于它是一種侵入性檢查，不僅對醫務操作人員有較高的技術要求，而且患者需要承受一定的痛苦［2］。除此之外，胃鏡還有其局限性。例如，胃癌的浸潤程度和淋巴結轉移不能準確反映。而CT診斷胃癌是一種無痛高效的方法，并且CT數據可以從多個角度觀察疾病的進展，也可以評估準確的浸潤部位和程度。但是基于CT的術前分期診斷對專家經驗依賴性強，且主觀性強。通常需要幾個專家討論后確定結果。因此，它需要大量的人力和時間，對專家資源的需求也很高?；谏疃葘W習方法，能夠有效改善這類問題。在基于足夠的訓練數據下，神經網絡模型可以先對胃部腫瘤的輪廓進行勾勒，然后對目標區域進行分類預測，在一定程度上輔助專家決策完成最后的診斷。

在醫學影像中，對目標區域進行精細勾畫，其分割結果能夠為專家提供體積、形狀等重要的臨床指標。與傳統自然圖像相比，醫學影像分割的難點主要有數據量少，圖像質量低（對比度、模糊、噪音、偽影和失真），不同樣本間器官組織差別較大等［3-4］。近年來，深度學習算法被越來越多地應用于醫學影像分割任務中，使得傳統算法在醫學影像分割中的局限性得到了突破。由于U-Net網絡在醫學影像分割任務中的出色表現［5］，被許多學者選擇為基礎框架，并以此展開進一步研究。Isensee等［6］在傳統U-Net的基礎上進行了調整，并將提出的算法應用于腫瘤分割任務中。Isensee等［7］在nnUNet增加了后處理，數據增強以及基于區域的訓練，在BRATS 2020 競賽中獲得了第1 名。Zhou 等［8］采用3D ShuffleNet作為網絡的編碼層以減少GPU的顯存，再將殘差模塊應用于解碼層中解決模型退化問題。

但是在胃部腫瘤分割中，由于胃部腫瘤切割紋理不夠清晰且分割邊界較為模糊，導致胃部腫瘤分割的精準度大大降低。針對此問題，本文提出一種基于反注意力機制U-Net網絡模型進行胃部腫瘤分割。這項工作的貢獻是：（1）針對胃部腫瘤數據的特殊問題，提出基于反注意力機制的U-Net網絡模型，使用反卷積注意力機制將粗提取的顯著特征從富含邊緣信息的低級特征中消除，留下具有較多不確定性的邊緣區域，使得網絡能夠更多地關注輪廓信息，進而實現胃部腫瘤輪廓的優化處理；（2）在U-Net的上采樣層中設置側輸出，通過使用損失函數對側輸出層進行優化，增加網絡上采樣過程中的約束，有效提升目標在還原過程中的表現；（3）在基于CT數據的胃部腫瘤分割場景中評估本研究的模型，證明方法的有效性。

1 相關工作

1.1 基于U-Net的深度學習分割算法

作為最具影響力的模型之一，全卷積神經網絡（Fully Convolutional Networks,FCN）［9］將傳統的分類神經網絡的全連接層替換為由卷積運算組成的全卷積層，使得網絡能夠直接實現端到端的密集逐像素預測從而實現圖像分割等任務。根據全卷積神經網絡，Ronneberger等［10］修改了網絡的結構，設計出了一種U型結構的二維分割網絡，并取名為U-Net。

目前公開的醫學影像數據較少，即使是公開的數據集，其樣本量仍然十分有限，若使用較大的網絡模型很容易在訓練過程中發生過擬合，U-Net網絡是一種輕量級模型，所以更適用于數據量普遍較少的醫學數據。近年來，U-Net作為最熱門的醫學影像分割網絡之一，越來越多的學者將U-Net作為baseline展開研究。

Milletari等［11］提出了U-Net網絡的三維延伸網絡VNet，雖然，V-Net網絡的計算復雜度以及空間占用率更高，但是V-Net模型能夠充分地利用醫學三維數據的幀間信息，提升網絡對缺乏紋理信息區域的預測表現。Oktay等［12］以U-Net為基礎模型，在跳躍連接上添加了注意力門控機制，來控制不同空間位置上的特征的重要性，使得模型能夠更多關注不同形狀和大小的目標物體，并同時抑制了圖像中不相關的區域。Alom等［13］提出一種結合U-Net、ResNet以及RCNN 3種網絡優勢的模型，該網絡將循環殘差模塊（Recurrent Residual Block）代替傳統U-Net的卷積、ReLU層，在不增加參數量的同時提升網絡性能。Mou等［14］在解碼層與編碼層間分別采用空間注意力機制和通道注意力機制，通過采用矩形卷積核的形式來自適應地學習空間與通道上的曲線結構特征。

盡管U-Net網絡在醫學影像分割任務中有著十分出色的表現，但是近幾年，有學者提出傳統的U-Net結構還是存在著一些問題，所以研究者們針對U-Net的不足做出了自己的改進。Zhou等［15］認為U-Net直接通過跳躍連接（Skip-Connection）將淺層信息傳遞給深層并不合理，因此作者提出將多個不同深度的U-Net融合為一個網絡，最后根據剪枝的方式獲取合適深度的U-Net。Huang等［16］認為文獻［17］中所提出的U-Net++并沒有充分地利用全尺度信息，與傳統U-Net將相同尺度的低級特征與高級特征進行合并不同，作者通過將不同尺度的低級特征利用跳躍連接向深層傳遞，將淺層的細節信息與深層語義特征融合，使得網絡能夠適應不同尺寸的目標器官。Seo等［18］認為U-Net目前主要存在3種問題：跳躍連接傳遞的重復的低像素信息會導致提取的特征模糊；高級特征中沒有包含足夠多的邊緣信息；多次的pooling 層會導致小物體的丟失。作者對U-Net網絡結構進行調整，通過對跳躍連接傳遞的信息進行篩選，使得網絡能夠保留邊緣信息以及小物體并同時丟棄重復信息。

1.2 損失函數和優化器

神經網絡的訓練除了需要搭建網絡結構外，還需要設置損失函數和優化器。損失函數是評價網絡結果的一項指標，通常情況下其值能夠反映網絡當前的預測值與實際標注間的相似度，常用的圖像分割損失函數有以下幾種，基于概率分布的交叉熵損失函數、Focal損失函數［19］、基于區域的交并比（IoU）損失函數［20］、Dice損失函數［21］、Tversky損失函數［22］。不同的損失函數為網絡提供了不同的優化目標。神經網絡訓練的方式是尋找合適的參數使得目標函數最小化，而這一過程是由優化器完成的，網絡根據優化器對參數進行更新，常用的優化器有隨機梯度下降優化算法和適應性矩估計優化算法。與模型自學習得到的參數不同，在對神經網絡進行訓練前，需要人為地設置參數，這類參數被稱為超參數（Hyperparameter），研究者通過調整參數來對網絡進行人為優化，以提高網絡的性能，常用的超參數有學習率，網絡隱藏層深度，批尺寸（Batch Size）等。

2 基于反注意力機制的U-Net網絡模型

本文在U-Net 網絡跳躍連接的基礎上提出一種基于反注意力機制（Reverse Attentionmechanism）的優化模型［23-24］。通過反注意力機制為特征圖消除顯著的區域，使得網絡能更多關注目標邊緣信息。此外，隨著網絡深度的加深，神經網絡的訓練將逐漸變得困難。為了更好地訓練網絡，本文采用一種基于深度監督的模型監督各個深度解碼層的訓練［25］。同時，深度監督模型可以有效抑制梯度消失現象。圖1顯示了本研究所提出的基于反注意力機制的U-Net網絡結構。

圖1 網絡結構圖Figure 1 Network structure

2.1 反注意力機制

在實際的臨床研究中，專家通常將病變區域分為兩步。第一步是確定目標在原始圖像中的大致位置。第二步是根據上一步粗提取的位置，結合周圍的器官和組織，準確勾繪出病變的輪廓細節。全局與局部注意力機制對目標區域有較精確的定位，為了能獲取目標的邊緣特征，采用反注意力機制對編碼層獲取的粗糙特征進行優化處理。由于編碼層最終得到低分辨率的高級語義特征，而高級特征的特征圖經過多次卷積后會失去邊緣信息，如果網絡根據提取的低分辨率特征通過反卷積直接恢復目標尺寸，可能會導致分割結果在邊緣處過于平滑，無法很好地恢復目標物體輪廓上的復雜結構。為了解決這類問題，引入反注意機制可以在不增加模型參數的情況下，通過消除當前預測的顯著信息，引導網絡關注剩余不確定性較大的輪廓區域細節。

反注意力機制的具體結構如圖2所示，假設編碼層的特征為e，反注意力權重為RA，則得到的反注意力輸出特征F如式（1）所示：

圖2 反注意力機制結構Figure 2 Structure of reverse attentionmechanism

其中，Θ代表逐元素相乘運算，i和c分別對應特征圖中的空間位置索引以及通道索引。RA根據側輸出特征進行反運算獲得。具體運算過程如下：以解碼層d1為例，首先將特征d1通過一個填充為1 的3×3卷積和一個1×1卷積將通道進行縮放得到張量d1'，為了保證側輸出尺寸與標注尺寸的一致，因此需要對d1'進行插值來提升特征圖的分辨率，在解碼層d1中選用的插值尺度因子為32。將d1'輸入到sigmoid函數中進行取反運算后再與由1填充的張量相加，最終得到反注意力權重RA，其公式為：

其中，σ代表sigmoid激活函數。通過反卷積增大輸出特征F的尺寸，最后將反注意力特征F與對d1'插值后的特征張量相加，來補回消除的特征，其公式如式（3）所示：

其中，conv1×1為1×1卷積，deconv為反卷積運算，up為插值運算。相似地，d2、d3通過相似的運算得到對應的輸出結果。

首先通過U-Net對原圖進行特征提取得到其淺層特征圖，如圖3所示。之后將顯著特征從淺層特征中消除后，其效果如圖4所示。通過觀察可以發現，淺層特征圖中的顯著特征被刪除，而邊緣部分被保留下來，將處理后的特征傳給了反卷積層中，網絡根據反卷積得到的結果與上一級特征進行目標模型還原。相較于子任務為邊緣檢測的多任務學習模型，反注意力模型的主要優勢在于參數量更少的情況下仍能在目標邊緣上有著不錯的表現，而多任務學習雖然提升了邊緣表現，但網絡的參數量也明顯增加。

圖3 淺層特征圖Figure 3 Shallow feature map

圖4 反注意力機制效果圖Figure 4 Map after being processed with reverse attention mechanism

2.2 深度監督

網絡的隱藏層中所有參數完全由網絡自學習得到，在整個訓練過程中是不受實驗者所指導的。所以神經網絡面臨可解釋性差的問題。為了提升網絡的表征能力，研究者們會選擇加深神經網絡的深度。本文采用一種基于深度監督的模型，其基本思想是為神經網絡中的某些層添加一些輔助的分類器，這些分類器起到了判斷網絡隱藏層中特征圖質量好壞的作用。目前，深度監督算法主要分為兩種形式，如圖5所示。第一種形式是為每個淺層添加對應的側輸出，網絡分別對每個側輸出進行監督；第二種形式是將各個淺層進行特征融合，再將融合結果通過一個統一的損失函數進行約束。本文采用第一種形式的深度監督模型，通過為淺層特征提供參照，使得網絡能實現更精確的定位。

圖5 深度監督的兩種形式Figure 5 Two types of deep supervision

本文將深度監督分別應用于解碼層的第1、2、3層中，為網絡淺層提供了外部監督以及更精確的定位，由于解碼層中淺層特征尺度較小，因此需要對特征圖進行上采樣，統一特征圖與標簽的尺寸。側輸出的損失函數為：

其中，wi為每個側輸出的對應權重，L為側輸出loss函數，G為標簽，s為淺層輸出，up為插值運算。

2.3 損失函數

在本研究中使用的損失函數是權值IoU損失函數（weighted IoU loss）和二值交叉熵損失函數。IoU損失函數是以IoU為基礎的損失函數。IoU損失函數如下：

其中，gij表示原圖的標簽，pij表示網絡的預測結果，H和W分別表示原圖的長與寬。

與傳統的IoU損失函數不同，為了能夠讓網絡更多地關注難分類樣本，權值IoU損失函數為不同樣本設置了不同的權值，其定義式如下：

其中，γ為超參數，αij為每個像素對應的權值，對于較難分類的樣本，則所分配的權重αij為一個較大的值，而較易分類的樣本，所分配的權重αij為一個較小的值。因此，在訓練過程中，網絡會更多地關注較難分類的樣本，而減少對較易分類的樣本關注。

二值交叉熵損失函數定義式如下：

其中，yi'∈{0,1}表示樣本的標簽，yi∈[0,1]，yi表示分割結果。

為了抑制過擬合現象，本文在權值基本損失函數上引入正則項，因此，完整的損失函數定義如下：

其中，Lreg代表L2正則化函數，λ代表正則化系數，w代表權重向量，‖ · ‖2為二范數。正則化的目的是為了防止網絡中的參數過大，通過最小化正則化項使得權重不會過大，有效抑制了過擬合現象的發生。

3 實驗

3.1 實驗數據

本研究中使用的數據是由上海長征醫院提供的440 組臨床增強CT 數據，其中包含了不同分期的上腹部CT 影像數據，實驗中所用圖像的分辨率均為512×512，在這440 組數據中，本實驗采用390 組數據來訓練神經網絡，50 組作為測試數據來評估網絡性能。

3.2 實驗設置

本研究基于U 型分割網絡的實驗平臺為Ubuntu 16.04，使用了基于Python 3.6的Pytorch框架來搭建神經網絡模型，實驗中使用的CUDA版本為10.1，顯卡型號為11 G的NVIDIA GeForce GTX 1080 Ti。本文采用Adam優化算法來對網絡參數進行迭代更新，在訓練過程中，使用poly學習率衰減策略來調整學習率，更新公式為：

其中，base為基準學習率，power參數能控制曲線的形狀并設置為0.9，初始學習率（lr）為2×10-4，總迭代次數（total_inter）設置為150，inter為當前迭代次數。

3.3 評估標準

在介紹本文所使用到的評估指標前，首先對混淆矩陣的概念進行簡單介紹?；煜仃嚕–onfusion Matrix）又被稱為誤差矩陣，是機器學習中一種評價分類結果的矩陣，常用的評價指標均可以由混淆矩陣的各個元素進行組合獲得符號定義如下：真陽性（True Positive,TP），將正樣本預測為正類的樣本個數。假陰性（False Negative,FN），將正樣本預測為負類的樣本個數。假陽性（False Positive,FP），將負樣本預測為正類的樣本個數。真陰性（True Negative,TN），將負樣本預測為負類的樣本個數。對上述4種類型的樣本進行組合后的含義如下所示。TP+FN+FP+TN：所有樣本的個數；TP+FP：預測為正類的樣本個數；FN+TN：預測為負類的樣本個數；TP+FN：實際為正類的樣本個數；FP+TN：實際為負類的樣本個數；TP+TN：預測正確的樣本個數；FP+FN：預測錯誤的樣本個數?；煜仃囀且环N簡易且迅速的可視化工具，通過觀察混淆矩陣的結果有助于研究者了解當前模型的情況并對模型進行后續針對性的調整。

本文采用的評估指標是平均IoU和準確率（ACC）。IoU的定義如下：

IoU是一種統計兩個樣本之間相似性的指標，在分割任務中，IoU為預測結果和標注的重疊部分與兩區域整體之比，該值越大則說明預測結果與標注區域重疊率越高，理想情況該比值為1，此時FP和FN的值為0，即兩個區域完全重疊。

ACC的定義如下：

該指標代表預測正確的像素占圖像中總像素的比值，即判斷在所有預測結果中有多少是預測正確的。

4 結果

在本節中對基于反注意力機制的網絡模型進行量化分析以及可視化結果的展示，并與U-Net、ET-Net和Attention U-Net作對比。

4.1 結果對比

本研究所使用的對比算法分別是U-Net、ET-Net和Attention U-Net。通過觀察表1 和圖6 中的量化結果對比，本文所使用的方法的相比于U-Net、Attention U-Net和ET-Net有了較為明顯的效果提升。在IoU 和ACC 上，本文所提出方法的IoU 達到81.14%，ACC達到99.52%，然后根據混淆矩陣得到受試者工作特征（Receiver Operating Characteristic,ROC）曲線［26］，如圖7 所示。相較于對比模型中表現最好的ET-Net，本文所使用的模型分別在IoU 和ACC上實現了1.42%和0.03%的提高，相較于傳統的U-Net，本文所使用的模型在IoU 和ACC 上分別提升1.75%和0.09%。

圖6 量化結果對比圖Figure 6 Comparison of quantified results

圖7 反注意力機制下的U-Net的ROC曲線Figure 7 ROC curve of U-Net with reverse attention mechanism

表1 胃部腫瘤分割的量化結果（%）Table 1 Quantitative results of gastric tumor segmentation(%)

為了能更清晰地觀察分割細節，放大后的可視化結果如圖8 所示。在可視化圖中展示了本文算法與U-Net和ET-Net在胃部腫瘤CT數據集上的分割結果對比。圖8a是未經處理的CT原圖，圖8b為原圖所對應的標簽，圖8c、d 分別為對比方法AttentionU-Net和ET-Net 的分割結果，圖8e 為本文結合反注意力機制和深度監督的分割可視化結果。為了從全局的視角觀察不同模型的分割整體，對圖8中受試者對應的所有分割結果進行三維重建，如圖9所示。在三維重建圖中用俯視視角展示了本文算法與U-Net和ET-Net在胃部腫瘤CT 數據集上的分割結果對比。通過本實驗所得到的分割結果表現得更為出色，其邊緣細節與標注更為接近。由此可以證明，通過消除顯著特征保留邊緣的方式能夠有效地讓網絡去關注輪廓細節，實現更精準的分割。

圖8 胃部腫瘤分割放大圖Figure 8 Zoom-in of gastric tumor segmentation

圖9 胃部腫瘤分割三維重建的比較結果Figure 9 Comparison of three-dimensional reconstruction of gastric tumor segmentation

4.2 消融實驗

為了評估網絡中各個模型的表現，在本節中將展示網絡中每個模塊在單獨實驗中得到的結果。表2消融實驗的結果對比，以U-Net單獨進行的實驗，IoU和ACC分別為79.37%和99.45%；反注意力機制單獨進行實驗時，IoU和ACC分別為80.64%和99.50%，相較于U-Net分別提升了1.27%和0.05%；深度監督單獨作用時，IoU和ACC分別為80.45%和99.52%，相較于U-Net分別提升了1.08%和0.07%。根據消融實驗定量結果可以證明，本文提出的基于U-Net的二維分割網絡能夠有效提升胃部腫瘤分割任務中的精確度。

表2 胃部腫瘤分割的消融實驗結果（%）Table 2 Results of ablation experiment for gastric tumor segmentation(%)

5 總結

本文采用了反注意力機制，在編碼層粗提取的特征基礎上，對胃部腫瘤輪廓特征進行更進一步的優化提取。與傳統注意力機制不同，反注意力機制通過消除顯著特征，使得網絡更多地關注物體的輪廓信息。其次采用了深度監督模型，這類模型能為網絡淺層提供輔助的分類器，有效地提升網絡在淺層中的表現，同時也抑制了梯度消失現象的發生。最后在基于上腹部CT胃部腫瘤數據上進行實驗，結果證明了本研究所采用的基于反注意力機制和深度監督算法在胃部腫瘤分割上得到更準確的結果，相較于傳統U-Net網絡性能得到了較大的提高。