基于邊緣監督的肝部超聲圖像包膜分割網絡

浦秀麗，劉翔，湯顯，宋家琳

1.上海工程技術大學電子電氣工程學院，上海 201620；2.中國人民解放軍第二軍醫大學長征醫院超聲診療科，上海 200003

前言

在我國，每年約有38萬人死于慢性病毒性肝炎，其中，肝炎引發的肝硬化是主要原因之一。肝硬化由早期的肝纖維化發展形成，具體被定義為慢性肝損傷引起的再生結節周圍纖維帶的組織學發展［1］。如果肝硬化病情未能得到有效的控制與治療，肝硬化進一步惡化，很可能造成肝功能嚴重損傷且難以恢復，甚至造成死亡。對早期輕度肝纖維化進行準確診斷并采取有效措施是降低嚴重肝疾病發病風險的有效手段之一［2］。然而，當前的肝硬化影像分析主要還是以人工判讀為主，主觀判斷造成的誤判難以避免。隨著人工智能技術的發展，許多學者將機器學習、深度學習技術運用到肝纖維化、肝硬化的診斷中，這促進計算機輔助醫學診斷的進一步發展。

目前，用于評估肝臟疾病的醫學成像技術主要包括核磁共振成像（MRI）［3］、計算機斷層成像（CT）［4］以及超聲成像［5］等，超聲技術因無創無輻射、便捷、成本低等優勢成為肝臟疾病影像學篩查的第一選擇［6］。當肝臟出現彌漫性病變之后，病變部位的聲抗也會隨之發生改變，并在超聲圖像中反映出來［7］。如圖1所示，在超聲圖像中，正常肝臟的包膜呈現連續、光滑且厚度均勻的狀態，而正常的肝實質則表現為均勻一致的彌漫細小點狀中等回聲。對于存在慢性肝炎等病變的肝臟，肝實質組織會逐漸老化，這將導致肝包膜形態結構異常，往往表現為不平滑的狀態，如波浪狀、階梯狀或鋸齒狀［8］，在影像學上甚至會呈現出斷裂形態。因此，肝包膜的精確分割對于肝纖維化、肝硬化的后續分析診斷具有重要意義。

傳統醫學圖像分割方法主要包括基于閾值的算法、基于邊緣的方法、基于區域的方法、基于能量泛函的方法、基于圖論的分割方法［9］等，通過傳統的機器學習算法研究肝包膜的分割已經取得了一定的進展，Liu 等［10］根據肝部超聲圖像的組成特點，設計了一個滑動窗口檢測器，結合動態規劃，實現對肝包膜的自動分割，Zhao 等［11］首先通過多尺度邊緣檢測器來定位所有曲線，然后利用高頻超聲圖像中肝包膜上下的特點，通過能量函數分析過濾掉不相干的曲線，從而得到肝包膜。Liu 等［12］根據肝臟結構，首先檢測肝臟是否有腹水，然后分別設計遍歷搜索算法，實現肝包膜的分割。然而，當超聲圖像更加復雜時，傳統算法所分割的肝包膜的精確性還有待提高。隨著2014年全卷積神經網絡（Fully Convolutional Networks,FCN）的提出，深度學習算法開始廣泛應用于圖像分割領域，而針對數據少，語義簡單的醫學圖像分割任務，Ronneberger 等［13］提出的UNet網絡的分割性能更加優越，它所設計的跳層連接結構，將深層特征和淺層特征相結合，便于更加精確學習圖像細節信息。后續的許多研究如3D UNet［14］、TernausNet［15］、Dense UNet［16］、Res-UNet［17］等都是在此基礎上發展而來的。

本文模型ES-UNet 以常用分割網絡UNet 為基礎，引入空洞卷積，擴大感受野；同時，添加了邊緣監督模塊，從而將特征學習主要聚焦在圖像梯度較大的部分；此外，還設計了混合加權損失函數，來平衡肝包膜部分與其他區域之間的極度不平衡情況。實驗結果表明，改進后的模型，可以有效提高肝包膜區域的分割精度。

1 方法

本文整體模型ES-UNet結構如圖2所示，以UNet的編解碼結構為基礎，在編碼部分添加空洞卷積和邊緣監督模塊。各模塊的具體情況在以下幾節中詳細介紹。

1.1 UNet

UNet 是一種U 型的編解碼網絡，最初由Ronneberger 在2015年提出，初衷是用來解決醫學圖像分割問題，如圖2所示，UNet 的編碼部分包括4 個下采樣模塊，解碼部分包括4個上采樣模塊。每個下采樣模塊由兩個帶有RELU 激活層的3×3 的卷積層和一個2×2的最大池化層組成，每個上采樣模塊則是由一個反卷積和兩個帶有RELU 激活層的3×3 的卷積層組成。此外，編碼部分和解碼部分采用拼接的方式作特征圖的融合，這相比于同為編解碼結構的FCN網絡，UNet采用拼接作為特征圖的融合方式，從而形成更寬的特征。

近年來，UNet廣泛應用于醫療圖像分割領域，由于醫療影像語義較為簡單，結構相對固定，信息量單一，淺層特征和高級語義特征都很重要，因此U 型結構的跳層連接很適用，此外，醫學影像的數據較少，獲取難度大，因此用大型復雜網絡訓練反而容易造成過擬合，輕量的UNet網絡更有優勢。

1.2 空洞卷積

空洞卷積（Atrous Convolution）又叫擴張卷積（Dilated Convolution），相比于正常的卷積，空洞卷積就是向卷積層引入了一個稱為“擴張率（Dilation Rate）”的新參數［18］，這個參數定義了卷積核處理數據時各值的間距，從而在標準的卷積核里注入空洞。普通卷積和空洞卷積圖示見圖3（以3×3卷積為例）。

在UNet的編碼操作中，普通下采樣模塊池化層及池化間隔的存在，雖然可以擴大感受野，但同時也導致內部數據結構和空間層級化的信息丟失，這對于存在于圖像邊緣細節處的肝包膜分割是十分不利的，因此本文添加了空洞卷積模塊，在保證模型參數不增加，細節信息不損失的情況下，擴大感受野，獲得更加密集的數據，從而提高分割任務中細節部分的分割效果。本文采用擴張率= 2的空洞卷積，在編碼部分，每一層都將輸入經過常規卷積與空洞卷積并行處理后，拼接起來下采樣后作為下一層的輸入。

1.3 邊緣監督模塊

觀察肝部超聲圖像發現，肝包膜部分處于梯度較大的區域，因此我們將通過Canny算法提取的邊緣信息作為輔助監督標簽［19］，設計邊緣監督模塊（見圖2灰色部分），引導網絡的學習邊緣細節信息。由于只有淺層的特征保留了足夠的邊緣信息，因此我們只在編碼模塊的前兩層采用邊緣監督［20］，如圖2所示，通過對第二個編碼卷積模塊的輸出進行上采樣，使其與第一個編碼卷積模塊的輸出具有相同的分辨率，再經過一個1×1 和3×3 的卷積層后，與第一個模塊輸出經過1×1和3×3的卷積層后拼接，然后通過1×1 卷積后作為邊緣監督模塊的輸出，通過計算其于邊緣標簽的損失Ledge（式4），反向傳輸后用于監督淺層卷積層的學習并引導編碼部分的分割。此外，我們將經過邊緣引導后的特征圖與UNet網絡的特征圖做拼接融合，再經過3×3 和1×1 的卷積處理后作為模型的輸出。

1.4 損失函數設計

本文中，肝包膜所代表的正樣本相對其他區域（負樣本）的占比嚴重不平衡。如果使用普通的交叉熵損失，網絡會傾向于將多數像素預測為負樣本，極端情況下甚至全部預測為負樣本也能得到較高的分類精度［21］。為避免這一問題，本文基于Dice 系數設計了一種log-Dice 損失函數［22］。Dice 系數是一種度量兩個集合相似度的函數，通常用于計算兩個樣本的相似度，是語義分割最常用的評價指標之一，其計算公式如下：

由于Dice 系數在模型訓練時，波動過大，容易造成訓練不穩定，不利于反向傳播，我們添加了一個平滑常量smooth（通常設為1），并添加對數函數，使損失波動更加平穩，其表達方式如下：

在本文的邊緣監督模塊中，考慮到邊緣標簽中也存在類別不平衡情況，而不嚴重的類別不平衡問題不適合用Dice 損失，筆者采用加權交叉熵（weighted cross entropy）來設計損失函數Ledge［23］：

其中，β表示正樣本權重，當β＜1 時，可以減少假負樣本的比例，當β＞1 時，可以降低假正樣本的比例。一般情況下，β與正樣本所占比例呈負相關。在邊緣標簽中，圖像邊緣所代表的正樣本相對其他區域（負樣本）的占比較小，多次對比分析后，將β設為5，以增加模型正樣本的分割準確率。

最后，為平衡兩輸出損失的貢獻度，經過反復實驗調試，我們將邊緣輸出損失與分割損失分別賦予0.165 和0.5 的權重，作為模型的整體損失，表達方式如下：

2 實驗

2.1 數據預處理和數據增強

本文采用的實驗數據是由第二軍醫大學附屬長征醫院超聲科提供的肝部超聲圖像數據集，采集設備是美國GE 醫療系統公司的VolusonE8 超聲設備。采集頻率為4～10 MHz，當患者處于仰臥位或左臥位時，分別從劍突和右肋間間隙掃描肝組織，從而獲取左右肝葉的二維淺表切面超聲圖像。數據集包括乙型肝炎肝硬化患者47 例，其中，男性35 例，女性12例，年齡為28～77 歲，平均（51.6±11.6）歲；此外，還包括隨機選擇的無肝臟疾病者20 例（對照組），其中男性15例，女性5例，年齡26～76歲，平均（51.5±13.2）歲。根據Child－Pugh 改良分級標準，將患者的肝硬化程度分為輕、中、重度3 個分期［24］，其中，輕度肝硬化患者18 例，中度肝硬化患者16 例，重度肝硬化患者13例。上述肝硬化患者的診斷經實驗室（包括血液檢查）、超聲及其他影像學檢查、病理學分析，確認無合并脂肪肝、血吸蟲肝病及其他器質性肝臟疾病。各類分期患者在年齡、性別、體質量上均無顯著差異。

由于原始數據中，不同分期的肝臟圖像數據量差異較大，為避免樣本不均衡，防止模型過擬合，提高模型泛化能力，筆者通過采用幾種常用的數據增強方法，如左右翻轉（上下翻轉不符合肝部超聲圖像結構特性）、旋轉（15°～25°）、仿射變換、錯切等，生成1 949 個圖像作為訓練集，175 個圖像作為驗證集，并將圖像尺寸批處理為256×256的大小。

2.2 實驗配置及模型參數

本文實驗基于Python 3.6 和Tensorflow 2.1 實現，操作系統為Windows10，實驗環境為2 塊Nvida-1080Ti 顯卡，為提高模型收斂速度，batch size 設置為16，預設200個epochs，并采用基于動量的Adam 算法來對網絡進行優化。設置初始學習率為1× 10-4，損失函數由式（5）確定。每個epoch 后，在驗證集上對模型進行評估，確保最終選擇的用于測試集評估的最佳模型在驗證集上具有最佳的分割評估效果。設置早停（early stopping），防止訓練過擬合，模型在第90 個epoch 后已經趨于收斂，在第130 個epoch 后，模型訓練停止，訓練時間約為2.5 h。

2.3 評價指標

由于肝包膜數據集中包膜只占圖像的極小部分面積，類別分布嚴重不平衡，所以簡單的準確率指標不足以評價實驗結果，為定量評估網絡的分割性能，采用準確率、精準率、召回率、Dice 系數、平均交并比（Mean Intersection-over-Union,MIoU）等多項評價指標，各類指標均可通過混淆矩陣計算得出?；煜仃嚕–onfusion Matrix）又稱誤差矩陣，是機器學習中總結分類模型預測結果的情形分析表，矩陣表現形式見圖4。

其中，TP 表示圖像中肝包膜區域被分割模型預測為肝包膜的像素點總量，FN 表示圖像中肝包膜區域被分割模型預測為背景的像素點總量，FP 表示圖像中背景區域被分割模型預測為肝包膜的像素點總量，TN 表示圖像中背景區域被分割模型預測為背景的像素點總量。

準確率（Accuracy,Acc），是指對于給定的測試數據集，分類器正確分類的樣本數與總樣本數之比：

平均像素精確度（Mean Pixel Accuracy,MPA），這是在準確率基礎上做的提升，是指類別內像素正確分類概率的平均值［25］，在本文中可以表示為：

精準率（Precision,P）又叫查準率，是指在所有被預測為正的樣本中實際為正的樣本的概率，公式如下：

召回率（Recall,R）又叫查全率，是指實際為正的樣本中被預測為正樣本的概率，其公式如下：

精準率和召回率是一對矛盾的度量，精準率和召回率相互制約，為了能夠綜合考慮這兩個指標，我們需要找到二者之間的一個平衡，精準率和召回率的加權調和平均F-measure（F1）被提出：

Dice 系數用于評價預測掩膜圖像與金標準掩膜圖像之間的相似度，是語義分割最常用的評價指標之一，在本文中，可以用混淆矩陣來表達（式2）。

MIoU 是一個衡量圖像分割精度的重要指標，在評價圖像中各目標類別不均衡的語義分割網絡時，簡單的交并比并不能合理反映模型的分割效果，采用MIoU則更加客觀，用混淆矩陣表示如下：

2.4 實驗結果

為驗證本文引入的空洞卷積、邊緣監督模塊以及損失函數對模型的改進效果，筆者采用消融實驗來作對比分析，圖5是各種情況下對應的效果圖，第1行分別為正常健康人，輕度、中度、重度肝硬化患者的肝包膜超聲圖像，第2 行是對應的輔助監督的邊緣，第3 行是對應的肝包膜金標準圖像（由醫學專家標注），第4～8行分別為UNet+bce模型、UNet+bce-dil模型、UNet+bce-edge 模型、UNet+bce-dil-edge 模型、UNet+L-dil-edge（即本文算法ES-UNet）模型對應的分割效果圖。

從圖5可以發現，本文模型ES-UNet 分割結果所保留的細節最為完整，基本UNet 模型已經可以較好的體現肝包膜的大致輪廓，空洞卷積與邊緣監督的加入使得肝包膜的分割精度大幅提升，損失函數的改進則在確保良好的分割精度的情況下更加完整的保留了肝包膜的細節特征。

表1展示了上述不同網絡在整個測試集上的分割結果。表2展示了上述不同網絡在4 個不同分期肝包膜圖像上的分割結果定量比較。觀察表1可以發現，隨著模型在UNet基礎上的一步步改進，分割效果在幾項指標值上都隨之提高，尤其是引入空洞卷積后的UNet+bce-dil 模型相比于原本的UNet+bce 模型，其分割量化指標均提升顯著，可見空洞卷積可以在不提高模型復雜度的情況下，有效提升網絡訓練效果，此外，邊緣監督模塊的加入也對模型分割性能有著不可忽視的作用。盡管混合損失函數加入后，最終模型UNet+L-dil-edge 分割結果在精準率上有輕微下滑，但在其他指標如F1、Dice、MIoU 等相對更客觀的指標上，有更加突出的表現。

表1 不同網絡在整個測試集上的各類指標均值Table 1 Mean values of indicators of different networks on the entire test dataset

從表2的各項數據中可以看出，本文的ES-UNet（UNet+L-dil-edge）模型在正常人以及不同分期肝硬化患者的肝包膜圖像上都有更好的分割效果，且不受重度患者可能存在的腹水的影響。綜上，從量化角度分析，本文算法的各個組件對改進模型分割性能都有一定的貢獻。

表2 不同網絡在4個不同分期的肝包膜圖像上的定量比較Table 2 Quantitative comparison of different networks for liver capsule images at 4 different stages

3 總結

目前，基于超聲圖像的肝纖維化、肝硬化計算機輔助診斷系統中，主要的研究聚焦在肝包膜和肝實質的特征提取和分析上，肝包膜的精確分割對于肝纖維化、肝硬化的后續分析診斷具有重要意義。因此，本文提出了一種基于邊緣監督的肝部超聲圖像包膜分割網絡（ES-UNet），引入空洞卷積，擴大感受野；同時，添加了邊緣監督模塊，從而將特征學習主要聚焦在圖像梯度較大的部分，提高模型對肝包膜細節處的分割準確性；此外，針對肝包膜部分與其他區域之間的極度不平衡情況，設計了混合加權損失函數，對各個模塊進行約束。實驗結果表明：本文方法可以更好的從肝部超聲圖像中精確分割出肝包膜，能夠反映肝包膜細節部分的真實位置和趨勢，有助于后續進一步分析診斷，并為其他領域的分析提供可靠的設計思路。在未來的工作中，我們考慮將分割的肝包膜定位到肝部圖像中，分析肝包膜的形態及紋理特征，并結合肝實質的特征，全面地描述肝硬化各個階段的變化，實現肝硬化各階段的準確分類。