基于人機協同的FU-Net網絡的CT影像肝臟自動分割

王佳琪 張廣淵 李克峰

摘? 要：現有的醫學圖像器官分割方法不能很好地依肝臟形狀、位置及大小的變化而進行適當的分割，當肝臟形態變化明顯時，不能準確地將肝臟分割出來。鑒于此，文章在傳統U-Net網絡中加入了全局注意力模塊，通過通道注意力和自我注意力增強了對肝臟的特征提??；并在自動分割的基礎上進行了人機協同操作，對分割不好的部分增加數據量，有效提高了分割準確率。該模型在MIOU和MPA指標上分別達到了86.71%、92.58%。

關鍵詞：醫學影像；人機協同；器官分割；U-Net網絡

中圖分類號：TP391.4? ? 文獻標識碼：A? 文章編號：2096-4706（2023）06-0054-04

Automatic Liver Segmentation of CT Images Based on FU-Net Network of

Human-Computer Cooperation

WANG Jiaqi， ZHANG Guangyuan， LI Kefeng

（Shandong Jiaotong University， Jinan? 250357， China）

Abstract： The existing organ segmentation methods in medical images can not segment properly according to the changes of liver shape， position and size. When the liver shape changes obviously， the liver can not be accurately segmented. In view of this， this paper adds a global attention module to the traditional U-Net network， which enhances the feature extraction of liver through channel attention and self attention. On the basis of automatic segmentation， human-computer cooperation is carried out to increase the amount of data for the bad part of segmentation and effectively improve the accuracy of segmentation. The model reaches 86.71% and 92.58% respectively in MIOU and MPA indicators.

Keywords： medical image; human-computer cooperation; organ segmentation; U-Net network

0? 引? 言

醫學影像主要包括：電子計算機斷層掃描（Computerized?Tomography， CT）、磁共振成像（Magnetic Resonance Imaging，MRI）、正電子發射斷層成像（Positron Emission Tomography，PET）、核醫學（Single Photon Emission Computerized Tomography，SPECT）等，原理大多是通過某種介質來反映人體內部結構，能夠在醫生進行診斷時幫助醫生了解患者身體內部構造。一般醫療影像中如CT影像成像復雜，組織與器官等在CT影像中清晰度一般，不同的人的CT影像也存在著不小的差異，所以醫生在看醫療影像時需要根據醫生的經驗去判斷病情，不易上手。因此對醫療圖像中器官進行準確分割，給予醫生一定的輔助判斷能夠有效地輔助醫生更精準地判斷病情，從而減輕醫生的職業壓力。

深度學習分割方法在硬件設備崛起后發展突飛猛進，Long等[1]提出了全卷積神經網絡（Fully Convolutional Networks， FCN），將全連接層換為卷積層能夠適應各種不同尺寸的輸入，并通過不同深層的結合，確保了結果的魯棒性與精確性；Ronneberger等[2]提出的U-Net網絡提出了能夠有效地處理大尺寸圖像的方法，通過下采樣與上采樣增強了圖像特征提取從而提升了標注少量數據集訓練檢測的效果，被廣泛應用于醫學圖像；Badrinarayanan等[3]提出SegNet網絡對每個像素進行分類計算概率，將池化層應用到譯碼過程中提高了分割準確率；Zhao等[4]使用金字塔池化模塊聚合背景信息，在主分支損失上又增加了附加損失；Zhang等[5]結合多尺度策略和擴張卷積策略提出了EncNet，通過上下文語義編碼提升語義分割結果。

雖然現有的分割方法在圖像分割方面能夠取得較不錯的分割效果，但是這些分割方法對醫學影像分割的結果都很一般，尤其當器官形態位置等發生變化時就會出現較為明顯的誤差，器官的邊緣部分分割效果也較為一般。針對上述問題，本文所做出的主要工作如下：（1）我們在原基礎U-Net網絡上增加了全注意網絡模塊[6]，通過增加注意力模塊來增強對圖像特征的提取，使U-Net網絡更加適用于對肝臟的分割（2）提出了在自動分割中加入人機協同，在自動分割的基礎上通過人的判斷與經驗增加分割效果不好的肝臟形態的數據量，使得模型對該形態的肝臟的分割效果得以提升從而提高了分割準確率。

1? 相關工作

CT影像中各種器官與組織清晰度并不是非常高，并且常常伴有各種噪聲；在對肝臟進行分割時，我們主要是觀察人的第十胸椎體到第十二胸椎體間的CT影像，個體差異使得CT影像差異也很大，這些都增大了肝臟分割工作的難度。

1.1? 人機協同

隨著計算機技術的發展，計算機在一些重復工作以及大計算量的工作中已經能夠代替人類工作，但是對于一些理解能力、邏輯推理判斷等問題，人類具有更明顯的優勢。

人機協同即將人的智能與計算機的智能結合，機器善于從龐大的數據集做出明智的決策，而人則更擅長用較少的信息做出決策。人機協同即將計算機的快速計算與人的決策判斷結合起來，在機器學習基礎上增加人機協同既能提高計算速度也能夠使得算法更加適用于各種不同場景。

1.2? U-Net網絡

U-Net網絡經常被用來處理醫療圖像分割問題，U-Net網絡簡單結構如圖1所示，主要分為下采樣支路和上采樣支路，兩條支路對稱且可以進行端到端的訓練。下采樣支路主要用來提取特征，包含四個下采樣模塊，每個下采樣模塊又含有：兩個3×3卷積層、兩個ReLU非線性層和一個2×2最大池化層；上采樣支路主要用來增強網絡學習能力，包含四個上采樣模塊，每個上采樣模塊含有：兩個3×3卷積層、兩個ReLU非線性層和一個2×2反卷積層。網絡的最后一層使用1個1×1的卷積層將全部的特征層映射到輸出層。

1.3? 全注意力網絡

全注意網絡模塊如圖2所示，設計了一個通道處理模塊，引入通道注意權重促進了更多的組合表征同時也可以捕捉到更重要的信息，對每個通道進行了更加全面的考慮，通過重新加權來對通道進行選擇，在空間上更全面地考慮每一個信道來提升分組信息，從而能夠做出全局的聚合決策。

2? 基于人機協同的FU-Net網絡的肝臟自動分割

通過對CT醫學影像的學習，我們了解到肝臟主要位于人體的第十到第十二胸椎體間，我們對這區間的CT影像的肝臟部分進行了仔細研究，我們發現每個人CT序列圖像中肝臟的形態大小和位置變化很大，甚至會因為腫瘤、膽囊體等的遮擋使得肝臟在一張圖像中被分為2～5塊不等，不同人肝臟的形狀大小和位置差異更加明顯如圖3所示，且CT影像主要為黑白的，僅僅依靠像素難以將其各種組織與器官區分，CT影像中內容又較多較復雜，這些都加大了對圖像中肝臟分割的難度。

U-Net網絡進行分割時主要依據不斷提取圖像特征來對圖像進行分割，而肝臟的變化較為明顯，不僅患者之間存在著明顯差異，每個人的CT影像中的肝臟的大小、位置、形狀甚至是數量也有著不小的變化，特征不明顯，故基礎U-Net網絡在我們的數據中并不能很好地完成分割任務。我們在U-Net網絡中加入了全注意力模塊（模型結構如圖4所示），自注意力[7]模塊能夠過濾無用信息，進一步增強對特征的提取，通道注意力[8]通過給予不同通道不同的權重，信息包含多的通道權重大能夠得到更多的關注，不僅增強了對特征的提取更是有助于網絡進行全局判斷決策，從特征提取與全局信息兩方面的增強提高了分割的準確率。

我們在對肝臟進行分割的實驗中發現我們的FU-Net網絡雖然比基礎的U-Net網絡分割效果好，但是對于一些肝臟形狀變化大或者由于其他器官的遮擋導致肝臟被分為幾部分的圖像的分割效果不佳。如圖5所示，當肝臟剛開始出現或肝臟形狀奇怪時（如第一列和第五列），FU-Net網絡對其定位是比較準確的，但是在分割的精準度上卻不盡人意，第二列中我們可以看出FU-Net網絡在對肝臟分割時對于比邊緣的處理較為一般，第三四列中我們可以看到由于像素的相似性，FU-Net網絡會將右下角的脾部也認為是肝臟分割出來。

對此我們在原始的數據庫中增加了上述幾種情況的圖像數據量對訓練數據進行補充，圖5中第二行就是對應的第一行的FU-Net加入人機協同后的結果對比，經過對比我們發現在原始訓練數據中增加分割效果一般的肝臟形狀的數據量能夠更好地對肝臟部分進行分割，并且使得模型在定位肝臟與處理圖像邊緣的水平提高，有效提高了模型在對肝臟進行分割時的準確率。

3? 實驗結果

3.1? 數據庫

我們實驗所用數據為齊魯醫院提供的醫療數字影像傳輸協定（Digital Imaging and Communications in Medicine， DICOM）文件，在我們實驗進行前我們需要對其導出為圖像文件，考慮到圖像及肝臟清晰度的問題，我們選擇在窗寬250，窗位50的參數設置下將其導出。

我們有225位病人的CT樣片，其中CT影像主要包含三種患者：有肺結節的患者、門靜脈高壓患者和門靜脈正?；颊叩腃T，約5萬張CT影像。在我們訓練模型時，我們標注了60人，其中肺結節患者20人、門靜脈高壓患者20人，門靜脈正?；颊?0人，總計3 500張CT影像進行訓練。在進行人機協同操作時，我們在原數據庫中挑選出350張分割效果不好的圖像重新加入訓練數據中訓練。

我們將訓練集驗證集按照9：1的比例劃分，評判標準選擇平均交并比（Mean Intersection Over Union， MIoU）和類別平均像素準確率（Mean Pixel Accuracy， MPA）來進行評判。

3.2? 實驗結果

為了證明我們算法的有效性，我們分別選用基礎U-Net、基礎U-Net+人機協同、FU-Net以及FU-Net+人機協同進行對比實驗，實驗結果如表1所示，由于CT影像中各器官間的色差很小，我們的肉眼都難以分辨，機器分割根據像素差別去辨別難度很大，這也給我們的分割工作造成了很大的干擾。在表1中我們可以看出FU-Net網絡由于在U-Net網絡中加入全注意網絡，不僅通過自注意力過濾無用信息更能夠通過通道注意對含有肝臟的影像加大權重，對于肝臟的特征提取更加明確，使得分割準確率得以進一步提高；相較于基礎U-Net網絡，在U-Net網絡中加入人機協同機制，通過增加分割效果不好的圖像的數據量，使模型更加適用于肝臟分割從而有效地提高了分割準確率；在基礎FU-Net網絡中加入了人機協同機制后的模型相較于基礎U-Net網絡、人機協同下的U-Net網絡和FU-Net網絡人機協同下的FU-Net網絡在MIOU和MPA上均提高。

4? 結? 論

本文提出了基于人機協同的FU-Net網絡的肝臟自動分割方法，在基礎U-Net網絡中加入全注意力模塊，使算法能夠更加準確提取圖像特征并從全局進行判斷，有效提高了分割準確率；在機器自動分割基礎上加入人機協同，根據人的經驗去修正訓練數據，使算法更加適用于我們肝臟數據的分割，進一步提高了分割的準確率。將肝臟更為精準的分割出來，輔助醫生判斷肝臟位置，減輕醫生職業壓力，對醫療水平提高有重要意義。

參考文獻：

[1] LONG J，SHELHAMER E，DARRELL T. Fully Convolutional Networks for Semantic Segmentation [J/OL].arXiv：1411.4038 [cs.CV].[2022-10-18].https：//arxiv.org/abs/1411.4038.

[2] RONNEBERGER O，FISCHER P BROX T. U-net：Convolutional networks for biomedical image segmentation [EB/OL].[2022-10-19].https：//www.doc88.com/p-9909769280204.html.

[3] BADRINARAYANAN V，KENDALL A，CIPOLLA R. Segnet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[4] ZHAO H S，SHI J P，QI X J，et al. Pyramid scene parsing network [C]//2017 IEEE conference on computer vision and pattern recognition.Honolulu：IEEE，2017：6230-6239.

[5] ZHANG H，DANA K，SHI J P，et al. Context Encoding for Semantic Segmentation [C]//2018 IEEE/CVF conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7151-7160.

[6] ZHOU D Q，YU Z D，XIE E Z，et al. Understanding the robustness in vision transformers [J/OL].arXiv：2204.12451 [cs.CV].[2022-10-18].https：//arxiv.org/abs/2204.12451v4.

[7] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all You Need [J/OL].arXiv：1706.03762 [cs.CL].[2022-10-18].https：//arxiv.org/abs/1706.03762v2.

[8] HU J，SHEN L，ALBANIE S. Squeeze-and-Excitation Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

作者簡介：王佳琪（1996—），女，漢族，山東煙臺人，碩士在讀，研究方向：電子電氣。

收稿日期：2022-11-08