基于深度學習的結腸息肉檢測算法

程立英, 劉祖琛, 谷利茹, 江龍濤, 王曉偉, 王玉蓮

(沈陽師范大學 物理科學與技術學院, 沈陽 110034)

結直腸癌是源于結直腸黏膜上皮的惡性腫瘤,是臨床上最常見的惡性腫瘤之一[1]。目前世界各國結直腸癌發病率和死亡率逐漸增加,根據2019年國家癌癥中心發布的全國癌癥統計數據,結直腸癌在我國十大最常見癌癥中排名第3,僅次于肺癌和胃癌[2]。對結直腸癌患者采取有效手段進行早期診斷和治療有助于提高患者的生存率。結直腸癌在早期的表現通常為息肉,結腸鏡檢查也是結直腸癌篩查的金標準。目前防止結直腸癌的有效方法是患者通過結腸鏡篩查并進行必要的腸息肉摘除[3]。因此,提前發現息肉并在息肉轉化為癌細胞前將其摘除尤為重要。結腸鏡篩查主要依賴醫生臨床經驗,僅依靠醫生主觀診斷仍可能有息肉漏檢的概率。采用計算機智能分析輔助醫生結腸鏡篩查是提高息肉檢出率、降低漏檢率的有效手段[2]?，F有的息肉檢測算法取得了一定的研究成果,但依舊會出現檢測精度較低、速度慢、假陽性率高等問題[4]。本文利用深度學習的方法可以準確、高效地對結腸鏡圖像進行處理,檢測圖像中是否存在息肉,并對檢測到的息肉進行有效提取,以解決息肉外觀高變異性造成的假陽性率高的問題。

1 結腸息肉智能檢測技術

結腸息肉是一種結腸表面的突起,從扁平到有蒂,以不同的形狀出現。當扁平息肉通過其基部附著在結腸壁上時,帶蒂的息肉附著在莖上。結腸息肉分為炎性息肉、增生性息肉和腺瘤性息肉。腺瘤性息肉是結直腸癌的癌前病變,通過結腸鏡檢查可以發現腺瘤性息肉,但由于其在內鏡檢查過程中不敏感,很難僅從外觀上區分結腸息肉的類型。如圖1所示,是從不同的結腸鏡檢查視頻中提取出的8個不同的結腸息肉實例。

圖1 來自CVC-ClinicDB的8個不同的息肉實例Fig.1 Eight different polyp instances from CVC-ClinicDB

傳統機器學習算法已被應用于結腸鏡圖像智能分析。Yuan等[5]將自下而上與自上而下機制結合的顯著性檢測算法用于息肉區域自動識別;Tajbakhsh等[6]利用形狀和上下文信息在結腸鏡圖像序列中進行智能檢測。傳統算法需要根據息肉特征人為進行特征設計,并制定某種規則或者利用分類器檢測息肉。人為特征設計的依據主要來自醫生的經驗,受息肉極大差異性、醫生閱歷和主觀性的影響,人為特征設計難以準確適應檢測工作。

近年來,深度學習技術在圖像檢測、醫學圖像處理等多個領域中表現出了遠超傳統檢測方法的性能[7]。將卷積神經網絡引入結腸鏡圖像目標識別,輔助醫生盡早發現并對息肉進行及時處理,可以大大降低腸息肉癌變的概率[8]。Yuan等[9]將旋轉不變性和圖像相似度引入算法,提出了用于內窺鏡圖像識別的 RIIS-DenseNet網絡;Fang等[10]將邊緣信息引入算法,將網絡分為區域提取和邊緣提取2大分支,通過分支網絡信息交互進行腸息肉信息的提取,但由于腸息肉成像差異大、息肉類型多樣等導致檢測結果假陽性高。

本文針對以上問題,利用U-net++網絡對結腸鏡圖像中結腸息肉進行檢測,提出一種引入注意力機制的U-net++改進模型,采用端到端的結構,并針對不同網絡進行實驗研究,對各種網絡模型在結腸息肉檢測結果進行精度和損失度對比分析。經過實驗驗證,引入注意力機制的U-net++改進網絡模型能夠快速精確地檢測結腸息肉,可以更好地輔助醫生進行臨床決策和干預,具有重要的研究意義和臨床應用價值。

2 基于U-net++網絡的腸息肉識別算法

2.1 U-net++網絡的基本原理

在傳統的U-net網絡中,跳躍連接(Skip connection)是一種利用特征拼接提高神經網絡性能的方法,使用該技術在一定程度上可以將粗細粒度的特征進行融合,但是融合之后會產生語義鴻溝的問題[11]。為了解決跳躍連接引起的語義鴻溝,提出了如圖2所示的U-net++網絡架構。在圖2中,最外側一層是原始的U-net網絡,中間圓圈部分均表示在跳躍連接上的密集卷積塊,每個圓圈都代表2個連續的卷積操作,上方表示深監督(deep supervision)[11]。該架構是一種基于嵌套密集跳躍連接的分割體系結構,它將多個不同層次的U型網絡集合起來,使整個架構可以在不同的層次分別提取圖像各自層次的特征,再將這些不同層次的特征結合在一起[12]。它是一種不受跳接限制的新型分割體系結構,該結構將跳轉連接設計在集成編解碼器網絡的高分辨率功能圖和解碼器網絡相應語義豐富的功能圖之前,這樣的設計減少了編碼和代碼子網絡的功能圖之間的間隔[13]。在豐富模型時,該模型可以在解碼器和編碼器網絡的功能映射中有效捕捉前景對象的細節,隨著網絡層數的增加,提取到的圖像信息更加精確。

圖2 U-net++網絡結構圖Fig.2 U-net++ network architecture

2.2 注意力機制

注意力機制(attention mechanism)于20世紀90年代被科學家研究發現并被作為一種信號處理機制應用到視覺研究中,如今已被引入人工智能領域并取得了很大的成功[14]。注意力機制源于人腦和人眼的感知機制,在深度學習任務中可以解釋為從大量信息中篩選出需要重點關注的信息,表現為對數據進行加權變換,并對需要關注的部分賦予高權重[12]。注意力機制模塊(SE模塊)主要由Squeeze和Excitation 2個操作構成,見圖3。

圖3 SE模塊Fig.3 SE module

目前,已有一些學者將注意力機制嵌入編碼解碼的網絡結構中。Oktay等[15]在U-net的跳躍連接上嵌入了注意力機制,用以突出跳躍傳遞過程中的顯著特征;對Wang等[16]在編碼器與解碼器連接的最后一層中間的bottleneck處,嵌入了4個不同的SE模塊用以對最具特征的語義信息進行編碼。以上研究均證明,在U型網絡結構上嵌入注意力機制可以有效地提升網絡性能,提高分割精度。

2.3 引入注意力機制的U-net++改進網絡模型

在醫學圖像病灶檢測研究中,許多基于U-net結構的改進算法都取得了良好的效果[8]。U-net的U型結構及跳躍連接,可以學習到圖像中低層次與高層次之間的信息并進行整合,在小數據集上也可以取得很好的效果,因而U-net的結構成為醫學圖像分割任務的首選[12]。但是將U-net直接應用于結腸息肉的檢測,跳躍連接過長會造成編碼和解碼之間的信息損失,U-net++的密集嵌套連接解決了信息損失的問題。由于編碼解碼的網絡結構是一個注意力較為分散的模型,在網絡解碼的過程中所有輸入通道的權重都是相同的,不能給予需要分割的目標區域重點關注[11]。

因此,本文通過引入注意力機制,對U-net++網絡進行改進,使得模型更加專注于待分割圖像的關鍵區域,改進后的網絡結構如圖4所示。

圖4 結合注意力機制改進的U-net++結構圖Fig.4 Improved U-net++ structure diagram combined with attention mechanism

3 實驗結果和分析

本文深度學習網絡算法主要采用Python 3.7語言編程,在PyCharm Community Edition 2020.2.3 x64平臺下運行,實驗配置電腦為64位Windows 10操作系統,處理器為Intel(R) Core(TM) i7-8750U CPU @ 2.70GHz。本文利用相似程度(dice similarity index,DSI)、召回率(recall)、錯誤率(volumetric overlap error,VOE)和相對體積差異(relative volume difference,RVD)4個指標對不同網絡模型實驗結果進行評價。

進行息肉檢測的數據來自開源數據集ETIS中1 200張結腸息肉圖像,選取600張圖像作為訓練數據,其余600張圖像作為測試數據。利用U-net++和引入注意力機制改進后的U-net++網絡分別進行25輪、60輪和100輪的模型訓練,模型訓練統一輪數和每輪步數,即epochs=1,steps_per_epoch=300。

3.1 U-net++實驗結果

表1為U-net++模型的實驗數據,表示相同腸息肉數據集分別在U-net++模型運行25輪、60輪和100輪數下的訓練結果。

表1 U-net++模型不同訓練輪數的實驗數據Table 1 Data for the U-net++ model of different epochs

表1的數據表明,在U-net++模型中設置步長為300,其他條件不變時,訓練的輪數越多,所需時間(ETA)就越長,損失精度(LOSS)越低,準確精度(ACC)越高。經驗證,當訓練輪數達到100輪以上時,息肉圖像會被誤分割為背景,出現明顯的過分割現象,影響最終的分割效果。

3.2 引入注意力機制改進的U-net++實驗結果

表2為改進后U-net++模型的數據,表示該模型分別在25輪、60輪、100輪數下進行訓練的結果。

表2 改進后U-net++模型不同訓練輪數的實驗數據Table 2 Data for the improved U-net++ model of different epochs

從表2改進后U-net++模型的評估參數可以看出,參量總數(total params)和訓練總數(trainable params)不變。在其他條件相同的情況下,引入注意力機制改進后的U-net++模型與U-net++模型相比,檢測任務的訓練時間(ETA)更短,損失度(LOSS)更小,精度(ACC)更高。

3.3 基于深度學習的結腸息肉檢測結果及分析

本節從600張結腸息肉測試圖像中選取第71到88張圖像作為示例,設置模型統一輪數epochs為100,每輪步數為300。圖5為U-net++網絡和改進后的U-net++網絡對ETIS數據集中結腸息肉圖像經過100輪訓練后的分割結果示例。

(a) U-net++分割結果(b) 改進后的U-net++分割結果

從圖5的分割結果中可以看出,在相同運行環境、均訓練100輪的條件下,圖5(b)的結果表明引入注意力機制改進后的U-net++網絡模型對于結腸息肉檢測任務的分割效果更好。

表3直觀地利用4個指標數據評估了深度學習的U-net++網絡模型和本文提出的引入注意力機制改進的U-net++網絡模型在結腸息肉數據集檢測任務上的性能指標。

表3 改進前后模型的評估參數Table 3 Evaluation parameters of the model before and after improvement

對表3中各個網絡實驗結果的數據進行比較可以看出,引入注意力機制改進的U-net++模型網絡相對U-net++網絡,相似程度(DSI)提升了0.014 6,模型的錯誤率(VOE)降低了0.003 4,相對體積差異(RVD)降低了0.000 9,召回率(Recall)提升了0.003 64。實驗數據表明,引入注意力機制改進了U-net++模型,提高了結腸息肉檢測準確性。

4 結 語

本文基于深度學習算法,結合結腸息肉特征和不同網絡的優點和局限性,通過對U-net++網絡在結腸息肉檢測任務實驗分析,引入注意力機制對U-net++網絡進行改進。經過實驗驗證,本文構建出一種性能優于以往且分割效果更好的網絡模型,提高了對結腸鏡息肉的檢測精度,減少了圖像損失度,從而達到快速準確檢測結腸息肉的效果,對預防和診斷結腸癌具有重要的臨床應用意義。