基于邊界顯著性的超聲頸動脈內中膜的智能提取

楊繼鋒,韋浩,熊飛,黃慶華,李樂,周光泉

(1.東南大學 生物科學與醫學工程學院,南京 210096;2.深圳市德力凱醫療設備股份有限公司,深圳 518132;3．西北工業大學 光電與智能研究院,西安 710072;4．西北工業大學 醫學研究所,西安 710072)

0 引言

心血管疾病的早期診療對預防患者遭受更嚴重的疾病至關重要[1-3]。研究發現,心腦血管病癥是一種慢性炎癥過程,并且大多數的心腦血管事件都與動脈粥樣硬化有關,具體表現為動脈最內層不對稱的局部灶性增厚[2]。頸動脈因其位置相對靠近皮膚表面且與皮膚表面平行,易于成像,已成為反映動脈粥樣硬化的重要窗口[4]。幾項基于人群的大型研究[5]表明,頸動脈內中膜厚度(intima-media thickness , IMT)可作為早期檢測心血管疾病的重要指標。其檢測方法為非侵入性、無創傷、無輻射、方便快捷且成本低廉[6-8]。IMT是管腔內膜界面和外膜界面之間的平行距離,見圖1。傳統的人工測量方法為專業醫生在內膜和外膜中各標記一點,進而利用儀器測量兩點間距離作為頸動脈內中膜的厚度。然而,該方法存在以下缺點:(1)受醫生經驗的影響每次選擇的標記點會有所區別,從而導致測量的內中膜厚度不一致;(2)對超聲醫生來說,傳統測量方法耗時、費力。因此,實現頸動脈內中膜的智能提取非常有意義。

圖1 頸動脈內中膜示意圖

識別超聲圖像中頸動脈內中膜的上下邊界是頸動脈粥樣硬化診斷中的一個重要問題[9-10],多項研究提出利用傳統圖像處理方法來解決該難題[11-12]。近年來,深度學習在醫學圖像處理中取得了優異性能[13-17]。例如,為了利用頸動脈三維體積中的三維信息,Jiang等[18]將融合模塊引入U-Net[19]網絡,并在數據集中取得了67.5%的Dice指數。Zhou等[16]將動態卷積神經網絡應用于超聲切片。由于內中膜上邊界位于血管壁內部,因此U-Net參考內中膜下邊界的掩模執行上邊界分割,最終在內膜和外膜的邊界分割上,Dice指數分別達到了96.46%和92.84%。該方法實現了較高精度,但仍需手動設置一些候選參數。盡管該類方法取得了重大進展,但仍易受頸動脈徑向運動引起的圖像斑點噪聲以及偽影的影響。此外,該類方法并未充分利用頸動脈內中膜的細長條結構特征。

為提高臨床驗證效率,并降低厚度測量的主觀誤差,本研究設計了一種基于U-Net的改進網絡以實現頸動脈內中膜的精準分割,可同時獲得內中膜的上下邊界,進而計算出內中膜厚度。其創新在于:(1)在U-Net結構中加入條形注意力模塊,以擴大傳統卷積的感受野,充分利用內中膜的長條形狀結構。(2)利用后處理-自編碼器模塊進一步優化初始分割結果,以減少由于超聲噪聲或偽影帶來的分割性能的下降。本研究網絡輸入由醫生手動選擇內中膜感興趣區域(region of interest,ROI),是一種基于內中膜ROI的半自動化內中膜提取方法。

1 新型圖像分割網絡

圖2為本研究的整體網絡結構。該網絡以人工選取的內中膜ROI作為輸入,基礎架構為經典的分割網絡U-Net。首先,在U-Net編碼器和解碼器間的跳躍連接處插入條形注意力模塊(stripe attention, SA),以提升模型的感受野,增強模型全局特征表示能力。為提高內中膜分割的準確度,本研究在結果后加入后處理模塊,將預測的掩膜圖輸入后處理模塊,以利用內中膜的形狀特征,進一步提升分割結果。

1.1 條形注意力模塊

注意力機制可在計算過程中對指定位置賦以更高權重,進而提高下游任務性能。其通過卷積池化等運算獲得圖像的像素權重,與原圖做相乘運算。條形注意力機制關注于圖像中信息的長距離依賴關系[20],可提高全局特征提取能力。其細節見圖3。

由于傳統卷積網絡的感受野有限,僅能用于提取局部特征,導致全局信息丟失。因此,本研究插入SA來緩解該問題。條形注意力在提取遠程上下文特征信息的任務中已獲得廣泛應用。與普通卷積操作不同,條形注意力機制對行或列中的特征值進行平均運算。具體地說,給定二維張量,設H和W分別為圖像的高度和寬度,則垂直方向的yh輸出為:

(1)

圖2 改進U-Net模型整體網絡結構示意圖

類似地,水平方向的輸出張量yv可通過式(2)獲得:

(2)

其中i,j分別表示圖像矩陣的第i行,第j列。由圖3可知,得到兩個不同維度的特征向量后,經過一個一維卷積運算可獲得在另一個維度下的信息交互。將所得特征進行復制擴充,還原成原圖大小,以便后續的融合操作。在融合后,使用卷積層和Sigmoid運算獲得最終的權重矩陣,該矩陣視為注意力圖。因條形注意力模塊特殊的卷積形狀,具有更強大的捕獲長距離空間相關性的能力,特別是對于條狀對象。此外,其不會增加運算量和性能損耗。

圖3 條形注意力機制示意圖

1.2 后處理模塊

在臨床上,內中膜附近總是有血液流動,因此,即使內中膜中有斑塊存在,其上下邊界也呈相對均勻的曲線。然而,由于B超分辨率低,圖像中常出現大量偽影和噪聲。傳統語義分割方法對圖像的質量非常敏感,因此,從內中膜的分割中對區域進行形態學調整是一項具有挑戰性的任務。先前的工作[15]建議使用基本的形態學操作,如用于平滑的開閉操作。然而,該方法在很大程度上依賴于先前的分割性能和所選參數。因此,本研究將深度學習模塊用于任務優化,后處理模塊采用編碼器-解碼器架構(即自編碼器結構[21])進行圖像分析,該模塊與本研究的預測模塊相似,但更簡單。其只包含2個降采樣操作,層數更淺,因為初步預測的粗掩模遠沒有原始圖像復雜,因此無需設計用于特征提取的高深度編碼器。

2 實驗結果與分析

2.1 數據采集與實驗配置

本研究由西北工業大學醫學和實驗動物倫理委員會批準(研究方案編號:202002010)。在中山大學癌癥中心的幫助下,利用超聲波掃描儀(飛利浦,IU22,L9-3)采集了1 000張樣本。模型訓練標簽由一位有頸動脈超聲檢查經驗的臨床專家使用注釋軟件制得。此外,使用k5交叉驗證策略(即將數據集劃分為80%的訓練集和20%的測試集,并分批次訓練,取平均值)用于訓練和測試。為提高模型泛化能力,防止過擬合,本研究對數據集采用了多種數據增強策略,如水平翻轉、隨機縮放等。

本研究使用SGD優化器在批處理大小為8的情況下,訓練網絡75輪,其中學習率設置為0.003。此外,本研究中的所有實驗均由Python v3.6和Pytorch v1.10實現,網絡均在NVIDIA GTX 1080Ti GPU中訓練。本研究使用Diceloss作為損失函數,其表達式為:

(3)

其中X,Y分別表示預測掩膜和標簽掩膜,smooth為固定數值,用于避免表達式的分母為0,從而導致訓練出錯。此外,本研究選擇Dice、Jaccard用于評估分割的準確性,用IMT誤差評估厚度誤差,其中內中膜的厚度根據分割結果計算而來,取得上下邊界垂直方向的平均距離。而誤差則是預測厚度與實際厚度的偏差,具體如下:

(4)

(5)

(6)

其中,X,Y分別表示預測圖和標簽掩膜,pi,qi分別表示預測和真實的內中膜厚度。

2.2 消融實驗

本研究將基礎U-Net作為基線網絡,依次加入條形注意力機制和后處理模塊,在相同數據及超參下訓練網絡。表1顯示了消融實驗中的平均Dice得分、Jaccard系數和IMT誤差,定量地證明了每個子模塊均有助于性能改進(其中SA-UNet表示“UNet+條形注意力模塊”,“本研究方法”表示在“SA-UNet”的基礎上再加上后處理模塊)。此外,與基線模型U-Net相比,條形注意力模塊可在CIMT誤差度量中優選地減少約15%,從而驗證了條形注意力機制在內中膜邊界識別中的優勢。另外,將后處理模塊加入到模型中進行試驗,取得了最優的度量結果,Dice和Jaccard分別提升了0.024, 0.032,IMT誤差降低了30%。由圖4可清晰看出,加入模塊帶來的分割性能上的提升。其中a、b、c分別表示U-Net、SA-UNet、本研究方法的分割結果,d則表示真實標簽。

表1 模塊間的消融研究結果

圖4 消融實驗的結果可視化

2.3 對比實驗

本研究將改進的分割網絡與分割模型SE-UNet[22]和U-Net++[23]進行比較。為提高方法的可靠性,使用同一數據集進行訓練,并使用相同的超參數以保持一致性,結果見表2。由表2可知,本研究提出的方法在所有度量方面均優于其他方法,平均Dice和IMT誤差的性能均優于其他模型,表明該網絡結構能夠處理邊界模糊,并準確地分割出內中膜的邊界。該結果也驗證了本研究方法的優越性。具體地說,通過將本模型與SE-UNet比較,驗證了本研究使用的條形注意力機制性能優于傳統注意力機制,這是由內中膜的特殊形狀結構造成的。另一方面,提出的后處理模塊相當于附屬模塊,用于對初始分割結果進一步優化。

表2 與經典算法的性能對比研究

3 討論

在本研究提出的新型分割模型中,頸動脈內中膜的先驗信息至關重要。大多數現有的基于深度學習的算法偏向于預測大的橢圓形結構,不利于細長條形結構的分割。相比之下,本研究模型基于內中膜統一的條形結構顯著提高了邊界精度,從而生成了具有清晰邊界的檢測圖。與傳統卷積不同,條形注意力模塊通過特殊的運算規則,捕獲孤立區域的長距離關系。此外,條形模塊中沿空間維度的卷積核形狀有助于獲取全局的上下文信息,并防止建立不相關聯系。因此,將條形注意力模塊插入網絡中,可有效提升內中膜分割結果。

另一方面,后處理模塊通過學習粗分割和真實掩膜之間的殘差來細化預測圖,自適應地校正斑點噪聲和偽影干擾的影響,進一步捕獲內中膜結構的精確邊界。該過程有利于去除一些離散噪聲、孔洞、凹角等。由于內中膜的結構相似,邊界因血液流動呈流水型,后處理模塊可在訓練過程中學習這些信息,當粗略預測的形狀與內中膜的統一結構相差較遠時,實現自動擬合。后處理模塊無論在分割精度還是邊界厚度的準確性方面,都表現出顯著優勢。然而,本研究有一些局限性。首先,本研究數據集相對質量較高,其中來自噪聲和偽影的干擾不充足,致使數據集在基線模型下依然能取得較好的結果,導致本研究中算法模型的優越性未得到充分體現。因此,未來需要有多樣化的數據集來支持本研究,以在后續研究中證明其臨床實用性。

4 結論

本研究開發了一個新的端到端框架,用于從超聲圖像中識別頸動脈內中膜,將為分析系統性動脈疾病提供一種有效方法。該框架首先通過條形注意力模塊,利用先驗形狀和解剖信息來解決傳統卷積感受野受限的問題。此外,為更好地減少圖像中噪聲和偽影的干擾,本研究進一步結合后處理細化模塊,通過從內中膜的固有膜形狀特征中學習,實現校正估計誤差。實驗結果表明,本方法優于其他的先進算法。后續研究將針對多任務學習進行優化改進,并期望從超聲原圖中實現內中膜的全自動化提取。