基于深度學習的高分辨率食管測壓圖譜鑒別

呂志賢,侯木舟,曹 聰

(中南大學 數學與統計學院,湖南 長沙 410083)

0 引 言

醫學影像分析技術在醫療診斷中發揮著越來越重要的作用,基于傳統機器學習算法的醫學影像識別主要包括圖像特征提取和圖像識別兩個步驟,需要人工提取醫學影像特征,識別準確率偏低[1-2]。分割任務是檢測病變的位置和邊界,而分類任務是診斷病變的類型,但由于醫學圖像數據特征不明顯,分類的效果并不好。深度學習算法省去了傳統機器學習算法的圖像特征提取步驟,利用網絡結構自動提取圖像特征并分類,識別準確率較高。2013年,Cruz-Roa等[3]利用卷積神經網絡來自動檢測基底細胞癌; 2016年,Kawahara等[4]利用卷積神經網絡來識別皮膚癌圖像; 2018年,Harangi等[5]利用CNN網絡對皮膚癌影像進行診斷分類; 2019年,周進凡[6]利用改進的VGG16網絡對肺部X光圖像進行識別預測,取得了優異的效果; 2021年,Zhou等[7]提出一種集成深度學習模型,完成了對新冠肺炎患者、肺部腫瘤患者和正常三種類型圖像的識別; 2022年,Demir等[8]提出一種基于MRI圖像自動檢測腦腫瘤的深度學習方法,對兩個互相獨立的數據集進行評估,準確率分別為98.8%和96.6%。此外,還有越來越多的深度學習模型被運用到了醫學圖像的辨別診斷中。

近年來,食管動力障礙性疾病的患病率呈逐年上升的趨勢,對其診斷主要采用高分辨率食管測壓方法,該方法是一種固態的測壓方法,可以實現從食管到胃的所有高精度數據的采集,并且可以實時監測整個食管的收縮功能。高分辨率食管測壓圖譜(HRM)的分類對診斷結果有非常大的影響,當前,主要采用芝加哥分類診斷標準[9-10]進行高分辨率食管測壓圖譜分類。2021年,Kou等[11]利用 32 000個多原始吞咽數據,建立了基于變分自動編碼器(VAE)方法的生成模型,具備對食管收縮活力類型進行進一步評估判別的能力,對測試數據集判別的總體精確度為64%; 同年,Kou等還提出了基于長短期記憶神經網絡(LSTM)的HRM圖譜食管收縮活力自動分類模型[12],其總體分類精確度為83%。2022年,賀福利等[13]提出了PoS-ClasNet深度學習模型,可以實現食管收縮活力HRM圖像的自動分類,這些研究僅把圖譜分為三類,且在分類網絡前用了分割網絡,訓練成本更高。而高分辨率食管測壓圖譜成像的特殊性[14-16]、診斷的復雜性和疾病的多樣性使得深度學習在這類圖譜分類的研究中應用較少。因此,本文對基于深度學習的食管動力障礙性疾病鑒別診斷進行了研究,且將高分辨率食管測壓圖譜分為正常收縮、全段增壓、弱收縮、無效收縮四大類。本文對傳統VGG網絡模型進行改進,優化其結構,增大卷積核,并添加Batch Normalization層和Dropout層,可以提高識別的速度與精度,并能夠在較低性能計算機上快速完成高分辨率食管測壓圖譜的特征自學習與訓練?；诟倪MVGG網絡模型構建的高分辨率食管測壓圖譜分類器可以應用于臨床輔助醫生進行圖像鑒別與分析,在降低醫生工作量的同時,可以提升其工作效率,降低誤診和漏診的風險。

1 數據預處理

本文的HRM數據來自湘雅醫院消化內科,其中,訓練集、驗證集、測試集的比例為7∶1∶2。正常收縮、全段增壓、弱收縮、無效收縮這4種類型的HRM圖像如圖1 所示,首先需要對圖像進行預處理。為了適應本文的NFWIC模型,將像素大小為831×544的原始圖片調整為180×180。從高分辨率食管測壓圖譜中可以觀察到,圖片上有許多便于人眼分類的線,這些線對計算機沒有實際意義,還會影響到計算機對高分辨率食管測壓圖譜分類的精度,本文采取用高斯去噪方法和高斯核卷積去噪濾波平滑處理消除此類影響,圖2 為預處理前后的圖片。

圖1 高分辨率食管測壓圖譜

圖2 預處理前后的高分辨率食管測壓圖譜

由于數據中全段增壓圖像僅有278張,影響模型對其特征的學習,但由于高分辨率食管測壓圖譜的特殊性,傳統的數據增強方法對其增強的效果不佳。為了解決該問題,本文將預處理后的278張圖片以及預處理前的278張圖片都放入訓練集以增加訓練樣本數。

2 基于深度學習的NFWIC分類模型

2.1 傳統的VGG網絡模型

卷積神經網絡(CNN)作為一種應用廣泛的深度學習框架,在特征提取、圖片分割和分類方面都具有優異的性能。1943年,Mcculloch提出了MP模型[16],Fukushima提出了神經認知機[17],1990年,Lecun提出了現代CNN框架的原始版[18],并于1998年提出了改進的CNN模型——LeNet-5[19],這為CNN的發展奠定了基礎。2006年以來,研究者提出了許多方法來改進CNN算法,其中,由Krizhevsky等提出的AlexNet框架的性能比之前的模型有了顯著提升[20]。此后,越來越多的CNN模型被提出,如VGGNet[21]、GoogLeNet[22]等,這些模型的結構也變得越來越復雜。為了防止過擬合等問題,本文對比了當前的幾種主流網絡,最終根據HRM數據的特性選取了由Simonyan等提出的VGG模型[21]。VGG的卷積核大小均為3×3的小卷積核,這有利于細節變化的學習,池化核為2×2,而且由于卷積層通道數的擴大,池化層尺寸的縮小,使得VGG模型變得更深更寬的同時,計算量的增加幅度變小。

2.2 改進的VGG模型

2.2.1 Batch Normalization層的添加

卷積神經網絡的學習過程是為了學習數據的分布,如果前面通過卷積得到的數據分布不同,那么就會降低模型的泛化能力。為此,本研究將在每個最大池化層后加入一個Batch Normalization層,如圖3 所示。Batch Normalization層將一個batch數據轉化為平均值為0,方差為1的數據。加入Batch Normalization層對數據進行標準化時,減小了內部協變量對訓練速度的影響,使訓練速度加快[23],同時,可以在一定程度上防止過擬合,并減小對初始數值的依賴性。

圖3 VGG模型中Batch Normalization層的添加

Batch Normalization層的處理算法如下:

1) 假設輸入數據的Batch=n,輸入的樣本為x1,…,xn,則輸入數據的平均值μ和標準差σ為

(1)

(2)

2) 將數據歸一化為

(3)

式中:ε=10-5,可以保證等式的成立。

3) 通過尺度變換和偏置來恢復原始數據的特征分布。

(4)

βi=E(xi),

(5)

yi=γixi+βi,

(6)

式中:Var為方差函數;E為均值函數;yi為最終輸出。

2.2.2 Dropout層的添加

在卷積神經網絡訓練中,訓練樣本數量過少而用于提取特征的參數過多時,很多樣本特有的特征也被提取,因而會產生過擬合現象。通過添加Dropout層可以降低過擬合,本研究在所有線性層后都加入了Dropout層,設置Dropout比率為0.5,如圖4 所示。每次訓練時將舍棄50%的輸出結果,即將50%的輸出結果設置為0,其余結果不變,如圖5 所示。添加Dropout層能夠提高模型的泛化能力,從而增強模型的高分辨率食管測壓圖譜分類能力。

圖4 VGG模型中Dropout層的添加

圖5 應用Dropout層前后的神經網絡對比

2.2.3 卷積核大小的調整

傳統VGG網絡模型中的卷積核大小均為3×3,這是為了提取更細微的特征,而高分辨率食管測壓圖譜的鑒別診斷不需要太多細微特征。為此,本研究調整了卷積核大小,其中把第二模塊的卷積核調為5×5,第三模塊的卷積核調為7×7,第四模塊的卷積核調為5×5。研究發現,在相同卷積步長和同等卷積深度的情況下,5×5的卷積核相對于3×3的卷積核能獲取更大的感受野。經過卷積計算后,更大的卷積核得到了更小的計算結果,計算公式為

(7)

(8)

式中:W為圖像寬度;H為圖像高度;P為圖像增加的邊界層數;K為卷積核大小;S為卷積核步長。相應地,為了體現卷積運算后顯示的圖片大小,用輸出維數表示輸入維數,計算公式可變為

Winput=(Woutput-1)*S+K-2*P,

(9)

Hinput=(Houtput-1)*S+K-2*P。

(10)

若取圖像增加的邊界層數P為0,卷積核步長S為1,輸出圖片的長度和寬度均為1。

Winput=Hinput=(1-1)*1+K-2*0=K。

(11)

2.3 改進VGG網絡的NFWIC分類模型

基于改進的VGG網絡模型和本文提出的NFWIC分類模型結構分別如圖6 和圖7 所示。首先,基于原始的HRM訓練數據,進行高斯濾波去噪的預處理,再基于改進的VGG網絡來訓練數據,采用交叉熵的損失函數和Adam優化器,基于訓練的模型和參數對測試集進行預測分析,輸出最終的正常收縮、弱收縮、全段增壓、無效收縮四分類結果。改進的VGG網絡模型一共有4個特征提取模塊,每個模塊都是由卷積層ReLU激活函數卷積層ReLU激活函數最大池化層構成,區別在于4個模塊的卷積層中卷積核的大小是不同的,其中,第一模塊為3×3,第二模塊為5×5,第三模塊為7×7,第四模塊為5×5。每個模塊都會把特征通道數乘2,再通過一個2×2的最大池化層,最后再由Batch Normalization層標準化數據。通過這4個特征提取模塊之后,數據進入分類模塊,先由Flatter層將數據轉化成一維數據,經過3個線性層,并在線性層前先經過Dropout層,避免過擬合。最后一個線性層不再采用ReLU激活函數,而是用softmax得到每一類圖片的預測概率。

圖6 改進的VGG網絡模型

圖7 改進VGG的NFWIC分類模型結構

3 驗證實驗

3.1 數據來源

本文使用了中南大學湘雅醫院于2019年至2020年采集的實驗數據集。該數據集包含2 520幅高分辨率食管測壓圖譜,由固態高分辨率測壓系統ManoScan 360TM(Sierra Scientific Instruments)檢測,并由采集和分析軟件Mano View ESO3.0生成[24]。每位病人有10張圖片,通過對這些高分辨率食管測壓圖譜進行分類整理,得到最終有效的數據集,其中,正常收縮圖片890幅,弱收縮圖像561幅,全段增壓圖像278幅,無效收縮圖像791幅,得到的每張HRM原始圖片的尺寸為831×544像素。所有圖像的真實標簽由中南大學湘雅醫院消化科專家基于CCv3.0標準和Mano View ESO3.0的分析報告對每幅高分辨率食管測壓圖譜圖像的食管收縮活力類型進行深入探討后給出。實驗數據采集自全國各地的患者,代表性較強。

3.2 實驗環境設置

實驗中使用聯想IdeaPad720s-14IKBR,CPU為第八代智能英特爾酷睿i5-8250U。在python環境的pytorch框架和Tensorflow后端中實現。本研究將尺寸為831×544的原始圖片調整為180×180,這兩個尺寸的圖片只是分辨率有所不同,內容上無任何差距?？s小尺寸可以讓改進的VGG模型更好地處理圖像,減少運算量,加快運算速度。實驗隨機選取70%作為訓練圖片來訓練模型,10%作為驗證圖片來得到最佳的模型參數,20%作為測試圖片來測試模型的分類準確性及可靠性。訓練神經網絡時,設置batchsize=10,每一批都放入10張圖片進行模型訓練。

改進的VGG模型的4個模塊中都加入了批標準化Batch Normalization以加快訓練速度,在全連接層加入了以0.5的概率失活的Dropout來防止過擬合。除最后分類的激活函數為softmax(x)外均采用ReLU(x)為激活函數。訓練的輪數設置為epoch=50,每個epoch結束后會將最優的模型儲存下來以方便后續的測試。損失函數為多元交叉熵函數,用來確定模型的最佳性能。參數優化器為Adam優化器,初始化學習率設為0.001,權重衰減為0.000 5。

3.3 訓練結構

(12)

參數優化器:卷積神經網絡在更新參數時都需要優化器逐步優化參數,常見的優化器有SGD、Adam、Adagrad等。本研究中采用Adam優化器,設置學習率為0.001,權重衰減為0.000 5。Adam的計算公式[26]為

mt=β1mt-1+(1-β1)gt,

(13)

(14)

(15)

(16)

工作流程:先將高分辨率食管測壓圖譜預處理,將預處理后的圖片輸入到NFWIC模型中進行訓練,得到預測標簽,利用預測標簽與輸入圖片的真實標簽計算損失函數。通過優化器更新改進NFWIC模型中的VGG網絡中的參數更新模型,經過多次訓練得到性能最優的模型。將用于測試的高分辨率食管測壓圖譜輸入到訓練好的NFWIC模型中得到圖片的分類結果。具體的NFWIC模型工作流程如圖8 所示。

圖8 NFWIC模型訓練流程圖

3.4 評價指標

對于分類問題,用TP,TN,FP,FN分別表示真陽性、真陰性、假陽性、假陰性的預測值。對于多分類問題可以取其中一種為陽性,其余三種為陰性來獲取實驗數據。本研究中采用典型的性能指標:準確率Racc(Accuracy)是對于給定的測試數據集,分類器正確分類的樣本數與總樣本數之比。精度Rpre(Precision)是指在預測為正類的樣本中真正類所占的比例。召回率Rrec(Recall)是指在所有的正類中被預測為正類的比例。F1得分(F1-Score),作為評價標準來衡量分類器的綜合性能。靈敏度Rsen(Sensitivity)即為真陽性是正確預測為正類的比例,特異度Rspe(Specificity)是正確預測為非正類的比例。計算公式為

(17)

(18)

(19)

(20)

(21)

除此之外,以真陽性率Rsen為y軸,假陽性率(1-Rspe)為x軸繪制了ROC(Receiver Operating Characteristic)曲線并計算ROC曲線下方的面積AUC,來評估本文的分類模型。ROC曲線圖中,越靠近左上角(0,1)的點對應的模型性能越好。

3.5 實驗結果

3.5.1 各模型的圖像分類性能比較

實驗中,改進的VGG模型訓練每一個epoch需要的平均時間為1 242.914 4 s,而傳統的VGG模型需要的平均時間為1 861.196 4 s,即改進的VGG模型訓練時間縮短。本研究將改進的VGG模型與VGGNet、ResNet50、Inception-v3等幾種常見的用于醫學影像分類的卷積神經網絡所得訓練結果進行比較。表1 和圖9 為4種模型的定量分析結果,可以看出測試集中改進VGG模型的各項指標均優于VGG模型,其中,圖片分類的平均準確率達到97.20%,平均精度達到93.97%,平均召回率達到93.97%,平均F1得分達到0.939 5,平均特異度達到98.05%。除改進的VGG模型外,其他模型都出現了過擬合現象,這是后續研究中需要改進的。造成這種情況的原因有:1) 高分辨率食管測壓圖譜成像的臨床操作中,很容易出現噪聲污染,且不同的圖片污染程度不同,這加大了特征提取的難度。2) 采集實驗數據并賦標簽的工作較為繁瑣,導致采集的實驗數據量較少,從而加大了訓練模型的難度。與PoS-ClasNet模型[13]相比,本文的模型在實驗中各項指標都有明顯的提升。綜上分析,雖然改進的VGG模型還有許多局限性,但是各項指標均有提升,因此,所得結果具有一定的參考價值。

表1 不同模型對高分辨率食管測壓圖譜分類的結果比較

圖9 4個網絡模型的ROC曲線圖

由圖9 可以看出,本文提出的改進的VGG模型最靠近點(0,1),AUC值達到了0.992 8,是全部模型中最大的,這說明本文的改進VGG模型在高分辨率食管測壓圖譜的分類中性能更好。

3.5.2 改進VGG模型的圖像識別性能

為了進一步說明本研究中的改進的VGG模型的優越性能,繪制了4類收縮活力分類的ROC曲線和混淆矩陣,如圖10 所示。由圖10(a) 可知,本文的改進VGG模型鑒別高分辨率食管測壓圖譜4類收縮活力的性能相差不大,其中,正常收縮的AUC值為0.995 6,全段增壓的AUC值為0.994 2,無效收縮的AUC值為0.993 0,弱收縮的AUC值為0.992 2。為了更好地考察改進VGG模型對每個類別樣本的預測標簽與真實情況的差異,本研究對測試集上的混淆矩陣進行了可視化。由圖10(b) 的混淆矩陣可以看出,實際標簽為無效收縮的圖片分類結果最好,其余圖片分類的準確率也都超過90%。表2 所示的定量指標也顯示了改進的VGG模型性能的優越性,除了正常分類的精準度略差外其余各項指標都達到了最優,并且分類的平均精度和平均特異度也較為優異,分別達到了97.20% 和98.05%。同時,除正常分類的精準度指標略差外,本文的改進VGG模型的其余所有各項指標都高于目前性能最好的Pos-ClasNet三分類模型。另外,本研究中各類樣本的數量不相等,其中,全段增壓僅為正常收縮的1/3,可能會影響改進VGG模型對特征的學習。但是,全段增壓的圖片分類效果比較好,說明全段增壓特征明顯,模型容易學習。相比之前的研究,本文模型能夠多辨別一類圖片,從而使臨床診斷更準確。

表2 4類收縮活力分類的結果比較

(a) ROC曲線

綜上所述,本文提出的改進VGG模型比傳統的VGG模型以及其他常見的醫學影像分類模型具有更為優異的性能。

3.5.3 VGG改進前后性能的消融實驗比較

為了評估本文提出的網絡的各個改進模塊,對數據進行消融實驗。實驗中比較了傳統的VGG模型、先加入Dropout的模型、再加入Batch Normalization的模型以及修改了卷積核的改進的VGG模型。修改卷積核后的VGG模型中第一模塊的卷積核為3×3,第二模塊的卷積核調為5×5,第三模塊的卷積核調為7×7,第四模塊的卷積核調為5×5。由表3 消融實驗的結果可以看出:與傳統的VGG模型相比,加入Dropout后模型的各項指標都有所提升; 再加入Batch Normalization后模型的準確率提升了1.85%,精度提升了0.89%,召回率提高了1.12%,F1-Score提高了1.25%,特異度提升了0.33%; 進一步修改卷積核后各項指標再次提升,其中,準確率提升了2.40%,精度提升了2.18%,召回率提高了1.18%,F1-Score提高了1.74%,特異度提升了0.35%。圖11 直觀展示了消融實驗中前30個epoch驗證集的精度,可以看出,改進的VGG模型精度曲線在其他三條曲線的上方,并且改進的模型未出現過擬合現象。以上結果表明,本文提出的方法具有良好的性能,模型識別圖片的能力得到了提高。

表3 消融實驗的結果比較

圖11 消融實驗中前30個epoch驗證集的精度

4 結 論

本文在傳統的高分辨率食管測壓圖譜鑒別方法的基礎上,提出了改進的VGG網絡模型,其中,添加了Batch Normalization層以及Dropout層,并增大了卷積核的大小,從而提升了高分辨率食管測壓圖譜分類的訓練速度,避免出現過擬合現象。以改進的VGG網絡為核心的NFWIC模型實現了正常收縮、全段增壓、弱收縮、無效收縮的細化分類,在四分類問題中的準確率達到97.20%,且各項指標性能都是最優異的。受限于食管動力障礙性疾病的診斷復雜性與數據集樣本數量的有限性,本文僅通過實現食管收縮活力的自動鑒別踏出了第一步,但距離完全實現人工智能診斷疾病還有漫長的道路。下一步將研究具有可解釋性的食管動力障礙性疾病的智能診斷算法,進一步結合最新的芝加哥分類建立食管的完整收縮模式以及食管完整松弛壓力的鑒別模型,最終形成一套完整的食管動力障礙輔助評估系統,實現食管動力障礙性疾病的快速精準的分類和高效診斷。