深度學習在兒科先天性心臟病超聲心動圖診斷的研究進展

陳訓藝, 夏焙, 陳偉玲

1汕頭大學醫學院深圳兒科臨床學院(廣東深圳 518038); 2深圳市兒童醫院超聲科(廣東深圳 518038)

先天性心臟病(簡稱先心病)是我國最常見的出生缺陷,也是導致新生兒和嬰幼兒死亡的主要原因。超聲心動圖是先心病首選的篩查和術前診斷方法。但兒科對象的年齡跨度較大,操作的復雜性和可重復性一直是臨床工作的難點。在不同層級的醫院之間,兒科心臟超聲報告與專家診斷意見不一致率高達38%,約60%可能影響治療方案及治療效果[1]。歐洲超聲心動圖學會(European Association of Echocardiography,EAE)指南建議,初級超聲醫師應接受至少半年的培訓,完成至少350次經胸超聲心動圖檢查方給予上崗,旨在提高醫療安全[2]。優秀的超聲心動圖醫生培養困難一直是行業內存在的問題。人工智能(artificial intelligence,AI)是一種能夠模擬、擴展人類智能及執行相關任務的新技術方法。假設AI方法可獲得與專家接近的診斷水平,將極大的提高對先心病的篩查和診斷效率。本文就深度學習在兒科先心病超聲心動圖診斷中的應用進展進行綜述。

1 AI在超聲心動圖的基本方法

1.1 機器學習與深度學習

1.1.1 機器學習(machining learning,ML) ML的基本原理是從數據中學習并獲得預測結果輸出,依據學習方法分為監督學習、無監督學習和半監督學習[3],這3種學習方法各具優勢,需要綜合擬解決的問題難度和數據類型,達到先心病診斷要求而綜合舍取。

1.1.2 深度學習(deep learning,DL) DL是機器學習的一個子集,經輸入大規模的高維度數據,構建深層的人工神經網絡并進行經驗學習訓練,從而獲得精準的預測模型。近些年來在大數據、模型、GPU三要素加持下,在心臟影像研究領域中,DL搭建出了一系列優秀的網絡,包括全連接網絡(fully connected network,FCN)、循環神經網絡(recurrent neural network,RNN)、卷積神經網絡(convolution neural networks,CNN)等,其中CNN為當前DL在醫學領域發展的最受關注網絡,其主流算法有Resnet、U-Net、DeepLab、SqueezeNet、GoogLeNet等[4],這已是在先心病研究中較為常用的網絡模型。

1.2 圖像分類與分割 AI研究兒科先心病的基本步驟包括對標準切面自動識別、心臟結構的自動分割和心臟功能自動評估等,獲得圖像診斷的預測模型,進而實現對結構性心臟病的診斷。其中,圖像分類是結構識別、分割、定位和定量的基礎。

1.2.1 圖像分類 圖像分類是將先心病圖像分類為具有醫學意義的不同類別。圖像分類的傳統流程包含特征提取與分類兩個模塊。常用的分類網絡有Alexnet、VGG Resnet、Resnet、Densenet、SqueezeNet GoogLeNet[5]。視圖分類是實現自動超聲心動圖診斷的初始步驟。一套完整的心臟檢查可能有70多個視頻,但由于先心病的結構、功能和心率差異較大,變異性相對較大,使先心病的圖像分類成為比較復雜的過程。雖然成人超聲心動圖切面的識別已經取得了一些進展,已經實現了對確定的靜態圖像進行識別,整體準確率也達到了84%,但這些對兒科先心病的診斷還遠遠不夠。Gearhart等[6]構建了小兒超聲心動圖視圖分類的CNN模型,實現了對27個切面的識別,總體準確率達到了90.3%。這個模型是迄今為止研究報道中最為全面的兒科超聲心動圖視圖分類器,與已發表的成人超聲心動圖視圖分類模型相比,性能甚至更好,當前國內劉貽曼等[7]通過改進密集連接網絡(DenseNet),實現了15個兒童心臟超聲標準切面的自動識別,對兒童超聲心動圖切面自動識別領域有了進一步補充。

1.2.2 圖像分割 圖像分割是指按照病變心臟中擬識別的目標結構,并結合圖像的相似性,將圖像劃分為不同區域,用于AI進行結構的學習和識別,是計算機視覺和圖像處理領域的基本內容。傳統的圖像分割方法如閾值法、邊界法、面積法等,是基于圖像的顏色、紋理和形狀等信息進行處理的。而AI采用的語義分割和實例分割具有更明顯的優勢。語義分割[8]是將視覺圖像的輸入劃分為初步可解釋類別。實例分割是在目標語義分割的基礎上,對同一個類別的影像進一步細化個體,得到更精細和準確的分類,從而進一步識別結構細節,在醫學的意義是用于識別判斷先心病診斷所需要的病理或生理性結構。先心病圖像分割的網絡框架主要有FCN、CNN和U-net等。這些分割網絡可以采用單一的,或綜合應用多種模型方法進行影像結構分割,目的是達到醫學專家級的精度和準度。例如,Hu等[9]采用了FCN-Unet-GAN即雙網絡生成對抗網絡(BiSeNet),對小兒心尖四腔圖的結構進行分割。

2 基于DL的超聲心動圖對先心病診斷分類

2.1 胎兒心臟畸形 在現行的分級醫療體系下,盡管80%的胎兒復雜心臟畸形得以診斷,但專業培訓程度、操作者的經驗、設備儀器等多因素影響,臨床上總體心臟畸形的產前檢出率仍低于30%,診斷的敏感性僅有40%～50%,值得研究應用AI方法提高篩查的普適性和檢出率。Arnaout等[10]使用了1 326例的107 823張18～24周的胎兒超聲檢查圖像進行模型訓練,采用基于CNN的Resnet,自動篩選出胎兒畸形的5個標準切面圖像。為了證明模型目標是提出具有臨床特征的圖像,作者采用了顯著性映射和Grad-CAM,顯示了模型的圖像分割、分類和特征提取的關鍵像素或區域結果,打破了DL網絡工作運行過程中的“盲盒”過程。在獲得標準切面的識別后,Resnet模型還實現了對正常與16種常見畸形結構的初步鑒別,并在內部測試集4 108例胎兒中,獲得診斷效能為受試者工作特征(ROC)曲線下面積為0.99,敏感度和特異度分別達到95%和96%,陰性預測值達到100%。在這個Resnet模型的圖像特征識別中,采用了三血管圖的主動脈與肺動脈的相對大小,心尖四腔圖的室間隔角度與右心的相對大小,來識別法洛四聯癥與左心發育不良綜合征。同時應用了改良的U-Net來識別四腔圖像中的心胸結構,實現對胎兒心胸比率、心軸和面積分數的自動測算,取得了與文獻其他作者報道較為一致的結果。作者認為,基于DL的Resnet可以使社區級別的產前篩查的敏感度及特異度增加1倍。國內龔玉新團隊[11]使用的基于生成對抗網絡的卷積神經網絡,實現了在胎兒超聲心動圖四腔圖對畸形的初步自動篩查,在他們的內部測試集中準確率也高達85%。由此可見DL在輔助產前胎兒心臟畸形的篩查,已經顯示出一定的潛力。

2.2 左心發育不良綜合征(hypoplastic left heart syndrome,HLHS) HLHS是以左心發育不全為特征的一組復雜畸形,手術單心室循環建立之后,遠期預后級差,與并發癥心力衰竭、三尖瓣的結構和功能異常有關,故實現對三尖瓣的準確分割成為HLHS治療方案與預后的關鍵。在對三尖瓣圖像分割中,經食管超聲心動圖三維圖像優于經胸超聲心動圖三維圖像,但小兒經食管超聲有一定局限性,研究多圍繞經胸超聲心動圖展開。Herz等[12]采用全卷積神經網絡對129例左心發育不良綜合征患兒的161組圖像展開研究,目標是實現對小兒三尖瓣的精準分割、定量評價和三尖瓣返流程度。在增加瓣環及瓣葉連接點標志等注釋后進行了監督學習,獲得的分割模型的骰子系數(dice coefficient,DICE)達到0.86,平均邊界距離(mean boundary distance,MBD)達到0.35,平均分割精度與專家相似,重復檢測的一致性高于專家的檢測結果。這是文獻中報道的首個個基于DL的兒科先天性心臟病中瓣膜分割的模型,為進一步開拓小兒先心病瓣膜結構和功能AI研究奠定了基礎。

2.3 室間隔缺損與房間隔缺損 室間隔缺損(ventricular septal defect,VSD)和房間隔缺損(atrial septal defect,ASD)同屬于兒科常見、相對簡單的先心病,但因不具備特別的心臟、血管的結構異常,缺損的部位和大小較為局限,診斷的延遲率較高,甚至到成年人才得以診斷,從而引起肺炎和肺動脈高壓等并發癥。Wang等[13]提出了基于CNN和RNN的端到端框架,對靜態圖像及和視頻進行自動分析,采用的數據集包含1 308例,其中10%為固定測試集,應用5個常用切面識別房間隔、室間隔,結合心房和心室容積大小變化,實現了對ASD與VSD的診斷。為了提高計算性能,彌補樣本不足導致的過擬合問題,作者在原AlexNet基礎上增加了深度可分離卷積(depthwise convolution,DSC)算法,進一步提高了網絡性能(5.4%),也減小了網絡的計算量(94%),最終在靜態圖像上,對正常心臟、ASD和VSD的診斷準確率達到95.4%,具體到區分兩種間隔缺損的準確率也有92.3%。在視頻圖像上診斷兩者的準確率則分別達到93.9%、92.1%。而如果僅使用心尖四腔圖,診斷準確率將會降低5%。因此,這是首個使用多視圖切面對先心病進行初步自動診斷的AI模型,比以往報道的單切面更加全面。Jiang等[14]使用深度學習模型于7個常用兒科超聲心動圖標準切面的二維及彩色多普勒圖像上,實現自動診斷包含ASD、VSD在內的3種簡單先心病,準確率可達92.3%。其他使用的卷積網絡模型輔助室間隔缺損和房間隔缺損的還有IFT-Net[15]、EchoNet[16]等網絡。

2.4 主動脈縮窄(coarctation of the aorta,CoA) CoA占先心病的4%～6%,重癥CoA是導管依賴性先心病,胎兒期和新生兒期診斷是決定嬰兒能否得以存活的關鍵。Coa病變進程受主動脈發育和流經血流量影響,胎兒期的心腔的變化可以不明顯,產檢診斷的假陽性和假陰性較高,有較大的局限性,文獻報道的部分CoA的產前檢出率僅為21.7%～52%。新生兒期CoA的篩查成為超聲心動圖的重要內容。Pereira等[17]提出了基于3個常用標準圖像,即胸骨旁長軸圖、心尖四腔心圖、胸骨上窩圖,采用機器學習的全自動算法實現了對新生兒CoA的自動診斷。該算法主要用堆疊降噪自動編碼器(SDAE)進行特征提取,支持向量機(SVM)進行分類。主要方法是經胸骨上窩主動脈長軸圖及胸骨旁左室長軸圖上,觀察主動脈動脈導管相鄰處附近有無明顯的內徑異常。其中心尖四腔圖雖然不能夠得出CoA的診斷,但可以提供左心室增大等間接診斷信息。采用兩個模型后,準確率最高的是胸骨旁左室長軸圖與心尖四腔圖的組合。而基于上述3個圖像的運算,包含90例數據(26例CoA)的驗證集,最終結果為總錯誤率12.9%,假陽性率11.5%,假陰性率13.6%。盡管這一結果還有待提升,但仍然優于采用心臟雜音加脈搏血氧儀進行篩查結果。盡管在先心病中CoA的占比不高,但鑒于CoA的嚴重不良預后,加強CoA診斷方法研究也有助于與其他復雜先心病的鑒別診斷。

2.5 動脈導管未閉(patent ductus arteriosus,PDA) PDA是最常見的先天性心臟病之一,約占先天性心臟病的10%～21%,僅次于房間隔缺損與室間隔缺損。PDA常無明顯臨床癥狀,晚期可引起嚴重肺動脈高壓,出現右向左分流時還能引起患兒發紺。盡管PDA的診斷并不困難,但初級醫生還是有一定概率會漏誤診PDA。Erno等[18]訓練基于CNN的深度學習模型,在自動診斷PDA上敏感度達到0.83,特異度達到0.89,同樣的研究關于PDA的自動診斷還有Jiang等[14]。

3 AI超聲心動圖對先心病心臟功能的定量分析

左心室射血分數(left ventricular ejection fraction,LVEF)是超聲心動圖最為常用的心臟收縮功能指標。傳統手工勾畫圖像后獲得左心室舒張末期和收縮末期容積的方法獲得LVEF。這種方法在觀察者之間存在差異,對急重癥者耗時仍然較長。自動測量EF在成年人超聲心動圖中取得了較好的進展,Knackstedt等[19]應用最新版,具有機器學習輔助計算模型TomTec工作站,獲得了接近專家診斷水平的LVEF,耗時僅8 s。Ouyang等[20]利用DL模型ECHO-NET實現了左心室的幀級語義分割,初步實現了對左心室舒張末期容積、每搏輸出量和射血分數的自動計算。兒科LVEF自動計算的研究為數不多,Zuercher等[21]遷移了成年人的EchoNet-Dynamic模型,嘗試用于兒科患者。該數據集包含267例正常心臟、54例擴張型心肌病。經改良EchoNet-Dynamic模型計算出兒科對象的LVEF,MAE為4.47%,均方根誤差(RMSE)為5.54%,平均絕對百分比誤差(MAPE)為7.57%、R2為0.87,這種應用于成人預測模型在對心臟時空特征提取有一定幫助,但應用于兒科仍有較大的局限性,尤其是成人與兒童心率和心臟解剖學大小、形狀的差異較大,仍然需要較大的兒科超聲心動圖數據進一步訓練。

在兒科超聲心動圖心腔容積的計算中,也有采用的EchoNet-Peds[22]及MAEF-Net模型[23],但均還不足以獲得臨床診斷效果,關鍵問題還是DL模型中的分層級數據訓練不足。

4 涉及AI的干預的超聲心動圖臨床試驗

AI技術在臨床醫療應用以來,DL技術得以廣泛應用,尤其是在疾病的篩查與分診、診斷與預后評估,以及決策支持與治療建議等諸多方面研究有了較大的進展,但仍然存在AI技術在臨床試驗中的倫理、法規的空白區域?，F行的相關指南(SPIRIT和CONSORT)適用于傳統的健康干預措施和臨床研究,但并未充分解決AI系統特有的潛在問題。2020年9月9日,權威雜志《Nat Med》《BMJ》《The Lancet Digital Health》同步發了指南《Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension》[24-26]和《Reporting guidelines for clinical trial reports for interventions involving artificial intelligence:the CONSORT-AI extension》[27-29],SPIRIT-AI和CONSORT-AI為如何設計、開展和報告涉及AI的臨床試驗提供了框架。其中SPIRIT-AI是對臨床試驗方案指南SPIRIT 2013的擴展,CONSORT-AI是對臨床試驗報告指南CONSORT 2010的擴展?；趯I的方法學和倫理學,該指南分別在原有基礎上增加15及14個新條目,強調了新增條目對評估AI介入效果非常重要,包括對AI介入環節進行清晰的描述、使用說明、使用AI所需的技能、AI的集成環境、AI輸入和輸出、人機交互細節和提供錯誤案例分析等,目標是提高臨床試驗的安全性和倫理性,這部指南為AI系統的超聲心動圖臨床試驗提供了第一個國際標準,尤其是涉及先心病的診斷和治療。SPIRIT-AI、CONSORT-AI的推出,旨在幫助提高針對AI介入臨床試驗的透明度和完整性,解釋和嚴格評估臨床試驗設計的質量以及報告結果存在偏倚的風險,但其也有不足,其主要針對的是監督學習,并未對無監督學習和半監督學習提供研究準則。

5 問題與展望

5.1 AI與數據 數據集的標準化不足,是DL超聲心動圖中的首要難點,這與多中心之間互通病例和存儲圖像不規范、不完整有關,難以達到DL訓練時對病例的“見多識廣“的要求;人工標注的精度不足,用于訓練的標注應該是正確的,但超聲專家因繁忙,往往是工科或醫科初級學生承擔,標注的誤差較大,影響了模型的準確性。例如即使是當前世界上最大的圖像識別數據庫ImageNet也存在著約6%的標簽錯誤[30]。

5.2 AI與臨床 基于AI超聲心動圖是為了更好地解決臨床問題,而不是為了發展AI而將其與臨床問題強行掛鉤,本末倒置。AI與臨床醫生不應該是競爭或者替代關系,兩者應該是相互促進。AI可以幫助臨床醫生充分利用現有數據,減輕人工負擔;臨床醫生也可以利用自己的專業知識及臨床經驗對AI模型的改善提出建議,促進AI模型的改良,并對AI作出的預測結果是否合格或正確做最終的定奪。

綜上所述,以DL為基礎的AI輔助小兒先心病的篩查和診斷,已經初現出臨床應用前景,應用于臨床決策支持、智能地向臨床醫生提供有效的支持,或是將AI結果與患者的醫療條件和數據相關聯,實現AI的真實場景應用,仍需要多學科、多中心合作,建立完整公開數據庫,增強AI模型在兒科超聲先心病診斷的泛化能力。

利益相關聲明:所有作者均聲明不存在利益沖突。

作者貢獻說明:陳訓藝負責檢索、翻譯文獻及論文撰寫;陳偉玲、夏焙負責指導和論文修改工作。