?

深度學習在口腔醫學影像中的應用與挑戰

2024-03-20 10:31趙陽李俊誠成博棟牛娜君王龍光高廣謂施俊
中國圖象圖形學報 2024年3期
關鍵詞:齲齒全景醫學影像

趙陽,李俊誠*,成博棟,牛娜君,王龍光,高廣謂,施俊

1.上海大學通信與信息工程學院,上海 200444;2.西安電子科技大學計算機科學與技術學院,西安 710000;3.南京醫科大學口腔醫學院,南京 210000;4.空軍航空大學電子科學學院,吉林 130022;5.南京郵電大學先進技術研究院,南京 210003

0 引言

口腔健康是世界衛生組織確定的人體健康十大標準之一,在一定程度上反映了人體健康和生命質量??谇患膊〔粌H會帶來牙齒疼痛、咀嚼功能下降、影響發音和面部美觀等問題,更嚴重的是口腔疾病的病菌可能成為許多全身系統性疾病的危險因素(He 等,2015)。因此盡早發現和治療口腔疾病對人體健康至關重要。

在口腔醫學領域,醫學影像技術的應用為口腔疾病如:齲病、根尖周炎、牙周炎、口腔頜面部囊性病變等的預防、診斷和治療帶來了極大便利。然而,傳統的醫學影像分析很大程度上依賴于醫生的臨床經驗,存在較強的主觀性(施俊 等,2020)。同時,基于計算機輔助的醫學影像存在由于交互性復雜使得診斷效率低下的問題,加之口腔醫學領域放射科醫師數量嚴重不足,因此迫切需要引入新的智能技術幫助醫生提高診斷效率和準確性,同時拓展醫學影像技術在口腔臨床診療中的應用。

隨著人工智能技術的快速發展,口腔行業也正式進入了智能診療時代。人工智能改變了傳統意義的口腔醫學臨床實踐,逐步成為口腔醫學發展的必然趨勢。目前,以深度學習為代表的人工智能技術已廣泛應用于口腔醫學影像相關的任務中,并且取得了顯著性成果(Park 和Park,2018;郭闖 等,2020)。

目前,二維X 射線影像(包括咬翼片、根尖片和全景X 光片)、三維點云/網格影像和錐形束計算機斷層掃描(cone beam computed tomography,CBCT)影像是3 類常用的醫學影像?;谶@些影像的處理任務主要聚焦于:1)牙體疾病檢測(如齲齒檢測等);2)牙周疾病檢測(如牙周炎、根尖炎檢測等);3)非牙體疾病檢測(如囊腫檢測等);4)口腔正畸(如牙齒檢測與分割、頭影檢測等);5)牙體種植(牙槽骨評估、下牙槽神經識別等);6)口腔頜面外科(上下頜骨分割、頜面腫瘤檢測等)。

為推動智慧口腔建設并幫助口腔影像智能處理領域的研究者進行高效的探索和臨床應用開發,本文聚焦深度學習技術在口腔醫學影像領域中的應用。不同于先前工作以臨床任務為分類依據,本文以口腔醫學領域中常用的3類醫學影像為分類依據,深挖各類影像數據下的具體應用。這種分類方法有助于讀者更直觀地了解各類口腔影像數據的特點,并方便研究人員根據相關特點開展具體的應用研究。

本文首先闡述深度學習在臨床口腔診療中常用的3 類影像數據(二維X 射線影像(包括咬翼片、根尖片和全景X 光片)、三維點云/網格影像和錐形束計算機斷層掃描影像,如圖1 所示)中的應用現狀,整體架構如圖2 所示,隨后對該領域存在的問題及挑戰進行全面的探討和分析,最后總結該領域的現狀并對未來的研究方向做出展望。

圖1 口腔醫學影像類別Fig.1 Different types of dental imaging((a)2D oral X-ray images;(b)3D point cloud/mesh image;(c)CBCT image)

圖2 深度學習在口腔醫學影像中的應用概覽圖Fig.2 Overview of the application of deep learning in dental imaging

1 二維口腔X射線影像

口腔醫學影像主要分為口內和口外X 光片,在牙科中,這些圖像經常用于醫學診斷。牙科X 光片可以在早期發現口腔、頜骨和牙齒的病變、牙齒骨質流失、囊腫等問題,有助于解決口腔評估無法可視化的問題。

二維口內X 射線影像包括:1)咬翼片影像。咬翼片影像主要用于檢測上下牙齒排列的信息。2)根尖片影像。根尖片在單個X 射線影像中提供包含3~4 顆牙齒的牙根和周圍牙槽骨的信息。二維口外X 射線影像包括:全景X 射線影像。全景X 射線影像攝取整個牙齒結構,同時提供了頭骨和下頜的相關信息,主要用于頜骨疾病、牙齒骨質流失等的檢查和評估。本節主要介紹深度學習技術在二維口腔X射線影像處理中的研究現狀。

1.1 深度學習在咬翼片影像中的應用

1.1.1 基于深度學習的咬翼片齲齒檢測

咬翼片通常顯示從犬齒遠端到最遠端磨牙的接觸面,提供近乎平行的上下頜牙齒影像,能清晰顯示牙齒表面的細微結構和由于齲齒引起的礦物質損失。根據該特點,在口腔醫學影像處理中,咬翼片主要用于診斷近端表面齲齒,評估齲齒的程度,識別現有修復下的繼發齲齒等。

傳統的咬翼片齲齒病變檢測和評估方法存在可靠性低和局限性強的問題(Schwendicke 等,2015)。利用卷積神經網絡(convolutional neural network,CNN)可以自動地從大量數據中學習特征表達,實現高度非線性映射,從而有效解決傳統評估方法存在的問題。Srivastava 等人(2017)提出了一個由超過100 層的深度全卷積神經網絡(fully convolutional neural network,FCNN)組成的模型來自動檢測咬翼片上的齲齒,取得了不錯的效果,但是該網絡參數量過大,浪費大量計算資源;蔣蕓等人(2019)提出了一個基于對抗生成網絡的輕量級模型進行咬翼片的齲齒檢測,提高了準確率,且計算量小于FCNN方法。

齲齒檢測的另一難點在于難以檢測早期的牙釉質病變,針對此問題,Cantu 等人(2020)以U 型深度卷積神經網絡U-Net(Ronneberger 等,2015)為基礎,通過3 293張標注過的咬翼片訓練提出的網絡,在該研究中,深度學習模型的準確性、敏感性、特殊性和F1 評分分別為80%、75%、83%和73%,結果表明大多數牙科醫生對早期牙釉質病變的檢測水平不如該模型;Lee 等人(2021)同樣采用U-Net 開發了一個基于CNN 的模型,用于檢測咬翼片上的齲齒,研究表明,3 名牙科醫生以該模型的結果作為參考數據檢測齲病時,診斷準確度都得到了顯著提高;Bayrakdar等人(2022)提出了一種基于VGG-16(Visual Geometry Group 16)(Simonyan 和Zisserman,2015)和UNet 架構的模型,用于自動檢測和分割齲齒,研究結果表明,該模型在咬翼片的齲齒檢測和分割上取得了很好的效果;Vimalarani 和Ramachandraiah(2022)利用基于深度梯度(deep gradient,DG)的LeNet(Lecun 等,1998)分類器模型(DG-LeNet)對提取和選擇的特征進行分類,通過對正常和異常圖像進行分類以及檢測牙齒圖像的齲齒區域對齲齒進行診斷,該模型總體準確率為98.74%,靈敏度為91.37%,特殊性為98.92%,錯誤率為0.049%,與已有模型相比,齲齒檢測效果提升顯著。

總之,基于深度學習的方法在咬翼片齲齒檢測中表現出巨大潛力,可以在常規臨床實踐中幫助醫生快速、準確、可靠地檢測齲齒,以解決因醫生疲勞、粗心、經驗差異等帶來的誤診。相比于全卷積FCNN 網絡,U-Net 架構在咬翼片齲齒檢測中應用廣泛并且在檢測早期牙釉質病變上表現良好。不過目前針對咬翼片齲齒檢測的研究方法性能趨于飽和,尤其是基于DG-LeNet 模型的齲齒檢測精度高達98.74%,后續應該注重模型在不同數據集上的泛化能力和與臨床實際應用的接軌。

1.1.2 基于深度學習的咬翼片牙齒檢測與編號

對咬翼片進行檢測和編號可以幫助醫師鑒定齲齒或者目標牙齒的位置和形態等信息,有助于準確記錄和追蹤特定牙齒的治療歷史和進展情況。

早期的方法通常采用傳統的圖像處理技術,例如Said等人(2004)結合不同的圖像增強技術來進行咬翼片的牙齒分割,Lin等人(2010)利用牙齒的區域和輪廓信息來進行編號,但是效果并不理想。

研究人員利用深度學習的方法對咬翼片進行檢測、分割和編號,取得了不錯的效果。Yasa 等人(2021)基于Fast R-CNN 提出一種用于咬翼片牙齒檢測和編號的創新方法,該方法的檢測精確率可以達到97.48%。然而,需要注意的是,該方法的數據集在收集過程中未考慮種植牙和畸形牙等情況,需要進一步驗證該方法的魯棒性和泛化能力。Tekin等人(2022)在其研究中采用了Mask R-CNN 結構,設計了一種新的方法用于咬翼片的分割和編號,經過200 輪訓練,該方法的分割精度達到92.70%,編號準確率達到91.23%。盡管該方法的分割和編號具有很高的性能,但是由于該方法采用對稱口腔解剖,容易出現錯誤分類。

咬翼片檢測和編號在牙齒分析和診斷中具有重要意義,但也存在一些問題需要解決。1)咬翼片只能提供部分牙齒的信息,無法呈現整個口腔的整體情況。這可能導致遺漏其他牙齒的異?;蛘w結構問題的評估不準確。2)目前大多數咬翼片檢測和編號方法都基于CNN,這種方法在處理圖像特征上表現出色,但也存在一些局限性,需要進一步探索其他方法來提高咬翼片檢測和編號的準確性和可靠性。3)保證數據集的多樣性和特殊情況也是必要的,以確保咬翼片檢測和編號方法在不同口腔狀況下的魯棒性和泛化能力。

1.2 深度學習在根尖片影像中的應用

不同于咬翼片對牙齒接觸面的成像,根尖片通過準確的定位和特定區域成像,能夠顯示根尖周圍以及齒間隙的細微結構和病變,如根尖感染和牙周感染等,是一種對齲齒、根尖周炎等牙科硬組織疾病診斷必不可少的口腔醫學影像。根據該特點,在口腔醫學影像處理中,根尖片主要用于檢測和評估根尖區域齲齒、牙周炎和根尖炎等疾病。

1.2.1 基于深度學習的根尖片齲齒檢測

隨著人工智能的發展,支持向量機(support vector machine,SVM)和人工神經網絡引入到口腔醫學影像的病灶檢測中,相比于“基于規則”的計算機算法,這些方法取得了較好的效果(Yu 等,2006;El-Bakry等,2008;Tumbelaka等,2014)。但是在上述研究中,將圖像特征傳遞給SVM 或者人工神經網絡之前,需要手動定義和預計算。

近年學者將深度學習技術引入到口腔根尖片影像應用中,避免了手動定義特征(Chen 等,2021)。Geetha等人(2020)采用反向傳播神經網絡,利用105張牙醫標注過的根尖片訓練神經網絡來檢測齲齒,該系統檢測準確率可以達到97.1%。然而經典反向傳播的網絡參數太大,計算成本高,且該實驗數據量較低,可能存在過擬合問題。

如前所述,根尖片通常用于檢查牙齒根尖周圍的病變,在表面齲齒病變的檢測上,根尖片的能力有限,表現不如咬翼片。但是由于根尖片展示了根尖周圍的細微結構,對于根尖周圍的齲齒檢測優于咬翼片。由于臨床上大多患者齲齒發病在牙齒表面和牙間隙,因此基于根尖片的齲齒檢測研究較少。

1.2.2 基于深度學習的根尖片牙周炎與根尖炎檢測

基于根尖片影像,利用深度學習方法來檢測牙周炎和根尖炎的方法開始涌現:例如Prajapati 等人(2017)采用CNN 和遷移學習策略搭建深度學習模型,利用251 張根尖片(其中80 張存在齲齒,110 張存在根尖炎,61 張存在牙周炎)訓練提出的網絡,最終齲齒的識別準確度為87.5%,根尖炎的識別準確度為90.0%,牙周炎的識別準確度為87.5%;不過該方法的數據集影像數量較少,為了避免過擬合問題的影響,Li等人(2022)采用了包含4 129張根尖片的數據集訓練基于ResNet-18設計的網絡,對根尖炎的檢測準確率為83.67%。

目前,對于基于根尖片的齲齒、牙周炎、根尖炎檢測的研究還沒有統一的公開數據集,盡管部分方法達到了很高的準確率,但是不能否認存在過擬合問題,這導致模型的泛化能力降低。數據集的數據數量和質量在很大程度上影響方法的效果,因此構建統一的大型公開數據集仍亟待解決。

1.3 深度學習在全景X光片影像中的應用

與咬翼片和根尖片不同,全景X 光片除了能夠顯示口腔中全部牙齒和牙齦外,還包括了上下頜骨、頭骨、脊柱和其他骨骼的結構,提供了口腔整體情況的綜合信息。根據這些特點,在口腔醫學影像處理中,全景X 光片通常用來進行牙齒檢測、編號和分割,以提供給醫生不同牙齒的位置和形狀等信息。此外,由于全景X 光片還顯示了牙根,牙槽骨等結構,因此也常用于非牙體疾病的檢測和評估。本節重點介紹深度學習技術在全景X光片中的3類應用場景:1)牙齒檢測和編號;2)牙齒分割和編號;3)非牙體疾病檢測中的應用。

1.3.1 基于深度學習的全景X 光片牙齒檢測和編號

牙齒的形狀、數量和位置是牙醫在通過X 光片檢查患者口腔問題時的主要目標,牙齒自動檢測和編號可以幫助醫生做出更好的判斷。2019 年之前,大多數基于全景X光片的深度學習方法應用研究都局限于牙齒檢測(Oktay,2017;Wirtz 等,2018;Jader等,2018;Lin 等,2018;Kim 等,2019)。2019 年,Tuzoff 等人(2019)首次將深度學習方法應用于全景X 光片牙齒檢測和編號。該研究使用了兩個神經網絡模型:第1個是Faster R-CNN,用于輸出邊界框;第2個是VGG-16,用于對牙齒進行編號。然而,采用兩個神經網絡模型的方法存在一定的復雜性,所采用的啟發式方法會導致結果出現不良特征。為了解決這一問題,Chung 等人(2021)采用了一個基于逐點牙齒定位的神經網絡,首先進行32 個點的中心點回歸,每一個點代表成人口腔中一顆牙齒的位置,由于不考慮牙齒是否存在,網絡允許自動分配標簽,隨后細化牙齒中心,并以級聯的方式確定邊界框。對于牙齒缺失的情況,該方法依然可以對所有牙齒進行相對準確的標注和編號。

1.3.2 基于深度學習的全景X 光片牙齒分割和編號

隨著計算機技術的發展,計算機輔助設計(computer aided design,CAD)系統在各個領域得到了廣泛的應用。世界上大多數牙科診所也相繼采用CAD 系統來制定治療計劃,例如正畸治療等。牙齒分割、分類和標記是這些CAD 系統中最基本和最關鍵的組成部分。

Silva等人(2018)對基于全景X光片的傳統牙齒分割方法做了綜述,提出了運用深度學習的方法來進行牙齒分割的想法,并給出了一個由1 500張全景X 光片構成的數據集。此后,基于深度學習方法的全景X 光片牙齒分割和分類的學術研究開始涌現,例如:基于Mask R-CNN 的牙齒實例分割(Jader 等,2018)、基于耦合形狀模型與神經網絡相結合的牙齒分割(Wirtz 等,2018)、基于端到端神經網絡的牙齒分割和編號(Silva 等,2020)、基于R-CNN 的牙齒實例分割(Lee 等,2020a)、基于CNN 的牙齒語義和實例分割(Cha 等,2021)以及基于Mask R-CNN 的牙齒實例分割和編號(Pinheiro等,2021)。

受Silva等人(2018)啟發,Jader等人(2018)利用Silva 等人(2018)給出的數據集,提出了一種基于Mask R-CNN 的牙齒實例分割模型,如圖3 所示。該研究首次嘗試利用深度學習方法在口腔全景X光片上進行牙齒分割,其工作具有開創性,為此后研究提供了新的思路。不過,該模型只能進行牙齒的檢測和分割,無法對牙齒進行精確的編號。針對此問題,Pinheiro等人(2021)同樣采用Mask R-CNN提出了一個新的牙齒分割模型,該模型除了可以完成牙齒分割任務,還對每個牙齒進行了精準的編號,但是該方法提取的特征信息較單一?;谔崛⌒畔我坏娜毕?,Zhao 等人(2021)對該方法進行了改進,考慮到牙齒的類別信息與性狀位置信息融合提取的問題,在原有方法的基礎上采用融合跳躍結構對Mask RCNN 模型中的分割分支進行改進,有效解決了原分割模型在分割分支中語義信息提取不足的問題。

圖3 基于Mask R-CNN分割系統訓練過程圖(Jader等,2018)Fig.3 Training process of the segmentation system based on Mask R-CNN(Jader et al.,2018)

基于Jader等人(2018)的研究,Silva等人(2020)總結了基于深度學習的全景X光片牙齒分割方法的一般模型(如圖4 所示),并對全景X 光片的牙齒檢測、分割和編號進行了深入研究??梢钥吹?,該模型與Jader 等人(2018)提出的模型類似。但是該研究的新穎之處在于:1)除了牙齒檢測和分割,該模型還可以實現牙齒的精確編號;2)對于神經網絡結構的選擇,不再局限于Mask R-CNN,還采用了PANet(path-aggregation network)(Liu 等,2018)、HTC(hybrid task cascade)(Chen 等,2019a)和ResNeSt(split-attention network)(Zhang 等,2022)結合級聯R-CNN(Cai 等,2019)。研究結果表明,通過端到端深度網絡來實現全景X 光片的牙齒檢測、分割和編號是可行的,其中采用PANet取得了最佳結果,值得注意的是,該研究使用的網絡模型采用了更大的訓練和驗證數據集。

圖4 基于深度學習的全景X光片牙齒分割方法一般模型圖(Silva等,2020)Fig.4 General model of panoramic X-ray tooth segmentation method based on deep learning(Silva et al.,2020)

綜上所述,深度學習方法在全景X 光片影像的牙齒編號、檢測和分割任務上效果相比傳統方法提升顯著,但是目前仍存在一些突破點:1)金屬偽影的影響。部分患者可能佩戴有金屬牙套或者金屬種植牙等,這些金屬制品會嚴重影響成像質量,如何降低或者消除金屬偽影至關重要。2)畸形牙齒的處理。部分患者存在牙齒畸形如多牙、缺牙和牙列擁擠等,造成全景X 光片存在重疊等問題,限制了對牙齒的結構分析,可以考慮融合其他類型影像處理。

1.3.3 基于深度學習的全景X 光片非牙體疾病檢測

1)基于深度學習的全景X光片牙周炎檢測。牙周炎已經成為世界第6 大流行疾病,嚴重時會造成牙齒脫落、咀嚼功能障礙等風險(Tonetti 等,2017)。Chang 等人(2020)提出了一種利用深度學習架構與傳統CAD 架構混合方法在全景X 光片上自動檢測和分類單個牙齒牙槽骨吸收程度的CNN 模型,該模型可以自動檢測牙槽骨、牙長軸和釉牙本質界,對牙槽骨吸收程度進行自動分析分類并根據2017 年牙周病和植體周病國際分類研討會提出的新標準對牙周炎的病變程度進行分類。研究結果顯示,該模型的自動分類結果和放射科醫生診斷的Pearson 相關系數整體為73%,整個頜骨內相關系數為91%,這表明基于深度學習方法的CNN 模型在牙槽骨吸收自動分析和牙周炎程度分期的自動診斷中具有較高的準確性和良好的可靠性。

2)基于深度學習的全景X 光片下牙槽神經檢測。如果下頜阻生智齒與下牙槽神經距離過近,智齒拔除后可能會引發神經損傷,因此在拔除下頜阻生智齒之前需要根據醫學影像圖像來判斷阻生智齒和下牙槽神經之間的位置關系。Vinayahalingam 等人(2019)開發了一種自動檢測和分割全景X光片中第3 磨牙(third molar,M3)和下牙槽神經(inferior alveolar nerve,IAN)的系統。作為參考,作者對81 張全景X 光片人工分割M3 和IAN,并將基于U-Net 的深度學習方法應用于參考數據來訓練CNN。結果顯示,該系統分割M3和IAN的Dice系數分別為94.7% ± 3.3%和84.7% ± 9.9%。這表明深度學習是分解解剖結構的有效方法,不過該算法還需進一步優化來提高分割IAN的精確度。

3)基于深度學習的全景X光片腫瘤檢測。成釉細胞瘤(ameloblastoma,AME)和牙源性角化囊腫(odontogenic keratocyst,OKC)都是起源于牙源性上皮的良性囊腫病變,兩者在醫學影像中特征相似,但是治療方法不同,準確診斷兩種病變有助于醫師制定合適的治療計劃。Poedjiastoeti 和Suebnukarn(2018)開發了一個利用CNN 檢測和鑒別全景X 光片中的成釉細胞瘤和牙源性角化囊腫的系統,結果表明該系統表現出較高的診斷準確性。由于大量病變樣本的收集和標記十分耗時,且現有的基于深度學習的方法缺乏解釋性,Yu 等人(2022)提出了一種基于深度學習方法的新思路:通過健康人的大量全景X光片來診斷頜骨囊腫和腫瘤。該方法在收集到的872 個病變樣本和10 000 個健康樣本的基礎上,提出了一個用于頜骨囊腫和腫瘤分類的雙分支網絡。該雙分支網絡首先對大量健康人全景X光片進行預訓練,然后進行樣本類別分類和病灶區域分割的訓練。結果顯示,該系統分類的平均準確率、精密度、靈敏度、特異性、F1 評分分別為88.72%、65.81%、66.56%、92.66%、66.14%,這表明該方法對頜骨囊腫和腫瘤的診斷效果良好,分類的種類和病變區域的分割為進一步的診斷提供了依據,為頜骨腫瘤和囊腫的診斷提供了可靠的工具。

綜上所述,全景X 光片在各類非牙體疾病檢測中得到了廣泛應用。不過,需要注意的是,全景X光片的分辨率較低,不能提供和咬翼片以及根尖片類似的細節信息,不適用于一些需要高分辨率圖像的應用。因此,未來的研究應當聚焦于:1)利用圖像處理和增強技術提高全景X 光片分辨率;2)注重多模態融合學習的研究,以融合不同影像的優勢。

2 三維牙齒點云/網格影像

口腔正畸技術可以在一定程度上解決由于齙牙、牙列不齊、牙齒稀疏等帶來的面部不美觀等問題。牙體種植可以修復缺失的牙齒,恢復患者正常咀嚼功能,改善患者頜面美觀。為了創建針對不同患者的牙齒正畸和牙體種植的治療計劃,需要對患者的牙齒進行分割,并標記相應的解剖學標注,以分析并重新排列牙齒位置。前文所述的二維口腔X射線影像僅提供了患者牙齒在一個平面上的投影,缺乏牙齒的深度信息,在口腔正畸和牙體種植等領域存在一定局限性。

與二維口腔X 射線影像相比,三維牙齒影像是利用口內掃描儀(intraoral scanner,IOS)對患者口腔進行實時掃描和重建得到的數字化三維口腔模型,從本質上來說是一種由無序的點云或網格組成的三維非結構化數據。三維牙齒點云/網格影像展示了患者牙齒的完整三維結構信息,可以準確定位每顆牙齒的位置,并且展示牙齒的全貌,包括形狀、大小和曲度等,具有高效、安全等優點。

三維牙齒點云/網格影像忽略牙髓等牙齒內部結構的信息,在牙體疾病檢測和評估方面應用較少。但由于其高精度的牙齒細節展示、非侵入式安全成像以及支持數字化的數據處理和分析的優點,使其在口腔正畸學和牙體種植學的子任務——牙齒分割中得到了廣泛應用。目前,即使有大多數商業軟件(通常為集成半自動算法)提供的幫助,手動進行牙齒分割和標注也是十分耗時的,臨床上迫切需要全自動的方法來代替人工操作。

本節重點介紹利用三維點云/網格牙齒影像進行牙齒分割和標記的深度學習方法。

2.1 基于全監督學習的三維牙齒分割

全監督學習是指給定訓練樣本以及對應的像素或體素級標注情形下的學習策略。目前,針對IOS 網格的牙齒分割問題,已經有大量研究進行了嘗試。

傳統基于幾何的方法依賴于從IOS 網格中手工提取特征(Kumar 等,2011;Fan 等,2015;Li 和Wang,2016),并且這些方法并不是全自動的,通常需要人工干預進行交互或后續處理以糾正錯誤結果。近年來,學者們提出了許多基于深度學習的全監督方法(Xu等,2019;Tian等,2019;張凌明 等,2022;Wu等,2022),具有較好的三維牙齒分割效果。本節介紹兩類經典的基于全監督學習的深度網絡模型。

2.1.1 多階段分級網絡模型

Xu 等人(2019)提出了一個兩階段的牙齒分割方法。如圖5 所示,在網絡模型中,第1 階段用于牙齒—牙齦分割;第2 階段用于齒間分割。同時,作者還提出了一種新的邊界感知牙齒簡化方法,用來提高特征提取階段的效率,此外還采用了改進的模糊聚類算法來進一步細化分割邊界,取得了不錯的效果。

圖5 基于兩階段分級網絡結構牙齒分割模型圖(Xu等,2019)Fig.5 Tooth segmentation model based on two-stage hierarchical network structure(Xu et al.,2019)

Tian 等人(2019)同樣采用了兩階段分割方法,不同于Xu 等人(2019)的研究思路,圖6 給出了該方法的網絡結構,其中第1 階段用于牙齒分割,第2 階段用于牙齒分類。同時,作者在分割層采用了3 階段,其中seg-1 階段用于牙齒—牙齦分割,seg-2 和seg-3 階段用于齒間分割。另外,該方法利用稀疏體素八叉樹對原始數據進行處理得到簡化模型,再利用簡化模型進行預特征提取。

圖6 基于多階段分級網絡結構牙齒分割模型圖(Tian等,2019)Fig.6 Tooth segmentation model based on multi-level hierarchical network structure(Tian et al.,2019)

盡管這些采用多階段的基于深度學習的牙齒分割方法相比于傳統的幾何分割方法具有更好的性能,然而由于多階段方法本身固有的限制,上一階段出現的錯誤無法及時在下一階段得到糾正,在一定程度上影響了模型的分割性能。

2.1.2 端到端網絡模型

采用端到端牙齒分割結構可以避免多階段分級網絡帶來的問題,進一步提高系統性能。受Point-Net(Li 等,2018)的啟發,許多學者提出了基于端到端的網絡模型,如Zanjani 等人(2021)提出了Mask-MCNet 結構,通過預測每個牙齒的三維邊界框來分割每個牙齒實例。該模型不采用體素化或者下采樣技術,以原始空間分辨率處理輸入的原始數據,這種方式可以保留數據中的精細細節,如相鄰牙齒邊界的精細曲率,以滿足臨床實踐(如正畸治療等)所需的高度精確的分割。李占利等人(2020)運用圖卷積網絡選取牙齒種子點,解決了牙齒分割中需要進行交互標記的問題,基本實現了自動化牙齒分割。為了捕獲細粒度的局部環境,提高系統識別不同形狀和外觀的牙齒,Lian 等人(2020)提出了MeshSegNet用于在原始牙齒表面進行自動牙齒標記。該模型集成了一系列圖約束學習模塊來分層提取多尺度局部上下文特征,但是該模型是在包含14 顆牙齒的理想牙弓數據集上進行訓練的,然而在臨床實踐上的口腔圖像并非總是如此理想。上述模型的實現依賴于一個大規模的標注數據集,這種大規模標注數據集的收集一方面耗時耗力,另一方面依賴于放射醫師的從業經驗和水平,且由于隱私等問題無法公開獲得。此外,上述幾種方法在不同IOS 掃描的數據上泛化能力也存在一定的局限性。

2.2 基于非全監督學習的三維牙齒分割

如前所述,口腔醫學影像數據的標注通常耗時耗力,另外對標注人員的專業要求非常高,導致可用于訓練的標注樣本數量有限,這將影響深度網絡模型的訓練。因此,研究基于非完全監督學習的網絡模型是一個重要的發展方向。本節重點介紹基于非完全監督學習的三維牙齒分割方法。

為了降低標注成本,針對只有部分數據含有標注的問題,Liu 等人(2023)提出了基于自監督學習(self-supervised learning)的三維口腔內網格掃描牙齒分割模型——STSNet。如圖7 所示,該模型首先從原始網格Mt中采樣點云Pt,然后將其送入預處理模塊進行特征提取和增強數據處理,以在區域級別(Ct1,Ct2)和點級別(Pt1,Pt2)生成兩個輸入對,經過區域級和點級對比學習模塊處理分別獲得RegionInfoNCE 和PointInfoNCE 損失值,最后通過兩個交叉對(Pt1,Ct2)和(Pt2,Ct1)計算CrossInfoNCE 損失值。實驗結果表明,與完全監督的方法相比,STSNet 僅使用40%的標注樣本即可實現更好的性能。當然,該模型仍然需要進一步改進:1)原始網格掃描中的幾何和拓撲特征沒有得到充分利用;2)系統跨復雜情況的魯棒性和泛化能力需要進一步提高。Alsheghri 等人(2022)提出了一種基于半監督學習(semi-supervised learning)的牙齒分割模型,其主要思想是通過將未標注的三維牙弓分解成僅依賴幾何信息的段來自動生成訓練數據,然后使用結合了帶標注輸入的監督損失和未標注輸入的自監督損失的聯合損失對該模型進行訓練。實驗結果表明,使用半監督學習的模型比Lian 等人(2020)提出的使用完全監督的MeshSegNet 網絡性能有所改進。

圖7 基于自監督學習方法的牙齒分割模型圖(Liu等,2023)Fig.7 Tooth segmentation model based on self-supervised learning method(Liu et al.,2023)

對于將弱標注思想應用到三維牙齒分割的研究目前依然較少(Qiu 等,2022;Xie 等,2023)。Qiu等人(2022)首次嘗試在弱標注的牙科模型上進行三維牙齒實例分割,提出了一種牙弓先驗輔助的3D 牙齒分割方法,即DArch 模型。DArch 由兩個階段組成,包括牙齒質心檢測和牙齒實例分割。準確檢測牙齒質心可以幫助定位單顆牙齒,從而有利于分割,因此該模型提出了一種由粗到精的牙弓估計方法:牙弓最初由貝塞爾回歸曲線生成,然后訓練基于圖的卷積神經網絡(graph-based convolutional network,GCN)對其進行細化。利用估計的牙弓,提出了一種牙弓感知點采樣(arch-aware point sampling,APS)的方法來輔助生成牙齒質心分割模塊,并使用基于補丁的策略單獨訓練,以此在以牙齒質心為中心的三維補丁中分割牙齒,其整體架構如圖8 所示。實驗結果表明,無論是弱標注還是全標注場景,DArch 模型都優于三維牙齒實例分割模型TSegNet(Cui 等,2021),不過這種基于補丁的訓練策略存在無法反映全局信息的缺點。

圖8 基于弱標注的DArch牙齒分割模型圖(Qiu等,2022)Fig.8 DArch tooth segmentation model based on weak annotation(Qiu et al.,2022)

綜上所述,基于三維點云/網格影像的牙齒分割研究工作比較豐富。其中,全監督的學習方法優點在于人工標注的數據為網絡學習提供了豐富的語義信息。然而對于口腔醫學影像來說,數據標注需要專業醫師來完成,大量標注數據的獲取是不現實的。非全監督學習方法,例如自監督學習、對比學習以及半監督學習等可以充分利用大量未標記數據來訓練網絡,有效解決數據標注的問題,是目前口腔醫學影像處理中的重點研究突破方向。

此外,由于牙齒和牙齦之間以及不同牙齒之間緊密連接,如何準確分割邊緣部分也是值得思考和突破的地方。吳婷和張禮兵(2018)采用牙齦路徑和牙縫路徑分開規劃策略,有效克服牙縫牙溝分支干擾以及分割線斷裂問題。Xu 等人(2019)和Tian 等人(2019)的方法中都引入了邊緣優化算法來解決分割邊界不平滑的問題,但是大都在分割之后采用能量函數來進行優化。因此,如何根據網格模型的數據結構特點,對網絡結構進行改造,例如運用KNN(K-nearest neighbor)和鄰接矩陣等方法,或者添加Transformer 架構中的多頭注意力機制等,從而在分割過程中對邊界網格或點云進行精準分類分割同樣值得深入探究。

3 錐形束計算機斷層掃描影像

錐形束計算機斷層掃描(CBCT)成像是一種廣泛應用于牙科診斷和治療的無創、低輻射的技術(Guerrero 等,2014)。與傳統放射成像生成的二維影像相比,CBCT的三維特征提供了更多關于牙齒及其周圍結構(例如牙槽骨)的信息(Lin等,2021)。與三維牙齒點云/網格影像相比,CBCT 能夠提供具有更高對比度和分辨率的解剖結構顯示。它可以顯示牙齒、牙根、骨質和其他相關組織的立體關系和細節。相比之下,三維牙齒點云/網格影像主要反映牙齒表面形態,而無法提供內部結構信息。此外,相對于傳統CT 成像,CBCT 可以以更低的輻射劑量和更短的掃描時間提供更高質量的影像,提高了牙科診斷成像的診斷效率和準確性(Mure?anu等,2023)。

盡管CBCT 成像具有諸多優點,但在臨床解釋上同樣依賴于從業醫師的經驗。深度學習方法和CBCT 影像的結合可以在一定程度上簡化和完善牙科診療方面的工作,實現更優質、更客觀和可重復的放射圖像評估工作,并減輕醫生的工作量。本節主要介紹深度學習在CBCT口腔影像中的應用。

3.1 深度學習在口腔正畸學中的應用

人工智能技術的快速創新以及CBCT 的出現促進了數字牙科的迅速發展,提高了正畸判斷和治療的準確性(Lee 等,2022)。從CBCT 影像中對牙齒進行分割是數字化牙科的重要組成部分,精確分割單個牙齒對模擬修復評估、計算機輔助咬合不規則預測具有重要意義。與基于三維牙齒點云/網格影像在牙齒正畸中的應用相比,CBCT影像提供了更多牙齒內部結構的信息,這對醫生制定正畸診療計劃具有重要意義。

另外,在口腔正畸治療過程中,不僅要關注牙齒的形態,還要關注患者的骨骼結構、牙齒與骨骼的位置等,頭影測量可以幫助醫生對患者的頜面進行分析。本節重點介紹基于深度學習的CBCT 影像牙齒分割和頭影測量兩類口腔正畸的子任務應用。

3.1.1 基于深度學習的CBCT影像牙齒分割

盡管CBCT 影像具有大量優勢,但是基于CBCT影像的牙齒自動分割任務存在以下難點:1)牙根與周圍牙槽骨之間的強度相似;2)牙冠部分與相鄰牙齒之間的附著邊界分割困難。因此,探索高效和準確的基于深度學習技術的牙齒分割新模型、新算法至關重要,有助于進一步推動正畸判斷和治療的準確性。

此前,部分學者使用CNN 模型針對CBCT 影像牙齒自動分類和編號問題進行了嘗試(Miki 等,2017;Kirthiga 等,2018;Li 等,2019;Shaheen 等,2021),不過這些方法存在由于相鄰牙齒的高相似性引起的錯誤分類問題。此外,在臨床實踐中,金屬假體、矯正器等都可能在CBCT 影像中引入金屬偽影,而受到金屬偽影破壞的CBCT 影像難以進行自動牙齒分割。為了解決這一問題,Jang 等人(2022)開發了一種分層多步深度學習模型,該模型可以從口腔CBCT 影像中自動識別和分割單個牙齒,如圖9 所示。首先,該模型根據輸入的3D CBCT 圖像自動生成上下頜全景圖像,以克服高維數據帶來的計算復雜度,然后使用獲得的二維全景圖像來識別單個牙齒并捕獲三維單個牙齒的松散和緊密感興趣區域(region of interest,ROI),最后,使用松散和緊密的ROI 實現準確的三維單個牙齒分割。該模型單個三維牙齒分割的Dice系數達到94.79%,為數字牙科提供了一個有效的臨床和實用框架。

圖9 基于CBCT的分層多步深度學習牙齒分割模型圖(Jang等,2022)Fig.9 Hierarchical multi-step deep learning tooth segmentation model based on CBCT(Jang et al.,2022)

有學者嘗試采用U-Net 結構以及改進的U-Net結構進行CBCT 影像的牙齒分割。U-Net 框架由Ronneberger 等人(2015)首次提出,它能夠以更少的時間和更小的數據來提供上下文信息以完成模型訓練,因此廣泛應用于醫學影像分割(Yin 等,2022)任務中。Lee 等人(2020c)提出了一種基于U-Net 結構的全自動牙齒分割方法,該方法使用基于直方圖的方法,預處理并估計骨骼和牙齒區域的平均灰度密度水平。此外,作者利用空間丟失層正則化CNN 模型,并引入密集卷積塊替換卷積層,提高了分割性能。周秀蓉等人(2021)考慮到牙齒和牙槽骨的強度相似以及咬合狀態下上下牙交匯處結構復雜難以分割的問題,提出了基于3D U-Net 的三級網絡分割單個牙齒;此后,Hsu 等人(2022)訓練了5 個 U-Net,包括 2Da U-Net、2Dc U-Net、2Ds U-Net、2.5Da U-Net、3D U-Net 來分割牙齒。使用多數表決法獲得了另外4 個U-Net,包 括2.5Dv U-Net、3.5Dv5 U-Net、3.5Dv4 U-Net 和3.5Dv3 U-Net。結果表明,U-Nets的性能因CBCT 牙齒分割的不同訓練策略而異,其性能可以通過多數表決來提高??傮w而言,采用改進的3.5D U-Net 模型提高了U-Net 在CBCT 圖像上分割牙齒的性能。

3.1.2 基于深度學習的CBCT影像頭影測量

頭影測量是口腔正畸治療過程中采用的關鍵技術之一。傳統的手工頭影測量依賴于醫生的手工定點,且存在精確度和穩定性欠佳的問題。眾多研究聚焦于利用人工智能技術實現自動化頭影測量,以提升臨床診斷效率和測量精度(吳志娜 等,2021;馬建斌 等,2022)。

CBCT 成像允許在沒有疊加的情況下實現解剖標志的三維可視化,這使得頭影測量從二維成像向三維成像轉化。Codari 等人(2017)為了解決頭影測量手工定點精確度低的問題,提出了一種基于強度的標注參考體配準方法應用于患者CBCT 掃描圖像。不過該方法僅是給出了基準點的預測,仍需要臨床醫生進一步完善。Huang 等人(2021)采用生成對抗網絡對CBCT 影像投影合成頭顱圖,進一步使用LeNet-5 和ResNet50(residual network50)的組合,實現了頭影測量基準點的自動預測。

3.2 深度學習在牙體種植學中的應用

3.2.1 基于深度學習的CBCT 影像牙槽骨分割評估

牙槽骨的分割評估在牙齒種植中具有重要的意義。這一過程提供了關鍵的信息和準確的定量數據,用于評估患者的牙槽骨健康狀態、骨質量以及種植體安置的可行性。通過對牙槽骨進行準確的分析和評估,牙醫能夠制定個性化的治療方案,確保種植體的穩定性和成功率。

Sorkhabi 和Khajeh(2019)提出了一種用于牙槽骨定性評價的三維深度CNN 模型,采用圓柱體素和六邊形棱鏡體素的平均精密度分別為95.2%和84.6%,該方法訓練階段的第4 次迭代可以對輸入的CBCT 影像數據進行精確分類,準確率為95.2%。Roongruangsilp 和Khongkhunthian(2021)使用Faster R-CNN 算法開發了一種基于牙槽骨數量的牙體種植規劃方法,并對Bayrakdar 等人(2021)提出的Diagnocat 系統做了評估,該方法可以正確識別95.3%的缺齒區域,但是無法進行多次骨高度和骨厚度測量。

考慮到臨床實踐普遍存在的復雜病例以及以往研究受到數據集數量的限制,Cui 等人(2022a)采用更大的CBCT 數據集開發了一個基于深度學習的人工智能系統,用于從牙科CBCT 圖像中全自動分割牙齒和牙槽骨。如圖10 所示,a 模塊輸入CBCT 掃描影像,b 模塊進行單個牙齒的分割,c 模塊用來提取牙槽骨,d 模塊輸出單個牙齒和牙槽骨的掩膜。該方法在內部測試集上取得了94.5%的Dice 系數和93.8%的靈敏度,在外部測試集上Dice 系數和靈敏度分別為93.8%和93.5%。然而,受到CBCT 影像分辨率有限的影響,該方法在重建牙冠表面細節方面仍存在缺陷。前文所述的口內掃描儀獲取的三維點云/網格影像通常具有較高的分辨率,因此后續研究可以考慮結合三維點云/網格影像或者采用圖像增強等技術提高CBCT 影像的分辨率來解決此問題。

圖10 基于深度學習方法的CBCT牙齒及牙槽骨分割模型圖(Cui等,2022b)Fig.10 CBCT tooth and alveolar bone segmentation model based on deep learning method(Cui et al.,2022b)

3.2.2 基于深度學習的CBCT影像下牙槽神經識別

牙齒種植手術涉及到下頜骨區域的操作,而下牙槽神經(IAN)是位于下頜骨內的重要神經結構。通過準確地識別下牙槽神經的位置和走向,醫生可以避免對神經的損傷,從而減少手術中可能出現的并發癥和術后不適。

通過使用影像學技術和計算機輔助分析,醫生能夠可靠地規劃種植手術的安全區域,并選擇適當的種植體尺寸和位置,以確保手術的安全性和成功率。但是早期的一些方法,如Active-Shape 模型(Gerlach 等,2014)和Statistical-Shape 模型(Abdolali等,2017a)等并不適用于臨床實踐。為了解決這一問題,Cipriano 等人(2022)提出了一種基于U-Net 結構的深度學習模型并發布了完整標注的下頜骨圖像公共數據集,該方法取得了69%的Dice 系數,相較于此前提出的方法(Duan 等,2021;Jaskari 等,2020)效果更好。

從深度學習方法的應用情況來看,在牙體種植治療方案制定方面,目前提出的深度學習方法還很難將患者的牙槽骨狀況、缺牙情況以及全身健康狀況等各方面的信息綜合分析,以此制定更加個性化和高水平的診療方案。但是,隨著數字化進程加快,深度學習必將逐步深入口腔診療的全過程以實現口腔診療的智能化。

3.3 深度學習在口腔頜面外科中的應用

3.3.1 基于深度學習的CBCT影像腫瘤識別

頜面外科腫瘤是指發生在頜骨和面部組織中的異常細胞增生,這些腫瘤占據患者口腔內的空間,干擾正常的咀嚼、發音和吞咽功能。此外,惡性頜面外科腫瘤可能對患者的生命構成直接威脅,因此,早期識別和準確診斷頜面外科腫瘤對于及時采取合適的治療措施至關重要。

頜面外科的早期研究側重于使用SVM、稀疏判別分析和隨機森林等方法來識別骨內病變(Abdolali等,2017b;Yilmaz等,2017)。在口腔頜面腫瘤學中,一些學者使用深度學習方法在CBCT 影像中區分AME 和OKC。Lee等人(2020b)使用CBCT影像訓練CNN 模型識別OKC,相對于全景X 光片的效果要好。受此啟發,Chai 等人(2022)采用CNN 自動分類CBCT 影像中的AME 和OKC,比較了Inception v3 算法與口腔頜面外科醫生在診斷AME 中的準確性,表明深度學習方法能夠更好地區分AME和OKC。

3.3.2 基于深度學習的CBCT影像上下頜骨分割

上下頜骨分割也一直是近年來的研究熱點,通過分割上下頜骨,使醫生能夠制定移動骨片或植入人工骨材料的最佳方案,以恢復骨缺損部位的形態和結構,為后續的糾正畸形、重建骨缺損、安置種植體等治療提供良好的基礎。

早期研究嘗試使用基于圖集和統計形狀模型(Wang等,2013;Chang等,2013),效果并不理想。最近,Qiu 等人(2021)研究表明,深度學習方法可以提供更高的準確性,并在此后研究中(Qiu 等,2021)提出了一種基于三維CNN和遞歸神經網絡SegNet的方法,可用于自動分割受到金屬偽影破壞的CBCT 影像,效果比使用相同數據集評估的其他先進模型更好。

雖然深度學習在口腔頜面外科領域取得了諸多進展,但其應用仍然處于初級階段。后期研究可以聚焦于:1)口腔醫學影像的精確三維重建,實現精準分析病灶,設計診療方案;2)頜面骨精確分割;3)術后效果預測等。

4 問題與挑戰

綜上所述,深度學習方法在齲齒檢測、牙齒分割、非牙體疾病檢測和口腔頜面外科等方面都有杰出表現,這為推動智慧口腔建設提供了重要的理論和技術支撐。然而,目前基于深度學習的方法在口腔醫學影像中的應用仍然存在許多問題與挑戰,部分重難點如下:

1)缺少高質量標注的口腔影像數據集。目前提出的大多數深度學習方法通常是基于監督式學習策略的,此類學習方法的優劣在一定程度上取決于數據集的質量好壞。如前所述,口腔醫學影像數據的標注往往耗時耗力,其標注質量也極大依賴于醫生的專業知識和從業經驗。盡管目前已經有部分公開數據集(如表1 所示),但已公開的數據集數量和體量還遠遠無法滿足科研人員的需要;另一方面,公開數據集的標注質量也參差不齊,這將極大影響模型在臨床實踐中的準確性、魯棒性和泛化能力。因此,進一步加快構建和公開更多更高質量、多種類的口腔醫學影像數據集對推動智能化口腔醫學領域發展至關重要。

表1 口腔影像部分公開數據集Table 1 A partial publicly available datasets of dental imaging

2)臨床應用和轉化受限。目前深度學習方法在口腔醫學影像分析中的應用仍局限于解決牙齒分割、齲齒和腫瘤檢測等常規任務,對于定量評估口腔頜面腫瘤異質性、分析牙髓和牙槽骨等的病變程度及緊密結合臨床手術應用(如牙齒種植)的研究還相對較少,這是算法向臨床轉化的主要挑戰之一。例如,臨床診療中需要醫生對患者的口腔狀況進行詳細評估,可將常規的牙齒檢測任務通過深度學習模型的統一決策,最終為患者生成詳細的診斷評估報告,以指導醫生進行個性化的治療。此外,為了促進深度學習在口腔醫學中的應用,需將其與現有的臨床工作流程和系統有效整合,兼容電子健康記錄系統、影像存檔和通信系統等,確保數據交換流暢,實時分析。因此,加強與臨床醫生的交流合作,探討更多、更有價值的臨床應用切入點至關重要。

3)跨模態數據的融合與學習。在口腔醫學影像處理中往往會涉及不同模態的數據,如X 光片、CBCT 等。如何有效融合和學習跨模態數據的信息是一個具有挑戰性的問題。例如,根據全景X 光片和三維口內掃描模型構建出具有牙槽骨信息的三維口腔模型,以彌補某些欠發達地區無CBCT 掃描儀的困境。此外,如何加入文本、語言等模態的提示信息來融合臨床知識和專家經驗,以便醫生通過文字或者語言等簡單的方式與機器模型進行交互也是值得思考的一個問題。

4)數據隱私與安全性保障不足。不同于自然圖像,口腔醫學影像內容涉及患者個人隱私,如何保護這些隱私數據和確保模型的安全性是一個重要的挑戰,需要采取數據加密、去識別化等隱私保護措施。例如,可以采用目前廣泛應用的聯邦學習安全范式,將醫療數據進行分布式訓練,這樣不僅可以顯著提升數據安全,而且可以顯著擴大數據樣本的多樣性,實現多醫療機構之間的數據互通。此外還需要制定數據訪問和共享政策,確?;颊邤祿暮戏ㄊ褂煤捅Wo。

5)模型可解釋性、實時性、泛化性和輕量化較差。目前提出的深度學習方法仍然有待優化,其可擴展性、可重復性、可解釋性以及跨模態多樣性較差。同時,許多算法過于龐大,不利于臨床部署。例如當前的大多數模型采用了全監督和私有數據集的訓練方式,無論是學習策略還是數據規模均受到限制。因此,研究設計更輕量、魯棒性更好、擴展性更強、泛化能力更強以及滿足醫學診斷的實時性和效率的深度神經網絡,使其達到滿足部署到醫療設備中的要求的問題還亟待解決。

5 結語

本文主要針對口腔醫學領域常用的二維X射線影像、三維點云/網格影像以及CBCT 影像3 類常用口腔醫學影像,重點介紹了深度學習在牙齒分割、齲齒檢測、牙齒種植、牙齒檢測與編號以及非牙體疾病檢測等任務中的應用現狀。

深度學習方法在解決多樣化的圖像分類和分割問題方面表現出色,然而盡管目前提出了許多深度學習模型并對其進行了測試,但是全自動的口腔醫學影像分析依舊充滿廣闊發展前景:

1)對口腔醫學影像進行標注是一項費時費力的工作,并且在很大程度上依賴于醫生的經驗,這嚴重制約深度學習深入廣泛發展,需要開展數據自動標注方面的研究。另一方面,小樣本性一直是口腔醫學影像分析領域面臨的嚴重問題,基于非完全監督的深度學習方法(例如:弱監督學習、自監督學習以及遷移學習、少樣本學習和增量學習)可以有效緩解此問題。因此,研究如何擺脫模型對數據的依賴將是未來的研究重點。

2)提升深度學習方法在口腔醫學影像分析各類應用中的可解釋性也是值得深入研究的。只有模型的可解釋性及結果的可靠性得到保證,這些算法才能轉化成真正可使用的臨床輔助診療技術。

3)目前,深度學習在口腔醫學影像中的應用發展還處于比較初級的階段,特別是針對CBCT 影像的研究還十分匱乏。因此,加大相關領域的研究并探索多種數據間的融合技術對推動口腔診療數字化建設至關重要。這一領域的發展離不開計算機科學家和臨床醫師以及影像設備與軟件開發專家的通力合作,以實現更多基于口腔醫學影像的智能醫療產品的廣泛臨床應用,助力智慧口腔建設。

4)隨著GPT(generative pre-trained Transformer)、SAM(segment anything model)等大模型的出現和迅速發展,口腔醫學影像處理領域也將迎來更加廣闊的臨床實踐應用前景。目前,需要進一步思考如何將這些大模型應用到口腔醫學影像處理的下游任務中,以期利用大模型卓越的語義理解和上下文推理能力,準確地進行口腔影像的分析診斷和處理。

綜上所述,深度學習與口腔醫學影像分析的結合已是大勢所趨,深度學習方法也在各類分析任務中取得了顯著成果,但仍需進一步深入研究,以期突破可解釋性、可重復性、可擴展性以及跨模態多樣性等挑戰,引領口腔醫學影像處理與分析進入新階段。

猜你喜歡
齲齒全景醫學影像
醫學影像技術在醫學影像診斷中的合理運用
《當代醫學影像誤診學》出版
《當代醫學影像誤診學》正式出版
戴上耳機,享受全景聲 JVC EXOFIELD XP-EXT1
全景敞視主義與偵探小說中的“看”
預防齲齒
從5.1到全景聲就這么簡單 FOCAL SIB EVO DOLBY ATMOS
全景搜索
預防齲齒
預防齲齒
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合