基于深度學習的腕關節DR成像質控模型的研究與應用*

彭 超,張 劍,劉 歡,黃 英,劉 羽

[1.重慶大學附屬中心醫院/重慶市急救醫療中心醫學影像科,重慶 400014;2.中電通商數字技術(上海)有限公司,上海 200131;3.重慶市公共衛生醫療救治中心/西南大學附屬公衛醫院醫學影像科,重慶 400030]

腕關節是生活和工作中使用頻率較高的關節之一,同時又是人體解剖結構最復雜的關節,容易發生骨折、脫位、撞擊綜合征、骨腫瘤、關節炎性病變及肌腱和韌帶損傷等疾病,嚴重影響患者生活自理、學習工作和運動健身等能力[1]。影像學檢查是醫學檢查的重要組成部分,為臨床疾病診斷、病灶的定位及定性、臨床治療方案的選擇、疾病的分期及預后等提供了重要依據[2]。隨著X線攝影技術的發展與普及,越來越多的醫療機構引進了直接數字平板X線成像系統(DR)設備,且廣泛地應用于各個醫療機構的多種業務場景[3]。X線攝影簡便、快捷、經濟、實用的優勢日漸突出,成為腕關節常見疾病檢查的優先選擇。但因檢查設備、操作技師、患者自身及疾病等因素的差異,數據的質量存在較大差異,數據呈現波動特征,隨時間和特定事件變化,建立有效的圖像質量評價機制對于臨床醫學圖像處理技術具有重大的應用價值[4]。

在圖像評價領域,國內影像科還停留在人工參考層面的主觀評價(視覺評價),存在效率低、易遺漏、主觀性太強、方式落后等弊端,不能有效、快速、全面、可持續性地提高圖像質控水平,不能推動影像質控的發展。因此,本研究擬提出具有輔助拍片功能的智能質控系統,對于醫療影像質量的評價和醫療診斷質量的提高均具有重要意義,同時對綜合性醫院及基層醫院影像質控的規范及發展起著至關重要的推動作用。

隨著人工智能技術的發展,近年來,深度學習在計算機視覺、語音識別、自然語言處理、音頻識別與生物信息學等領域取得了突破性研究進展[5]。本研究中,作者提出了一種全自動的腕關節DR質控系統,該系統以DICOM格式的圖像文件作為輸入,通過1個分類模型和2個關鍵點檢測模型及其他功能計算函數后,輸出多個定量和定性的質控評估結果。分類模型和關鍵點檢測模型都是基于卷積神經網絡[6-7]。完成系統構建后,作者將其對實際影像實例的質控結果與來自專業放射科醫生的質控結果進行了對比。

1 資料與方法

1.1一般資料 回顧性納入2013年9月25日至2018年2月10日接受腕關節正位和側位片檢查的1 315張圖像,其中包括695張正位片和620張側位片。該數據集中包含343張具有異物偽影的正位圖像,52張無異物偽影的正位圖像;234張具有異物偽影的側位圖像,386張無異物偽影的側位圖像。將該數據集以6︰4的比例劃分為2組:訓練集和驗證集,分別用于偽影分類模型和腕關節關鍵點檢測模型,其中正、側位模型的訓練集、驗證集分別為417、278張和372、248張。圖像的采集設備為DR(uDR 556i型,上海聯影醫療科技有限公司;1000-X3型,北京萬東醫療科技股份有限公司)。本研究獲得重慶大學附屬中心醫院倫理委員會批準[批準文號:2023年倫審第(20)號]。

4名影像科醫生使用Labelme軟件(版本5.3.1,https://github.com/wkentaro/labelme)對數據集進行手工標注,本研究中使用的所有數據均是對個人敏感信息過濾處理后的純醫學影像數據[8],每張圖像都進行了偽影分類標注和關鍵點標注。每名放射科醫生承擔1/4的標注數量,然后檢查和修正其他3人的標注以讓數據集保持同一標注尺度和規則。正、側位圖像中所定義的關鍵點具體見圖1A、B。

注:A.正位;B.側位。

1.2方法

1.2.1質控評價標準 參考《重慶市數字醫學影像服務檢查互認項目質控規范》,本標準包括4個部分:對基本檢查信息的評價、對檢查體位的評價、對異物偽影的評價、對圖像顯示與布局的評價?；緳z查信息評價任務項包括受檢者是否包含影像號、姓名、性別、出生日期、年齡;檢查是否包含檢查日期、檢查時間;檢查設備是否包含執行醫院名稱、設備生產商、設備型號、軟件版本號;執行參數是否包含管電壓、源到探測器距離、曝光時間;圖像顯示參數是否包含放大標尺、窗寬、窗位。

檢查體位的評價是通過識別圖像是否包含完整、準確、無遮擋的左(L)或右(R)標識符號來完成的,結果也是“是”或“否”。異物偽影的評價使用偽影分類模型完成,結果為“是”或“否”。對圖像顯示與布局的評價需要基于關鍵點檢測模型來完成。通過對模型所獲取的關鍵點坐標與圖像尺寸大小的綜合計算,逐一判斷表1中的8項任務是否合格,以確定圖像是否符合質控評價要求,這些具體定義的物理量的含義如圖1所示。

表1 腕關節DR正位和側位片顯示與布局評價任務、關鍵點和判定條件

1.2.2規則和分數 腕關節DR圖像質控評價標準的4個部分有相應的評分規則,評價總分為100分。其中,正位和側位圖像具有相同的評價指標,即基本檢查信息評價、檢查體位評價和異物偽影的評價,三者總分分別為34、20、10分。在基本檢查信息評價中,每個子項目為2分,結果為“是”得2分。在檢查體位評價中,結果為“是”得20分,結果為“否”,則為0分。在異物偽影評價中,結果為“否”得10分。

在正位圖像的顯示與布局評價中,任務正位1和正位2均為5分,任務正位3和正位4均為10分,任務正位5為6分。在側位圖像的顯示與布局評價中,每個任務為12分。圖像顯示與布局評價任務的評分規則見表2。由于任務正位4、5和任務側位1是對2個方向上測量值的評價,所以這3個任務的分數為兩部分之和。

表2 腕關節DR正位和側位片顯示與布局評價評分規則

1.2.3評價等級 額外選擇了一個由100張正位圖像和100張側位圖像組成的腕關節X線驗證數據集評估來自質控系統和放射科醫生的結果之間的一致性。由于基本檢查信息的完整度和檢查體位的符號是否存在是不受主觀影響的結果,所以只比較偽影和圖像顯示與布局的一致性。除了二分類任務“偽影是否存在”和“拇指指掌關節是否存在”以外,也為其他任務建立了一個評估等級。表3顯示了分數和評價成績之間的映射關系。對于質控評價總分,將0～<60分歸類為D級;60～<80分為C級;80～<90分為B級,90～100分為A級。

表3 質控任務得分與評價等級對應表

1.3方法

1.3.1實驗設置 使用MobileNet V2偽影分類模型。輸入圖像被統一縮放到960×1 920的尺寸大小,并應用數據增強(垂直和水平翻轉,±90°旋轉,±2%位移,±5%縮放)。模型訓練期間,將batch size大小設置為14,將初始學習率設置為0.02。當迭代次數達到40、70次時,學習率將降低到當前值的1/10。使用BCE損失函數和一個具有1e-4權值衰減和0.9動量的SGD優化器訓練模型200輪,同時選擇了準確率、精準度、召回率和曲線下面積(AUC)作為分類模型評價指標。

關鍵點檢測模型是Global Universal U-Net(GU2Net)。輸入圖像被統一縮放到640×1 280的尺寸大小,并應用數據增強(垂直和水平翻轉,±15°旋轉,±15像素偏移)。模型訓練期間,將batch size大小設置為16,學習速率設置為[1e-3,1e-2]。使用BCE損失函數和Adam優化器將模型訓練200輪,并使用步長50的循環調度器策略將學習率從1e-3動態提高到1e-2。選擇平均徑向誤差(MRE)和成功檢出率(SDR)作為指標。MRE計算公式如下。

在上式中,N為檢測到的關鍵點的數量,Ri為預測的關鍵點坐標與真實標簽之間的歐氏距離。SDR顯示了在半徑(r=2.0、2.5、3.0、4.0 mm)內成功定位的關鍵點百分比。對于所有的圖像,如果數據使用反相灰度圖存儲,那么在預處理階段圖像灰度將被反轉處理。使用的編程語言是Python,卷積神經網絡在Pytorch(版本2.0.1)平臺上實現。

1.3.2實驗設計 在圖像質控工作系統中,通過在訓練階段驗證損失最小的模型作為推理模型。質控系統的輸入是一個DICOM格式的腕關節X線圖像文件,輸出是多個任務的具體分數和質控評價總分及對應評價等級。字符匹配的方法是將圖像進行二值化后執行一個閉運算的形態學計算,最后將得到的所有連通域縮放到64×64的大小,再將連通域的像素值與已預先處理好的同為64×64大小的左(L)和右(R)圖像像素值一一匹配。如果相似度超過0.85,則認為檢查體位標識存在。

2 結 果

根據驗證數據集的實驗所得到的偽影分類模型在偽影識別方面具有較高的性能[AUC=0.970 1,95%可信區間(95%CI)0.970 0～0.970 3],其準確率、精準度、召回率分別為0.93、0.88和0.97。正位和側位影像中關鍵點檢測模型的MRE分別為(0.794 4±3.253 5)mm和(3.813 4±7.408 7)mm。距離10.0 mm下正位和側位關鍵點檢測模型的SDR分別為99.64%、92.51%,其他距離下的正位和側位關鍵點檢測模型的SDR見表4。

表4 不同距離下的正位和側位關鍵點檢測模型的SDR

圖2對關鍵點檢測模型的結果和在圖像顯示與布局評估中的測量值進行了可視化。為便于觀察,側位片中的點4和點5被二者的中點所取代,并命名為P4。在正位視圖中,黃色字體表示任務正位3中的角度α;在側位視圖中,青色字體表示任務側位1中的角度α,黃色字體表示任務側位2中的角度β。

注:A.正位;B.側位。

各項任務的混淆矩陣如圖3、4所示,其表示了實際情況下質控系統的性能。在正位和側位片中,異物偽影的準確率、精準度、召回率分別為0.85、0.91、0.87和0.89、0.85、0.91。任務正位1～5的準確率分別為0.91、0.97、0.76、0.89和0.85。任務側位1～3的準確率分別為0.85、0.80和0.85。在質控結果等級評價上,正位和側位片的準確率分別為0.82和0.75。圖5中的混淆矩陣對正位和側位片中質控系統的評估等級和放射科醫生的評估等級之間的一致性進行了展示。

圖3 正位視圖中圖像顯示和布局評估中任務的混淆矩陣

圖4 側位視圖中圖像顯示和布局評估中任務的混淆矩陣

圖5 正位與側位視圖中整個工作流評估等級的混淆矩陣

3 討 論

本研究通過MobileNet V2分類模型和Global GU2Net關鍵點檢測模型上進行訓練,結果顯示偽影分類模型在偽影識別方面具有較高的性能(AUC=0.970 1,95%CI0.970 0～0.970 3),其模型準確率、精準度、召回率分別為0.93、0.88和0.97。正位和側位影像中關鍵點檢測模型的MRE分別為(0.794 4±3.253 5)mm和(3.813 4±7.408 7)mm。該模型在正位片和側位片各項任務中,異物偽影的準確率、精準度、召回率分別為0.85、0.91、0.87和0.89、0.85、0.91。任務正位1～5的準確率分別為0.91、0.97、0.76、0.89和0.85。任務側位1～3的準確率分別為0.85、0.80和0.85。在質控結果等級評價上,正位片和側位片的準確率分別為0.82和0.75。本研究為國內首次利用人工智能[9-12]深度學習方式建立腕關節正位和側位DR質控模型,利用深度學習技術驗證可獲取高質量的腕關節影像圖像,提高了圖像質控水平,更精準地為臨床服務,同時解決了醫院間的檢查結果互認問題,也可以提高影像檢查的診斷精確性,對臨床應用有很高的指導意義。

3.1偽影分類模型訓練 MobileNet V2架構基于Inverted Residuals結構,Inverted Residuals結構將ResNet中提出的Residuals結構的降維和升維順序進行了調換,并且將3×3的卷積換為3×3的深度可分離卷積,其還引入了bottleneck結構防止非線性變換破壞過多的圖像信息,該算法具備參數少、性能好的特點[13]。本研究結果表明,在偽影識別方面該模型具有很高的性能,AUC及95%CI值均較高,說明該偽影分類模型在識別腕關節正位和側位DR圖像偽影方面非常好,能夠達到高質量質控水準。

3.2關鍵點檢測模型訓練 GU2Net適用于多種數據集的關鍵點檢測,由局部網絡和全局網絡組成。局部網絡基于通用U-Net的思想來學習多個區域的局部特征,U-Net網絡是由收縮路徑和擴張路徑組成,收縮路徑用于獲取上下文信息,擴張路徑用于精確的定位,且2條路徑相互對稱。全局網絡是一個并行重復的空洞卷積序列,被用于提取全局圖像特征來進一步消除多個關鍵點之間的歧義。與使用標準卷積的模型相比,GU2Net所需參數要少得多。本研究結果表明,腕關節正位和側位影像中關鍵點檢測模型的MRE分別為(0.794 4±3.253 5)mm和(3.813 4±7.408 7) mm,說明該關鍵點檢測模型定位精準性高,能夠達到高質量質控水準。

3.3腕關節正位和側位片各項任務測試 目前,人工智能在全身各系統影像工作中得到了快速發展[14-19],但圖像質量仍為人工智能診斷模型效能的重要影響因素之一[20]。本研究在質控模型建立后腕關節正位和側位片各項任務測試中混淆矩陣顯示準確率、精準度、召回率均具有較好的結果,彌補了目前DR體系中計算機輔助攝片在影像圖像質控方面的不足,且該模型質控應用評價好,臨床效果具有非常高的價值,同時人工智能輔助技師閱片效率明顯優于影像醫師人為閱片,節省了質控閱片時間,保證了質控的一致性,提升了質控質量,有利于影像質控水平的發展。

3.4局限性 (1)樣本量有限,雖然運用了先進的分類模型及關鍵點模型進行訓練保證了效能,但后期還需進一步擴充數據、整合模型、提高效能、簡化流程。(2)本系統目前還未真正地在臨床工作場景中進行研究,后期將運用于臨床實踐。

綜上所述,基于深度卷積神經網絡開發的全自動腕關節DR質控系統模型,自動生成腕關節正位和側位片圖像質量控制報告,效果較好,值得臨床應用及推廣。