基于神經心理測試的XGBoost在MCI亞型分類中的應用*

易付良 陳杜榮 秦 瑤 張嘉嘉 韓紅娟 葛曉燕 崔 靖 白文琳 安建華 余紅梅,3△

【提 要】 目的 利用神經心理測試,構建機器學習模型,對輕度認知障礙(mild cognitive impairment,MCI)亞型(Ⅰ型-單認知域遺忘型,Ⅱ型-多認知域遺忘型,Ⅲ型-單認知域非遺忘型,Ⅳ型-多認知域非遺忘型)進行分類,促進MCI亞型早期識別、干預和個性化治療。方法 數據來源于NACC公共數據庫,Ⅰ型469人,Ⅱ型538人,Ⅲ型262人,Ⅳ型274人。神經心理測試包括學習記憶、語言功能、注意力、執行功能和蒙特利爾認知評估量表。采用隨機森林填補缺失值,利用彈性網絡選擇不同MCI亞型的最佳特征,將這些特征輸入極限梯度提升(extreme gradient boosting,XGBoost)對MCI亞型進行分類,并將分類效果與K-近鄰(k-nearest neighbor,KNN)、支持向量機(supper vector machine,SVM)、隨機森林(random forest,RF)進行比較。評價指標包括準確率、靈敏度、特異度、F1-score、G-means、AUC以及陽性/陰性臨床效用指數(CUI+/CUI-)。結果 除Ⅰ/Ⅱ型MCI,4個模型對其他MCI亞型分類準確率均大于80%;除靈敏度和CUI-,XGBoost模型整體分類性能優于其他3個模型;除KNN,其他3個模型臨床效用指標均大于0.49,且XGBoost對Ⅰ/Ⅲ、Ⅰ/Ⅳ型分類臨床效用大于0.81;XGBoost分類aMCI/naMCI及Ⅰ/Ⅲ型MCI時,最重要的分類特征為延遲10～15min后復現本森圖(UDSBENTD),分類Ⅰ/Ⅱ型MCI及Ⅰ/Ⅳ型MCI時,最重要的分類特征為連線B完成總時間(TRAILB)。結論 基于神經心理測試的XGBoost對MCI亞型分類性能較好,相較于經典的機器學習模型有所提升,有實際應用價值。

輕度認知障礙(mild cognitive impairment,MCI)是指認知損傷高于隨年齡增長或“正常衰老”而出現的記憶和認知變化,但不足以引起日常功能顯著受損和癡呆[1]。MCI通常被看作是阿爾茨海默病(Alzheimer′s disease,AD)的高風險狀態,每年有5%～15%的MCI患者進展為AD[2-3]。根據認知損害的位置與數量,可將MCI分為以下亞型:Ⅰ型(單認知域遺忘型):僅表現為記憶領域損害;Ⅱ型(多認知域遺忘型):記憶損害伴語言/注意力/執行功能損害;Ⅲ型(單認知域非遺忘型):語言或注意力等單個認知損害;Ⅳ型(多認知域非遺忘型):表現為記憶正常,但多個其他認知領域損害。Ⅰ型和Ⅱ型MCI合稱為遺忘型MCI(amnestic MCI,aMCI);Ⅲ型和Ⅳ型合稱為非遺忘型MCI(non- amnestic MCI,n-aMCI)[4-5]。各亞型MCI在轉歸上有較大差別。aMCI被認為是AD的前驅階段,5年后AD進展率高達60%[6-7],其中,Ⅰ型MCI進展為AD的可能性最大,Ⅱ型MCI次之;而n-aMCI更容易進展為原發性失語、額顳葉癡呆和路易體癡呆等[7-8]。因此,準確識別MCI亞型將有助于早期干預和靶向治療[9]。

過去的研究常關注腦成像數據如核磁共振成像或正電子發射斷層掃描以及腦脊液蛋白組學以評估中樞神經系統淀粉樣蛋白沉積、病理學tau蛋白堆積和神經退行性變[10]。然而,作為診斷MCI和AD的臨床核心標準——神經心理測試依然是臨床醫師的首選,被大量運用于識別MCI,而侵入性方法(腦脊液、血液)和腦成像生物標志物則在特定的環境下作為輔助的臨床診斷[11]。有文獻報道,敏銳的神經心理測試如聽覺詞語學習測試反映的細微認知損害相較于生物標志物的出現可能更早,這有助于早期發現MCI以及預測疾病進展[12]。

隨著人工智能的飛速發展,機器學習和數據驅動方法在眾多領域得到應用。本研究擬采用NACC數據庫神經心理測試結合機器學習算法——極限梯度提升(extreme gradient boosting,XGBoost)對aMCI和n-aMCI、Ⅰ型MCI和Ⅱ型、Ⅲ型、Ⅳ型MCI進行分類,并將分類效果與K-近鄰(k-nearest neighbor,KNN)、支持向量機(supper vector machine,SVM)和隨機森林(random forest,RF)進行比較,識別最優分類效果,以促進MCI亞型早期干預和個性化治療。

資料與方法

1.數據來源

本研究所采用的數據來源于NACC(National Alzheimer′s Coordinating Center)數據庫(https://naccdata.org/),編號(1721)。研究對象為2015年1月～2021年3月確診的MCI患者。

2.研究方法

(1)數據填補

采用隨機森林對缺失值進行填補。隨機森林可以用于混合類型的數據填補,在數據集缺失率高達50%的情況下,填補準確率依舊高達95%[13]。

(2)神經心理測試

根據第五版精神障礙診斷和統計手冊劃分的認知領域,結合NACC數據庫神經心理測試UDS2和UDS3版本,本次研究納入的因變量為4個MCI亞型。自變量包括,基本情況:性別、年齡、受教育年限、婚姻狀態、獨立生活、MCI家族史;學習記憶:故事單元召回(即時、延遲)、復現本森圖(即時、延遲);語言功能:多語言命名測試、動物命名測試、蔬菜命名測試、語言流暢性測試;注意力:數字廣度測試(前向、后向);執行功能:連線A、B,以及蒙特利爾評估量表。另外,還納入了臨床癡呆評分量表、功能活動量表,自變量共計83項。

(3)特征選擇

懲罰技術的提出用來改善最小二乘估計在模型預測與解釋方面表現不佳。例如,Hui Zou等人提出了彈性網絡(elastic net,EN),該算法結合LASSO回歸和嶺回歸的L1和L2正則化懲罰項,L1促使產生稀疏的特征,輸出那些權重較大的預測因子,L2促使產生更分散的權重特征,輸出更多的預測因子而非輸入中的小部分特征[14-15]。因此,EN在去除對結果影響較小預測因子的同時還能降低模型過擬合風險[16]。

利用EN對特征進行篩選,aMCI/naMCI組篩選出37個特征,Ⅰ/Ⅱ型MCI組篩選出28個特征,I/Ⅲ型MCI組篩選出43個特征,Ⅰ/Ⅳ型MCI組篩選出29個特征。

(4)建立分類模型

將數據劃分為訓練集(80%)和驗證集(20%),采用十折交叉驗證在訓練集上構建XGBoost模型并與KNN、SVM和RF模型比較,并在驗證集上評價模型擬合度。

①XGBoost原理

設有數據集D={(x1,y1)…(xN,yN)},yi∈{-1,+1},第t輪迭代后模型預測值有:

(1)

(1)式中ft(xi)為第t棵樹的預測值,F為對應的樹組成的函數空間。

②目標函數求解

利用XGBoost完成分類任務時,要保證每新加入一棵樹后模型整體性能提升,即要最小化目標函數Obj(t),可通過正則項Ω對損失函數進行約束:

(2)

(3)

(4)

此時目標函數在樣本上進行遍歷。用泰勒展開式(5)近似目標函數:

(5)

(6)

(7)

由于求解目標函數在樣本遍歷的復雜性,故將目標函數轉換成在葉子節點上遍歷。定義q函數將輸入xi映射到某個葉子節點上,則有:ft(xi)=wq(xi),w∈RT,q:Rd→{1,2,…,T},定義每個葉子節點j上集合為Ij={i|q(xi)=j},則目標函數可以改寫為:

(8)

(9)

(10)

(11)

③確定樹的結構

對于樹的結構,需要根據分裂后的增益Gain來確定,類似于決策樹中的ID3信息增益,XGBoost的增益:

(12)

(5)評價指標

模型性能評價:包括準確率、靈敏度、特異度、F1-score、G-means、受試者工作曲線下面積(area under ROC curve,AUC)。

臨床效用評價:陽性臨床效用指數(positive clinical utility index,CUI+)、陰性臨床效用指數(negative clinical utility index,CUI-)。CUI≥0.81:效用極好,CUI≥0.64:效用良好,CUI≥0.49:效用滿意,CUI<0.49:效用較差[20]。

(6)軟件實現

數據處理與分析基于R語言。缺失填補使用“missForest”包,特征選擇使用“glmnet”包。構建XGBoost、KNN、SVM和RF使用“XGBoost”、“kknn”、“e1071”、“randomForest”包。繪制AUC使用“ROCR”包。

結 果

1.填補結果

填補前缺失值的數量與位置見圖1,本次填補數據的標準化均方誤差為0.26,錯分率為0.13。

圖1 數據缺失值(紅色為缺失值數量、位置)

2.基本情況

研究納入MCI患者1543人,其中aMCI1007人(Ⅰ型469人,Ⅱ型538人);naMCI536人(Ⅲ型262人,Ⅳ型274人)。年齡分布:Ⅰ型(74.86±7.98歲),Ⅱ型(76.49±10.00歲),Ⅲ型(71.34±10.27歲),Ⅳ型(72.55±9.47歲)。受教育年限:Ⅰ型(16.14±2.72年),Ⅱ型(15.42±3.26年),Ⅲ型(15.45±3.2年),Ⅳ型(15.66±3.04年)。其余信息見表1。

表1 人口統計資料

3.分類結果

除Ⅰ/Ⅱ型MCI,4個模型對其他MCI亞型分類準確率均大于80%,且XGBoost表現最好。除靈敏度和CUI-,XGBoost模型分類性能整體優于其他3個模型。除KNN,其他模型臨床效用指標均大于0.49(效用滿意),且XGBoost分類Ⅰ/Ⅲ、Ⅰ/Ⅳ型MCI效用大于0.81(效用極好),見表2。XGBoost對各亞型MCI分類AUC均大于0.85,且分類aMCI/naMCI、Ⅰ/Ⅲ型、Ⅰ/Ⅳ型MCI時AUC大于0.95,見圖2。

表2 MCI亞型分類評價指標

圖2 XGBoost分類MCI亞型AUC

XGBoost對MCI亞型分類時,aMCI/naMCI最重要的3個分類特征依次為:延遲10～15min后復現本森圖(UDSBENTD)、故事單元召回(延遲15min)回憶的故事總數:釋義評分(CARFTDRE)、臨床癡呆評分量表—記憶(MEMORY);Ⅰ/Ⅱ型MCI最重要的3個分類特征依次為:連線B完成總時間(TRAILB)、正確說出帶F和L字母的單詞總數(UDSVERTN)、連線A完成總時間(TRAILA);Ⅰ/Ⅲ型MCI最重要的3個分類特征依次為:UDSBENTD、MEMORY、TRAILB;Ⅰ/Ⅳ型MCI最重要的3個分類特征依次為:TRAILB、CARFTDRE、UDSVERTN。見圖3。

討 論

利用神經心理測試結合XGBoost對aMCI和n-aMCI、Ⅰ型MCI和Ⅱ型、Ⅲ型、Ⅳ型MCI進行分類,并將分類效果與KNN、SVM和RF進行比較。XGBoost在分類MCI亞型的整體性能較其他模型均有提升。

XGBoost是基于樹的集成模型,建樹的過程中最耗時的步驟就是特征值排序,而Block結構的引入減少了排序時間,同時也使并行運算成為了可能,但其并行不是基于樹的粒度,而是特征粒度[19-21]。

本研究結果顯示,XGBoost模型識別各亞型MCI時靈敏度和CUI-略低于RF和SVM,與趙永鵬[22]等人的研究相似?？赡艿脑蚴荴GBoost對類別不平衡數據更敏感,模型更關注樣本較少的類別,而我們在建立模型時,預先設定Ⅰ型MCI為Negative,而Ⅱ、Ⅲ、Ⅳ型MCI為Positive。參數調節也會對模型性能產生影響,我們在輸出混淆矩陣前調節threshold值,靈敏度和CUI-隨之變化,最佳threshold以犧牲靈敏度為代價輸出最高準確率所對應的混淆矩陣。

此外,XGBoost更注重模型的可解釋性。通過輸出特征重要性排序圖,我們可以直觀地認識對分類結果影響更大的特征。各亞型MCI最重要的3個分類特征,aMCI/n-aMCI為UDSBENTD、CARFTDRE、MEMORY,相較于n-aMCI,aMCI主要累積記憶損害[23],故延遲回憶花費時間較長、得分較低;Ⅰ/Ⅱ型MCI為TRAILB、TRAILA、UDSVERTN,前兩者可以反映MCI患者的執行功能,而UDSVERTN可反映MCI患者的語言流暢性,Ⅱ型MCI患者在執行功能和語言流暢性上低于Ⅰ型MCI患者[24];Ⅰ/Ⅲ型MCI為UDSBENTD、MEMORY、TRAILB,Ⅰ型/Ⅲ型MCI損傷領域分別為記憶單領域、非記憶單領域[8],UDSBENTD、MEMORY主要累積記憶領域,TRAILB與執行功能有關,分類結果與臨床一致;Ⅰ/Ⅳ型MCI為TRAILB、CARFTDRE、UDSVERTN,此3項指標分別反映MCI患者的執行功能、延遲回憶、語言流暢性,即Ⅰ型和Ⅳ型MCI患者在延遲回憶、執行功能、語言流暢性上表現不同[25]。

然而,醫療決策的制定更多依賴于診斷試驗的臨床價值——診斷試驗的目的在于改善患者的最終結局、提高醫療質量和成本效益,而非簡單地衡量試驗準確性[26]。因此,本研究引入臨床效用指標,以評估模型的臨床實用性。相較于其他模型,XGBoost模型CUI+較高,而CUI-略低,但均大于0.49,表現為效用滿意。說明XGBoost模型的分類效果具有臨床實用價值,但多模型結合CUI表現可能更為出色。

本研究的局限性在于,Ⅰ型/Ⅱ型MCI分類效果不及其他亞型,這可能是因為兩者都存在記憶領域損害。因此,我們擬在下一步研究中結合神經心理測試和其他生物標志物以充實研究結果,并尋找合適的外部驗證。