卷積神經網絡在中醫舌象分類中的應用研究

摘要 目的：探索將卷積神經網絡技術應用于舌象照片分類任務的方法，從而實現機器學習模型對中醫臨床舌診行為的模擬。方法：使用人工標注后的舌象照片數據集分別對YOLO和EfficientNet卷積神經網絡模型訓練。我們在訓練過程中綜合調試了各類校正算法與超參數，兩模型成功提取圖片數據中的模式特征并形成不同特征映射， 使YOLO和EfficientNet分別實現實時舌體識別和中醫學舌象特征分類的功能。結果：深度學習模型對部分舌象特征典型的舌診照片識別精度較好，對芒刺舌、裂紋舌、齒痕舌的識別精確率分別為0.86、0.75和0.72。結論：卷積神經網絡模型對幾種特征性舌象的識別能力較好，但對舌色、舌形、津液情況多分類的識別尚不理想，尚需進一步改善使用舌診照片訓練卷積神經網絡模型的方法。

關鍵詞 中醫學;人工智能;機器學習;深度學習;卷積神經網絡;舌診;舌象

隨著人們保健意識日益增強，人們期望能夠隨時隨地了解自己的健康情況，移動醫療的研發項目也大量應運而生。近年來醫療信息數據庫的逐步建立和完善，網絡傳輸的信息吞吐量提升，計算機硬件運算能力的提高，數據分析（Data Analysis， DA）與機器學習（Machine Learning， ML）算法的更新，都使移動醫療從概念走進現實。

中醫藥學在治未?。▉喗】禒顟B）領域經驗豐富，在癥狀的識別與保健方法上具有獨特優勢。疾病或亞健康的治療及保健效果都需建立在可靠診斷的基礎上，中醫診斷中歷來強調四診合參、辨證論治，也就是說，診斷的確定需建立在望、聞、問、切四種方式獲得的臨床資料之上。舌診是望診的組成部分，醫生舌診時所見的舌體及舌苔特征稱為舌象，舌診照片保存了舌象全部的資料，是我們本次研究的數據來源。醫生根據舌象對病情判斷的準確度與判讀人員的經驗、知識水平和視覺敏感度相關，不同醫生對同一舌象的判讀結果可存在較大差異0。對主觀因素對臨床資料解讀影響程度的評估方法，一直是中醫診斷客觀化的難題。

本次研究嘗試通過將DA與ML等數據處理技術，對舌診照片中潛在的數據特征進行識別和提取，計算機圖像處理研究人員發現，卷積運算可保證圖像中淺層特征充分識別和提取的前提下，大幅降低計算復雜度，現已成為計算機視覺常用的圖像特征提取方法。人工智能近年來的突破都與人工神經網絡（Artificial Neural Network， ANN）的發展密切相關，ANN由大量的人工神經元聯結、計算有關，ANN在輸入數據信息后，不斷自適應地根據輸入數據的統計學特征非線性地改變內部權重，構造出局部或全局最優的模型。本研究以ANN與卷積運算結合后的卷積神經網絡（convolution neural network，CNN）為基礎，通過有監督的ML數據建模。因此，用于圖片對象識別和分類任務的模型權重調整不僅依賴于圖像語義特征的運算結果，還會受人工標注者主觀因素的影響。模型訓練完畢后，我們將評估卷積神經網絡模型自主舌診圖片識別和分類的精確度，分析不足之處，為進一步完善模型的配置和訓練方式奠定基礎。

近年來，中醫藥學與卷積神經網絡技術結合應用于舌診機器分類的試驗研究已獲得一定進步，董競方0通過將CNN網絡ResNet50應用于對442例腫瘤患者舌象圖片的學習，獲得齒痕舌、瘀斑舌自動識別模型，F-1達到91.88%。劉夢0通過Faster R-CNN與微調（fine tune）技術應用于構建齒痕舌、裂紋舌識別模型，對裂紋舌識別F-1為97.1%，對齒痕舌識別F-1為85.1%。

1 資料

研究的舌象照片來自網絡爬蟲程序，共計6373張。將全部照片分為兩個數據集，分別用于舌體識別模型與舌象分類兩個模型的訓練與測試。識別模型數據集3500張，分類模型數據集共2873張。

2 方法

2.1數據預處理

2.1.1標準化 為了保證全部圖片符合CNN模型輸入尺寸要求，我們對舌象照片給予等比例縮放，并對照片的留白部分灰色填充。

2.1.2歸一化 為保證模型的穩定性和訓練效率，我們對圖片數據進行歸一化處理，參考ImageNet圖庫中的統計數據，RGB三個通道均值為0.485、0.456、0.406，標準差為0.229、0.224、0.225。

2.1.3數據擴增 為了降低模型權重對訓練集中數據的過擬合風險，增加其泛化能力，可對數據集中數據進行多重處理，增加圖片中信息的離散性，使訓練集中數據更加貼近現實的情況。

2.1.4數據集分割 我們采取打亂數據集中圖片順序后，按比例分割的方法對數據集分割為訓練集、驗證集和測試集。舌體識別模型訓練集：驗證集為17：3，舌象分類模型訓練集：驗證集：測試集為4：1：1。

2.2 CNN模型 YOLO-v4和EfficientNet模型是當前先進的圖像處理卷積神經網絡模型，其架構先進，與多種先進算法適配，無論在性能和精度上均處于先進水平。其中，YOLO-v4模型運算速度快，分類精度差，適用于舌體識別，EfficientNet-B2模型分類精度高，運算速度慢，可用于舌象分類。CNN可以很好地對圖像信息的特征進行提取和層層處理后，計算某圖片對不同分類的多重Logistic回歸結果，從而獲得概率估值，估值與閾值結合后判斷圖片的分類結果。

2.3 模型訓練 為了提高訓練效率并充分利用模型初始權重所包含的預訓練集數據信息，訓練過程聯合使用轉移學習與凍結學習的方法，YOLO-v4模型訓練的第1～10期（epoch）凍結淺層，第11～200期解凍全層。

2.4 超參數設置

批量（batch size）是數據集每次批量輸入模型的一次性樣本量，每次迭代模型內權重更新的方向和參數受每批數據信息影響，批量較大時模型權重調整更準確，批量較小時，損失函數可能出現難收斂的問題。在滿足計算機元件滿載運行的前提下，適當提高批量至合適的大小。損失函數（loss function）是用來計算評估所建立數學模型與現實世界數據間差距的函數。優化算法（optimization algorithm）是通過調整模型參數使損失函數逐步逼近最優解的計算方法，包括對前次迭代模型參數數據的處理以及新參數調整幅度的計算。為了保證收斂和效率的平衡，本次試驗對兩個模型均應用余弦退火法（cosine anealing）的學習率調整策略（learning rate scheduler），利用余弦函數曲線特點，使學習率隨訓練迭代次數而改變，呈先緩、再速、終緩的速率變化特點。

2.5 訓練結束 經反復調試，將第115期的模型權重作為最終權重。

2.6 判定閾值 一般來說，輸入圖片對某分類的Logistic回歸結果越高，圖片更可能歸屬于該分類，概率閾值一般定為0.5。為了保證圖片在各分類維度下都有明確的歸類，本研究將各分類維度下的最高概率值定為分類閾值。

3 結果

3.1 測試指標 為了評估模型對訓練集外舌診照片的分類精度，反映模型對現實數據集的分類精度，我們對比了模型與普通醫生在測試集分類結果上的差異性。精確率（precision）越高，我們對分類陽性結果的把握越大;召回率（recall）越高，我們對陰性分類結果的把握越大，F-1是精確率、召回率的調和平均數，用于綜合評估模型分類準確度。

3.2 分類標簽 以中醫診斷學中的類型劃分標準為基礎，同時考慮到中醫臨床辨證的需求后，對舌診照片的分類標簽設置為兩層，第一層分類將舌象特征劃分為幾個維度，分別為舌色、舌形、苔色、苔厚度、津液情況、齒痕舌、裂紋舌、芒刺舌8種。第二層分類在第一層的基礎上進一步劃分，舌色分為淡白舌、淡紅舌、紅舌、絳舌、青紫舌5種;舌形分為痩薄舌、正常舌、胖大舌3種;津液情況分為燥苔、潤苔、滑苔3種;苔厚度分為厚苔與薄苔;苔色分為黃苔與白苔;齒痕舌、裂紋舌和芒刺舌均分為有、無兩類0。

3.3 測試結果

EfficientNet-B2模型對五分類精確率最差，三分類精確率次之，二分類項目精確率最好。模型對舌色分類淡紅舌的識別最好（F-1為0.53），但無法識別淡白舌。模型對舌形分類胖大舌的識別最好（F-1為0.59），痩薄舌較差（F-1為0.23）。模型對津液分類潤苔的識別最好（F-1為0.86），燥苔、滑苔的識別均不足（F-1分別為0.14和0.18）;模型對苔厚度分類的厚苔識別較好（F-1為0.70）。模型對苔色分類黃苔識別較差（F-1為0.57）。模型對齒痕舌、裂紋舌的識別較好（F-1分別為0.72和0.73），對芒刺舌的識別略差（F-1為0.60）。

4 分析與討論

根據模型不同分類測試結果的差異，分析可能影響結果精確度的因素。

4.1 數據不均衡 模型對舌色、舌形、津液多分類的精確率不足，三分類維度下，模型對淡紅舌、正常舌形、潤苔的分類精確率都相對較高，這與訓練數據集中各分類的樣本量分布情況基本一致（圖2～4）。根據CNN模型訓練原理，訓練數據集中占多數的分類會對模型權重產生較多影響，因此導致訓練后模型對樣本量偏大類別的精確率高于其他分類。

4.2 數據預處理 模型對舌色、苔色的分類精度不理想，這可能是舌色、舌苔圖像信息相互干擾的結果。舌診照片來源廣泛，受拍攝時光源、拍攝角度、圖片采集設備影響，大量噪聲無法避免，模型對數據特征的提取難度增大。有研究0000顯示，舌體分割與苔質分離技術可顯著提高舌象照片的分類精度，未來模型優化時，可將舌體分割與苔質分離技術用于舌象照片的預處理，降低圖像信息信噪比，改善模型分類精確率。

4.3 訓練

圖5中兩數據集曲線隨迭代次數震蕩分離，說明模型對兩數據集的分類精確率不同，我們考慮可能存在過擬合（overfitting）。為了使模型對訓練集外數據能有較好泛化性，應在訓練時同時監測模型對驗證集的損失函數，必要時提前停止訓練，避免模型對訓練集過擬合。但是，提前停止又有模型欠擬合的風險。我們共迭代訓練200期，最后選擇第115期模型的權重，損失函數為0.5744。

4.4 閾值設置 模型對測試集中照片舌色分類時，訓練集和測試集中共140張人工標注的淡白舌照片，沒有1張被成功識別，回顧訓練后模型對標注為淡白舌照片的Logistic回歸結果，其概率一直在0.05左右震蕩，遠低于其他舌色的閾值，因此無法被正確歸類。造成這種結果的原因很多，舌色分類維度下的不同舌色設定不同閾值可能是解決方法之一。

5. 展望

根據試驗數據結果，可以發現將ML和AI技術應用于舌診照片分類任務是存在可行性的，目前模型對舌象照片二分類任務的精確率是相對可靠的。在此基礎上，學習與借鑒AI的最新技術，可不斷改進舌診分類AI模型的訓練方法包括：確保數據集類別的均衡，使用舌體切割與苔質分離技術對舌診照片數據集預處理，監測模型訓練過程中的損失函數與權重變化，避免訓練的過擬合與欠擬合，使用優化算法重新設定閾值。相信在不遠將來，必將獲得精確率更高的舌診分類模型。

參考文獻：

[1]石強，王憶勤， 郎慶波，等. 13名中醫師對69例被觀察者苔色觀察結果的分析[C]// 全國辨證論治研討會. 中華中醫藥學會， 2004.

[2]董競方、黃金昶、王建云.卷積神經網絡算法在腫瘤患者舌象識別中的應用[J]. 北京中醫藥， 2020， v.39（11）：106-109+115.

[3]劉夢，王曦廷， 周璐，等.基于深度學習與遷移學習的中醫舌象提取識別研究[J]. 中醫雜志， 2019， 60（10）：30-35.

[4]覃海松.舌診定量化中圖像處理相關方法研究[D]. 中南大學， 2014.

[5]邵尤偉.基于深度學習的智能舌診方法研究[D]. 2018.

[6]劉國正.卷積神經網絡在中醫舌象分類模型中的應用研究[D].

[7]李宗潤.基于深度學習技術的舌體分割模型研究與舌象智能化應用探索[D].成都中醫藥大學，2020.

[8]杜春慧.中醫舌質特征的機器學習模型研究[D].電子科技大學，2020.

作者簡介：于飛（1984.4-）男，漢族，北京，醫學AI研究員，碩士，研究方向：中醫文獻學。

（深圳市予恩智能科技有限公司?廣東深圳?518000）