機器學習在口腔植入體無損測量中的應用

李晨，張家偉，齊守良，王丹寧

1. 東北大學 醫學與生物信息工程學院，遼寧 沈陽 110819；2. 中國醫科大學 口腔醫學院，遼寧 沈陽 110122

引言

口腔健康是人類一直無法忽視的一個重要問題，口腔醫學應運而生并迅速發展[1]，口腔醫學理論與實踐也在不斷更替，其中口腔曲面計算機斷層掃描（Computed Tomography，CT）技術在口腔醫學的發展中起到了彌足珍貴的作用[2]。曲面CT使用計算機與CT機相結合的手段，將螺旋式的CT數據合并為一張曲面CT圖像[3]，有助于從三維角度對口腔組織情況進行分析[4]。

自從上世紀60年代的Br-nemark教授研制并開發出了應用鈦金屬的骨結核理論之后[5]，口腔植入技術開始在民間普及，隨之而來的口腔種植技術也飛速發展[6-8]。但是在醫院中就診的病人常常會遇到老舊病歷或者檔案丟失的問題，無法確定已經植入的植入體規格，這種情況會對植入體的更換與維護造成較大的困難。在這種情況下醫生通常會使用肉眼粗略估測植入體規格，或使用計算機進行半自動測量，又或購買專業的硬件設備進行測量[9]。醫學界暫未有將機器學習應用于口腔植入體檢測領域的先例。因此，精準地測量植入體規格對于檢測患者口腔內骨骼的穩定性以及提高植入手術的安全性起著重要作用。

相比以上方法，本文提出的口腔植入體無損測量方法具有以下特點：相比肉眼觀測的巨大誤差，使用本方法可使結果更加精準；相比使用計算機軟件（如CliniView）進行半自動測量，本方法更加智能，也更加適應大數據的發展趨勢下老舊病例的整理；相比使用專業的器材進行測量，本方法節省了成本，只需要較低的投入就可以有可觀的成果。本文同時也為人體其余位置植入體（如骨釘、接骨板等）的檢測提供了新的思路與方法。

1 方法

1.1 方法的整體流程

圖1為本研究的研究技術路線，包括七個步驟。

圖1 項目流程示意圖

（1）從醫院獲取的大量數據作為原始數據。

（2）需要對其先進行合理的篩選，本數據庫主要使用了手術后的、含有植入體的圖像。

（3）由于數據庫中的圖像的格式與尺寸等信息不盡相同，需要對其進行預處理，包括統一格式與尺寸，方便后續的特征值提取。

（4）手動截取了不同的口腔植入體為訓練組，其中包括：單植入體，雙植入體和多植入體三種情況，每種情況各選取了200張作為positive訓練集，截取了其他隨機區域作為negative訓練集。

（5）通過訓練集提取的紋理特征訓練分類器，主要提取了灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）和方向梯度直方圖（Histogram of Oriented Gradient，HOG）作為分類特征。

（6）再用訓練好的分類器對測試集進行分類，得出分類結果并計算其準確率。

（7）通過訓練的模型提取圖像中植入體的位置，通過提取規格統一的鋼珠直徑作為標準，計算植入體實際大小并計算其誤差值。

1.2 紋理特征提取

1.2.1 GLCM

GLCM是一種經典的圖像紋理特征，它通過測量兩個像素之間的空間位置信息來反映紋理特性。紋理特征指的是兩個像素之間的灰度關系：以一個像素為基準，找到包裹著它的八個方向上的像素與基準像素的對應關系。而GLCM就是將空間上兩個像素之間的聯合共生矩陣集中起來而形成的一種紋理特征[10-13]。

1.2.2 HOG

HOG是運用在圖像處理中識別圖內物體與圖像紋理特征的一種經典方法[14-15]。其原理為：選擇圖片邊緣區域的梯度并提取其密度分布系數。對于一張全局的圖像來說，先將其分為以像素為基準的子圖，不同的子圖即為不同的單元。接著計算其方向梯度值并將其存入矩陣中，然后將所有的子圖按照原始圖像進行整合，從而構成HOG。由于本研究所使用的圖片尺度多樣性高，圖像中的內容比較豐富，所以采集的HOG特征維度不同，因此需要將HOG特征歸一化為一個36維向量（4個區塊，每個區塊9個方向）。

1.3 徑向基核函數

徑向基（Radial Basis Function，RBF）核函數的本質是高斯核，而SVM的主要核心之一就是RBF核函數。RBF核函數使用非線性變換將低維空間的隨機矢量映射到高位特征空間并在其中設計線性學習算法。當用其訓練SVM分類器，需要定義懲罰系數C和，較小的C會使決策表面更加平滑，而則定義了單一訓練樣本的影響力[16-19]。

2 方法

2.1 口腔曲面CT圖像數據庫

本研究采用中國醫科大學口腔醫院提供的420張曲面CT圖片作為實驗數據，并截取口腔內包含植入體的區域作為Positive訓練集，隨機截取其他區域作為Negative訓練集。其中Positive訓練集包括：單植入體，雙植入體與多植入體數據各200張，Negative訓練集200張。訓練集如圖2所示。

圖2 植入體訓練集示意圖

2.2 實驗數據與設置

2.2.1 分類器選擇

提取訓練集的GLCM與HOG特征作為訓練數據，然后分別使用不同的分類器對其進行訓練，并用十折交叉驗證來評價其準確率，結果如表1所示。

表1 不同分類器在十折交叉驗證下的準確率

通過表1中實驗結果對比發現，RBFSVM是分類準確率最高的分類器，所以本系統接下來將使用RBFSVM分類器作為識別口腔內植入體區域的學習算法。

2.2.2 SVM訓練

本實驗對GLCM與HOG兩種特征的機器學習分類效果進行比較，其最終分類結果如圖3所示。

圖3中藍色的點代表了Negative集的特征所在位置，紅色的則代表了Positive集的特征所在位置，紅色集與藍色集之間有比較明顯的區分。其中以GLCM特征訓練的分類器準確率和以HOG特征訓練的分類器準確率相差甚微，所以在本次項目中，將選擇若干分類器中準確率最高的，即準確率為96.7%的以GLCM特征訓練的RBFSVM分類器。

圖3 SVM分類訓練后的分類結果

2.2.3 準確率評價

在機器學習中，準確率評價是對于一個分類器性能最好的性能參考指標。為了測試以GLCM為特征的分類器準確率，準備了200張隨機區域的圖片，其中100張包含植入體，100張不包含植入體。經過測試后得出，100張含有植入體的圖像識別準確率為97%，而不含植入體的圖像識別準確率為90%。系統對于含有植入體的部分識別精準度比較高，證明了RBFSVM分類器及GLCM特征的有效性。

2.2.4 接受者操作特征曲線

在案例實施過程中，教師的核心地位很重要，要求教師熟悉和理解案例，具有淵博的知識，縝密的邏輯分析能力，具有較強的控制和駕馭課堂的能力，通過案例教學可以考驗教師的業務水平，提高教學水平和教學質量，使教師認識到自己的不足和短板，從而加強自身對理論知識和工程實踐的學習，將理論教學與實踐環節緊密結合起來，促進知識與能力的有機結合，只有這樣才能使培養出的學生具有創新能力和工程實踐能力，成為應用型高級紡織專業人才。

接受者操作特征（Receiver Operating Characteristic，ROC）曲線，在曲線上的各個點代表了一組信號發射入系統之后，對這個信號的感受性曲線[20]。在ROC曲線中，對角線代表了純機遇線，即不加任何訓練，完全隨機分類的一條分界線，那么曲線離對角線越遠，代表分類結果越準確，本系統使用的RBFSVM分類器的ROC曲線如圖3所示。

觀測到RBFSVM分類器的ROC曲線越接近于正方形，其分類結果越準確，大部分擊中點都可以落在遠離純機遇線的位置。在圖4中，以不同判斷標準下的虛報概率為橫坐標，以擊中概率為縱坐標，得出此分類器的辨別能力比較強。

圖4 RBFSVM分類器ROC曲線示意圖

2.3 植入體檢測

由于口腔內植入體具有單、雙、多等情況，所以本項目分別訓練三種不同的分類器，然后分別進行植入體的識別。經過測量，在口腔曲面CT圖像中齒區的位置一般在圖像的橫坐標的0.3～0.7倍之間，見圖5紅框內容。

圖5 齒區在曲面CT中的范圍

為避免錯誤識別，本系統將圖片掃描的范圍選取在以上所標定的范圍之中。本系統為單、雙、多植入體分別設計了多尺度滑動窗口，可以更加精準地識別出植入體的所在區域。在多次對比實驗中確定了準確率最高的滑動窗口尺度，其中，單植入體為50×80像素，雙植入體為100×100像素，多植入體為150×100像素。

匹配方案的核心思路如下述，RBFSVM可以量化每一塊區域接近Positive與接近Negative的程度，例如，對圖像進行掃描的過程中截取到一張子圖，而且其中包含著植入體，那么它的Positive系數一般高于0.95，而其Negative系數則比較低。針對以上思路，本系統將掃描過程中所有截取到的子圖的Positive系數與Negative系數全部保存為一個矩陣，然后分別提取其最高值與最低值，那么最準確的植入體截圖區域就是Positive系數最高的那個部分。單植入體、雙植入體與多植入體測試結果如圖6～8所示，黃框為自動檢測的植入體位置。

圖6 單植入體測試結果

圖7 雙植入體測試結果

圖8 多植入體測試結果

接著，需要對三個分類器進行協同使用。預期目標為輸入一張口腔曲面CT作為測試圖像，無論其中有幾個植入體，也無論植入體存在于幾個不同位置，都可以準確地將植入體識別出來。為了將兩個不同的位置都有植入體的圖像中的植入體全部識別出來，提出以下解決方案：由于兩個位置都有植入體，所以如果按照只有單個區域存在植入體的方法來識別，選取的位置只有Positive系數最高的區域，所以只能識別出兩塊區域中的其中一塊如圖9所示。

圖9 多植入體檢測缺失

因為之前保留過三種分類器的Positive系數，這個過程中需要將三個系數都保存起來并分別提取其Positive系數的最高值，這樣就可以在掃描圖片的過程中，找到三個值中最高的那個，代表此分類器的訓練結果與掃描的區域相似度最高，將其標記出來即可。

關于如何處理多位置植入體的問題，本系統采用了限制其相對位置的方法。在一張圖片中，含有植入體的子圖Positive系數必然很高，所以需要將上述的Positive系數進行降序排序，提取其前一百位的位置信息，這樣一幅圖片中所有包含植入體的位置都可以被提取出來。但若將這些區域全部標記出來，會標記很多重復植入體的位置（圖10）。

圖10 標記所有植入體

為了避免出現圖10的情況，本系統限制了兩塊區域的相對位置，因為如果是同一個植入體的不同截圖被選取時，兩個子圖的相對位置都必然在100×100像素之內，而如果兩個區域有不同的植入體，那么必然大于這個范圍。所以本系統在做每一次掃描的過程中，當判斷到其中含有植入體時，都會記錄其位置信息，然后檢索Positive系數在前100位的位置信息，如果其位置信息與當前已經記錄的Positive系數最高值的位置的相對距離在100像素以內的話，那么忽略這個區域，直到找到與系數最高的位置的相對距離大于100像素的子圖，截取這個區域并且測算其特征值。

最后的結果如下所述，先將圖片的齒區全部掃描三遍，用單、雙、多植入體的分類器對其進行分類，分別記錄其Positive與Negative值，然后進行排序，記錄其最高值。接著重新掃描圖像，當選取到的位置的Positive系數與上述的Positive矩陣的最高值相同時，標記這個區域并記錄其位置信息，然后接著掃描，若Positive系數在Positive矩陣的前100位，Negative系數在Negative矩陣的后100位并且位置與之前記錄的區域不相鄰時，標記這個區域并記錄其位置。最后測試的圖像采集了隨機6張圖像，得出的結果如圖11所示。

圖11 隨機測試數據結果展示

2.4 植入體規格測量

在識別出植入體的范圍之后，需要測量植入體對應的實際規格參數。先將植入體部分的區域截取出來并對其進行二值化操作以避免灰度對于結果的影響，然后對其進行一系列形態學處理，如去噪、腐蝕、膨脹等操作，最后提取的植入體為比較完整的植入體形狀。然后提取植入體的形狀特征，其中長軸與短軸分別用來計算植入體的長度和直徑，可用如下方法計算長軸、短軸的像素與植入體實際規格的比例系數。

如圖12所示，植入手術過程中會在患者口腔內放置一枚直徑為5 mm的鋼珠，本實驗采用此鋼珠作為參照物，用以計算植入體的實際規格。其中，黃色窗口標記檢測到植入體的位置，藍色窗口標記檢測到鋼球的位置。由于口腔曲面CT成像過程中對圖像產生一定形變，導致鋼球并不是理想的圓形，所以其直徑可以通過計算鋼球的長軸與短軸的平均值來獲得。

圖12 檢測鋼球以及植入體示意圖

提對植入體尺寸進行測量如圖13所示。為了對植入體尺寸進行測量，首先對植入體所在區域圖像進行圖像分割?？梢钥闯鲩撝堤幚韺⒀例X和口腔內骨骼等大部分都已經去除，植入體的輪廓被很好地提取了出來。但是其中孔洞比較多且表面相對不規則，所以使用形態學操作對其進行完善以便于尺寸測量。

圖13 口腔曲面CT植入體檢測示意圖

先用[0 1 0,1 1 1,0 1 0]的結構元對圖像進行膨脹操作來對植入體的邊緣進行完善?？闯雠蛎浐蟮膱D像邊界更加圓潤，可以避免提取形狀特征時將一個植入體分為多個部分而影響測量準確性的情況，但是其中還有一部分孔洞未填充，對其進行孔洞填充操作并使其形成完整的植入體圖像，然后測量植入體圖像的長軸與短軸。如圖14所示，結果為長度為15.36 mm，直徑為4.00 mm。

圖14 植入體測量示意圖

3 結果

由表2可得，本文提出的全自動方法與醫院實際使用的半自動CliniView軟件的測量結果只存在極小的差別，絕大多數差距都在2%以下，充分證明了該方法的有效性與潛在的應用可行性。

表2 本文方法與CliniVIew結果對比

將得到的結果與CliniView測量出來的結果作比較，每一張圖片經由三次測量，取其平均值。

4 討論

本項目針對口腔曲面CT圖像使用分段閾值、形態學處理等方法完成預處理，通過對比多種分類器與紋理特征，確定了基于GLCM的RBFSVM分類器作為植入體檢測方法，并通過近似計算方法達成全自動無損測量植入體規格的目標，獲得了與醫院使用的半自動CliniView軟件高度接近的結果。

本文的口腔植入體無損檢測系統不僅具有高度的識別與計算精度，還能應用于計算人體中其余無法取出測量的植入體的規格，如骨釘、接骨板等。

本文提出的方法也需要做出一定的改進：① 在識別的過程中仍然有錯誤識別的問題，下一步需要對算法進行優化；② 本項目雖然比較了很多分類器，但卻只比較了兩種特征，還有很多其余紋理特征沒被用到，下一步將融合更多特征用于分類器的訓練；③ 在最終測算植入體長度與植入體直徑的過程中，對閾值處理過的圖像進行長短軸檢測的時候也會存在一些誤差，還不夠精準，下一步將改進閾值處理算法，提升檢測精度。后續可以繼續使用特征融合與深度學習進行研究。