基于生物不變特征的數字物理耦合方法

戴凌磊，宋燁，郝泳濤

摘要：增強現實在醫療中的應用能有效提高醫生的空間感知能力，其中的一個關鍵步驟就是數字模型與患者的耦合。提出一種基于生物不變特征的數字物理耦合方法，該方法利用人體特征的不變性，在數字模型和患者身體的相同特征位置放置標記點，最終通過兩組標記點的轉換實現自動耦合。在人體模型實驗中僅使用少量的標記就能實現耦合，并具有較低的誤差。

關鍵詞：增強現實;醫療;數字模型;不變特征;數字物理耦合

中圖分類號：TP399? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）20-0144-03

Digital-physical Coupling Method Based on Biological Invariant Characteristics

DAI Ling-lei1， SONG Ye2， HAO Yong-tao1

（1. College of Electronic and Information Engineering， Tongji University， Shanghai 201804，China; 2. Xiaoyi Technology co.， LTD.， Shanghai 201203，China）

Abstract： The application of augmented reality in medical treatment can effectively improve the doctor's spatial perception ability. One of the key steps is the coupling of the digital model and the patient. A digital-physical coupling method based on biological invariant characteristics is proposed. The method uses the invariance of human body characteristics to place markers at the same characteristic positions of the digital model and the patient's body， and finally realizes automatic coupling through the conversion of two sets of markers. In the human body model experiment， the coupling can be achieved with a small amount of markers and has a lower error.

Key words： augmented reality; medical treatment; digital model; invariant charac-teristics; digital-physical coupling

1 引言

隨著增強現實（AR）與3D建模技術的發展，將AR技術與醫療應用結合的嘗試也越來越多[1]。沉浸式醫療AR系統是其中一個重要的研究方向，它的主要功能就是將數字模型與患者對應部位進行耦合，以提高醫生的空間感知能力。在本論文中，我們提出了一種可用于人體多個部位的基于生物不變特征的數字物理耦合方法，這里的不變特征包括肉眼可見的顯性特征（比如關節，五官）和肉眼不可見的隱性特征（比如人體穴位）。我們的應用安裝在具有光學透視顯示的商業AR頭戴式設備上（Microsoft HoloLens2），該設備在對比度感知、任務負荷和顯示幀率方面比其他商業設備的性能更好，更適合臨床使用[2]。我們的系統在工作過程中只需要少量標記點，通過在數字模型和患者的相同特征點放置標記并計算轉換矩陣實現數字物理耦合。

1.1相關工作

為了實現數字物理耦合，國內外研究針對不同的手術場景提出了多種解決方案。第一種解決方案是手動耦合。文獻[3]認為手動耦合足夠快速和準確，文獻[4]在手動耦合前使用輪廓匹配算法進行粗略的自動耦合，文獻[5]采用先耦合人體特征點，再耦合整體模型的方法。手動耦合規避了數字物理耦合這一難題，但是靠肉眼判斷耦合程度可能會造成較大的誤差。第二種解決方案是借助Vuforia的識別技術進行耦合[6，7]。Vuforia可以識別特定的圖像或規則物體，并在該圖像或規則物體附近的位置呈現數字模型，這對圖像或規則物體的擺放位置有一定的要求，導致其應用范圍十分狹窄。第三種解決方案需要借助光學跟蹤器和額外的光學標記[8-9]。光學跟蹤器往往作為固定的現實坐標系，利用光學跟蹤器和對應的光學標記，可以精準的建立虛擬世界與現實世界的聯系，實現誤差較小的耦合并且可以實時跟蹤患者。但是該方案需要在患者和相應器材上固定光學標記，對手術環境有較高的要求，難以普及。第四種解決方案是無標記的耦合方法。文獻[10]利用HoloLens自有的空間映射和凝視交互功能，通過迭代最近點算法耦合表面，文獻[11]將兩個HoloLens配準在同一世界坐標中，利用錐形束CT坐標可知的特點實現數字物理耦合，這屬于特定場景的耦合方法，文獻[12]利用HoloLens的深度相機數據和神經網絡實現的面部特征檢測，通過面部點云和模型點云的配準實現數字物理耦合，但該方法只能用于頭部的耦合。

1.2貢獻

生物不變特征在人體各個部位都存在，而現有的3D建模技術已經具有足夠的精細程度，這使得建立數字模型特征點與對應人體特征點之間的聯系成為可能。因此，我們的貢獻在于提出了一種基于生物不變特征點的，只需要少量簡單標記的數字物理耦合策略，該策略適用于人體多個部位（只要該部位表面足以貼上標記），具有一定的適用性。