耳內鏡虛實結合手術培訓系統的研發

楊媛媛 周雅琪 劉洪宇 楊煒強 冀飛 陳偉 陶源*

1 北京大學深圳醫院耳鼻咽喉科（深圳 518036）

2 中國人民解放軍總醫院耳鼻咽喉頭頸外科醫學部，國家耳鼻咽喉疾病臨床醫學研究中心，聾病教育部重點實驗室，聾病防治北京市重點實驗室，軍事聲損傷防護實驗室，國家老年疾病臨床醫學研究中心（解放軍總醫院）(北京 100853）

自20世紀中葉，Georg von Bekesy 和Bruce Mer 將內鏡應用于耳科學起，至今耳內鏡發展已歷經30 余年。大致分為三個階段[1]：一階段，用于檢查和診斷中耳疾??；二階段，用于輔助顯微鏡清除中耳乳突等的病變；三階段，耳內鏡作為耳外科主要的手術方式之一。耳內鏡在中耳[2-11]、內耳[12]及側顱底[13]手術中的應用越來越廣泛，與耳顯微外科相比，療效也受到肯定[7-8,12,14-18]。

與所有的外科類似，耳科醫師需要經過專業的手術訓練后才能獲取和提高耳內鏡技能。當前，耳內鏡手術訓練主要依靠視頻、網站、老師帶教、尸體顳骨解剖、物理及虛擬模擬器等?？紤]到倫理、法律、存儲、成本、患者安全、模擬系統的真實性、可操作性等方面，耳內鏡手術訓練需要一款能身臨其境、標準化和嚴格的培訓系統。因此，我們研發了一款用于耳內鏡手術訓練的操作系統，采用虛擬手術仿真技術，同時結合真實耳內鏡手術視頻，再配合力反饋設備形成一種全新的耳內鏡手術培訓系統，實現了臨床實景和觸覺力反饋交互的沉浸式全程耳內鏡模擬手術體驗。

1 耳內鏡虛實結合手術培訓系統的組成

耳內鏡虛實結合手術培訓系統（圖1，圖2），包括系統臺車，手術仿真手柄，力反饋裝置，力反饋底座，手術培訓系統機身以及虛擬現實眼鏡6 部分。

圖1 耳內鏡虛實結合手術培訓系統框圖Fig.1 The block diagram of training system for ear endoscopic surgery

圖2 耳內鏡虛實結合手術培訓系統Fig.2 The training system for ear endoscopic surgery

1.1 力反饋操作裝置

力反饋裝置包括第一姿態軸、第二姿態軸、第三姿態軸以及分別與第三姿態軸和第三位置軸相連的姿態位置連接處，且姿態位置連接處分別與第三位置軸、第二位置軸和第一位置軸連接，第一位置軸、第二位置軸以及第三位置軸的另外端與力反饋基座連接，手術仿真手柄裝置與所述力反饋裝置的第一姿態軸以及所述的手柄緊固裝置進行固定裝置。力反饋裝置，其特征在于，第一姿態軸以第二姿態軸的軸線為旋轉軸進行旋轉時，最大的旋轉角度為360 度。第二姿態軸以第三姿態軸的軸線為旋轉軸進行旋轉時，最大的旋轉角度為360 度。通過力反饋操作裝置，可以進行真實手術視頻學習以及三維手術仿真訓練。

1.2 手術仿真手柄裝置

手術仿真手柄裝置通過力反饋裝置內的手柄緊固裝置固定在力反饋裝置上，用于識別手術手柄的力覺大小。手柄緊固裝置上安裝有力覺識別單元，力覺識別單元在使用時實時記錄仿真手術操作桿末端的力覺。通過信號采集模塊、虛擬仿真模塊和真實視頻模塊，其中虛擬仿真模塊和真實視頻模塊通過相應算法進行疊加，實現虛實結合的手術培訓系統。通過力覺識別單元識別手術手柄的力覺大小，實現訓練過程中對不同部位的力覺反饋采集。

1.3 手術培訓系統機身

耳內鏡手術培訓系統機身包括交互系統、系統顯示模塊、系統控制模塊、驅動控制單元、虛擬仿真模塊、真實視頻模塊、信號采集單元及4 個可鎖定的萬向腳輪。其中，系統顯示面板用于顯示耳內鏡手術培訓系統操作的視頻以及操作系統控制面板內含數據處理系統，可以實現真實視頻數據和虛擬三維數據的處理，并將視頻數據和三維數據處理后顯示到顯示面板上。

1.4 虛擬現實（Virtual Reality,VR）眼鏡

VR眼鏡裝置系統通過信號采集單元采集的信號，讀取顯示耳內鏡虛擬及真實手術視頻。

2 耳內鏡虛實結合手術培訓系統的流程

耳內鏡虛實結合手術培訓系統，按照手術培訓系統機身或者控制單元中按時間順序執行，也可以在單獨配備的計算裝置中執行。具體的流程（圖3）：獲取耳內鏡手術真實手術視頻數據；對手術進行特定手術過程的虛擬仿真來獲取虛擬手術數據；將虛擬手術數據與真實手術視頻進行疊加處理；并將上述疊加后處理的數據接入力反饋設備操作，從而形成了虛實結合的耳內鏡手術訓練系統以下，記載對各個步驟的詳細說明。

圖3 耳內鏡虛實結合手術培訓系統流程圖Fig.3 The flow chart of the training system for ear endoscopic surgery

2.1 處理耳內鏡手術真實手術視頻數據

將經過認證和獲得同意的資深耳內鏡專家的耳內鏡手術過程，錄制成視頻數據，上傳，并將視頻數據進行剪輯處理?？梢愿鶕鷥如R的培訓需要，進行無限次的增減、難度更改等。

2.2 獲得虛擬手術數據

將耳內鏡真實手術視頻數據的同一患者的顳骨高分辨CT（或MR）圖像數據進行3D 建模，對3D模型設置彈性形變模型，對所述的3D 模型表面進行碰撞檢測，并將3D 模型以及彈性形變模型導入力反饋模型，對重建后的3D 模型、彈性形變模型以及力反饋模型進行視覺力覺渲染。

顳骨高分辨CT（或MR）圖像數據3D 建模采用VTK 進行體繪制實現。體繪制是指直接將體數據中的體素投影到屏幕上，其相對于面繪制的最大區別就是體繪制時體數據中的全部體素都參與了最終圖像的渲染，體數據是對局部空間內的數據進行采樣，采樣值代表這個點上一個或多個物理特性。一般數據場空間都是以有限多個采樣來描述，所以體數據包含物體內部真正的三維實體信息。

通常情況下，體數據表示為一個三維的數組空間，在圖中每個元素稱為體素，體素也是體數據最小的單位，每個體素都在圖中對應著相應的行號、列號和層號。因為是規則數據場，所有體數據都是平均分布在x，y，z 三個方向上，體素之間的距離是相等的。在體繪制中需要設置一個光學模型，該方案中采用光線吸收模型，其公式如下：

參數S 為光線的投射方向的長度，表示距離為S 處光線強度，表初始光強；在體繪制中，采用最大密度投影（Maximum Intensity Projection,MIP），最大密度投影是將一定厚度（即CT 層厚）中最大CT 值的體素投影到背景平面上，以顯示所有或部分的強化密度高的血管或器官。

對3D 模型耳的不同部位建立彈性形變模型，不同的部位彈性系數不一樣，力覺的反饋值也不一樣；彈性模型的線性方程{S}={F}/[K]，其中[K]是剛度矩陣系數，{S}是位移距離，{F}是外力。

2.3 疊加虛擬手術數據與真實手術視頻

虛擬手術數據采用CT（或MR）圖像數據進行3D 建模，實現3D 虛擬手術數據，同時，將真實的耳內鏡手術視頻進行剪輯成不同片段；本系統采用Unity3D 引擎，采用圖層疊加方案，頂層GUI顯示真實手術視頻，底層顯示虛擬3D 數據；根據手術視頻的播放進程，根據時間片段自動匹配對應3D 虛擬手術數據,見圖4。

圖4 采用CT（或MR）圖像數據進行3D建模Fig.4 3D modeling using CT(or MR)image data

2.4 接入力反饋設備操作

采用自研力反饋設備，該設備基于Delta 的并聯機構，與末端串聯旋轉機械解耦連接，具有主動重力補償功能，精度達到0.01mm，最大持續力大于8.5N，刷新頻率4K，并具有自動校準功能，完全符合耳內鏡手術訓練要求。

該力反饋提供的是C/C++的接口，可以與OpenGL結合進行開發，同時也提供基于Unity3D的接口UnityCLAF，供在Unity3D 中調用設備接口；支持基于Unity3D、OpenGL3D引擎開發。

同時，在力反饋末端連接可以跟換的手術仿真手柄，在外形和方式上與實際手術器械一致。

3 耳內鏡虛實結合手術培訓系統的優點

VOXEL-MAN、俄亥俄州立大學的Mediseus 顳骨模擬器（Medisesus temporal bone simulator Ohio State University Simulator）、斯坦福顳骨手術（Stanford Temporal Bone surgical）可能是目前文獻報道研究最充分的三種耳科虛擬操作系統。與這三者相比，我們的耳內鏡虛實結合手術培訓系統，最大的優點就是“真實性”。具體的說：

真實的手術視頻案例、真實的手術患者CT 圖像重建的三維虛擬手術仿真、真實的手術器械按照真實的手術操作過程進行臨摹專家手術操作。通過訓練，提高受訓者對于不同組織，如皮瓣、骨質、肌肉、鼓膜、聽骨、神經等的真實體驗，通過反復訓練，增加操作者的肌肉訓練記憶，提高手術訓練效果，縮短培訓周期。

同時，在訓練系統中，增加了遠程教學模塊，可以使受訓者能遠程培訓學習，減少受訓者對距離的限制。

另外，本系統所使用的材料、技術均是國產，擁有自主知識產權，而且使用的模塊化設計在現有的操作系統框架內，可以再擴展進行其他微創手術的訓練模塊，具有廣泛的應用前景。

4 總結

當前，耳內鏡的體外訓練模型，尸體顳骨解剖無疑“金標準”，但由于資源稀缺等原因，耳內鏡初學者，尤其是規培學員、研究生等，可供耳內鏡手術訓練的，多是采用動物模型及虛擬模擬器。目前報道的用于耳內鏡手術訓練的動物模型主要是冷凍的羔羊尸頭。Fernandez IJ 等[19]及Anschuetz L 等[20]報道，通過耳內鏡下冷凍羔羊尸頭訓練，能顯著提高耳內鏡手術操作技巧。近年來，隨著計算機技術的高速發展，虛擬模擬器已成為現代外科教育的重要組成部分，允許在不同的臨床場景中有效地提高和評估學員的技能[21]。當前用于耳內鏡手術訓練的虛擬模擬器可以概括為物理模擬器和虛擬現實模擬器。物理模擬器是學習者與之進行物理互動以提高知識和技能的模型，是一種可以像身體部位一樣具體的模型，如喉部或顳骨。物理模擬器可以直接觸摸、操作、切割、反復操作，而且相對而言，成本較低，易于組裝，易于維護[22-25]。比如利用比較簡單的材料，模擬外耳道及鼓膜。Narendrakumar V報道木瓜徑模擬外耳道，完成耳內鏡下鼓膜切開術[24]。Dedmon MM 等[22,26]報道通過聚氯乙烯管制成的簡易模型，學生和耳外科醫生完成耳內鏡下動作訓練，比如將珠子放在指定的鋼絲上，作為耳內鏡手術訓練。并且，通過比較學生和耳外科醫生通過訓練后學習曲線的變化，認為這種方式的耳內鏡訓練能提高手術操作技能[22]。使用真實的顳骨、人工血及新鮮雞皮，作為中耳膽脂瘤模型[23]，練習耳內鏡下完成外耳道皮瓣分離及中耳膽脂瘤清理。自2004年3D 顳骨模型的應用起，多位學者陸續報道了應用3D顳骨進行耳內鏡手術訓練。Barber SR等報道，耳內鏡下在3D 顳骨模擬器下將指定的圓圈從一個釘子轉移到另一個釘子，可以反復多次操作[27]。且通過3D 打印顳骨模擬器，術前模擬耳內鏡下巖尖部手術，能降低術中風險[28]。

耳內鏡虛實結合手術培訓系統，結合真實的耳內鏡微創手術，采用人機交互，完全模擬真實手術場景、同步訓練耳內鏡手術技術要點進行流程性操作，對手術關鍵技術、難點技術進行反復訓練。通過訓練，學習耳內鏡微創手術的流程，熟悉耳內鏡關鍵技術的要點，為培訓者今后獨立的耳內鏡手術打下堅實的基礎。同時，該系統所使用的材料、技術均是國產，擁有自主知識產權，具有廣泛的應用前景。