基于增強現實技術的放療擺位系統研究

梁巨宏，王殊軼，于德旺，胡忞仁，鄧尚，袁英凡

1.上海理工大學 健康科學與工程學院（上海，200093)

2.同濟大學附屬上海市肺科醫院（上海，200443)

0 引言

隨著近年來生活方式與飲食結構的變化，患惡性腫瘤的患者數量明顯增多［1］。放射治療是治療腫瘤的手段之一，為保證放射治療的療效，最重要的是保證每次治療的擺位重復準確。放療擺位是指醫生把患者的腫瘤中心擺放到放療設備的治療中心上。傳統的放療擺位需要利用CT設備確定腫瘤中心在體表的位置（CT定位），定位結束后根據CT兩側的激光線投射在患者表面的投影位置，在患者體表做物理標記，然后在放射治療階段借助熱塑體膜等工具，根據體表的物理標記還原患者做標記時的姿態，從而確定放療設備的射線照射位置。傳統擺位過程中存在以下問題：①需要在體表畫物理標記，用于放射治療中的定位［2］；②人體和熱塑膜之間存在一定的空隙，造成二者相對位置發生變化，導致擺位時腫瘤的中心產生偏移［3］；③患者幾何形狀的外部變化和不正確的附件位置不能僅通過儀器調整來糾正，并且可能會扭曲患者的內部解剖結構［4］；④無法衡量病人在治療期間由于消瘦等原因導致腫瘤中心發生改變；⑤擺位過程復雜、效率低。

隨著科學技術發展，增強現實( augmented reality，AR)技術逐漸發展成熟并成為學習及臨床醫學領域的研究熱點［5］。AR將虛擬的景物和現實的物理環境疊加融合起來，交互呈現在用戶面前，從而營造出虛擬與現實在同一空間內共享的技術［6］。AR技術讓用戶在感官上感覺到虛擬空間的時時關聯融合，來增強用戶對現實環境的感知和認知。AR技術具有虛實空間的融合呈現、實時在線交互、虛實空間的三維注冊3個基本要素［7-8］。

以往的研究中，Ehsani等［9］使用相干點漂移(coherent point drift, CPD)算法對點云模型和動態三維圖像進行模態配準，來驗證放療前和放療中的位置。Talbot等［4］將患者CT圖片進行表面輪廓的三維重建，利用2個單目攝像頭結合ARToolKit增強現實開發工具開發增強現實系統，根據虛擬模型擺放調整患者體位，實現放療正確擺位。Cosentino等［10］基于 HoloLens攝像機開發了用于放療擺位的AR軟件。Chyou［11］利用CCD攝像機采集定位時患者的體表點云信息，結合ARTooKit工具，擺位時在2D的電腦端屏幕上將體表的點云模型疊加在患者表面。本研究提出分別基于圖像識別技術和運動捕捉技術的AR放療擺位系統：通過RGB-D攝像機獲取細節豐富的體表信息，結合圖像識別技術和增強現實顯示設備，直觀地還原患者在CT模擬機定位時的姿態。

1 方法

本研究提出的基于增強現實技術的放療擺位系統的設計，主要包括體表信息采集軟件開發、AR顯示設計2個模塊。其工作流程如下：基于體表信息采集軟件，通過RGB-D攝像機獲取人體體表信息→模型預處理→三維注冊→通過HoloLens攝像機進行顯示，實現放療擺位三維可視化。

1.1 體表信息軟件開發

采用微軟研究院提出的KinectFusion［12-14］算法，將Kinect V2設備獲取的原始信息圖像進行三維重建，形成點云模型。

使用微軟桌面應用開發框架（windows presentation foundation，WPF)［15］進 行 開 發。軟件界面及掃描結果如圖1所示。軟件界面設計如圖1(a)所示，界面整體分為圖像顯示區和操作區。掃描的模型為一個塑料材質的假人模型，如圖1(b)所示。運行體表信息掃描軟件，在軟件的圖像顯示區域可以看到當前Kinect V2設備的掃描結果，如圖1(c)所示。

圖1 WPF軟件界面及掃描結果Fig.1 WPF Software interface image and the result of scanning

1.2 三維注冊

三維注冊作為AR重要的特點之一，是指將計算機產生的虛擬物體與周圍的真實環境全方位對準，而且要求用戶在真實環境的運動過程中維持正確的對準關系?；贖oloLens攝像機的AR三維注冊坐標轉換過程，如圖2所示。其中：FW(xw,yw,zw)為現實世界坐標系，FC(xc,yc,zc)為HoloLens攝像機坐標系，FV(xv,yv,zv)為虛擬模型坐標系，F(u,v)為HoloLens攝像機顯示屏坐標系，T1是世界坐標系到攝像機坐標系的轉換矩陣，T2是虛擬模型坐標系到攝像機坐標系的轉換矩陣，T3是攝像機坐標系到屏幕坐標系的轉換矩陣。

圖2 三維注冊坐標轉換示意圖Fig.2 Coordinate transformationofthree-dimensional registration

T1與T2是3D空間內的剛性變換，按照式（1）進行轉換，其中R為3×3旋轉矩陣，T為三維平移矢量。T1轉換矩陣的獲取可以通過HoloLens攝像機的SLAM技術獲得。T2是虛擬模型坐標系到攝像機坐標系之間的轉換，該轉換需要在注冊時實時求取。

T3是3D—2D轉換矩陣，其轉換按照式(2)進行，其中f只與相機本身參數有關，為已知參數，因此T3已知。

綜上可知，使用HoloLens攝像機作為跟蹤定位及顯示設備，完成三維注冊過程只需要實時獲取虛擬模型所在的坐標系到攝像機所在的坐標系之間的轉換關系?；趫D像識別技術的三維注冊方法使用HoloLens攝像機拍攝現實世界中的圖像來獲取T2轉換矩陣，相對應的虛擬模型坐標系中的識別圖位置已知，所以可以實現三維注冊過程?；谶\動捕捉技術的三維注冊方法直接在FW(xw,yw,zw)坐標系中將FC(xc,yc,zc)坐標系和FV(xv,yv,zv)對齊，實現虛擬物體和真實物體同步運動、疊加顯示達到三維注冊效果。

1.3 AR放療擺位系統

放療擺位系統包含以下5個方面：

（1）體表信息采集：使用體表信息采集軟件通過Kinect V2設備獲取帶有紅色激光十字交叉線的體表信息文件。

（2）模型預處理及格式轉換：使用Meshlab軟件對獲取的體表信息文件進行剪切和格式轉換，基于圖像識別技術的AR放療擺位系統需要在一定的位置貼放識別標簽，而基于運動捕捉技術的AR放療擺位系統則需要在體表的骨性標志點貼放標記。

（3）三維注冊：基于圖像識別技術的AR放療擺位系統采用圖像識別三維注冊方法，利用Vuforia SDK平臺［16］實現，基于運動捕捉技術則采用運動捕捉三維注冊方法。

（4）生成AR軟件：此部分只適用于基于圖像識別技術的AR放療擺位系統。

（5）HoloLens攝像機顯示。

1.4 系統試驗驗證

完成放療擺位系統軟硬件搭建后，利用模型實驗，逐步實現對系統有效性及精度的驗證。第一步，驗證體表信息采集軟件的有效性及精度驗證；第二步，驗證AR顯示模塊的有效性及精度驗證；第三步，驗證整個系統的有效性及精度驗證。

2 結果

2.1 體表信息采集軟件試驗結果

利用體表信息采集軟件，采集直徑分別為16、8、4 cm球體的部分表面輪廓，在Meshlab軟件中計算虛擬模型體積大小，按照式(3)計算最終的誤差值r。其中V虛為虛擬模型的體積，D真為真實模型的直徑。

測試結果如圖3所示。從圖3中可以看出掃描直徑為16 cm的模型產生的誤差最小，掃描直徑為4 cm的球體模型產生的誤差較大，這說明體表信息采集模塊的誤差值與掃描模型的體積有關，掃描的模型體積越大，模塊產生的誤差值越小。

圖3 體表信息采集軟件模型及誤差測試結果Fig.3 Body surface information acquisition software model and error test results

2.2 AR顯示模塊試驗結果

采用杜云霄［17］提出的基于HoloLens攝像機的AR三維注冊方法的誤差測試指標，將誤差分為靜態注冊誤差和動態注冊誤差，其中動態誤差可分為頭部轉動誤差、走動誤差。采用Jiang等［18］提出的注冊誤差計算方法，獲取真實測試點與相對應的虛擬測試點的空間坐標位置。式（4）為兩點之間的歐氏距離值作為系統注冊誤差。

其中：x1、y1、z1是真實空間測試點的坐標；x2、y2、z2是虛擬空間測試點的坐標。

三維注冊方法誤差測試如圖4所示。測試材料分為真實模型和虛擬模型，白色的模型為真實模型，藍色的模型為虛擬模型，模型整體由一個平板和5個小圓錐組成，小圓錐分布在平板的右下角區域，圓錐的頂點作為測試點，5個小圓錐頂點分別標記為1、2、3、4、5號測試點，在平板的左上角粘貼識別標簽。

圖4 三維注冊方法的誤差測試Fig.4 Error test for three-dimensional registration

本次測試實驗共招募了7名志愿者。在實驗開始前，受試者在測試人員的指導下熟悉了實驗要求與實驗方法，并進行了相關實驗操作。使用Micron Tracker的VB.Net軟件對虛實對應測試點三維坐標進行記錄，利用Origin軟件對數據進行處理。AR顯示模塊平均注冊誤差結果如圖5所示。

圖5 AR顯示模塊誤差測試結果Fig.5 Error test results for the Augmented Reality display

基于圖像識別技術的AR顯示模塊的靜態注冊誤差值為（3.72±1.52）mm，頭部轉動誤差值為（4.11±1.23）mm，走動誤差值為（3.92±1.30）mm，平均值為（3.92±0.12）mm?；谶\動捕捉技術的AR顯示模塊的靜態注冊誤差值為（3.61±0.58）mm，頭部轉動誤差值為（3.91±1.20）mm，走動誤差值為（4.88±0.88）mm，平均值為（3.97±0.25）mm?；趫D像識別和運動捕捉技術的增強現實顯示模塊在靜態注冊誤差、頭部轉動誤差和走動誤差方面相差值分別為0.11、0.20和0.46 mm。其中基于運動捕捉技術的靜態注冊誤差和頭部轉動誤差比基于圖像識別技術的誤差值低?；趫D像識別技術的走動誤差值比基于運動捕捉技術的低。

2.3 系統整體誤差測試

模擬臨床放療擺位的環境下測試系統的整體誤差值，分別測量基于圖像識別技術和運動捕捉技術的增強現實放療擺位系統整體誤差值。測試假人模型如圖6所示。真實模型重新擺放后，表面的虛擬紅色十字激光線交叉點作為一個測試點，虛擬模型的紅色十字激光線交叉點作為另一個測試點。兩個測試點之間的歐式距離作為最終的誤差值。

圖6 虛擬模型和真實模型(HoloLens攝像機視角)Fig.6 The virtual and real model

系統整體誤差對比如圖7所示。由圖可見，基于運動捕捉技術實現的放療擺位系統誤差平均值為（5.35±1.03）mm，而基于圖像識別技術的誤差平均值為（7.54±1.32）mm。

圖7 系統整體誤差對比Fig.7 Error comparison for the whole system

3 討論

目前傳統放療擺位中存在過程復雜、效率低、無法準確還原患者在定位階段的姿態等問題，擺位的精準度直接影響放療的效果。因此，面向臨床應用、可視化指導放療擺位的系統需求十分強烈。不同于傳統放療擺位中使用的圖像引導放射治療(image guided radiation therapy, IGRT)［19］，或利用機載錐形束CT(cone-beam computer tomography，CBCT)獲取圖像并修正擺位誤差［20］。本研究是將AR技術引入放療擺位中，結合圖像識別技術和運動捕捉技術，設計了2種放療擺位系統，將定位階段包含紅色激光交叉線的體表信息實時與擺位階段的病人體表相融合，輔助醫生對患者進行擺位，并減少擺位次數，提高了工作效率。以下分別從誤差分析、系統復雜性、效果3個方面進行對比討論。

在誤差分析方面，基于圖像識別技術的AR放療擺位系統的平均誤差值為（7.54±1.32）mm，而基于運動捕捉技術的AR放療擺位系統的平均誤差值為（5.35±1.03）mm，均低于臨床要求，且后者優于前者。

在系統復雜性方面，基于圖像識別技術的三維注冊方法的系統復雜性較低；基于運動捕捉技術的三維注冊方法需要使用Qualisys運動捕捉系統，復雜性較高。

在效果方面，基于運動捕捉技術的三維注冊方法，能夠做到虛擬模型隨真實模型的移動而移動，而且在移動過程中對HoloLens攝像機的視角沒有要求；而基于圖像識別技術的三維注冊方法只需要識別一次就可將虛擬模型固定在空間中，但當實現虛擬模型和真實模型同步運動時，需要識別的圖實時處在HoloLens攝像機的主攝像頭視野范圍內，這限制了使用者的視角?；趫D像識別技術的三維注冊方法不需要在體表貼放識別標簽，而基于運動捕捉技術的三維注冊方法則需要在體表骨性標志點貼放 Marker。

作為一個放療擺位系統前瞻性的研究，基于運動捕捉技術的AR放療擺位系統精度高于基于圖像識別技術的系統，因此其更適合應用于臨床。未來也可以降低系統的復雜性、提供自動注冊算法、集成更精準的三維注冊方法；同時，也為無標記自動注冊方法打下基礎。在推進臨床應用方面，今后將進一步完善臨床應用規范及臨床評估實驗。

4 結語

針對傳統放療擺位過程中在患者體表做物理標記問題和擺位時無法準確還原患者在CT模擬機定位階段的姿態問題，本研究設計了2種放療擺位系統：基于圖像識別技術的增強現實放療擺位系統和基于運動捕捉技術的增強現實放療擺位系統。實現了在擺位階段，直觀、可視化地還原患者在CT模擬機定位時的姿態問題，更好地輔助醫生對患者進行擺位，既降低了重復擺位的次數、提高放射治療的精度，也提高了患者治療過程的舒適度。2種擺位系統中，基于運動捕捉技術的增強現實放療擺位系統的精度高于基于圖像識別技術的增強現實放療擺位系統，更適合于臨床應用。