一種基于多目立體視覺的手術器械跟蹤定位策略

趙昕揚，劉仰川，高萬榮，高 欣

（1.南京理工大學電子工程與光電技術學院，江蘇南京210094；2.中國科學院蘇州生物醫學工程技術研究所，江蘇蘇州215163）

一種基于多目立體視覺的手術器械跟蹤定位策略

趙昕揚1，2，劉仰川2，高萬榮1，高 欣2

（1.南京理工大學電子工程與光電技術學院，江蘇南京210094；2.中國科學院蘇州生物醫學工程技術研究所，江蘇蘇州215163）

提出了一種基于多目立體視覺的手術器械跟蹤定位策略.利用2個以上的攝像機構建多目立體視覺系統，采用投影線交點法重建靶標的空間坐標.當無光線遮擋時，通過擴展投影線方程數量進行多目立體重建；當某一攝像機的光線被遮擋時，進行雙目立體重建.利用自行搭建的三目立體視覺系統，通過自制的多標志點手術器械的跟蹤定位試驗，實現對該策略有效性的測試.結果表明：在不同光線遮擋條件下，系統均能實現定位功能，且靜態定位和動態定位誤差均小于0.15 mm；該策略能夠在一定程度上解決光線遮擋問題，避免手術器械定位信息丟失，在滿足使用精度需求的情況下，提高了系統的可靠性.

手術器械；定位；手術導航；立體視覺；光線遮擋

手術導航又稱影像引導介入手術，是指借助醫學影像設備重建出人體病灶的二維或三維影像模型，幫助醫生進行術前路徑規劃，結合各種空間定位技術，引導特定的手術器械，經過體表或自然腔道對病灶進行微創診療.空間定位是手術導航的關鍵技術，對手術器械進行實時、高精度的跟蹤定位是手術導航的核心問題.

目前常用的跟蹤定位方法有兩種，分別是電磁定位和光學定位.電磁定位是利用電磁感應原理，通過探測器接收由磁場發生器發射的磁場信號來實現對目標的定位［1］.該方法定位精度較高，屬于非接觸式定位，能夠追蹤人體內導管和針尖類設備.但定位磁場易受鐵磁性物體擾亂，影響定位精度.電磁定位產品有NDI公司的Aurora系統、Polhemus公司的FASTRAK系統等，目前精度達到了0.48 mm.光學定位一般采用紅外模式，以攝像機作為傳感器，對捕捉到的光信號進行測量追蹤［2］.該方法的優點是定位精度高，視野大；缺點是攝像機和測量目標之間的光線易受遮擋而導致定位失效.光學定位是目前手術導航中的主流定位方法，產品有NDI公司的Po laris系統、Atracsys公司的accuTrack系統等，目前精度達到了0.25 mm.

目前，用于手術導航的光學定位系統均采用雙目立體視覺技術，在應用中存在一定的局限性.術中某一攝像機的光線被人員或器械遮擋時，系統對手術器械的定位信息就會丟失.如果定位系統由多臺（兩臺以上）攝像機組成，其中某一攝像機的光線被遮擋時仍然能夠提供定位信息，這將有助于提高手術導航的可靠性.此外，在無遮擋情況下，多臺攝像機理論上能夠提供更高的定位精度，這有助于進一步提高手術導航的精度.

文中進行多目立體視覺定位技術的研究，提出一種手術器械跟蹤定位策略，搭建一套由3臺攝像機組成的多目立體視覺定位系統.該系統可以根據攝像機光線的遮擋條件，自適應地選擇雙目或三目立體視覺定位模式.利用該系統對單顆LED燈珠和自制的多標志點手術器械進行跟蹤定位，檢測系統的定位精度，并驗證防遮擋能力.

1 攝像機標定

攝像機標定是實現立體視覺的基礎，其目的是獲取攝像機的成像參數.攝像機的成像過程可以利用針孔模型給出［3］，如圖1所示.

圖1 攝像機的針孔模型

在圖1中，共定義了4個坐標系，分別是世界坐標系Ow-X w Y w Z w、圖像物理坐標系Ouv－uv、圖像像素坐標系Oxy－xy以及攝像機坐標系Oc-X c Y c Z c.空間中的任意點P（Xw，Yw，Zw）在圖像上的成像是p（u，v），該過程可以表示為

式中：αx＝f／dx和αy＝f／dy是焦距與探測器單元尺寸之比，（u0，v0）是探測器中心坐標，它們均屬于攝像機內參數；R和t分別是旋轉矩陣和平移向量，它們均屬于攝像機外參數；0T是零值列向量；M是3×4矩陣，稱為攝像機投影矩陣.

為了使針孔模型更符合攝像機的實際成像過程，需要在該模型中補充鏡頭畸變，包括徑向畸變和切向畸變［4］.徑向畸變源自鏡頭的形狀，可以描述為

式中：（xt，yt）為校正后的坐標；p1和p2為切向畸變系數.由于這2類畸變只與攝像機內部結構有關，畸變系數也屬于攝像機內部參數.

利用攝像機標定算法，可以計算出攝像機的成像參數.常用的攝像機標定方法有2種：Tsai兩步標定法［5］和張正友平面標定法［6］.Tsai兩步標定法的核心是在徑向一致性約束下，利用線性最小二乘法，得到攝像機的內外參數.Tsai兩步法利用一張標定視圖，即可完成某一相機的標定，操作方便.張正友平面標定法首先通過線性攝像機模型分析計算出各參數的優化解，然后利用最大似然法進行非線性攝像機求解，得到最終參數.張正友平面標定法需要攝像機采集多幅標定視圖（8幅以上），理論上精度更高，但需要對每幅視圖進行圖像處理，過程復雜，容易造成誤差累計.

在進行雙目立體視覺系統標定時，張正友平面標定法能夠確定兩攝像機的位置關系，經立體校正后，可實現基于三角測量原理的深度測量.但多目立體視覺缺乏公共平面進行立體校正，特別是要實現雙目和多目的任意切換時，公共平面難以確定［7］.Tsai標定法能直接給出世界坐標系與圖像像素坐標系的投影變換關系，間接確定兩攝像機的位置關系.利用2個或2個以上的投影變換關系即可進行空間點坐標重建.因此，Tsai標定法適合用于多目立體視覺中的攝像機標定.

2 空間點坐標重建

空間點坐標重建方法有多種，如投影線交點法、投影線垂足加權法［8］、三角測量法等.投影線交點法和投影線垂足加權法在求解精度上相當，但前者具有較高的計算效率.三角測量法在雙目立體視覺中使用，但無法用在多目立體視覺中.文中選擇投影線交點法，它在雙目模式下的原理如圖2所示.

圖2 雙目立體視覺的投影線交點法示意圖

圖2中，p1和p2是空間任意點P在左右兩個攝像機中的投影點.在已知兩個攝像機的投影矩陣Ml和Mr的情況下，可以得到兩個成像公式.以左側攝像機為例，每個成像公式均可消掉Zc，得到關于坐標Xw，Yw，Zw的2個線性方程：

多目立體視覺的空間點重建可在雙目立體視覺的基礎上進行擴展，即可得到攝像機數目二倍的投影線方程，這有利于空間點重建精度的提高.當某一相機被遮擋時，多目立體視覺就退化為雙目立體視覺，但由于重建原理相同，空間點仍能繼續重建.

值得注意的是，在計算機立體視覺中，不同攝像機對應的視圖中，一個空間點會有不同的像點（投影點）.在多個空間點同時定位的情況下，需立體匹配方法將每個空間點對應的像點坐標從多幅視圖中建立一一對應關系，這是實現空間點坐標重建的前提.

立體匹配有多種方法，如極線約束、sift特征匹配［9］、基于灰度的圖像匹配［10］等等.在近紅外成像條件下，圖像中僅有灰度信息且空間點周圍區域特征不明顯，導致依賴區域相似性的匹配方法難以正常工作.極線約束是立體視覺中最基本、最重要的匹配方法，它僅由相機間的空間位置關系決定，不受顏色、灰度等因素的影響.因此，文中選擇極線約束匹配方法.

在圖2中，兩個攝像機的投影中心O1和O2的連線與兩個投影面的交點e1和e2稱為極點，空間點P在圖像上的投影點p與對應極點e之間的連線稱為極線.給定一幅圖像上的一個投影點，它在另一幅圖像上的匹配投影點必定在對應的極線上［11］.如果已知ql和qr為同一空間點在兩幅圖像上的對應投影點坐標，極線約束關系借助基礎矩陣F可以表示為

式中：Ml和Mr是為兩個攝像機的投影矩陣；R是兩個攝像機之間的旋轉矩陣，定義為

S是兩攝像機之間的平移向量J的反對稱矩陣，J定義為

在實際應用中因為存在誤差，式（5）右側只能近似給一個極小值.對一張圖像中的指定投影點，將該點和另一張圖像上的所有投影點坐標依次代入式（5），取結果最小值對應的投影點為匹配投影點［12］.

對于多目立體視覺系統，任意兩個攝像機均可看作雙目立體視覺，因此匹配時，以其中一個攝像機作為基準，分別將其余攝像機的投影點與基準相機中的投影點匹配.在某個攝像機存在遮擋時，剩余攝像機仍能采用這種思路進行匹配.

3 手術器械標定

光學定位的最終目的是獲取手術器械工作點（一般為尖端）的位置和方向信息，然而工作點要深入病灶，無法直接測量.因此，需要建立手術器械的標志點與工作點之間的空間關系，這就是手術器械標定.三標志點手術器械標定是利用非共線三點確定一個平面，進而建立器械坐標系，最終求取工作點在該坐標系下的坐標，這是一種典型的手術器械標定方法［13］.

手術器械坐標系如圖3所示.

圖3 手術器械坐標系

手術器械標定的第一步就是確定針尖的世界坐標.保持針尖位置不變，手術器械繞針尖進行不同空間角度的N次旋轉，同時保持3個標志點在攝像機中均可見.在世界坐標系下，設某個姿態下標志點的坐標為Pi（Xi，Yi，Zi），i表示旋轉序號.設Tip點的坐標為Ptp（Xtp，Ytp，Ztp）.根據剛體約束性質，該標志點到Tip點的歐氏距離ρ保持不變，可得如下方程：

式中i∈［1，N］，N為旋轉姿態個數.將i≥2的方程減去i＝1的方程，可消掉ρ，得（N－1）個如下方程：

對于三標志點手術器械，每個標志點均可得到（N－1）個方程，共可得到3×（N－1）個方程，并可寫成矩陣形式：

式中：G1為3×（N－1）行3列的矩陣，行向量為（Xi－X1，Yi－Y1，Zi－Z1）；F1為3×（i－1）維的列向量，元素利用最小二乘法求解式（11），可得Ptp.

手術器械標定的第二步就是確定針尖的器械坐標.設在第i次旋轉中，器械坐標系相對于世界坐標系的偏移向量為 Tt，可由點O在坐標系的坐標給出：

式中PA，PB和PC是3個標志點的世界坐標.

旋轉矩陣Rt可由器械坐標系各軸的方向向量nx，ny，nz表示，即

設Tip點的器械坐標為Pttp，Pttp與Ptp滿足關系式：

當考慮到N次旋轉時，式（12）可改寫為

共可得到N個如式（15）的方程，寫為矩陣形式：

由剛體約束性質可知，Tip點的器械坐標Pttp保持不變.因此，一般情況下，手術器械經過一次標定，就可以長期使用.在手術器械跟蹤定位時，可以根據式（12）和（13）分別求得Tt和Rt，再利用式（14）可求得Tip點的世界坐標.可見，跟蹤定位在一定程度上是標定的逆過程.

4 系統構成

為了驗證文中提出的基于多目立體視覺的手術器械跟蹤定位策略，自行研制了一套三目立體視覺系統，如圖4所示.該系統包括3臺USB3.0攝像機、一個三腳架、一臺計算機等部件，其中攝像機配有850 nm的窄帶濾光片.3臺攝像機采用共線設計，等間隔地固定在長為350 mm的橫梁上.3臺攝像機采用數字信號發生器進行同步外觸發，并采用9行12列棋盤格進行標定.自制手術器械安裝有3個850 nm的LED燈珠，并采用一個恒流光源控制器進行供電.

圖4 三目立體視覺系統樣機

該系統的軟件工作流程如圖5所示.軟件通過對各圖像中標志點數量的判斷，自動選擇立體重建模式.在視圖判斷環節，如果三張視圖中特征點數均等于實際值，就認為不存在視圖被遮擋的情況，選擇三目立體重建模式；如果某一視圖中的特征點數少于實際值，就認為該視圖被遮擋，選擇雙目立體重建模式；如果兩張或三張視圖中的特征點數均小于實際值，無法進行立體重建，給出警告.事先準備好立體重建所需要的各攝像機標定文件，在軟件運行時以文件的形式導入.

圖5 軟件工作流程圖

5 試驗及結果

光學定位系統有多項性能指標，如定位精度、最大數據更新率（幀頻）、測量體積等.定位精度是光學定位系統最關鍵的指標，直接影響手術導航系統的精度.為了驗證手術器械跟蹤定位策略的有效性，將自制三標志點手術器械固定在一個高精度一維手動位移臺上，并與系統保持約1.3 m的間距.一維位移臺的一端是千分尺螺桿，量程是50 mm，螺距是0.5 mm，螺套分格數是50，分辨率是0.01 mm，滿足測量要求.試驗中，三目立體視覺系統的輸出值為測量值，一維位移臺的讀數作為真值.采用均方根誤差（rootmean square，RMS）來評價精度：

式中：xi表示測量值；x表示真實值；n表示測量次數.

5.1 靜態測量試驗

保持手術器械靜止，利用三目立體視覺系統對它進行多次定位，如圖6所示.圖6中，3個實點表示標志點，箭頭頂端表示針尖位置.可見，系統可通過對3個標志點的定位測量，實現了對針尖的定位.

圖6 手術器械定位

在不同的遮擋條件下，利用三目立體視覺系統對手術器械的針尖世界坐標進行50次測量，并將試驗數據繪制成散點圖，如圖7所示.

由圖7可知，每幅圖中的測量點并沒有匯集到一點，而是呈散點分布，這是因為系統存在靜態定位誤差的緣故.求取所有測量點坐標的平均值，將它作為真值，利用式（17）來計算均方根誤差（RMS）.三目測量情況下，RMS值為0.043 mm；左中雙目測量情況下，RMS值為0.048 mm；左右雙目測量情況下，RMS值0.044 mm；中右雙目測量條件下，RMS值為0.046 mm.可見，無遮擋三目測量精度均高于有遮擋時雙目測量精度，左右雙目測量精度高于左中和中右雙目測量精度.這是因為在對手術器械各標志點進行定位時，三目立體重建精度高于雙目，基線距離大的雙目一般比基線距離小的雙目立體重建精度高.因此，在相同的手術器械標定條件下，不同模式定位方法求取針尖坐標的精度也會發生相應的變化.

圖7 手術器械針尖世界坐標的靜態測量結果

5.2 動態測量試驗

轉動位移臺的螺套，手術器械隨著平臺進行高精度位移，利用三目立體視覺系統測量針尖每次位移的起點和終點處的世界坐標.計算針尖每次位移值，該值與位移真值之間的偏差即是位移測量誤差.分別讓手術器械進行20組5，10和20 mm的位移，并利用式（17）來計算均方根誤差（RMS），結果如表1所示，其中RMS取小數點后3位.

表1 手術器械針尖位移精度測試結果_____________mm

從表1可以看出，不同遮擋條件和位移條件下，手術器械針尖位移測量精度不同.在相同的位移條件下，無遮擋時三目測量精度均高于有遮擋時雙目測量精度，左右雙目測量精度高于左中與中右雙目測量精度.可見，誤差值隨遮擋情況的變化規律與靜態測量試驗保持一致.

6 結 論

文中所提出的基于多目立體視覺的手術器械跟蹤定位策略在應對某一攝像機光線被遮擋而導致定位信息丟失的情況是有效的.基于該策略開發的三目立體視覺系統可以實現手術器械的跟蹤定位，能在不同遮擋條件下選擇相應的工作模式，在一定程度上具備了防遮擋能力，驗證了該策略的有效性，并且在靜態和動態測量中，誤差均小于0.15 mm，滿足使用要求.

（References）

［1］ 劉洋，馬寶秋，徐桓，等.基于電磁定位的軟組織術中實時跟蹤系統的開發［J］.中國醫學裝備，2015，12（4）：6－9.LIU Y，MA B Q，XU H，et al.The development of real time tracking of soft tissue deformation based on electromagnetic positioning［J］.China Medical Equip ment，2015，12（4）：6－9.（in Chinese）

［2］ YANG R，WANG Z，LIU S，et al.Design of an accu rate near infrared optical tracking system in surgical na vigation［J］.J Lightwave Technol，2013，31（2）：223－231.

［3］ 馬頌德，張正友.計算機視覺－計算理論與算法基礎［M］.北京：科學出版社，1998：52－59.

［4］ GARY B，ADRIAN K.Learning OpenCV：Computer Vision with the OpenCV Library［M］.United States of America：O′Reilly Media，Inc.，2008：375－378.

［5］ TSAIR.A versatile camera calibration technique for high accuracy 3D machine vision metrology using off the shelf TV cameras and lenses［J］.Robotics and Au tomation，1987，3（4）：323－344.

［6］ ZHANG Z.Flexible camera calibration by viewing a plane from unknown orientations［C］∥The Proceedings of the Seventh IEEE International Conference on Com puter Vision.Kerkyra：IEEE，1999：666－673.

［7］ 劉偉，胡超，李抱樸，等.多視角光學定位跟蹤系統［J］.集成技術，2013，2（1）：35－41.LIUW，HU C，LIB P，et al.Multi view optical trac king system［J］.Journal of Integration Technology，2013，2（1）：35－41.（in Chinese）

［8］ 王夢蛟，丁輝，王廣志.基于相機模型的錐束CT重建誤差校正［J］.清華大學學報 （自然科學版），2015，55（1）：122－127.WANG M J，DING H，WANG G Z.Misaligned cone beam computed tomography reconstruction based on a cameramodel［J］.Journal of Tsinghua University（Sci ence and Technology），2015，55（1）：122－127.（in Chinese）

［9］ KUPFER B，NETANYAHU N S，SHIMSHONI I.An efficient SIFT based mode seeking algorithm for sub pixel registration of remotely sensed images［J］.IEEE Geoscience and Remote Sensing Letters，2015，12（2）：379－383.

［10］ LIANG Y，SONGM，BU J，et al.Colorization for gray scale facial image by locality constrained linear coding［J］.Journal of Signal Processing Systems，2014，74（1）：59－67.

［11］ 張天行，段錦，祝勇，等.一種改進的特征點匹配局部遮擋目標識別算法［J］.計算機系統應用，2014，23（3）：158－161.ZHANG T X，DUAN J，ZHU Y，et al.Modified par tially occluded object recognition algorithm based on fea ture pointsmatching［J］.Computer Systems＆Applica tions，2014，23（3）：158－161.（in Chinese）

［12］ XU G，ZHANG Z.Epipolar Geometry in Stereo，Motion and Object Recognition：a Unified Approach［M］.Dor drecht：Springer Science＆Business Media，1996：223－225.

［13］ 趙巖.計算機輔助手術導航中的跟蹤定位方法研究［D］.長春：吉林大學，2015.

A multi view stereo vision based tracking and positioning strategy for surgical instrument

ZHAO Xinyang1，2，LIU Yangchuan2，GAOWanrong1，GAO Xin2
（1.School of Electronic and Optical Engineering，Nanjing University of Science and Technology，Nanjing，Jiangsu 210094，China；2.Suzhou Institute of Biomedical Engineering and Technology，Chinese Academy of Sciences，Suzhou，Jiangsu 215163，China）

A multi view stereo vision based tracking and positioning strategy for surgical instrument was proposed.A multi view stereo vision system was built using more than two cameras，and the spatial coordinate of targetwas reconstructed by the projection line intersectionmethod.Under the condition with no line of sight blocking，the spatial coordinate of target was reconstructed by extending the projection line equations.With line of sight blocking in one camera，the binocular stereo reconstructionmethod was used.The tracking and positioning for a self made multi point surgical instrument with a self built trinocular stereo vision system were conducted to test the capability of the proposed strategy.The results show that the system can locate the position successfully under different blocking conditions，and both the static error and the dynamic error are less than 0.15 mm.The proposed strategy can solve the problem of line of sight blocking to some extent and avoid the missing of positioning information，and the system reliability can be improved with the required accuracy.

surgical instrument；positioning；image guided surgery；stereo vision；line of sight blocking

10.3969／j.issn.1671－7775.2018.01.010

TP391.7

A

1671－7775（2018）01－0057－07

趙昕揚，劉仰川，高萬榮，等.一種基于多目立體視覺的手術器械跟蹤定位策略［J］.江蘇大學學報（自然科學版），2018，39（1）：57－63.

2016－09－09

國家自然科學基金資助項目（81571772）；中國科學院科研裝備研制項目（YZ201342）；蘇州市應用基礎研究項目（SYG201501）

趙昕揚（1991—），男，福建泉州人，碩士研究生（423596086＠qq.com），主要從事計算機視覺的研究.

高萬榮（1961—），男，陜西銅川人，教授，博士生導師（通信作者，wgao＠njust.edu.cn），主要從事生物醫學光學的研究.

（責任編輯 祝貞學）