數碼立體顯微視頻多特征點人工智能跟蹤研究

陳斯宇，王培培

(吉林大學教育技術中心，吉林 長春 130000；

1 引言

基于傳統顯微觀測，融合現有的數碼成像與信號處理技術，構成了數碼立體顯微鏡。在其使用場景中，通常需要對顯微視頻中的目標進行標定，但是由于顯微構建的運動，以及視頻幀圖像的紋理、噪聲、位置等影響，圖像景深和目標狀態均處于動態變化，常常難以實現目標特征的可靠捕獲[1-3]。因此，顯微視頻的處理成為數碼立體顯微鏡的核心技術。如果采用直接模型跟蹤，需要對顯微視頻幀的目標圖像建立精準的狀態模型，即便是目標運動或者形狀改變，都會導致模型受到影響，所以通常在模型基礎上引入其它算法，用于特征跟蹤的優化處理。文獻[4]針對弱邊界情況，通過建立目標輪廓模型得到關于輪廓的特征集，根據特征向量匹配實現特征點跟蹤。文獻[5]提出了一種自動閾值分離方法，根據幀圖像灰度變換識別特征點，該方法的收斂速度快，但是初期閾值的準確性較差。此外，這些方法都是基于其它場景圖像處理的改進和優化，缺乏對顯微視頻特征的深入分析。文獻[6]針對圖像紋理和運動模糊，利用復合正則化重構模型，然后通過分裂迭代搜索特征點，同時不斷更新模型。文獻[7]針對非剛性動態多特征，設計了深度學習網絡，將目標多特征采取加權描述，并引入掃描算法解決特征重疊問題，改善了顯微視頻中目標遮擋導致的特征點難以跟蹤問題?；诂F有研究，為了進一步提升數碼立體顯微視頻多特征點的跟蹤性能，利用空間位置變換設計了特征狀態模型，其中包含了對特征點位置、速度和噪聲的描述，并得到具有運動反饋的觀測模型。再針對目標重疊設計粒子濾波狀態求解方法，將多特征點的動態變化和時間關聯轉換為多目標搜索問題，實現復雜場景中多特征點的智能跟蹤。

2 數碼立體顯微視頻的分析模型

數碼立體顯微視頻由于構件的傾斜旋轉，以及視野中物體的自身運動，會導致跟蹤目標特征發生改變，如果想準確及時的跟蹤到目標物體的多特征軌跡，最為有效的方法就是采取參數預測，因此，這里針對顯微視頻建立其運動觀測模型，利用模型對目標特征采取預測處理。

首先，針對構件的運動采取動態分析，當鏡頭與載物臺在空間上產生傾斜或者旋轉運動時，必然導致目標特征發生變化。如圖1中所示，描述了顯微構件運動對觀測坐標的影響，假定鏡頭鏡片所在的平面表示為xoy，其與載物臺所呈夾角表示為ω，則在鏡頭傾斜過程中，坐標內的任意一點p0(x0，y0，0)將會形成位移，其和yω0軸形成夾角表示為w。據此在鏡頭傾斜時，載物臺上任意一點p0(x0，y0，0)的空間位置變換如下

圖1 顯微構件運動時的坐標變換

(1)

另外，在鏡頭旋轉過程中，坐標系是穩定的，此時假定點p(x，y，z)相對zω的角速度是φ，于是可以計算出旋轉過程中p(x，y，z)的空間位置變換為

(2)

當顯微視頻產生運動時，可以將t時間視頻中某個特征點對應的狀態矢量描述如下

(3)

這里，x(t)和y(t)是t時刻視頻中特征點所處位置；vx(t)和vy(t)分別是運動過程中特征點相對x與y軸瞬時速度；φ(t)是相鄰兩幀顯微視頻中特征點形成的夾角。根據狀態矢量，數碼立體顯微視頻的系統狀態可以描述如下

St+1=αSt+nt

(4)

其中，α代表變換矩陣，與St具有相同維度；nt表示系統噪聲。結合運動空間變換，整理得到狀態模型為

(5)

其中，T代表采樣間隔，nt+t代表均值為0的白噪聲。根據前述分析，進一步得到顯微視頻的觀測模型為

(6)

另外，旋轉時可能存在方向改變，這個過程中會伴隨轉動速度的非均勻變化，影響采樣。所以，將上一幀顯微視頻的觀測值引入下一幀顯微視頻的估計值中，得到補償處理如下

(7)

其中，ζ代表角度回差，根據顯微視頻的變化采取動態調整。

3 基于粒子濾波的狀態觀測

在求解狀態方程時，現有方法通常采取概率密度作為期望值，這會使得估計結果的精確度受分布情況影響，尤其是特征分布比較集中的情況，很難從重疊關系中分離出彼此。因此，這里引入PHD粒子濾波方法進行狀態估計。根據PHD函數，當存在多個特征點時，其觀測分解方程描述為

(8)

(9)

其中，密度粒子的子權重計算為

(10)

由權重計算，得到第q個特征點對應的狀態估計值表示為

(11)

粒子濾波的核心就是將PHD函數利用權重分解計算出觀測分量，在每次更新觀測估計值時，各PHD分量進行獨立計算，累計權重始終不變。粒子濾波觀測過程可以分為初始化階段、權重計算階段、更新階段。在t=1時，算法進入初始階段，隨機選擇視頻幀的特征點進行參數賦值。在t≥2后，構建密度粒子，并利用粒子的分布概率計算其權重，同時根據權重計算出特征的觀測值，并在下一時刻對權重和觀測值進行更新。更新過程保持累計權重等于特征數量。該過程采用傳統的k均值算法產生的復雜度是o(τT2N)，τ表示迭代數量，T表示特征點數量，N表示構建的粒子數量。而采用粒子濾波算法的狀態估計，時間復雜度僅為o(TN)，較o(τT2N)的指數形式明顯降低。

4 多特征點智能跟蹤

(12)

(13)

(14)

5 仿真與結果分析

為驗證本文關于顯微視頻分析模型建立的準確性，以及多特征點跟蹤的有效性，首先通過仿真，驗證特征點狀態模型的估計效果。利用本文方法和文獻方法依次得到不同時刻的狀態估計，結果如圖2所示。其中(a)和(b)分別描述了特征點x(t)和y(t)的位置估計。

圖2 特征點位置估計結果

從圖中可以看出，數碼立體顯微視頻動態變化時，在對特征點狀態位置變化的軌跡跟蹤上，文獻方法的估測值具有明顯的偏差，在x(t)方向上的最大估測偏差為0.9px，在y(t)方向上的最大估測偏差為23.7px。而本文方法在x(t)方向上的最大估測偏差為0.7px，在y(t)方向上的最大估測偏差為8.4px，觀測時間段內視頻幀特征點的估測值沒有產生較大的遲滯或者偏差，基本與真實值重疊，較好的擬合了顯微視頻中特征點的復雜變化，表明具有更穩定和更精確的特征點跟蹤效果。

為進一步驗證本文方法對于數碼立體顯微視頻多特征點智能跟蹤的效果，采用兩種方法分別得到多特征點的跟蹤有效率，改變特征點數量，并在每種情況下經過50次平均處理后得到有效率結果，如表1所示。

表1 多特征點跟蹤有效率實驗結果

根據多特征點的跟蹤有效率可以看出，文獻方法在特征點數量增加的過程中，多特征點的跟蹤有效率受到了顯著影響。而本文方法不僅具有比文獻方法更高的跟蹤有效率，并且在特征點數量變化時，跟蹤有效率受到的影響很小，特征點數量從10增加到30，跟蹤有效率僅下降2.8%。表明本文方法具有更好的多特征點動態跟蹤性能。

最后利用跟蹤結果對特征點狀態軌跡采取重構[8]，這里以S型輪廓為例，通過對多特征點的跟蹤，得到兩種方法的重構結果，如圖3所示。對比可以看出，文獻方法重構出的特征點狀態軌跡有很多斷點和越界，而本文方法重構出的特征點狀態軌跡連續且平直，顯然跟蹤更加精確。

圖3 多特征點跟蹤軌跡重構

6 結束語

為防止顯微視頻構件的傾斜旋轉影響目標特征，建立顯微視頻運動觀測模型，利用模型對目標特征狀態采取預測處理，同時針對旋轉速度變化設計了相應的補償模型。為避免求解狀態方程時特征分布比較集中的情況，利用狀態矢量和對應權重構建粒子，并根據權重計算出特征觀測值。針對顯微視頻多特征點的跟蹤，將該過程轉換為特征點的動態變化和時間關聯的多目標搜索。仿真過程中，通過對特征點位置估計、多特征點跟蹤有效率，以及多特征點跟蹤軌跡重構，證明了本文建立的多特征點狀態模型能夠準確描述顯微視頻中特征點的運動狀態，有效避免構件的傾斜旋轉，以及目標重疊交叉等原因導致特征點軌跡跟蹤不到的情況，對于動態數碼立體顯微視頻具有更穩定和更精確的特征點跟蹤效果。