基于人機交互的全景智能化視頻目標自動監測方法

李蓉

摘 要：全景智能化視頻中存在多種近似的目標干擾項，且在動態活動條件下容易丟失監測目標，影響監測方法對設定目標的抓取效果，針對這一問題以人機交互為基礎，設計全新的全景智能化視頻目標自動監測方法。該方法以投影變換矩陣為前提，標定與配準攝像機安裝節點;利用示性函數判斷圖像是否為背景圖像，根據方向梯度公式排除近似目標干擾項;基于人機交互設置目標模板區域，通過均值偏移過程檢測方法追蹤監測目標所在位置，并自動恢復丟失目標，實現對全景智能化視頻目標的自動監測。結果表明，對照其他3組自動監測方法，基于人機交互的自動監測，從第1幀圖像開始匹配目標，抓取概率一直維持在0.9以上，監測效果遠優于對照的3組方法。

關鍵詞：人機交互;全景視頻;攝像機標定;干擾目標;背景判別;自動監測

中圖分類號：TP391?????? 文獻標識碼：A文章編號：1001-5922（2022）01-0111-05

Automatic monitoring method of panoramic intelligent video target based on human-computer interaction

LI Rong

（Lu′an vocational andTechnical College，Changzhi 046000，Shanxi China）

Abstract：There are many similar target interference items in panoramic intelligent video，and it is easy to lose the monitoring target under the condition of dynamic activity，which affects the grasping effect of the monitoring method on the set target.Aiming at solving this problem，a new panoramic intelligent video target automatic monitoring method was designed based on human-computer interaction.Based on the projection transformation matrix，the camera installation nodes were calibrated and registered;The indication function was used to judge whether the image is a background image，and the approximate target interference term was eliminated according to the directional gradient formula;Set the target template area based on human-computer interaction，tracked the location of the monitoring target through the mean shift process detection method，and automatically recovered the lost target，so as to realize the automatic monitoring of panoramic intelligent video target.The experimental results showed that compared with the other three groups of automatic monitoring methods，the automatic monitoring based on human-computer interaction matched the target from the first frame image，and the capture probability remained above 0.9，while the monitoring effect is much better than the three groups of methods..

Key words：human computer interaction;Panoramic video;camera calibration;jamming target;background discrimination;automatic monitoring

現代社會生活依靠互聯網和物聯網建立溝通，越來越多的工作在網絡及智能技術的支持下正常運轉，其中道路交通指揮、電力輸送等基本工作，對于網絡的依賴程度都很大，在網絡的控制下以智能化的方式，完成道路疏通、電力調度等工作，由此在這些工作中，開始出現具有全景功能監測的系統。該系統通過導入全景信息，構建滿足日常工作的全景信息模型，根據模型劃分不同的監測位置和監測方式，保證各項工作穩定進行[1]。然而，全景智能化視頻目標受外界環境因素中大量同屬性、不同屬性，同類別、不同類別的干擾項影響，自身屬性特征不夠明顯，有時會與這些干擾項之間高度類似，導致系統監測過程中丟失本來設定好的監測目標。為了保證系統的正常工作，提出將人機交互的相關技術應用到自動監測方法當中?，F階段的人機交互技術，是通過人機交互界面與系統直接交流，以并行操作的方式控制系統運行[2]。目前該技術被廣泛應用到各項領域，包括人體運動過程中的動作識別、翻轉課堂設計、機器人軌跡控制等，這些方法都充分發揮了人機交互技術的特點，為各自工作提供更加精準的控制。此次研究基于人機交互的全景智能化視頻目標自動監測方法，利用該方法加強目標監測工作，為今后的目標識別定位研究提供參考。

1 基于人機交互的全景智能化視頻目標自動監測方法

1.1 標定與配準攝像機安裝位置

全景視頻監測需要多臺攝像機，這些攝像機分布在分布式網絡當中，通過不同的拍攝方向與角度，將大量攝像機數據轉變為全景數據。這一工作要求攝像機的標定與配準位置，能夠滿足全景監測要求。設計一個運行在分布式網絡中的交互式遠程標定方法，要求該方法能夠預先選取待配準圖像的局部位置，通過篩選匹配特征點控制匹配誤差;還要求該方法能夠利用匹配點完成數據篩選與信息配準，通過減少節點計算量，控制計算耗時。此項工作的本質，就是利用一個圖像映射關系，將攝像機的拍攝內容匹配到基準視場中，通過縮放、平移、旋轉等方法融合處理圖像。設置原始圖像的隨機像素點坐標為a，b;經過上述變換處理后的像素點坐標為a′，b′，則通過下列公式獲得原始圖像與處理后圖像的變換關系：

a′b′1〗=μ11μ12μ13μ21μ22μ23μ31μ32μ33〗ab1〗（1）

式中：μ11μ12μ13μ21μ22μ23μ31μ32μ33〗=A，表示投影變換矩陣，其中μ13μ23〗T和μ31μ32〗T分別用于不同行列數據在a、b坐標上的平移和透視變換。利用矩陣A對不在同一直線上的匹配點進行配對，完成對圖像的投影變換[3]。這一過程中，為了解決非整數像素坐標取值困難的問題，采用雙線性內插法插值運算圖像;假設對圖像進行N倍縮放，該圖像中的隨機像素點坐標不變，推算該坐標在變換處理后的圖像中，生成的新坐標為a″，b″，則通過下列公式獲得二者之間的關系：

a″=a′·1N

b″=b′·1N（2）

設置浮點坐標為a″+Δa″，b″+Δb″，其中a″、b″表示正整數部分;Δa″和Δb″表示小數部分，則利用雙線性內插法插值運算圖像時，根據4個相鄰點像素值在不同方向上的內插，獲得浮點坐標的像素值，即

f（a″+λ，b″+λ）=f（a″，b″）+Δa″+Δb″+

Δa″Δb″（3）

圖像縮放后，根據公式（3）獲得新圖像的每個坐標的像素值。根據上述過程調整攝像機的安裝位置，滿足攝像機在分布式網絡中的全景監測。

1.2 排除目標干擾項

利用攝像機獲得圖像后，利用人機交互平臺自動檢測全景智能化視頻目標;但大多數視頻中會頻繁出現汽車、行人等動態目標，這些目標之間具有極強的相似性，當目標運動時，受相似性干擾項的影響，容易丟失監測目標，所以對單幀圖像初始化，要按照每一幀的內容分類圖像中的各個對象，為排除干擾項提供分類數據。但排除干擾項之前需要判定圖像是否為背景圖像，設計單幀初始化策略和隨機更新策略，根據該策略判斷圖像幀數，并分析當前圖像是否為背景圖像，判定公式為

La″，b″=∑ni=1FGia″，b″-Ia″，b″>α〗

（4）

式中：F*表示示性函數;Gi*表示樣本集合當中第i個樣本的像素值;I*表示輸入圖像的像素值;α表示判斷像素相似性的閾值。當所求結果L的值越大時，越能說明該點為背景的可能性就越大。根據該結果判斷全景智能化視頻中，每一幀圖像是否為背景圖像。此次研究將此項結果的標準值設置為10，當L<10時，則該幀圖像為背景圖像，否則為目標圖像。該方法根據判定結果得到目標圖像，如圖1（a）所示。

根據圖1可知，根據公式（4）的評價結果，獲得圖1（a）存在干擾項的圖像。對該干擾項進行排除，這一過程需要考慮方向梯度。已知目標物的邊緣輪廓最具有價值，因為監測識別需要通過不同的邊緣輪廓，識別目標種類。圖像的邊緣可以利用不同像素點的梯度進行描述，該值通過下列方程組獲得：

Haa″，b″=Ra″+1，b″-Ra″-1，b″Hba″，b″=Ra″，b″+1-Ra″，b″-1Ta″，b″=Haa″，b″2+Hba″，b″2βa″，b″=arctanHba″，b″Haa″，b″（5）

式中：Haa″，b″、Hba″，b″分別表示不同方向的邊緣特征值;R*表示像素灰度值;Ta″，b″表示梯度幅值;βa″，b″表示梯度方向[4]。通過公式（5）計算每個像素的梯度，連接得到結果后生成獨立的區塊，實現對干擾目標的鎖定，從而在圖1（a）中排除，得到圖1（b）的結果，實現對監測目標的精準定位。

1.3 基于人機交互自動恢復丟失目標

在實際監測過程中，盡管區分了背景環境和干擾項，但依舊存在突然丟失監測目標的情況，所以在人機交互的基礎上，通過人機交互界面控制Mean Shift跟蹤算法的運行，輔助對目標的自動監測。假設目標模板區域的像素位置為a*i，其中i表示位置節點編號。已知核函數為一個單調遞減函數，利用該函數設置目標模板區域的像素權值，其中遠離模板的像素權值較小，接近模板的像素權值較大。設置a*i處的像素灰度值為ga*i，則目標模板灰度概率的計算結果為

pi=M∑ni=1h‖a*i‖2φga*i-γ〗（6）

式中：M表示歸一化常數;h*表示加權函數，也就是提出的核函數;φ*〗表示克羅內克函數，當該函數的結果φ=0時，像素節點不重疊;當該函數的結果為φ=1時，像素節點重疊。由于概率pi的最大極限值為1，那么根據公式（6）可導出歸一化常數M，得到

M=1∑ni=1h‖a*i‖2（7）

根據公式（6）和公式（7），可得到人機交互控制數據，根據該數據比較目標模板和候選目標之間的相似性，該比較過程如下：

s′z=∑mi=1piz，pisz=1-s′z（8）

式中：s′z是描述模板與候選目標之間關系的Bhattacharyya系數。在被檢測幀中定位目標，需要從前一幀的目標模板位置開始，將模板與目標進行比較，而不是默認初始圖像為背景。因為一些目標可能運動到區域的邊緣處，所以對監測的前10～20幀圖像不進行目標匹配，導致這種默認存在極大的誤差，影響最終的監測結果。所以人機交互過程中，考慮攝像機的拍攝位置，試試調整Bhattacharyya系數，根據目標模板和候選目標之間的線性近似，衡量目標的變形程度。操作過程中當變形結果超出數據標準時，利用均值偏移過程檢測方法，計算新的目標位置，公式為

z=∑nki=1a″iuiqz′-a″L2∑nki=1uiqz′-a″L2（9）

式中：z′表示丟失前的目標位置;z表示自動恢復后獲得的目標位置;ui表示權重;L表示丟失偏移量;q*表示追蹤函數[5]。在上述過程的基礎上，實現對丟失目標的自動恢復，至此完成基于人機交互的全景智能化視頻目標自動監測。

2 應用測試

2.1 測試平臺

為驗證此次研究的自動監測方法具有更好的應用效果，利用高清全景視頻采集與處理系統硬件平臺進行應用測試，如圖2所示。對圖2中的平臺進行12 V外部供電，設置全景鏡頭的環視角度為360°，在一個實驗室內采集全景視頻圖像，并將采集結果通過VGA接口上傳到顯示屏。設置硬件平臺的采集分辨率分別為2 592×1 944、1 922×1 080以及1 280×720。經過3組條件測試，得到的視頻目標最高幀頻分別為15、30和60帖。將該結果與OV5640手冊中的參數數據進行對比，得到的結果與手冊中的數據完全一致，表明該硬件平臺可以正常應用。

平臺的軟件采用Visual Studio 2017+Kinect V2.0+ OpenCV3.1.0軟件，采集全景智能化視頻中的運動目標，從而實現智能化監測任務。由于光照會影響圖像數據的獲取，得到的結果存在一定程度的誤差，更加接近實際監測環境，所以在本次測試當中，需要體驗者完全暴露在設備的視場感應范圍之內。為了降低圖像運算過程中產生的內存開銷，每次測試只提取一次目標位置的所在方位。按照如圖3所示的過程，要求體驗者按照1、2、3的順序依次抓取并放回圖3中的3組物品，利用搭建的平臺執行自動監測任務。

此次測試為了增強測試結果的說服性，將本文提出的自動監測方法，與3種傳統自動監測方法進行比較，3組傳統方法分別為基于大數據技術的監測方法、基于全景感知技術的自動監測方法、基于多數據融合的自動監測方法。利用4組方法監測體驗者在抓取A1、A2、A3目標時，手部與3個物品之間的接觸情況，根據監測結果統計不同方法的目標抓取概率。

2.2 目標抓取率測試

將4組方法依次與搭建的實驗平臺之間建立有效連接，在保證同樣的測試條件下，獲得4組方法的全景智能化視頻目標抓取概率，圖4為此次測試得到的目標抓取概率統計結果。

根據圖4顯示的測試結果可知，圖4（a）基于大數據技術的自動監測方法，默認前20幀圖像為背景圖像，且對于目標圖像的抓取，處于一個較小的概率。當圖像幀數超過27時，目標抓取概率才有所增加，但最大值不超過0.7。圖4（b）基于全景感知技術的自動監測方法面臨同樣的問題，但該方法只是默認前15幀圖像為背景圖像，總體抓取概率也接近0.8，說明該方法的全景感知技術起到了一定感知作用，但對監測結果還是有一定程度的影響。圖4（c）基于多數據融合的自動監測方法，沒有默認初始圖像為背景圖像，但其抓取概率忽上忽下，該方法的多數據融合并不穩定，難以信任該方法的監測結果。圖4（d）本文方法發揮了人機交互的實時控制優勢，并沒有默認初始圖像為背景圖像，而是從第1幀圖像開始，就進行目標匹配，同時抓取概率均超過了0.9，說明該方法在排除干擾項的前提下，有更好的監測效果。

3 結語

此次研究將目標干擾問題、目標丟失問題作為研究重點內容，充分發揮人機交互技術的精準控制特點，通過全新的圖像處理方法，監測全景智能化視頻目標，為今后監測系統的目標監控與測算工作，提供了更好的技術支持。但此次研究還存在兩點不足之處，首先就是該方法的計算較為復雜，可能最終會影響監測耗時，這一點需要驗證;其次是該方法針對目標干擾和目標丟失提出的，但固定區域中的目標可以是動態變化的，一旦目標消失在識別區域內，關于對不完整目標的識別定位還有待研究。在今后的研究工作中，需要測試該監測方法的使用耗時情況，并對不完整目標的識別定位方法進行詳細介紹，通過輪廓特征提取與缺失數據補充工作，進一步優化對全景視頻目標的自動監測。

【參考文獻】

[1]艾精文，黨曉婧，呂啟深，等.基于物聯網的具有全景功能的全維度設備狀態監測系統研究[J].電力系統保護與控制，2019，47（16）：122-128.

[2] 李森，謝翔，李國林，等.一種基于顏色結構光的投影儀攝像頭觸摸板人機交互系統[J].微電子學與計算機，2019，36（1）：61-65.

[3] 晏暉，胡丙華.基于空間拓撲關系的目標自動跟蹤與位姿測量技術[J].中國測試，2019，45（4）：9-15.

[4] 黃微，任衛紅，朱琳琳，等.基于形狀上下文和方向梯度直方圖特征的異源圖像配準[J].信息與控制，2019，48（2）：149-155.

[5] 徐秋平.基于人機交互式圖割的目標快速提取[J].計算機工程與科學，2020，42（2）：299-306.