基于計算機視覺的視頻圖像關鍵幀提取及修復方法

林 嵩

(福建技術師范學院 文化傳媒與法律學院, 福州 350300)

0 前 言

視頻監控錄像的崛起帶領人們進入了一個數字化社會。由于每時每刻都有大量的視頻圖像生成，且涉及的事物眾多，信息紛繁復雜，為了實現視頻圖像的高效傳輸，分析圖像關鍵幀，提取主要特征，學者們進行了深入研究。張航等人提出了一種面向礦山監管的無人機視頻關鍵幀影像動態提取方法，首先對視頻影像進行預處理；然后，基于提出的相關信息進行加權處理，得出關鍵幀的動態間隔；最后，對關鍵幀的時間間隔進行加權處理，提取關鍵幀的動態時差[1]。王俊玲等人提出了一種基于語義相關的視頻關鍵幀提取算法，首先利用卷積自編碼器提取視頻幀的深度特征，并對其進行聚類分析；然后，篩選出最清晰的視頻幀作為關鍵幀；最后，利用密度方法對初次提取的關鍵幀進行優化[2]。但上述方法需要處理多次才能提取到視頻圖像關鍵幀。

計算機視覺任務包括獲取、處理、分析和理解數字圖像的方法，以及從現實世界中提取高維數據。為了提高視頻圖像關鍵幀提取及修復效果，本次研究設計了一種基于計算機視覺的視頻圖像關鍵幀提取及修復方法。

1 基于計算機視覺的視頻圖像關鍵幀提取

1.1 視頻圖像分割

人工測量視頻圖像只能對重點區域進行分割；而基于計算機視覺測量視頻圖像不僅能夠檢測物體活動背景，而且能夠識別目標移動軌跡?；谟嬎銠C視覺的視頻圖像采集過程如圖1所示。

圖1 基于計算機視覺的視頻圖像采集過程

為了實現視頻圖像的準確切割，采用閾值分割法建立灰度值模型，首先找出視頻中的關鍵幀閾值，然后計算背景與目標的灰度差，最后完成閾值分割[3]。

設原始視頻圖像為f(x,y)，其灰度值范圍為[Qmin,Qmax]，灰度閾值為Q1。閾值分割后的視頻圖像如式(1)所示：

(1)

式中：f1(x,y)表示閾值分割后的視頻圖像。

無論灰度值如何變化，閾值分割都不會丟失原始視頻圖像的主要信息，其不僅能夠過濾掉重復數據，而且能夠使還原度達到最高[4]?；陂撝捣指畹耐蛔冃?，采用迭代法使灰度值保持在同一水平線上。首先，從繪制的灰度直方圖中選取合適的閾值進行視頻圖像切割，通過不斷迭代計算得出新灰度值Q=(Qmax+Qmin)/2；然后，求出迭代n+1次的平均灰度值Qn+1=(Qb+Qm)/2，其中Qb表示背景灰度值，Qm表示目標灰度值；最后，比較Qn和Qn+1，若相等，則Qn+1為最佳閾值，否則繼續迭代計算。

1.2 視頻圖像紋理采集

當視頻圖像出現相似背景時，容易出現錯誤識別的情況，從而導致紋理檢測失敗。為了提高紋理采集效率，利用視頻圖像中的主要特征窗口獲取像素值[5-6]。紋理圖像灰度值的計算如式(2)所示：

(2)

式中：Gpixel_A表示紋理圖像灰度值；i表示像素點；m表示像素點個數；P表示紋理圖像采集概率。

在視頻圖像紋理采集過程中，需要對關鍵像素點和模糊視頻圖像進行重建與融合[7]。采用熵值法采集剩余的局部紋理圖像，以原始像素點作為標準求出對應的熵。紋理圖像特征向量的計算如式(3)所示：

(3)

式中：c(t)表示紋理圖像特征向量；T表示紋理模型；t表示延后時間；K表示灰度系數;t0表示初始時間。

由于像素點的檢測會對視頻圖像產生干擾，導致出現不穩定的噪聲[8]。當噪聲達到較高分貝時，會在一定程度上影響子區域的融合，從而使視頻幀數不穩定，采集的紋理圖像不夠完整與清晰。為了得到色彩豐富的二維結構[9]，使用的函數如式(4)所示：

(4)

式中：P1、P2、P3、P4表示逐漸增加的概率；x1、x2、x3、x4表示視頻幀的二維高斯核函數；?表示維度。

當給予不同維度的數值時，紋理圖像關鍵幀的灰度差如式(5)所示：

(5)

式中：z表示紋理圖像關鍵幀的灰度差。

z的3個值代表了3種濾波，利用濾波函數θ將圖像中的混合噪聲分離出來，通過特征分量去除緣區域的噪聲干擾，以確定紋理圖像關鍵幀像素點的分布情況。

1.3 視頻圖像關鍵幀提取

視頻圖像關鍵幀包括初始幀和終止幀[10]。以初始背景為例，首先找出主要特征分量；然后，在特征分量中找出關鍵幀信息；最后，通過灰度值曲線圖判斷關鍵幀的具體位置[11]。關鍵幀提取流程如圖2所示。

圖2 關鍵幀提取流程

假設存在2個相似的視頻圖像Ui(x,y)和Uj(x,y)，面積均為M×N，則視頻圖像關鍵幀中的相似像素值如式(6)所示：

λ(Uj(x,y),w)

(6)

式中：F(r,w)表示像素值函數；r表示顏色特征；w表示亮度特征；λ表示因子系數。

去除所有干擾因素后，相似概率如式(7)所示：

(7)

式中：P(r，w)表示相似概率。

由式(6)、式(7)可知，根據像素點特征分量可以繪制關鍵幀曲線[12]，從而得到Ui(x,y)和Uj(x,y)，定義表達式如式(8)所示：

(8)

相關性越高，二者的相似程度越高。正常情況下，相關性的值為0～1，灰度閾值約為0.9。

由于視頻圖像不受時間和地點的限制，關鍵幀只隨著特征向量的變化而變化，并按照從模糊到清晰的順序排列[13]。以初始關鍵幀作為標準，刪除重復信息，填補缺失數據，比較相鄰關鍵幀的灰度差[14]，求出最后視頻圖像的關鍵幀灰度差，如式(9)所示：

(9)

式中：P(xi)表示灰度值概率。

由于灰度值受到陽光等影響，導致關鍵幀提取出現誤差，關鍵幀序列分布不均勻。只有當信息熵達到最大值時，才會減少關鍵幀的排列錯誤。新的視頻圖像關鍵幀提取包括以下6個步驟：

(1) 采集視頻圖像中的主要關鍵幀，待達到一定數量后，確定該片段的初始幀和終止幀[15]；

(2) 將視頻圖像分成多個小片段，并逐一分析每個片段的關鍵幀相似度序列U′，U′=(U1,U2,U3，…,Un-1,Un)，選取序列中的閾值Q作為主要關鍵幀，即Q=U1；

(3) 求解像素點之間的相關性，設閾值Q=0.9，進而選出新的關鍵幀；

(4) 重復上述步驟，直到從剩余關鍵幀的序列中檢測出終止關鍵幀；

(5) 當|i-j|<20時，得到最大的信息熵值，將獲取的關鍵幀整合到同一個集合中；

(6) 在集合中找出初始幀和終止幀，否則轉回步驟(5)。

2 視頻圖像修復

每個關鍵幀都具有特定的信息熵，在進行關鍵幀修復時，首先提取相同關鍵幀信息備用；然后找到目標移動規律，記錄移動軌跡矩陣H=(H1,H2,…,Hn)。由于H中的每個元素都具有相同的背景和目標，因此背景噪聲會使目標改變方向?；谠肼暤牟淮_定性，建立降噪模型，如式(10)所示：

min‖H‖+λ,s.t.‖P-H-S‖≤ε

(10)

式中：S表示面積矩陣；P表示概率矩陣；ε表示噪聲。

經過雙層濾波降噪處理后，關鍵幀的主要信息逐漸被修復，利用加權法還原原始矩陣，如式(11)所示：

(11)

式中：Ws表示視頻圖像關鍵幀特征修復函數。

3 實驗結果分析

3.1 參數設計

為驗證基于計算機視覺的視頻圖像關鍵幀提取及修復方法的有效性，將其與視頻關鍵幀影像動態提取方法、基于語義相關的視頻關鍵幀提取方法進行對比實驗。實驗參數如表1所示。

表1 實驗參數

3.2 實驗結果分析

3.2.1 關鍵幀提取效果

分別采用3種方法提取3種不同視頻圖像的關鍵幀，提取效果如圖3-圖5所示。

圖3 視頻圖像1的關鍵幀提取效果

圖4 視頻圖像2的關鍵幀提取效果

圖5 視頻圖像3的關鍵幀提取效果

由圖3 — 圖5可知，本方法提取的圖像清晰度較高，能夠提取到圖像的顏色特征和紋理特征；其他2種方法提取的圖像清晰度較低，尤其是基于語義相關的視頻關鍵幀提取方法提取的圖像最模糊，不能準確獲得圖像信息。

3.2.2 關鍵幀修復效果

由視頻圖像關鍵幀修復效果(見圖6)可知，本方法修復效果較好，其他2種方法修復的圖像存在模糊現象。

圖6 視頻圖像關鍵幀修復效果

3.2.3 關鍵幀提取時間

由視頻圖像關鍵幀提取時間的對比結果(見圖7)可知，關鍵幀提取時間隨著視頻數量的增加而增加，本方法的關鍵幀提取時間比其他2種方法少。

圖7 視頻圖像關鍵幀提取時間的對比結果

3.2.4 關鍵下幀提取誤差

不同λ的視頻圖像關鍵幀提取誤差如表2所示。當λ為0.05時，本方法的關鍵幀提取誤差為0.01，視頻關鍵幀影像動態提取方法的關鍵幀提取誤差為0.58，基于語義相關的視頻關鍵幀提取方法的關鍵幀提取誤差為0.68。當λ為0.66時，本方法的關鍵幀提取誤差為0.16，視頻關鍵幀影像動態提取方法的關鍵幀提取誤差為0.43，基于語義相關的視頻關鍵幀提取方法的關鍵幀提取誤差為0.52。由此可見，本方法的視頻圖像關鍵幀提取誤差比其他2種方法低。

表2 不同λ下的視頻圖像關鍵幀提取誤差

4 結 語

本次研究設計了一種基于計算機視覺的視頻圖像關鍵幀提取及修復方法。首先，在智能計算機的基礎上還原視頻圖像，提取數據信息，確定關鍵幀序列；然后，將灰度值與關鍵幀序列相結合，復制相似關鍵幀信息，修復丟失關鍵幀；最后，利用灰度值與序列之間的聯系獲取主要特征，對其進行融合與分類，進而完成關鍵幀修復。