基于局部卷積的視頻圖像像素補償方法*

查懷志

(安慶師范大學教師教育學院,安徽 安慶 246133)

視頻圖像像素補償算法是在低像素視頻圖像序列中獲取高像素圖像的過程[1].由于視頻圖像具備較強的動態連續性,因此高速運動目標存在像素丟失現象[2].針對該問題,張德園等[3]提出了一種基于模型的視頻圖像像素補償算法,即在低像素圖像恢復高像素視頻圖像的過程中引入正則化項,完成對視頻圖像的補償.該方法需要建立較復雜的模型來描述圖像的特征和補償過程,導致算法的計算復雜度和實現難度增加,視頻圖像空間分辨率較低.劉晨羽等[4]提出了一種基于學習的視頻圖像像素補償算法,即利用標準稀疏編碼技術獲取權重系數,找到對應低像素圖像塊并應用到高像素字典中,完成對應圖像補償.該方法需要大量的訓練數據來獲取權重系數,不能很好滿足特定場景的補償需求,特別是當訓練數據中有噪聲或失真時,可能會導致補償結果出現偽影或其他失真現象.吳磊等[5]構建了一個基于多尺度遞歸網絡的圖像超分辨率網絡模型.該模型由多個多尺度特征映射單元級聯構成,在低分辨率圖像中進行特征提取,并利用亞像素卷積對圖像完成補償.由于特征提取方式和亞像素卷積操作的限制,該方法可能無法很好地捕捉和重建圖像中的細節信息.針對上述方法存在的問題,為了修復高速運動目標缺失像素,筆者擬設計一種基于局部卷積的視頻圖像像素補償方法(簡稱“局部卷積補償方法”).局部卷積補償方法運用局部卷積并結合神經網絡模型,可以實現視頻圖像幀的像素補償.

1 局部卷積視頻圖像重建

(1)去除視頻幀冗余信息.在發送視頻數據前需去除冗余信息.冗余信息提取公式為

其中r為提取信息計算參數,ap為視頻信息p點的像素信息.將數據編碼發送至目的端,經過解碼端重建編碼.生成完整的視頻圖像后,即可解碼出完整的視頻文件.

(2)采用局部卷積方法重建前幾幀視頻圖像塊.根據局部卷積原理,將神經網絡模型分為3個部分:①使用局部卷積方法提取視頻圖像特征;②使用局部卷積方法重建視頻幀;③根據重建視頻幀的損失,優化視頻塊和圖像塊的參數.局部卷積重建視頻圖像塊的過程如圖1所示.

圖1 局部卷積重建視頻圖像塊Fig. 1 Local Convolutional Reconstruction of Video Image Blocks

由圖1可知,前3幀視頻圖像為輸入數據,先填充卷積核尺寸、步幅和內邊距,依次設為4,2,1,輸入層的第1層卷積核為4×4×3.設置成功后,選取線性單元函數,將其作為激活函數.需要注意的是,所有輸入的視頻圖像像素大小皆為128×128.在局部卷積處理的過程中,經過激活處理得到64×64像素大小的特征圖,再進入下一層特征.同理,依次處理得到包含3 000個元素的特征向量,以此保證輸出與輸入的視頻圖像均具有空間分辨率.

(3)將重建的圖像塊與原視頻幀融合在一起,即可得到一個完整幀[6].融合計算公式為

其中P表示重建圖像塊與原視頻的關聯性.在融合時,擬定計算特征t與估計相似類比c,從而完成重建的圖像塊與原視頻幀融合.

2 視頻圖像像素空間激活

圖2 激活過程Fig. 2 Activation Process

利用局部卷積方法重建視頻幀和圖像塊后,需要激活視頻圖像像素空間,改善視頻圖像質量.激活過程如圖2所示.

建立激活原則:

原則1若被激活的視頻圖像像素空間域與源圖像像素對應區域相差較大,則需在低像素視頻圖像中突出細節和紋理特征.

若該像素空間對應的梯度強度較大,則按照原則1處理[7].

原則2通過像素空間檢測提取出的源視頻圖像,在理想狀態下是與源圖像聚焦區域相對應的.

尋找源圖像聚焦區域的公式為

Y=J(X),

其中J為圖像聚焦系數,X為源視頻圖像相似數據樣本.

原則3將源視頻圖像像素空間與激活后的視頻圖像像素空間作差后,需要檢查紋理和邊緣細節信息是否有殘留[8].殘留不明顯,說明該像素空間為源視頻圖像的聚焦區域;殘留明顯,說明該像素空間為源視頻圖像的離焦區域.

激活源視頻圖像,得到臨時視頻像素空間和源視頻圖像像素空間后,計算視頻圖像各像素鄰域窗口的梯度能量[9].根據梯度能量大小構建決策矩陣,并根據激活規則激活源圖像中的對應像素空間.具體激活步驟如下:

(ⅰ)配準源視頻圖像IA,得到轉換后的視頻圖像IB,再將IA和IB轉換為列向量,構成觀測矩陣V,

其中:VA為源視頻圖像像素;VB為源視頻轉換后的視頻圖像像素;VmnA為m×n的源視頻圖像像素;VmnB為轉換后的m×n視頻圖像像素.

(ⅱ)用激活算法分解V.

(ⅲ)將觀測矩陣V還原成m×n的視頻圖像.該視頻圖像為臨時激活的視頻圖像[10].

(ⅳ)計算差異視頻圖像DA和DB的像素E(DA,DB),

確定源視頻圖像像素(m,n)是否處于聚焦區域內[11].若處于聚焦區域,則可以構建臨時激活視頻圖像與源視頻圖像的相似特征矩陣S[12],

S=(VpVp′),

其中Vp為激活圖像前p點像素特征,Vp′為激活圖像后p點像素特征.

(ⅴ)根據激活原則,合并源圖像中的聚焦區域,得到激活后的視頻圖像[13].

3 視頻圖像像素補償

圖3 局部卷積補償方法Fig. 3 Local Convolution Compensation Method

采用局部卷積補償方法實現圖像像素補償,原理如圖3所示.

局部卷積生成的視頻圖像的內插幀會存在空洞.為了解決這一問題,采用線性均值補償方法將時域中需要內插的視頻幀平均分成若干份,在第1幀和第2幀中的對稱區域尋找匹配塊(圖3)[14].傳統的視頻圖像像素補償方法最大的缺點在于像素矢量是不精確的,采用線性均值補償方法可以獲得更好的像素補償及高質量視頻圖像.線性均值補償方法用公式表示為

其中:fq為源視頻圖像參考幀;vx為搜索獲得的前一幀像素;vy為搜索獲得的后一幀像素.由于利用幀間像素信息可以在線性插幀基礎上完成像素補償,因此能夠有效提高像素分辨率.

為了簡化線性均值補償方法的計算過程,假設視頻圖像幀平面由互不重疊的規則塊組成,每塊像素模型均代表一個塊像素矢量,像素矢量代表每一塊的像素情況[15].簡化公式為

因視頻圖像編碼以宏塊為單位,故將當前的參考幀分成若干塊,且為互不重疊的塊.將這些宏塊視為一個運動物體,為了方便計算,設定宏塊大小為M×M.補償準則:按照搜索順序,在處理當前待插幀的宏塊時,要給定搜索范圍,并按照匹配規則搜索與當前宏塊最匹配的塊[16].搜索最匹配塊的公式為

圖4 塊匹配原理Fig. 4 Block Matching Principle

得到匹配塊后,計算當前塊和宏塊的相對位置,位移為當前宏塊的像素矢量.在通常情況下,參考幀與當前幀為前后相鄰的一幀或者多幀[17].當前塊和宏塊的原有計算公式為

其中:g為宏塊位置的定位系數;m為宏塊中圖像幀數的最大值;zc′為相鄰幀c′的位移.在計算時,需要注意參考幀與當前幀的關系,若為多幀,則需要先確定搜索范圍,再進行搜索.塊匹配原理如圖4所示.根據塊匹配原理,計算當前塊與宏塊的相對位置.需要注意的是,分塊大小和搜索窗方位會影響補償精度.

計算出當前宏塊的位置后,判斷塊匹配原則的性能是否會影響計算結果[18].在局部卷積補償方法中,常用的塊匹配原則有最小準則和歸一化相關函數準則.定義ft(m,n)與ft+1(m,n)分別為ft和ft+1的灰度值,M×N為宏塊尺寸.根據最小準則,最佳匹配塊像素矢量的計算公式為

其中D表示匹配塊m與n之間的歐式距離[19].

匹配結束后,劃分高、低相關區域,實現補償塊的高、低相關劃分.高、低區域劃分用公式表示為

圖5 視頻圖像高、低相關區域劃分Fig. 5 Division of High and Low Correlation Regions in Video Images

設前一參考幀匹配塊為Blk_FP(ll,rr),后一參考幀匹配塊為Blk_FN(ll,rr),其中(ll,rr)表示視頻圖像塊中像素的相對坐標.用前一幀匹配塊像素減去后一幀匹配塊像素,得到灰度值[21],并以此判斷閾值.視頻圖像高、低相關區域劃分如圖5所示.

通過圖5求前一幀匹配塊像素減去后一幀匹配塊像素的均值.具體計算公式為

其中:f(u,y,t)為待插像素灰度值;f(u,y,t-1)為補償后前一幀匹配塊像素;f(u,y,t+1)為補償后后一幀匹配塊像素.

由此,完成局部卷積補償.

圖6 基于局部卷積的視頻圖像像素補償流程Fig. 6 Pixel Compensation Process for Video Images Based on Local Convolution

基于局部卷積的視頻圖像像素補償流程如圖6所示.局部卷積補償方法的具體步驟如下:

(ⅰ)去除視頻幀冗余信息.發送視頻數據前,利用壓縮編碼去除視頻幀冗余信息.通過計算公式得到冗余信息,將數據編碼發送至目的端,經過解碼端重建編碼,即可解碼出完整的視頻文件.

(ⅱ)重建視頻圖像塊.利用局部卷積原理,重建前幾幀視頻圖像塊.選取線性單元函數,將其作為激活函數.處理特征向量,保證輸出與輸入的視頻圖像均具有空間分辨率.

(ⅲ)視頻圖像像素空間激活.激活源視頻圖像,得到臨時視頻像素空間與源視頻圖像像素空間后,計算視頻圖像各像素鄰域窗口的梯度能量.根據梯度能量大小構建決策矩陣,再根據激活規則激活源圖像中的對應像素空間.

(ⅳ)補償視頻圖像內插幀空洞.采用線性均值補償方法,利用幀間像素信息,在線性插幀基礎上實現像素補償.

(ⅴ)尋找與源視頻圖像待插幀像素對應的匹配塊.按照搜索順序,在處理當前待插幀的宏塊時給定搜索范圍,并按照匹配規則搜索與當前宏塊最匹配的塊.根據源視頻圖像待插幀當前塊的像素矢量,找出對應的匹配塊.

(ⅵ)判斷視頻圖像匹配程度.對匹配塊中的每個像素進行高、低相關判斷,再結合前一參考幀匹配塊和后一幀匹配塊的灰度值來判斷閾值.

4 實驗部分

圖7 視頻圖像樣本Fig. 7 Sample Video Image

4.1 實驗環境和數據集

選擇操作系統Windows10,GPU 版本為 NVIDIA GeForce RTX 3060 6 GB ,在Matlab(2015a)平臺上進行對比實驗.設置實驗組為局部卷積補償方法,對照組為遙感圖像分類方法[3]、單幅圖像超分辨率重建方法[4]和多尺度遞歸圖像超分辨率重建方法[5].實驗數據采集1 000張分辨率為1 280×720 p/60 Hz的日常視頻圖像,通過LabelImg對每張圖像進行標注,其中800張圖像用于訓練,200張圖像用于測試.實驗選用紋理簡單的視頻圖像(圖7)作為樣本.

4.2 實驗指標

(1)平均梯度.平均梯度能敏感地反映圖像對微小細節反差表達的能力,可用來評價圖像的模糊程度.平均梯度越大,圖像越清晰,補償效果越好.平均梯度的計算公式為

H(x,y)=bx(i,j)+by(i,j),

其中b為圖像像素的值,(i,j)為像素的坐標.

(2)信息熵.信息熵又稱平均自信息量,自信息是從信號源發出的消息所包含的信息.信息熵反映了圖像中某種特征的統計特性,可以描述圖像邊緣信息的變化.信息熵越大,圖像像素補償效果越好.信息熵的計算公式為

其中pm表示灰度值為m的像素在所有像素中的占比.

(3)圖像像素補償效果.該效果主要判斷處理后的圖像的質量,是一種主觀的評價方法.利用4種像素補償算法對樣本圖像進行像素補償,從圖像質量的變化、是否妨礙觀看等方面,對輸出圖像質量進行對比.

4.3 實驗結果

4.3.1 平均梯度對比 4種算法處理后的視頻圖像的平均梯度見表1.

表1 4種像素補償方法的平均梯度Table 1 Average Gradient of Four Pixel Compensation Methods

由表1可知,3種傳統處理方法處理后視頻圖像的平均梯度均小于9,而局部卷積補償方法處理后的平均梯度為11.239,說明局部卷積補償方法的圖像補償效果最好.這是因為3種傳統方法在計算過程中未考慮邊緣方向,缺少多發方向性,從而導致最終的像素補償效果不佳.

4.3.2 信息熵對比 4種算法處理后的視頻圖像信息熵見表2.

表2 4種像素補償方法的信息熵Table 2 Information Entropy of Four Pixel Compensation Methods

由表2可知,局部卷積補償方法處理后的視頻圖像的信息熵為8.665,大于其他3種傳統方法的處理結果,說明局部卷積補償方法能更有效地反映出邊緣信息.這是因為,局部卷積補償方法在計算過程中考慮了視頻圖像邊緣的方向和視頻圖像像素的全局相關性,從而獲得較好的圖像邊緣信息,有效提高視頻圖像空間分辨率.

4.3.3 視頻圖像像素補償效果對比 4種算法的視頻圖像像素補償效果如圖8所示.

圖8 不同像素補償方法的視頻圖像像素補償效果Fig. 8 Video Image Compensation Effects of Different Pixel Compensation Algorithms

由圖8可知:遙感圖像分類方法的補償效果圖灰度大,補償效果不明顯;單幅圖像超分辨率重建方法的補償效果圖明暗度區分不明顯,細節顯示不清晰;多尺度遞歸圖像超分辨率重建方法的補償效果圖出現曝光過度的情況,且圖像邊緣細節粗糙;局部卷積補償方法的補償效果圖不僅細節清晰,而且明暗度區分明顯,分辨率高,效果最佳.

5 結語

為了修復高速運動目標視頻圖像的缺失像素,提出了一種局部卷積補償方法.采用局部卷積方法重建視頻圖像,再利用激活方法激活視頻圖像像素空間.局部卷積補償方法能有效完成動態連續性視頻圖像的補償,在監控領域具有較好的實際應用價值.但由于局部卷積補償方法主要關注目標像素的鄰域信息,因此可能導致其在處理全局信息以及長程依賴方面表現不佳.為了提升像素補償的精確性和魯棒性,下一步研究考慮將局部卷積方法與全局信息融合方法結合,以更好地增強長程依賴性和全局一致性.