基于紋理特征的分布式視頻壓縮感知自適應重構方法*

陳 燦，周 超，張登銀

(南京郵電大學物聯網學院，江蘇 南京 210003)

壓縮感知(Compressive Sensing，CS)[1-2]理論提出利用測量矩陣對信號進行采樣和壓縮，并通過重構算法恢復原始信號。這種強大的信號采集和處理方式，使其適用于諸如視頻監控[3]等資源受限的應用場景。在過去的十多年中，CS 已被成功應用于視頻圖像信號處理，其中最流行的一種應用就是分布式視頻壓縮感知框架(Distributed Compressive Video Sensing，DCVS)[4-5]。由于DCVS 整合了CS 和分布式視頻編碼(Distributed Video Coding，DVC)[6]的特點，十分適用于資源受限的應用場景，得到了學者的廣泛關注。值得注意的是，由于存儲空間的限制，在實際應用中往往采用基于塊的CS 采樣方式[7]，而不是直接對幀進行CS 采樣。

受啟發于運動估計(Motion Estimation，ME)和運動補償(Motion Compensation，MC)，文獻[5]提出多假設(Multi-Hypothesis，MH)預測算法，通過線性組合圖像塊來生成當前目標圖像塊的預測。文獻[8]提出MH-BCS-SPL 算法，該算法結合了MH 預測和殘差重構[9]，能夠獲得不錯的重構質量，因此衍生出一批相關算法[10-13]。文獻[14]提出一種重加權的殘差稀疏模型，該模型首先利用視頻幀的空間相關性進行初始重構，再利用視頻幀之間的時間相關性進一步提高重構質量。這些基于分析模型的重構算法盡管能夠獲得不錯的重構質量，但是計算復雜度高，無法滿足實時應用的要求。

近年來，深度學習技術在諸如目標檢測、語義分割等機器視覺領域展現出巨大的潛力，已被成功應用于CS 領域[15]，并被逐步引入分布式視頻壓縮感知重構中。文獻[16]提出一種名為CSVideoNet 的重構網絡，該網絡結合卷積神經網絡(Convolutional Neural Network，CNN) 和長短期記憶網絡(Long Short-Term Memory，LSTM)，能夠有效進行視頻幀重構。文獻[17]提出一種基于LSTM 的多幀質量增強方法，該方法通過使用相鄰高質量視頻幀來提高低質量視頻幀的質量。文獻[18]提出一種基于CNN的聯合采樣重構網絡，聯合學習編碼和解碼，充分利用了幀間相關性和幀內相關性。

盡管基于深度學習的重構方法具備較高的重構效率和重構質量，能夠滿足實時應用的要求，但是現有基于深度學習的重構方法忽略了幀的紋理特征，限制了重構性能。由于同圖像組中的視頻幀具有較高的相似性，因此可以選擇重構幀作為相鄰重構幀紋理特征的參考。為了解決這個問題，本文提出一種基于紋理特征的分布式視頻壓縮感知自適應重構網絡，命名為TF-DCVSNet。具體來說，TF-DCVSNet利用已重構相鄰幀的紋理特征，激活當前重構幀的重構網絡模塊，進行自適應重構。大量實驗驗證了TF-DCVSNet 的有效性。

本文章節安排如下:在第1 節，介紹了相關背景知識；在第2 節，對所提方法進行具體闡述；在第3節，對所提方法進行性能驗證和分析；在第4 節中，對本文進行總結與展望。

1 背景知識

1.1 壓縮感知

CS 理論指出，我們可以利用測量矩陣Φ∈Rm×n，以Sub-Nyquist 速率對信號x∈Rn×1進行采樣:

式中:y∈Rm×1為測量向量，m/n為采樣率。在基于塊的CS 中，n＝B2(B為分塊大小)。由于m?n，因此CS 重構為ill-posed 問題，傳統方法通過求解明確的分析模型來進行信號的重構:

式中:λ為非負的權重常數，S(x)表示信號先驗，例如稀疏先驗[19]和低秩先驗[20]。區別于基于分析模型的重構方法，基于深度學習的重構方法將重構建模為一個帶參數的網絡F(y；θ)，基于包含M個數據的訓練集，通過優化損失函數優化θ，實現信號的重構:

1.2 分布式視頻壓縮感知

研究者將DVC 和CS 進行結合，提出了DCVS。如圖1 所示，該DCVS 框架首先把視頻幀序列劃分為多個圖像組，圖像組(Group Of Picture，GOP)內的首個視頻幀被劃分為關鍵幀xK，其余視頻幀被劃分為非關鍵幀xNK(也被稱為Wyner-Ziv 幀)。在編碼端，對關鍵幀和非關鍵幀分別以高采樣率和低采樣率，進行獨立的CS 采樣。在解碼端，首先對關鍵幀的測量向量yK進行獨立的CS 重構，獲得重構后的關鍵幀x″K。然后利用x″K輔助非關鍵幀的測量值yNK進行聯合重構，獲得重構后的非關鍵幀x″NK。

圖1 DCVS 框架

2 所提方法

現有基于深度學習的重構方法忽略了幀的紋理特征，限制了重構性能。為了進一步提高重構質量，提出一種基于紋理特征的分布式視頻壓縮感知自適應重構網絡，命名為TF-DCVSNet。

2.1 網絡框架

TF-DCVSNet 網絡框架如圖2 所示，包括初始重構模塊和自適應重構模塊?；谕瑘D像組中的視頻幀具有較高的相似性，因此在重構時可以選擇相鄰重構的結果作為當前幀的紋理特征的參考。所提方法首先在非關鍵幀的重構中，選擇關鍵幀的中間重構結果作為非關鍵幀紋理特征的參考，進行非關鍵幀的自適應重構，獲得；然后將作為關鍵幀紋理特征的參考，進行關鍵幀的自適應重構，獲得。

圖2 TF-DCVSNet 框架

①初始重構模塊

初始重構模塊如圖3(以非關鍵幀的初始重構為例)所示，由1 個卷積層(卷積核數量:B×B，卷積核大小:1×1，步長:1，填充:valid)和1 個變形層組成。首先利用卷積層對y進行卷積運算，然后利用變形層將卷積層輸出張量變形為目標重構維度。

圖3 初始重構模塊架構

②自適應重構模塊

自適應重構模塊如圖4(以非關鍵幀的自適應重構為例)所示，由1 個門模塊和k個加權殘差模塊組成。首先輸入門模塊得到激活向量，激活向量自適應激活加權殘差模塊，對進行自適應重構。

圖4 自適應重構模塊框架

門模塊由5 個卷積層(卷積核數量:32，卷積核大小:3×3，步長:1，填充:same)，1 個平均池化層(池化核大小:2×2)、1 個全連接層(神經元數量:k)、1 個Softmax 層和1 個過濾層構成。在過濾層(GL)根據設置的閾值1/4k，對輸入張量t進行過濾，最終獲得激活向量p():

加權殘差模塊由2 個卷積層組成。首先，利用1 個卷積層(卷積核數量:32，卷積核大小:3×3，步長:1，填充:same)對輸入進行特征提取，獲得特征圖；其次，利用1 個卷積層(卷積核數量:1，卷積核大小:3×3，步長:1，填充:same)進行增強重構，獲得增強重構結果；然后，將增強重構結果的數值與激活向量中對應的數值進行點乘運算；最后，與這個加權殘差子網的輸入進行相加，獲得這個加權殘差子網的最終輸出。

2.2 訓練策略

如圖5 所示，針對所提網絡框架，本文采用一種基于四階段的訓練策略。當前階段將之前階段訓練的參數作為初始化參數進行訓練。為使得公式更加簡潔明了，下列公式皆為基于數據集的求和，省略了求和的上下標。

圖5 基于四階段的訓練策策略

在訓練階段一中，通過優化式(5)和式(6)，分別對關鍵幀和非關鍵幀的初始重構模塊進行訓練:

在訓練階段二中，通過優化式(7)，對非關鍵幀的初始重構模塊和自適應重構模型進行訓練:

在訓練階段三中，通過優化式(8)，對關鍵幀的初始重構模塊和自適應重構模型進行訓練:

在訓練階段四中，通過優化式(9)，對整體網絡進行訓練:

3 實驗

3.1 參數設置

由于沒有專門針對分布式視頻壓縮感知的標準數據集，本文采用UCF-101 數據集[21]進行訓練和測試。由于GPU 顯存的限制，圖像組大小設置為4，每個視頻幀裁取中心區域(分辨率:160×160)組成數據集。將數據集隨機劃分為訓練集(80%)，驗證集(10%)和測試集(10%)。其他參數設置如表1所示。采用所有視頻幀的平均PSNR 和平均SSIM作為衡量重構質量的客觀標準。

表1 實驗參數設置

3.2 性能對比

為驗證所提方法的有效性，將TF-DCVSNet 與以下三種主流的算法和網絡進行對比實驗:MHBCS-SPL[8]，FIR[22]和ReconNet[23]。表2 展示了不同方法在測試集上的重構質量對比。以0.04 采樣率的情況為例，相比于FIR，MH-BCS-SPL 和Recon-Net，TF-DCVSNet 在PSNR 上獲得了4.26 dB，3.14 dB和8.6 dB 的提升，并在SSIM 上獲得了0.136 1，0.094 3和0.301 4。圖6 展示了不同方法的重構主觀質量對比，不難觀察到，在低采樣率的情況下，ReconNet 由于獨立地重構每個圖像塊，忽略了塊之間的聯系，并且未充分利用視頻時空相關性，具有明顯的塊效應，重構性能不太理想；MH-BCS-SPL 利用了視頻時空相關性，塊效應有一定的改善；FIR 盡管借助深度學習技術，消除了塊效應，但是并未充分利用視頻時空相關性，重構質量仍有進一步的提升空間；TF-DCVSNet 展現出優越的性能，其原因在于TF-DCVSNet 充分利用了紋理特征信息，能夠進行自適應的重構。

表2 重構質量對比

4 結論

本文針對現有基于深度學習的重構方法忽略了幀的紋理特征、重構性能受限的問題，提出一種名為TF-DCVSNet 的基于紋理特征的分布式視頻壓縮感知自適應重構網絡，利用已重構相鄰幀的紋理特征，激活當前重構幀的重構網絡模塊，進行自適應重構。大量實驗驗證了TF-DCVSNet 的有效性。今后的研究將圍繞如何提高網絡的重構效率進行開展。