基于稀光流的疑似煙霧提取算法

朱家玉 劉國巍

（安徽理工大學電氣與信息工程學院，安徽 淮南 232001）

隨著人們逐漸了解到森林面積大幅減少所產生問題的嚴重性后，人們開始采用各種方式對其進行保護和再生。然而每次火災的發生都會造成巨大的森林資源損失和環境污染，有時還會使周邊人們的生活和生產受到影響，嚴重的可能會危及生命安全。因此，通過視頻煙霧檢測來預警火災，對于保護森林環境極具實際意義。

傳統的視頻煙霧檢測過程主要分為4個步驟，分別是圖片預處理；疑似煙霧區域提取，特征提??；分類識別。從視頻圖像中提取大概率存在煙霧的圖像塊，以此降低后續檢測步驟的運算量，降低誤報率和漏報率，提高檢測的實時性。高斯混合模型的提取效果較好，但會對部分緩慢移動的煙霧判定為背景從而造成漏檢；稠密光流法雖然提取效果最好，但計算量較大會影響到實時性。

1 整體算法流程

基于稀光流的疑似煙霧區域提取方法包括視頻圖像運動目標追蹤提取和疑似煙霧圖像篩選兩部分：第一部分通過對視頻圖像特征點進行檢測，然后對特征點進行光流矢量估算找到其中的運動點；第二部分先依據煙霧的運動特征檢測運動點的運動方向進行一次篩選，然后以一次篩選得到的運動點為中心分割一個32×24的圖像塊，對其進行顏色特征的二次篩選。整體流程圖如圖1所示。

圖1 整體流程圖

2 疑似煙霧區域的提取篩選

2.1 光流法追蹤運動目標

人們依據視頻中相鄰兩幀圖像存在的相關性，為圖像中的像素點定義一個虛擬的瞬時速度，稱作光流。假設存在兩幀相鄰視頻圖像A和B， A中任意一像素點a（x，y）（x和y為像素點坐標），其在B中存在一相關像素點b（x+dx，y+dy），兩幀變換時間為dt，dt很小，點a到b的速度即為a的光流。最早的光流算法是由Lucas和Kanade提出的，故又稱LK光流算法。算法成立的前提條件有3個，分別是：①像素點亮度恒定不變；②像素點運動幅度很??；③空間一致。

設A1點亮度為e（x，y，t）和B1點亮度為e（x+dx，y+dy，t+dt），由于dt很小，可以認為亮度恒定，兩者相等。對亮度e（x+dx，y+dy，t+dt）用泰勒公式展開，忽略掉其中的二階無窮小可以得到基本光流約束方程：

根據空間一致性，一個像素點周圍有8個相同小運動的像素點，組成具有9個方程2個未知量的方程組，根據最小二乘法，得式：

2.2 基于特征點的光流法

光流法雖然對運動區域的提取效果很好，但由于需要對一幀圖像上所有的像素點進行光流計算，計算量過大，計算耗時較長無法滿足檢測要求的實時性。為了避免這樣的情況，本文決定對圖像進行特征點檢測，然后對檢測出的特征點進行光流估算。這樣既能較好地保留圖像中運動區域的特征，又可以保證實時性。這里的特征點指的是灰度值劇烈變化的像素點。

設圖像P（x，y）中點（x，y）移動（dx，dy），其相似性公式如下：

式中，w（x，y）為窗口函數，p（u，v）為以點（x，y）為中心的窗口。對p（u+?y，v+?y）進行一階泰勒公式展開，式（5）變為：

式中，M的表達式如下：

通過對矩陣M求解特征值λ1，λ2，進而計算特征點響應值R，利用特征點響應值的范圍判斷是否為特征點，特征點相應值計算公式為：

當R＞0時，判定點（x，y）為所尋特征點。

2.3 圖像篩選

為了區別云霧，保證煙霧圖像提取的準確性和降低后續識別工作的工作量，可以通過檢測運動目標的運動方向是否整體向上，來排除云霧的干擾。

常見的運動方向檢測方法有基于視頻塊的運動方向檢測法和光流法?；谝曨l塊的運動方向檢測法的實現原理是：在視頻幀數間隔很小的情況下，視頻中當前幀的運動物體和后一幀其運動方向上的物體相似，煙霧雖然形狀不固定，但是在短時間內變化小。具體方法是將視頻中方向分為8個，間隔為45°，方向1指向正右，其他幾個方向依次逆時針以視頻中運動目標為中心分出來一定大小的圖像塊，再將其劃分成類似九宮格樣式，計算當前幀九宮格中心圖像與下一幀除九宮格中心之外的8個鄰域圖像的相似性，相似性最高的就是運動物體的運動方向。

本文中采用光流法追蹤運動目標，前文中公式（4）計算所得像素點在水平和垂直方向上的光流矢量 ，可以通過計算下列公式：

得出像素點的運動方向角度θ，當0<θ<π時，即可認為該點像素運動方向向上。由于采用稀光流，所需計算量相對較少。故選用光流法檢測運動方向。

對于經過篩選得出來的像素點以其為中心分割出一個32×24的圖像塊，再依據HSV顏色特征分析得到的閾值進行二次篩選，降低誤檢率。

3 實例仿真

所有仿真環境基于AMD Ryzen 5 4500U with Radeon Graphics 2.38 GHz處理器，內存8GB，操作系統為Windows 10，編程語言使用Python3.8，使用PyCharm Community Edition 2020.3.3 x64開發環境編寫算法，實驗所用視頻每幀圖像分辨率為320×240。

為了驗證筆者所提算法的優劣性，決定選取稠密光流法、差分法和本文所提算法進行對比。不同算法下，森林疑似煙霧提取結果如圖2所示。

圖2 不同算法下疑似煙霧區域提取效果圖

稠密光流法效果圖為快速閃爍的白色光斑，效果很差。差分法提取疑似煙霧區域中包含的無煙區域較大，相較本文算法得到的圖像較大，增加下一步識別階段的工作量。對同一視頻進行仿真，稠密光流法仿真時有明顯卡頓現象，無法滿足實時性要求。差分法和本文所提方法計算速度相近，能滿足實時性要求。而本文方法通過煙霧的運動方向和顏色的特征，在一定程度上可以排除云霧等自然因素的干擾，使得本文方法所提取的圖像較準確（見表1）。

表1 算法運行時間

4 結語

本文通過對森林煙霧數據的研究，提出了一種基于稀光流的疑似煙霧區域提取算法，該方法首先通過稀光流對視頻圖像中的運動目標進行追蹤，避免了傳統光流對整幅圖像進行光流計算的大工作量，再依據光流矢量判斷運動方向，排除自然干擾，提高準確性，降低漏檢率，最后再次通過顏色特征二次篩選，進一步降低了識別模型所需進行的工 作量。