基于像素的背景建模方法綜述

薛 茹，宋煥生，張 環

(1.西藏民族學院信息工程學院，陜西 咸陽712082;2.長安大學信息工程學院，陜西 西安710064;3.陜西省道路交通智能檢測與裝備工程技術研究中心，陜西 西安710064)

運動目標檢測是視頻處理技術的重要問題之一，是解決計算機視覺問題的基礎。因此剔除時間和空間上冗余信息，對背景和目標進行有效地分割是運動目標檢測研究的重點。學者們根據應用場合、方法、技術路線等方面提出了不同的運動目標檢測方法，主要有背景減法、幀差法、光流法、均值漂移法、最小化能量法、結合濾波技術的方法、基于學習的方法、小波變化法、分形編碼法等。這些方法中背景減法、時間差、光流法能夠在固定攝像機情況下自動提取背景目標［1］，因而應用比較廣泛。幀差法適應環境變化的能力較強，但在運動目標紋理均勻或緩慢運動時，很難提取所有運動目標像素點，容易造成運動物體透明現象;光流法計算復雜，抗噪性能差;背景減法計算量小、抗噪能力強、精度高，所以是目前使用較普遍的方法。

在實際場景中情況比較復雜，外界天氣、光線、道路背景運動物體、影子樹枝等變化無常，給運動目標的檢測帶來極大困難。為了提高背景減法提取運動目標的準確性，背景模型成為影響目標監測和跟蹤性能的關鍵問題。在近些年的研究中，學者們研究了許多背景建模方法，這些方法主要是從像素和像素區域兩個方面對背景建模:基于像素的背景模型中每個像素是獨立的，這種方法的優點是能提取運動目標的外形，缺點是分割結果與背景和場景相關;像素區域建模的優點是圖像的局部變化和動態背景的影響較小，不能得到精確的目標形狀。

本文從是否需要為背景評估保留緩存，是否需要用每一個輸入的幀來更新背景模型兩個方面，將現有的基于像素背景建模方法分為遞歸和非遞歸［2-3］兩類，并逐一對它們的算法進行分析。

1 背景建模方法

1.1 非遞歸背景建模方法

非遞歸建模方法通過開辟內存來存儲大量過去時刻的圖像序列，并根據這些連續圖像對應像素的變化預計背景模型。這種方法能防止單幀圖像的干擾，但占內存較大。

1.1.1 中值、均值模型

中值［4］、均值濾波法是背景建模方法中較簡單的建模方法。它們的基本思想是將連續采集到的L幀序列圖像存儲到緩沖區中，對這L幀圖像中對應像素求均值或中值，用其均值或中值圖像作為下一幀圖像的背景模型。

上式分別是像素中值和均值的建模方法。It(x，y)表示t時刻點(x，y)處像素灰度值，Bt(x，y)表示均值法和中值法在該點的背景建模值，median為取中值函數。相比均值法計算簡單的特點，中值法能更好地保持圖像邊緣的平滑。但由于中值法注重濾波窗口數據的次序而忽略了輸入數據的時間，因此會產生邊緣抖動，并濾掉部分重要細節。為了解決這些問題，提出了多級中值濾波算法和自適應中值濾波算法等改進方法。

1.1.2 幀間差分模型

幀間差分法能彌補均值法中動態前景對背景模型的影響。它將圖像序列中相鄰兩幀進行相減，對得到的差進行閾值化來提取動態前景，在此基礎上出現如三幀差分法［5］等多種改進方法?；趲g差分思想的算法計算簡單、計算量小、對光線變化不敏感，且容易造成實體內部空洞。另外差分間隔根據運動目標的速度選擇，如果選擇不當會影響背景提取精確度。

1.1.3 W4模型

W4［6］構建了人們運動的動態模型來表示他們在哪里(Where)，在什么時間(When)做什么(What)，并且對追蹤對象外形建模，通過視頻圖像中的偶然事件識別追蹤對象身份，也就是明確了誰(Who)的問題，這就是W4名字的來源。W4建模的基本思想是:背景場景通過訓練圖像序列中同一像素的最大值、最小值，和相鄰連續幀中同一像素的差分來判斷前景像素。具體算法如下。

{x1，x2，…，xL}是L幀圖像序列中某像素的集合;σ(x)和λ(x)為像素x在訓練序列中的標準差和中值;像素x的初始背景模型為［m(x)，n(x)，d(x)］，m(x)，n(x)，d(x)表示像素的最小值、最大值和像素差的最大值。

dμ為d(x)的中值，k為閾值常數。如果＞kdμ，則xt為前景像素，反之為背景像素。

W4主要應用在單色視頻，特別是應用在夜間或其他低亮度水平的情況，這些情況下能有效檢測前景區域，但是計算量比較大。后來研究者對背景像素的分割和更新方法進行了改進［7］，使得在相同條件獲得了更好的效果。

1.1.4 線性預測模型

線性預測濾波是在美國科學家Wiener和前蘇聯科學家等人的研究基礎上提出的。它的基本思想是根據圖像序列中以前幀中的像素值預測下一幀圖像中像素值，通過對像素預測值和真實值的偏差來判斷該點為背景還是前景，如果當前像素明顯偏離預計值，則認為該當前像素是前景，否則為背景。在這里用維納濾波［8］來進行說明。給定一個像素，它下一時刻的值通過下式預測

式中:It為t幀時某像素的預測值;It-i為t幀之前各幀的像素值;ai為預測系數。通過L幀對當前幀進行預測，其均方誤差為

式中，ai由In樣本方差計算。根據均方誤差E的大小判斷像素為前景或背景。維納濾波對圖像周期性變化能很好的判斷，并實時對背景更新，對突然變化不能精確檢測。從理論上說，維納濾波的最大缺點是必須用到無限過去的數據，不適用于實時處理。

1.1.5 非參數核密度估計

核密度估計［9-10］(KDE)方法是基于像素顏色空間的非參數背景建模方法。它的基本思想是由序列圖像像素的采樣樣本估計背景像素的概率密度函數，從判斷當前像素概率值是否屬于背景的概率，來判斷屬于前景還是背景。

具體算法如下:{x1，x2，…，xL}是L幀圖像序列中某像素的集合，根據該像素集合提出像素強度估計的概率密度函數P(x)，xt為在t時刻強度的估計值為

式中，K是服從正態分布N(0，σ2)的函數，σ為該核函數的帶寬。所以就有

如果假設在不同的顏色通道有不同的核帶寬，密度估計變為

核密度估計雖然能有效地抑制動態陰影，但是需要存儲大量背景樣本，且計算時間復雜度相當高。另外，選擇合適的核帶寬比較難。

在該方法的基礎上，學者們提出了具有數據依賴性帶寬的密度估計方法，通過核對動態場景進行背景建模，并提出一種基于前景背景差分的自適應核估計方法，在前景背景顏色相同情況下能有效進行區分。另外基于動態圖像梯度特點的核密度估計模型除了能抑制視頻彩色圖像的陰影外，還能有效地抑制反射圖像擴散。

1.1.6 統計直方圖

統計直方圖是通過統計像素灰度變化的方法來檢測背景?；舅枷胧窍冉y計一段時間內L幀圖像中每個像素在不同灰度出現的次數，像素在某灰度值出現次數最多的，判斷為背景本身的灰度值。

L幀的統計直方圖算法:k為像素x在第i幀的灰度值，pk(x)表示像素x在連續的L幀中灰度值為k的次數(k=0，1，…，255;i=1，2，…，L)。像素x的背景值為max(pk(x))。

該算法抗干擾性好，通常情況下提取的背景較好，但運算量大、提取背景速度慢。隨著統計的圖像序列增加，提取背景的效果越來越不明顯。文獻［11］通過對圖像像素的統計直方圖劃分區域，根據當前像素值所在的直方圖區域判定前景和背景，該方法提取的背景較穩定，提取的背景接近真實的背景。

1.2 遞歸背景建模方法

和非遞歸相反，遞歸需要的存儲空間相對少很多。根據當前幀中的像素遞歸地更新背景模型，這樣就導致建模過程中很久以前幀的錯誤對背景模型造成長時間的影響。因此，大部分遞歸背景建模方法中都使用權重去除以前的幀造成的錯誤反饋。

1.2.1 近似中值濾波

中值濾波方法在背景建模中應用成功之后，McFarlane和Schofield［12］提出一種簡單的遞歸技術來估計中值。該方法的基本思想是:如果輸入像素值大于估計值則中值估計會逐次遞增，反之則會逐次減小。這種估計一般會收斂到一個值，一半的輸入像素值大于或小于這個值，也就是中值。近似中值濾波只需要存儲一個參考圖像，計算簡單。但是它逐漸適應背景變化，需要采集大量連續幀才能適應變化的背景區域。

1.2.2 單高斯模型

單高斯模型適用于圖像背景比較單一、直方圖顯示出單峰的情況。單高斯模型的思想是把圖像的像素值看成是前景高斯分布和背景高斯分布的混合。當某點像素的分布與前景高斯分布匹配，那么該像素就屬于前景，否則屬于背景。

具體算法如下［13］:假設圖像中每個像素的顏色都是獨立的，對于圖像中任意像素點(x，y)，設它在L幀的像素值分別為I0，I1，I2，…，IL-1，且服從一維正態分布N(μ，σ2)，μ為L幀圖像訓練樣本在像素點(x，y)的均值，σ2為其方差。

P(I)是像素點(x，y)顏色的概率。如果P(I)≤Threshold(Threshold為概率閾值)，(x，y)為前景像素，否則(x，y)為背景像素。閾值可以根據經驗或通過實驗確定。單高斯模型計算速度快、準確度較高，能較好地處理背景干擾。但是對于突變的背景和前景不能進行有效的處理。還有作者［14］針對紅外圖像的特點對單高斯分布背景提取方法進行改進，該算法中由于綜合考慮像素的灰度值，有效地提高了背景建模精確度。

1.2.3 混合高斯模型

為了克服單高斯模型對復雜場景背景更新的滯后性，混合高斯模型對其進行延伸，用多個高斯分布平滑地模擬像素的變化情況，目前在語音、圖像等方面都應用比較普及。

混合高斯模型基本思想是使用多個高斯分布表示序列圖像中每個像素點的特征，如果當前幀中的某像素的特征與高斯分布相匹配，則被判定為背景像素，否則為前景像素。

任意像素點(x，y)的像素值在時間上的變化用k(一般是3～5)個高斯分布進行建模，該像素的概率分布為

式中:ωt，i為第i個高斯分布的權重，并且有η為其概率密度函數;Ii為像素值;μt，i為其均值;Σt，i為其協方差。其中

為了減少計算量，提高算法的實時性，一般假設每幀視頻圖像中像素色彩通道相互獨立，那么上式中協方差矩陣估計為:

在混合高斯分布中，各高斯分布根據權重的差異具有不同的優先級，并按照優先級的降序排列。根據檢測像素是否屬于閾值范圍內的分布來判定該像素是背景還是前景。如果像素的分布不符合任何高斯分布，那么重新設計一個權重較小和方差較大的高斯分布，代替優先級最小的高斯分布，并重新對所有高斯分布進行權重歸一化處理。

混合高斯分布對于處理復雜、緩慢變化的背景有較好效果，但是對處理變化劇烈的場景時效果不理想，并且計算復雜度較大。為了提高混合高斯分布在背景提取的有效性，研究者們也根據各自的應用不斷進行改進，如將顏色、邊緣和紋理等視覺特征集合起來進行背景建模的混合高斯背景模型。為每個像素建立多個高斯分布［15］，每個高斯模型按權重排序，通過學習背景環境實時更新的模型等。

1.2.4 卡爾曼模型

卡爾曼濾波是線性預測背景建模中較典型的方法，在實際應用中已有多種不同版本。但基本思想是一致的:將背景圖像序列中像素點變化用信號處理系統描述，根據時變隨機信號的統計特性，采用線性最小均方誤差作為最優化準則，對隨機信號的過去、當前或未來值作盡可能接近真值的估計，估計值為

設It為當前時刻某像素的值，I∧t為其估計值，I't為其時間導數，I∧'t為其時間導數的估計值，則t時刻的估計值為

當運動目標速度較慢時，卡爾曼濾波檢測出的運動目標有拖影現象，但是能適應光照等動態背景變化較快的情況。鑒于這種情況學者們對卡爾曼模型不斷進行改進，用像素一維Kalman濾波跟蹤的攝像機中每個像素的強度，并提出自適應Kalman濾波背景減法。

1.2.5 碼本模型

碼本是基于像素顏色的背景建模法，它的建模思想是:根據圖像序列中的每個像素的顏色距離和亮度，用量化技術建立一個碼本，這個碼本可以是不同長度碼元。在檢測時，用當前像素的碼本與建立的碼本進行比較，如果當前像素碼本落在任何原來的某個碼本范圍內，則為背景。否則為前景。

在下面的算法［17］中以彩色圖像建模，在灰度圖象中應用只需要對顏色值做簡單的改動。

X={x1，x2，x3，…，xL}為L個序列圖像中某個像素點的集合，C={c1，c2，…，ci}為由i個碼元組成的像素碼本，每個碼本的碼長不一定相同。每個碼元ci(i=1，2，…，N)由一個RGB向量)和一個6元組auxi=組成，其中:I^，Iˇ分別表示所有采樣像素亮度的最大和最小值;f為碼元出現的頻率;λ為訓練期間碼元沒有出現的最大時間間隔;p，q分別表示碼元建立時間和最后一次被訪問的時間。采樣初期使碼元長度為0，碼本為空。在訓練時間內對一個像素進行采樣:如果碼本中沒有碼元，當前像素就被確認為碼元，該像素的亮度為碼元的亮度;如果碼本中存在碼元，就用新樣本像素與碼本中每個碼元的參數進行比較，如果匹配，就用當前像素參數更新該碼元值，否則將當前像素添加到碼本中。

碼本方法適用于有移動背景、光線變化等的復雜場景中。和其他建模算法比較，碼本建模有相對較好的特性。并且提出從多層codebook建模、像素塊建模、根據顏色紋理等背景建模方法。

2 背景建模方法比較

以上的背景建模方法是在攝像頭固定的情況下，通過對單個像素建模來提取背景的。這些方法對于有噪聲、光照、天氣等因素影響的復雜背景情況下敏感度不同，在處理過程中的計算速度、需要的存儲容量和最終提取背景的精確度都不盡相同。一般情況下，精確度表示有效提取背景的程度;存儲容量直接影響到計算速度，而計算速度關系到背景提取的實時性，也就是對背景變化的敏感性的要求。所以內存、速度、精確度直接關系到背景建模方法性能的好壞。因此本文從背景建模方法的空間復雜度(內存)、時間復雜度(速度)和精確度3個指標對基于像素級的背景建模方法進行比較［18］，最終比較結果如表1所示。

表1 建模方法比較

由表1可以看出，這些方法雖然都有缺點，但是在不同應用場景可以選擇不同的方法。比如幀差法，雖然精度不高，但是如果能得到背景的圖像，并且背景受外界影響較小，這種方法就簡單實用。

3 總結與展望

基于背景減法的背景模型只是視頻圖像處理的一個預處理，而不是最終目標。一個好的目標檢測系統應該解決許多問題，如運動物體、陰影、逐漸或突然改變光線、樹枝的擺動、遮擋等。但這些問題不可能同時得到解決，因為它們的差別在于處理過程中對運動的前景和背景理解，如果不知道處理的目的和最終要求，解決這樣的問題幾乎是不可能的。另外，在某一特定過程中，并不一定會遇到所有上面提到的問題。沒有一個背景建模方法是絕對完美的，但一個好的思路將會給背景建模提供很多的幫助。當在特定的應用場合對前景像素進行提前分析，明確要檢測前景的哪部分、檢測的目的是什么，那么算法的設計者就應該把所有注意力放在已經分析好的、需要檢測識別的部分，而不應該是對每個像素都做統一處理。

從近幾年提出的背景模型建模方法可以看出，背景建模方法是沿著以下3方面發展:1)在原有典型方法的基礎上，結合多種方法，互相彌補其在背景提取過程中的不足;2)沖破典型方法局限于計算機視覺的某一方面的禁錮，向多視覺特點的背景模型發展;3)在背景模型中將時間和空間綜合考慮，從時間、梯度、多層等多方面改進。

［1］郭永濤，宋煥生，賀昱曜.視頻交通監控系統中背景提取算法［J］.電視技術，2006，30(5):91-93.

［2］CHEUNG S C S，KAMATH C.Robust techniques for background subtraction in urban traffic Video［C］//Proc.IS＆T/SPIE Electronic Imaging.San Jose，United States:IEEE Press，2004:881-892.

［3］ELHABIAN S Y，EL-SAYED K M，AHMED S H.Moving object detection in spatial domain using background removal techniques-state-of-art［J］.Recent Patents on Computer Science，2008，1(1):32-54.

［4］CUCCHIARA R，GRANA C，PICCARDI M，et al.Detecting moving objects，ghosts and shadows in video streams［J］.Pattern Analysis and Machine Intelligence，2003，25(10):1337-1342.

［5］羅笑南，陸晴.一種背景模型與三幀差分相結合進行視頻背景檢測的方法:中國，CN101883209A［P］.2010-11-10.

［6］HARITAOGLU I，HARWOOD D，DAVIS L S.W4:real-time surveillance of people and their activities［J］.Pattern Analysis and Machine Intelligence，2000，22(8):809-830.

［7］ZHAO Lixing，TONG Qikai，WANG Hongrui.Study on moving-objectdetection arithmetic based on W4 theory［C］//Proc.2011 2nd International Conference on AIMSEC.［S.l.］:IEEE Press，2011:4387-4390.

［8］TOYAMA K，KRUMM J，BRUMITT B，et al.Wallflower:principles and practice of background maintenance［C］//Proc.Internal Conference of Computer Vision(ICCV).Kerkyra，Greece:IEEE Press，1999:255-261.

［9］ELGAMMAL A，HARWOOD D，DAVIS L.Non-parametric model for background subtraction［C］//Proc.the 6th European Conference on Computer Vision.Dublin，Ireland:［s.n.］，2000:751-767.

［10］LAMBERT C G，HARRINGTON S E，HARVEY C R，et al.Efficient on-line nonparametric kernel density estimation［J］.Algorithmica，1999，25(1):37-57.

［11］李曉飛，梅中輝.一種基于直方圖統計與多幀平均混合的背景提取算法［J］.南京郵電大學學報:自然科學版，2008，28(6):74-77.

［12］MCFARLANE N J B，SCHOELD C P.Segmentation and tracking of piglets in image［J］.Machine Vision and Applications，1995，8(3):187-193.

［13］WREN C R，AZARBAYEJANI A，DARRELL T，et al.Pfinder:real-Time Tracking of the Human Body［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1997，19(7):780-785.

［14］TAN Jianhui.A new algorithm of infrared gait detection based on immune ant colony［C］//Proc.2011 International Conference on EMEIT.Harbin，China:IEEE Press，2011，9:4875-4878.

［15］常曉夫，張文生，董維山.基于多種類視覺特征的混合高斯背景模型［J］.中國圖象圖形學報，2011，16(5):829-834.

［16］WAN Qin，WANG Yaonan.Background subtraction based on adaptive non-parametric model［C］//Proc.7th World Congress on Intelligent Control and Automation.Chongqing，China:IEEE Press，2008:5960-5965.

［17］KIM K，CHALIDABHONGSE T H，HARWOOD D，et al.Real-time foreground–background segmentation using codebook model［J］.Special Issue on Video Object Processing，2005，11(3):172-185.

［18］羅萬福，艾斯卡爾.視頻監控系統中的背景提取算法［J］.電視技術，2006，30(12):79-91.