基于透射率和單目深度的團霧檢測

喻麗春, 劉金清

(1.福州外語外貿學院 大數據學院, 福建 福州 350202;2.福建師范大學 光電與信息工程學院, 福建 福州 350007)

0 引 言

團霧是一種常見的自然氣象現象,其出現會極大地降低能見度,影響行車安全。團霧由于其尺度小、預測預報難、區域性強等特點,更容易引起交通事故,造成重大人員傷亡。團霧實時監測對于高速公路交通安全、效率以及經濟發展等方面都具有重要意義。團霧的實時監測目前一般以能見度檢測為主要依據。目前高速公路的能見度檢測主要有三種方法:

1)人工目測法。它是一種簡單常用的測量和評估氣象能見度的方法,通常由觀測員在外部環境以及氣象條件允許時進行,在室外可供參考的固定距離處確定所看到的最遠可識別物體。該方法受限于人眼的生理特征和主觀判斷,很難保證高準確性與可信度。

2)儀器檢測法。它是一種通過使用特殊的氣象儀器來測量和評估大氣中能夠傳播光線的范圍,從而確定能見度程度的方法,一般可以用激光雷達、紅外輻射計、光電傳感器等先進科技儀器,以及其他氣象設備進行實現。儀器檢測法對設備安裝的環境條件有一定要求,且設備造價昂貴。

3)圖像檢測法。能見度圖像檢測法是一種利用現代計算機技術和數字圖像處理技術來識別、分析和評估團霧等能見度不良的氣象現象,從而實現對環境視野范圍情況的精確測量方法。我國高速公路里程較長,能見度儀器的部署密度不夠,很難實現對高速公路百米級別的能見度監測。

基于圖像視頻的能見度測量是一種以團霧的視覺識別為基礎,結合計算機視覺技術實現的新型氣象檢測方法。它可以精準監測小尺度團霧,實時計算其分布和密度,迅速發布預警信息,有助于降低交通事故風險,提升公共安全保障水平。

近年來,由于人工智能和計算機視覺的發展,基于視頻圖片的能見度測量方法取得了較大進展。2010年,陳釗正等[1]提出基于小波變換的視頻能見度檢測方法,利用自標定方法確定目標距離,使用小波變換進行邊緣提取,最后通過擬合得到能見度值。2012年,宋洪軍等[2]提出一種基于車道線和圖像拐點的道路能見度估計。2018年,孟穎[3]實現了基于優化暗原色先驗的公路能見度檢測與預警系統。楊天麟等[4]提出采用改進暗通道先驗算法的高速公路能見度檢測。常見的基于圖像的能見度測量可以分為三種,它們有各自的局限性。首先,基于車道線邊緣信息實現的測量方式容易出現檢測值波動大的情況,原因在于車道線邊緣信息是不規則的;其次,通過區域增長得到路面區域進行測量也容易檢測失敗,因為區域的增長過程可能會失敗;最后一種方法是通過考慮暗通道先驗計算圖像透射率來實現能見度測量,雖然可以提高準確度,但如果天空亮度估計不足,則有可能導致透射率計算不精確。面對這些問題,提出一種基于圖像透射率和單目深度的能見度檢測方法,嘗試通過改進計算大氣可見光,同時構造權重系數函數替代固定值,提升透射率計算準確性,并通過實驗對比,驗證改進方法的有效性。

1 大氣散射模型

能見度是指地面上由于大氣中物質對光的吸收、散射及折射作用所形成的景象可見度程度,通常用米為單位來表示。大氣散射模型和能見度之間有密切的關系。在一定條件下,可以利用大氣散射模型計算出在特定位置和時間的大氣透視率,從而得到能見度的估測值?？挛髅椎露蒣5]為

C=C0e-σd,

(1)

式中:d----觀測點到觀測目標的距離;

σ----大氣消光系數;

C----景物在距離為d時的可視亮度對比;

C0----景物與背景的亮度對比。

(2)

式中:ε----視覺閾值ε為C和C0的比值。

國際民航組織ICAO(International Civil Aviation Organization)推薦視覺閾值為0.05時,人眼最大可視距離為能見度距離。將式(2)代入式(1)得到

(3)

式中:d----能見度值。

從式(3)可以看出,能見度的計算與大氣消光系數成反比。因此要計算能見度,首先要計算出大氣消光系數σ。

根據大氣衰減模型,光線在大氣中傳播時滿足衰減定律。

F=F0e-σz,

(4)

式中:F----物體接收光的光照強度;

F0----發射光的光照強度;

z----場景深度;

σ----大氣消光系數。

將透射率t=F/F0代入式(4),即可得到大氣消光系數計算公式為

(5)

將式(5)代入式(3),即可得到能見度距離公式為

(6)

2 透射率計算

大氣透射率是影響能見度的重要因素之一。光線經過目標物體反射后,在傳播過程中,由于空氣中顆粒物的散射,導致能見度降低。在視頻圖像中,透射率降低主要表現為色彩減退、對比度降低、邊緣模糊等特點。因此可以先根據暗通道先驗[6](Dark Channel Prior, DCP)理論計算出圖片透射率,然后通過大氣能見度公式估算能見度。

基于暗通道先驗的透射率計算流程如圖1所示。

圖1 基于暗通道先驗的透射率計算流程

2.1 透射率計算原理

暗通道先驗理論是He K M等[7]于2009年提出,對于室外無霧圖像任一局部區域里(除天空區域),在R、G、B三個顏色通道中的某個通道總存在較小的像素值。即在該圖像中以任一像素為中心的窗口區域,某個通道的光強值接近于0。則無霧圖像的暗通道定義為

Jdark(x)=miny∈Ω(x)(minc∈(r,g,b)Jc(y)),

(7)

式中:Jc(y)----J的任意一個顏色通道;

Ω(x)----在像素點x的窗口。

根據暗通道先驗理論,在非天空區域部分,Jdark的強度值近似于0,具體表示為

Jdark→0。

(8)

在計算機視覺領域,有霧圖像的模型可以描述為

I(x)=J(x)t(x)+A(1-t(x)),

式中:I(x)----攝像機采集到的有霧圖像;

J(x)----無霧圖像;

A----大氣光值;

t(x)----透射率。

假設透射率t(x)在局部區域Ω(x)為定值,得

miny∈Ω(x)(Ic(y))=t(x)miny∈Ω(x)(Jc(y))+

(1-t(x))Ac,

(9)

式中:y----以x為中心的局部區域Ω(x)的任一像素;

c----R、G、B三個通道之一;

Ac----大氣光值,通常用顏色通道中最亮的0.1%像素亮度的均值表示。

式(9)對大氣光值做歸一化,得

(1-t(x))。

(10)

對式(10)求暗通道,得

(1-t(x))。

(11)

根據暗通道先驗理論,暗通道的值趨近于0,那么可以得到透射率為

(12)

在天氣較晴朗的環境下,攝像機采集到的圖像中,遠距離目標始終會存在少量霧,因此引入權重系數ω,取值0.95,得到透射率為

(13)

2.2 透射率優化

暗通道先驗算法處理圖像的時候,假設任一像素周圍區域的透射率為固定值,這導致算法計算出的大氣透射率存在塊效應,鄰域窗口的尺寸越大,透射率圖像的塊效應越明顯。這種塊狀效應將嚴重影響能見度的計算結果,因此需要使用導向濾波(Guided Filtering)來對生成的透射率圖進行修正。

透射率圖優化如圖2所示。

(a) 原始圖

導向濾波是一種圖像濾波技術,通過一張引導圖,對原始圖像進行濾波處理,最后得到輸出圖像與原始圖像相似,紋理與引導圖像相似。在計算透射率時,可以使用導向濾波優化透射率圖。從圖2(c)可以看出,經過導向濾波后,其塊狀問題明顯消失,紋理也更精細。

2.3 目標距離計算

1)通過檢測圖像中的車道線,依賴車道線的長度和車道線兩端的透射率來計算能見度。有些攝像頭場景沒有車道線,無法獲取場景深度。

2)通過提前設置與攝像頭固定距離的目標物來實現距離的采集。因為普通公路攝像頭較密,每個攝像頭前預設目標物需要大量精力。因此這種方法實用性不強。

3)通過兩個攝像頭進行雙目測距[8]。雙目測距需要兩個攝像頭進行雙目匹配,對攝像頭的設備精度要求較高,在高速公路攝像場景下,一般只有單個攝像頭,而且攝像頭清晰度一般,無法滿足雙目測距要求。

4)基于深度學習的距離測量?；谏疃葘W習進行距離估測需要大量樣本,背景復雜,容易受到車輛等移動目標的干擾,因此測量精度也具有局限性。

常見基于暗通道先驗的能見度測量一般采用前兩種。由于車道線不具有通用性,預設目標物需要部署成本,所以傳統基于暗通道先驗的能見度測量研究大多還停留在實驗階段,距離實際應用有一定距離。

3 基于透射率和單目深度的能見度測量

基于暗通道先驗的能見度測量與其他算法,如對比度算法具有操作簡單、檢測效果相對較好等優點,但算法需要改進的問題如下:

1)算法使用圖像中最亮的0.1%像素的均值來估計天空亮度。由于天空亮度A對正確估算大氣透射率非常重要,天空亮度A的估計誤差對最終能見度估計結果影響較大。

2)攝像機采集到的圖像中,圖中較遠區域在觀察者眼中霧的濃度越大,但暗通道先驗算法再取權重系數ω,簡單取經驗值0.95,這種處理方式使透射率估計誤差變大。因此權重系數ω的取值大小對能見度的計算影響較大。

3)在采集目標物距離時,需要預設目標物或者依賴車道線進行計算,通用性不足,在實際交通應用場景具有局限性,部署難度較高。

針對傳統暗通道先驗算法進行能見度測量存在的問題,對能見度計算方法進行改進。首先,暗通道先驗理論不適用天空區域,因此可用邊緣檢測算法提取出天空區域所有像素的均值作為天空亮度A。然后優化權重系數ω,其值太大或者太小都將顯著影響透射率計算結果。由于HSV空間能更好地區分圖像的亮度特征和色相特征,因此可以將霧天圖像轉換為HSV空間,再構造與霧濃度對應的函數來計算權重系數。最后,在采集目標物距離時,可以采用單目攝像機動態標定方法來實現,標定方法不依賴車道線和預設標志物,能夠滿足大多數高速公路攝像頭能見度測量的要求。

3.1 大氣光計算改進

文獻[7]采用圖片最亮像素前0.1%的平均亮度作為大氣光值,這種方法計算簡單快速,然而也造成了大氣光值的估計準確度不足,導致最終的能見度計算誤差增大。因為圖像中可能包含除了大氣光的其他光源,還可能存在其他白色對象。這都將導致大氣光估測不準。為了增加大氣光估測的準確性,需要先從圖像中識別出天空區域,然后計算天空區域所有像素的平均值當作大氣光值,具體計算步驟如下:

1)首先通過對圖像進行直方圖均衡化(Histogram Equalization),增強圖像的邊緣信息;其次對灰度圖像進行canny算子獲取圖像輪廓;接著檢測出的邊緣進行膨脹;最后自上而下對膨脹后的圖像進行掃描,并二值化處理,得到天空區域和非天空區域。天空分割處理過程如圖3所示。

圖3 天空分割處理過程

2)得到天空區域后,可以獲取天空部位所有像素的平均值作為大氣光值A?？紤]到部分圖像天空區域比例較小,在其比例小于5%時,可以采用最亮像素的前千分之一作為大氣光值A。

3.2 改進權重系數

暗通道先驗去霧算法取權重系數ω,簡單取經驗值0.95。通過實驗統計證明,ω取值大小對能見度計算結果影響較大。實際上,圖像中較遠距離的目標,在觀察者眼中霧越濃,權重系數ω不能簡單統一取值,而是應當根據霧的濃度系數來動態取值。HSV空間能夠更好地表達圖像的色調、飽和度和亮度。因此可以將圖像轉為HSV空間。在HSV顏色空間里,亮度越高,霧越濃。圖像每個像素的HSV距離定義為

d(x)=‖IHSV(x)-BHSV‖,

(14)

式中:BHSV----顏色空間里最亮的顏色值。

d(x)越小,表示像素所在的點霧越濃。

為了適應自然場景下的霧濃度,構造的權重系數計算函數為

(15)

根據式(15)可以繪制出ω(x)與d(x)的函數關系圖,如圖4所示。

圖4 權重系數ω與d(x)函數圖

從圖4可以看出,權重系數在霧氣越濃(d(x)越小)的地方,取值越大;在霧濃度越輕的地方,取值越小。當像素點值與亮度最高的像素點值的距離在30左右時,權重系數ω值大約是0.95。

3.3 目標距離獲取

圖像場景深度值是能見度測量計算的關鍵指標之一。目前傳統基于暗通道的能見度測量大多是采用基于車道線的能見度測量。該方法局限性較大。因為我國目前公路交通中,有些場景并沒有車道線,而且車道線檢測也容易失敗,導致最終無法得到能見度值。針對公路交通攝像頭一般為單目攝像頭的情況,這里引用文獻[9]實現基于場景透射率的單目攝像機標定公式,具體實現步驟如圖5所示。

圖5 計算目標距離流程

該方法結合了透射率和傳統攝像機線性模型,選擇了路面上透射率最低的8個點進行攝像來標定參數修正。該算法相對于基于車道線的目標距離檢測適用場景更廣,計算結果更準確穩定,魯棒性更強。

3.4 能見度測量

通過以上方法,獲取透射率圖t和目標距離d后,代入式(6)得

(16)

計算即可得到大氣能見度。

4 仿真實驗及分析

為了測試算法的有效性和準確性,按照能見度等級將圖片進行分類,根據《中華人民共和國氣象行業標準》[10],能見度一般分為5個等級。因此將所有視頻圖像按照能見度等級范圍劃分為5類,具體見表1。

表1 能見度等級表

由于目前權威高速公路霧天圖像較少。因此這里采集高速公路攝像頭數據自建測試數據庫。

通過截取高速公路4個攝像頭圖像并進行篩選,由于實際環境有霧樣本較少,數據樣本不均衡,因此需要對有霧圖像進行左右翻轉和縮放等簡單方法進行數據增強,并進行樣本擴充,通過結合能見度記錄儀的能見度值,對圖像進行能見度等級標識。最終得到實驗數據集見表2。

表2 實驗數據集 張

為了驗證算法的檢測效果和性能,采用準確率P、召回率R、精確率均值F1三個指標進行評價。Macro-F1值為多個類別F1值的平均值,其計算公式為

(17)

(18)

(19)

(20)

式中:TP----正確檢測出分類的圖像個數;

FP----不是目標圖像,卻被檢測為目標圖像的個數;

FN----實際為目標圖像,卻被錯誤檢測的樣本圖像。

對算法按能見度等級進行測試,結果見表3。

表3 測試結果 %

為了評估算法優化改進的有效性,分別構建算法模型進行測試,具體如下:

1)傳統暗通道+車道線;

2)算法1:暗通道+改進大氣光+單目深度;

3)算法2:暗通道+動態系數+單目深度;

4)算法3:暗通道+改進大氣光+動態系數+單目深度。

模型F1檢測算法測試結果對比見表4。

表4 模型F1檢測算法測試結果對比 %

從表4可以看出,算法在分別引入天空檢測和動態系數后,各能見度分類精確率F1值有一定提升,其中同時改進天空檢測和動態系數的算法提升效果最佳,說明改進有效。相對于傳統基于暗通道和車道線的算法,改進后算法的Macro-F1值為91.56%,提高了5.78%。

5 結 語

針對傳統基于暗通道先驗的能見度測量存在天空亮度估計不足,且簡單使用固定值作為權重值,導致能見度測量不準的問題,提出一種基于透射率和單目深度的能見度測量算法。算法通過改進計算大氣可見光,同時構造權重系數函數替代固定值,提升了透射率計算準確性,并引入單目攝像機標定算法計算目標距離,最終計算出能見度,通過實驗對比表明,改進后算法的能見度測量準確率較高,不依賴車道線,應用范圍更廣,能夠滿足實際交通場景使用要求。