一種面向城市道路的視覺圖像去霧方法

向巍　鐘魁松　張振博

摘要：針對霧天環境的城市道路下自動駕駛車輛視覺感知效果不佳的問題，提出一種基于大氣光值的快速圖像去霧改進算法，并驗證了算法的有效性。首先，制定了大氣光動態估算策略，并設計了大氣光動態估算的自適應觸發函數，通過大氣散射模型進行了大氣光的估計；其次，利用最小濾波技術獲取了霧天圖像的暗通道圖，并估算了對應的投射圖像；再次，制定了大氣光計算策略，并優化了去霧系數；最后，利用直方圖均衡化算法抑制了殘余噪聲，進一步提升了無霧圖像的對比度。實驗結果表明，所提算法相比DCP、CAP等在NIQE和SSEQ性能指標上都有所提升，擁有更好的細節恢復能力和處理性能，更有利于交通信息的提取。

關鍵詞：自動駕駛；圖像去霧；大氣散射模型；動態大氣光；暗通道；直方圖均衡

中圖分類號：TP391文獻標志碼：A環境感知技術是自動駕駛領域的重要組成部分［1］，尤其是隨著近年來圖像處理技術和計算機硬件技術的飛速發展，基于視覺的環境感知技術也有了較為廣泛的應用。但視覺環境感知技術對環境可視條件依賴較高，尤其是在我國西南地區頻繁的雨、霧等不利視覺條件下，自動駕駛車輛的視覺感知效果不甚理想。因此，針對霧天的圖像恢復技術也是環境感知領域面臨的難題之一［2］。

目前針對視覺圖像的去霧，按照方法機制主要分為三大類［3］。第一類是基于圖像增強的方法，通過去除噪聲、增強對比度等方法以達到恢復圖像的目的，如直方圖均衡化、小波變換、Retinex、同態濾波等算法［4］。第二類是基于物理模型的方法，利用大氣散射模型對圖像進行恢復。如HE等［5］提出的暗通道先驗去霧算法，該方法效果良好，但針對天空區域存在較為嚴重的顏色失真，不適合非均勻天空條件的情況。針對這一問題，HE等［6］再次引入了引導濾波器，該算法在一定程度上解決了天空顏色失真的問題，有效提升了運行效率，但存在去霧不徹底的問題。文獻［7］提出霧的濃度與景深變化的關系較大，即濃度越高景深越大，圖像的亮度和飽和度相差也越大，基于該發現的顏色衰減先驗去霧算法針對單圖像去霧取得了較好的效果，但其中的重要參數對景深依賴較高，因此泛化能力不強。文獻［8］提出了一種基于伽馬校正先驗（gamma correction prior，GCP）的去霧算法，采用全局搜索策略，泛化能力強。第三類是基于神經網絡的去霧算法，其內涵是使用神經網絡建立一個端到端的網絡模型，通過有霧圖像恢復出無霧圖像。目前基于該方法的去霧算法主要有2種思路：一種是使用卷積神經網絡（convolutional neural networks， CNN）生成大氣散射模型的某些參數，再利用大氣散射模型來恢復圖像［9-11］；另一種是使用對抗神經網絡（adversarial neural network， GAN）直接根據模糊圖像生成無霧的清晰圖像［12-15］。文獻［9］首次提出了一種名為DehazeNet的去霧網絡，經過CNN的深層架構估算出有霧圖像的透射率，代入大氣散射模型恢復出無霧圖像。文獻［13］提出了一種利用疊加條件GAN的去霧網絡，可對RGB各顏色通道獨立恢復，具有較好的泛化性?；谏窠浘W絡的去霧方法具有效率高的特點，但由于缺乏真實的訓練數據或者先驗參數，一定程度限制了其去霧性能。

本文立足于此前的工作基礎［16］，利用大氣散射模型的最小濾波技術與限制，對大氣散射模型參數重新進行了優化，提升了算法性能，同時引入了限制對比度的直方圖均衡算法并重新設計了對比度增強模塊，提升了去霧圖像的對比度，并將本文算法在無參考評價指標下進行了測試。

1算法原理

在車輛行駛過程中，短時間內相同場景的光照變化不大，近似認為該條件下大氣光值不變。該假設條件下，基于大氣散射模型的連續圖像去霧算法可在同場景下短時間內變化不大的圖像幀上動態估計大氣光值。由于大幅減少了大氣光值估計頻率，此方法可節省處理時間，且對霧天圖像的恢復影響不大。在此設計一個自適應觸發函數，當觸發條件成立時對圖像幀進行大氣光值估算。為了避免場景過度平緩而導致觸發函數失效，規定觸發條件未達成的情況下，每20 s強制觸發計算大氣光值并迭代至下一輪，再依次進行透射圖估計和無霧場景的恢復，最后對圖像幀進行自適應直方圖均衡處理，以提高圖像的對比度和亮度，改善圖像質量。算法流程如圖1所示。

1.1自適應觸發函數

1.2大氣光估計

1.3透射圖估計

1.3.1暗原色先驗理論

1.3.2基于引導濾波的透射圖估計

1.4無霧圖復原

1.5對比度增強

經過上述方法處理后的圖像雖然質量有所提升，但由于保留了一定的霧，圖像仍存在對比度不足、暗淡等缺點，在此對圖像進一步做限制對比度自適應直方圖均衡處理［17］，以突出圖像的特征和細節。直方圖均衡化是一種根據色彩通道的值對像素進行分散以獲得更好的圖像對比度的圖像處理技術［18］，可有效提升去霧后圖像的對比度和亮度。

本文為了突出道路特征，提高圖像的局部對比度，采用自適應直方圖均衡，即將圖像分成若干塊，分塊進行直方圖均衡化處理。同時為了限制對比度調整過大，造成圖像失真，對局部對比度進行限制，設置ClipLimit顏色對比度閾值，即限制對比度自適應直方圖均衡。對比度增強模塊算法流程如下：

由圖2可知：AOD去霧效果微弱，圖像質量提升不明顯；CAP在效果上略勝于AOD，但圖像質量提升依然不明顯；DCP算法處理后的圖像暗部對比度不高，細節等特征不清晰，且天空區域有光暈；MSRCR算法色彩對比度不高，整體顏色失真，去霧效果較差，且道路等細節特征不突出；GridDehazeNet處理后的圖像整體亮度不高，且圖像色調過度不佳，存在暈影的現象；相比而言，本文算法處理后的圖像亮度、對比度提升明顯，圖像細節清晰，道路及車輛特征明顯，且最大程度保留了真實色彩。通過對比各算法圖像的顏色直方圖分布可知：原圖像顏色分布呈頻率稀疏、頻段區間窄，且主要在頻段分布上較為極端，而對理想圖像的顏色直方圖分布特點則是頻率密集、頻段區間寬，主要分布于中頻區間；CAP在顏色頻率上相對原始圖像密集一些，但依然與之差別不大；相對前者而言，CAP和GridDehazeNet則在顏色頻率和頻段上都有提升，所得顏色直方圖頻率更加密集，頻段也有了擴展；受算法自身局限性的影響，DCP的光暈實質上是一種高頻色調，所體現的顏色直方圖頻率分布也主要集中于高頻；MSRCR處理后的圖像頻段也有相應的擴展，并且主要偏向于中頻，但是由于頻率分布稀疏，所對應的圖像對比度也不高；本文算法對應的圖像顏色直方圖無論是在頻率、頻段和分布上，相比較其他幾種算法都更接近于理想分布狀態，頻率主要集中在中間頻段且逐漸向兩端遞減，在低中、中高頻段過度也較為平滑，基本沒有上述算法的斷崖式的變化，頻率分布均勻且密集，在顏色區間上較為全面，因此圖像對比度更好，細節信息也更為豐富。

并且，由圖3可知：AOD和GridDehazeNet在檢測精度上相比原始圖像提升不大，MSPCR和CAP算法增強后的圖像檢測精度有所提升，DCP則在包含天空的交通場景下檢測效果不佳，而本文算法在檢測精度上相對較高，在一些小目標上也略勝一籌。因此，增強后的圖像對目標檢測等下游算法也更加友好。

由于道路環境復雜多變，無法獲取無霧條件下某位置的標準圖像，因此圖像評價的全參考（如PSNR等）指標不適用。本文采用NIQE［20］、Brisque［21］和SSEQ［22］等無參考的客觀評價指標進行驗證，表2為本文算法與其他幾種算法在RTTS數據集下的評價數據，其中最優數據用粗體標出，次優數據用下劃線標出。

由表2可知：本文算法處理后的無霧圖像在各評價指標下都表現很好， 在SSEQ和NIQE方面表現最優，且與次優數據對比明顯，雖然在Brisque評價下不及MSRCR，但二者相差甚小，依然有著較好的數據表現。

為進一步驗證算法性能，針對不同算法下，分辨率為1 280×720、720×540的真實霧天視頻分別進行了去霧試驗，視頻時長分別為67 s、54 s，所得性能數據如表3所示。由表3可知：在1 280×720分辨率下，本文算法性能是DCP的2.3倍，CAP的2.9倍；在720×540分辨率下，較DCP提升了1.5倍，較CAP提升了1.8倍；相比其他4種算法中性能最優秀的DCP算法，在分辨率降低2.4倍的情況下，DCP算法性能提升了1.5倍，而本文算法在同樣的實驗條件下的性能提升了1.7倍，性能優勢依舊明顯。相比其他幾種算法而言，本文算法擁有更好的圖像處理性能。

3結論

本文基于動態大氣光的暗通道先驗理論和直方圖均衡化算法，改進了一種快速、有效的圖像去霧方法，在NIQE、SSEQ等無參考指標下有著很好的圖像性能。在暗通道先驗去霧的基礎上優化了去霧系數，較好地規避了天空區域的問題。對去霧圖像進行了限制對比度的直方圖均衡化處理，增強了道路與背景的對比度，凸顯了道路信息，更有利于交通目標等信息的提取，對自動駕駛系統做出正確決策具有較大的指導意義。同時，基于大氣散射模型的去霧方法，自適應地動態估計大氣光值，節省了大量的時間，擁有更好的圖像處理性能。參考文獻：

[1]CHEN Q P， XIE Y F， GUO S F， et al. Sensing system of environmental perception technologies for driverless vehicle： a review of state of the art and challenges［J］. Sensors and Actuators A： Physical， 2021， 319： 112566. 1-112566. 18.

［2］ JIANG Q Y， ZHANG L J， MENG D J. Target detection algorithm based on MMW radar and camera fusion［C］//2019 IEEE Intelligent Transportation Systems Conference （ITSC）. Auckland： IEEE， 2019： 1-6.

［3］ BABU G H， VENKATRAM N. A survey on analysis and implementation of state-of-the-art haze removal techniques［J］. Journal of Visual Communication and Image Representation， 2020， 72： 102912.1-102912.15.

［4］ BANERJEE S， SINHA CHAUDHURI S. Nighttime image-dehazing： a review and quantitative benchmarking［J］. Archives of Computational Methods in Engineering， 2021， 28（4）： 2943-2975.

［5］ HE K M， SUN J， TANG X O. Single image haze removal using dark channel prior［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 33（12）： 2341-2353.

［6］ HE K M， SUN J， TANG X O. Guided image filtering［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 35（6）： 1397-1409.

［7］ ZHU Q S， MAI J M， SHAO L. A fast single image haze removal algorithm using color attenuation prior［J］. IEEE Transactions on Image Processing， 2015， 24（11）： 3522-3533.

［8］ JU M， DING C， GUO Y J， et al. IDGCP： image dehazing based on gamma correction prior［J］. IEEE Transactions on Image Processing， 2019， 29： 3104-3118.

［9］ CAI B L， XU X M， JIA K， et al. Dehazenet： an end-to-end system for single image haze removal［J］. IEEE Transactions on Image Processing， 2016， 25（11）： 5187-5198.

［10］LI B Y， PENG X L， WANG Z Y， et al. An all-in-one network for dehazing and beyond［DB/OL］. （2017-07-20）［2022-06-15］ https：//arxiv.org/abs/1707.06543.

［11］LIU X H， MA Y R， SHI Z H， et al. GridDehazeNet： attention-based multi-scale network for image dehazing［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul： IEEE， 2019： 7314-7323.

［12］LEE B U， LEE K， OH J， et al. CNN-based simultaneous dehazing and depth estimation［C］// 2020 IEEE International Conference on Robotics and Automation （ICRA）. Paris： IEEE， 2020： 9722-9728.

［13］SUREZ P L， SAPPA A D， VINTIMILLA B X， et al. Deep learning based single image dehazing［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Salt Lake City： IEEE， 2018： 1169-1176.

［14］ENGIN D， GEN A， KEMAL EKENEL H. Cycle-dehaze： Enhanced cyclegan for single image dehazing［C］// Proceedings of the IEEE conference on computer vision and pattern recognition workshops. Salt Lake City： IEEE， 2018： 825-833.

［15］CHEN D D， HE M M， FAN Q N， et al. Gated context aggregation network for image dehazing and deraining［C］// 2019 IEEE winter conference on applications of computer vision （WACV）. Waikoloa： IEEE， 2019： 1375-1383.

［16］鐘魁松， 馮治國， 張振博， 等. 霧天道路下智能車視覺圖像實時快速去霧研究［J］. 汽車技術， 2022（5）： 27-33.

［17］PIZER S M， AMBURN E P， AUSTIN J D， et al. Adaptive histogram equalization and its variations［J］. Computer vision， graphics， and image processing， 1987， 39（3）： 355-368.

［18］畢秀麗， 邱雨檬， 肖斌， 等. 基于統計特征的圖像直方圖均衡化檢測［J］. 計算機學報， 2021， 44（2）： 292-303.

［19］WANG J B， LU K， XUE J， et al. Single image dehazing based on the physical model and MSRCR algorithm［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2017， 28（9）： 2190-2199.

［20］MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer［J］. IEEE Signal Processing Letters， 2012， 20（3）： 209-212.

［21］MITTAL A， MOORTHY A K， BOVIK A C. No-reference image quality assessment in the spatial domain［J］. IEEE Transactions on Image Processing， 2012， 21（12）： 4695-4708.

［22］LIU L X， LIU B， HUANG H， et al. No-reference image quality assessment based on spatial and spectral entropies［J］. Signal Processing： Image Communication， 2014， 29（8）： 856-863.

（責任編輯：周曉南）

A Visual Image Dehazing Method for Urban Roads

XIANG Wei ZHONG Kuisong ZHANG Zhenbo

（1.Guizhou Communications Polytechnic， Guiyang 551400， China;

2.School of Mechanical Engineering， Guizhou University， Guiyang 550025， China）Abstract： Aiming at the problems in visual environment perception of autonomous vehicles in the foggy environment of urban roads， an improved fast dehazing algorithm based on atmospheric scattering model and image processing technology is proposed， and the effectiveness of the algorithm is verified by experiments. Firstly， the atmospheric light dynamic estimation strategy is formulated， the adaptive trigger function for atmospheric light dynamic estimation is designed， and the atmospheric light is estimated by the atmospheric scattering model. Secondly， the dark channel map of the hazy image is obtained by the minimal filtering technique， and the transmission map is estimated. Thirdly， the atmospheric light calculation strategy is formulated， and the dehazing coefficient is optimized. Finally， the residual noise is suppressed by the histogram equalization algorithm， which further improves the contrast of the haze-free image. The experimental results show that， compared with algorithms such as DCP and CAP， this algorithm has improvement in NIQE and SSEQ performance indicators， with better detail recovery ability and processing performance， and is more conducive to the extraction of traffic information.

Key words： autonomous driving; image defogging; atmospheric scattering model; dynamic atmospheric light; dark channel; histogram equalization