基于多尺度多直方圖融合的紅外圖像增強映射方法

王豪斌, 湯志慧,, 劉 瓊, 張生偉

(1.空基信息感知與融合全國重點實驗室,河南 洛陽 471000; 2.中國航空工業集團公司洛陽電光設備研究所,河南 洛陽 471000; 3.空軍裝備部駐洛陽地區第二軍事代表室,河南 洛陽 471000)

0 引言

紅外成像系統通常獲取的是具有高動態范圍的原始紅外圖像,以應對溫度變化大、溫差變化豐富的目標場景并保持對目標細節靈敏精確的熱感知能力。為了方便紅外圖像在顯示設備上顯示以及后續的圖像處理工作,往往需要將14 bit或更高精度數據壓縮到8 bit數據寬度[1-3]。但是對原始紅外圖像動態范圍壓縮會不可避免地造成大量細節信息的丟失并難以通過后續的圖像增強技術恢復或突出,導致原始紅外圖像中許多具有微小對比度的細節特征難以被呈現。紅外圖像增強映射是紅外圖像可視化研究領域的重要研究方向,因而對原始紅外圖像進行增強映射具有重要意義[4]。

目前紅外成像系統中廣泛使用的全局映射算法包括線性映射算法[5]、非線性映射算法和直方圖均衡化(HE)算法[6]。全局映射算法執行速度快、處理效率高,并且在硬件實現方面具有獨特的優勢。然而,由于動態范圍的全局壓縮,算法存在映射圖像細節丟失的問題,并且還會導致圖像整體對比度、亮度偏低,圖像質量變差。為解決全局映射算法存在的問題,局部映射算法應運而生。該類算法將原始圖像分成多個子塊分別進行壓縮映射,文獻[7]在自適應直方圖均衡映射(AHE)算法基礎上提出對比度受限的直方圖均衡化(CLAHE)算法[8],該算法對各個子塊局部區域直方圖進行限幅來避免局部噪聲放大,并將裁剪掉的部分均勻地加給有效灰度級,再對各個子塊進行直方圖均衡,最后使用雙線性差值方法解決分塊效應問題[4]。局部映射算法能顯著提升圖像的局部對比度和細節豐富程度,較好地彌補全局類算法的缺點。但相較于全局映射算法,局部映射算法存在全局對比度較差、噪聲容易被放大、分塊效應、圖像過增強以及算法復雜度過大等問題[4]。如何在保持圖像全局一致性的同時避免細節信息丟失,在提升圖像對比度的同時避免噪聲放大成為紅外圖像增強映射算法的難點,因此,混合色調映射[9-10]算法逐漸成為紅外圖像增強映射算法的主流。DUAN等[11]提出了基于線性映射和直方圖均衡化的混合色調映射算法,該算法通過設置權重將線性映射與直方圖均衡結合,從而在充分保持全局一致性的同時增強了局部對比度和細節信息,但該算法無法自適應計算融合權重,缺乏場景適應性。YANG等[12]提出了基于多尺度直方圖合成的色調映射算法,該算法使用基于不同尺度的函數來將像素色調映射到不同的值,大尺度函數用于保持圖像亮度一致性,小尺度函數用于保持局部細節和對比度,并提出一種基于局部方差的有效方法來融合不同尺度的值,但該算法采用逐像素色調映射的方法會大大增加計算量,且只依靠局部方差進行權重計算,仍會出現背景噪聲放大問題。

綜上,本文針對全局映射算法存在的細節信息丟失、亮度對比度偏低,局部映射算法存在的圖像過增強、噪聲容易放大、分塊效應以及混合色調映射算法中存在的場景適應性差等問題,提出了基于多尺度多直方圖融合的紅外圖像增強映射方法。

1 算法流程

本文在原有紅外圖像增強映射算法基礎上,針對整體局部對比度矛盾提出多尺度多直方圖映射方法;針對背景噪聲放大和場景適應性問題提出基于引導濾波顯著性判斷的融合算法;針對細節信息丟失問題提出基于灰度域高斯核函數的細節層自適應增強算法。最終算法流程如圖1所示。首先,將原有紅外16 bit圖像數據進行基于雙邊濾波的細節層提取;然后,采用全局線性變換和多尺度窗口的CLAHE對HDR紅外圖像進行分別映射;再基于局部顯著度和動態范圍特征自適應計算權重,完成多尺度多直方圖映射結果融合;最后,通過灰度域的高斯核函數實現自適應細節增強。

2 算法原理

2.1 細節層提取

基于分層思想的紅外圖像色調映射算法能取得較好的細節增強結果[13-14],其主要思想是通過邊緣保留濾波器將高動態范圍圖像分離為基礎層和細節層,在映射過程中壓縮基礎層、保留細節層。受此啟發,本文采用雙邊濾波進行細節層提取,雙邊濾波器是在傳統高斯低通濾波器的基礎上改進的一種保邊平滑濾波器,在高斯低通濾波的基礎上進一步加入了像素灰度域的相關性,在平滑圖像的同時還不會模糊強邊緣信息[15]?；A層和細節層分別表示為

IB=I*BF(Ωσs,σr)

(1)

ID=I-IB

(2)

其中:I為原始圖像;*表示卷積運算;BF(Ωσs,σr)為雙邊濾波器,σs為度量空間相似性的高斯標準差,σr為度量灰度相似性的高斯標準差,Ω為滑動窗口,大小為N×N;將經雙邊濾波后的圖像IB定義為基礎層;原始圖像減去基礎層得到細節層圖像ID。

2.2 多尺度映射

在映射過程中,通過不同尺度分塊映射可以得到不同的成像效果。如果一個像素位于紋理區域中,則適合使用小尺度窗口進行色調映射,因為它顯示了更多的細節和對比度;如果一個像素在一個均勻區域,則更適合使用大尺度窗口進行色調映射,因為它可以保持亮度一致性且不會放大噪聲[12]。因此,本文在全局尺度下使用線性映射算法,并分別在2×2、4×4、8×8、16×16窗口尺度下采用對應窗口尺度的CLAHE算法映射,獲得多尺度多直方圖映射結果。

2.2.1 全局線性映射

本文對傳統線性映射算法進行改進,通過引進對比度、亮度參數[16],實現圖像對比度和亮暗的調節功能,使其更適用于均勻場景或低動態范圍場景,更好地壓制背景噪聲。核心映射表示為

(3)

式中:I(i,j)是線性映射后的圖像,(i,j)是像素坐標;α為對比度增益系數,該參數與圖像整體對比度有關,α越大,對比度越高,反之越小,過大時可能導致亮區域飽和;O(i,j)是原始圖像;β為亮度偏置系數,該參數與圖像整體亮度有關,β越大,亮度越高,反之越暗;ρ為固定值參數,默認取值8192,針對不同位寬進行調整。

2.2.2 多尺度CLAHE算法

本文在傳統CLAHE算法基礎上進行改進,通過對各子塊動態范圍進行限制,避免出現過度拉伸的現象,并引進對比度增益和亮度偏置系數,使算法能夠調節圖像的對比度和亮度[16]。改進效果如圖2所示。

圖2 CLAHE算法改進前后對比圖像

核心映射公式如下

(4)

(5)

(6)

其中:r為映射范圍;ε為固定值參數,默認取值230;R為子塊動態范圍;a為映射起點;g(s)為灰度變換函數;P(s)為積分直方圖;s為灰度級。

對原始圖像分別進行2×2、4×4等多窗口尺度的CLAHE算法,以獲得不同尺度窗口下的細節信息。

2.3 多尺度融合

獲得多尺度多直方圖映射結果后,通常情況下,各個尺度映射結果都包含其特有的圖像特征,很難在單一尺度下獲取全部圖像特征[17],需要通過構建權重矩陣將不同尺度的圖像特征提取并融合,最大限度地保留原始圖像結構信息,因此如何構建融合函數,成為多尺度融合算法的重點。本文提出了一種結合像素顯著性和細節紋理信息的圖像融合權重構建方法,并利用動態范圍評估的方式減少均勻區域噪聲的引入,最后采用引導濾波來平滑權重信息,優化融合效果。

由2.2節可知,原始高動態范圍圖像分別從多個尺度(本文以全局尺度、2×2、4×4、8×8及16×16的窗口尺度為例)被壓縮映射為8 bit圖像。全局尺度的圖像雖然整體對比度低、細節信息模糊,但保證了圖像整體亮度的一致性,且均勻區域噪聲明顯抑制。其余小尺度圖像雖然對比度高、細節信息突出,但會有輕微的分塊效應,且均勻區域噪聲明顯放大。本文選取拉普拉斯對比度權重、顯著性權重和空間信息量權重進行圖像融合,使較大尺度的窗口用于均勻區域的色調映射,而較小尺度的窗口將用于細節和紋理區域的色調映射,從而獲得對比度高、細節紋理突出、噪聲抑制明顯的融合圖像。多尺度融合算法如下。

首先,對各個尺度圖像應用拉普拉斯濾波,從而增強圖像的全局對比度,突出顯示圖像的邊緣紋理信息以獲得高通圖像Hn,即

Hn=In*L

(7)

式中:In為源圖像;L為拉普拉斯濾波器。拉普拉斯對比度權重可以保證圖像的邊緣和紋理具有較高的值。

然后,使用Hn的絕對值的局部平均值來構造顯著性映射Sn,即

Sn=|Hn|*grg,σg

(8)

式中:g是尺寸為(2rg+1)×(2rg+1)的高斯低通濾波器;rg和σg為經驗參數。顯著性映射Sn提供了不同尺度圖像細節信息的顯著性水平。

如果僅考慮顯著性則可能將小尺度映射圖像中被放大的噪聲和分塊的邊界當成顯著性信息,從而增加噪聲和塊效應的融合權重。因此本文引入基于動態范圍評估的空間信息量權重,使均勻區域偏重全局尺度映射圖像。

當n=1時

(9)

當n≠1時

(10)

圖3 各尺度映射后的圖像及其權重圖

基于此,本文提出了一種基于引導濾波[18]的權重優化方法,消除噪聲和邊界偽影,完成多尺度多直方圖圖像融合。引導濾波的機理如下

Oi=akIi+bk?i∈ωk

(11)

(12)

(13)

本文以對應的源圖像In作為引導圖像,對每個權重圖Pn執行引導圖像濾波,用Gr′,ε′(P,I)表示引導濾波操作,其中,r′和ε′分別為決定引導濾波的濾波大小和模糊程度的參數。多尺度映射圖像的最終權重圖為

Wn=Gr′,ε′(Pn,In)。

(14)

最后,n個權重的值被規范化,使得它們在每個像素k處求和為1。

最后,通過加權平均將不同尺度的圖像融合在一起,即

(15)

2.4 細節層自適應增強

多尺度融合后的圖像模糊、細節紋理不清晰,需要加上細節層進行增強。傳統細節層增強是通過壓縮后的圖像加固定倍數細節層實現的,該方法存在均勻區域過增強導致噪聲放大,紋理區域欠增強導致邊緣模糊等問題,因此,利用雙邊濾波其中一個權值函數灰度域高斯核實現細節層自適應增強。具體算法過程如下。

計算灰度域高斯核函數,灰度域高斯核函數的表達式為

(16)

式中:f為多尺度融合后的圖像;(m0,n0)為窗口中心像素點的坐標。

自適應權重表達式為

W(i,j)=2×(1-wr(i,j))

(17)

則細節層增強后的圖像為

Imrc=F+W(i,j)·ID

(18)

其中:W(i,j)為細節層權重矩陣;Imrc為本文算法輸出的最終圖像。圖4所示為多尺度融合細節增強前后的對比圖像。

圖4 多尺度融合細節增強前后對比圖像

3 實驗結果分析

為了驗證本文方法可行性,將本文方法和全局線性映射、8×8 CLAHE、文獻[11]方法(混合映射)和文獻[12]方法(基于多尺度直方圖合成的算法)進行對比,同時從主觀和客觀兩方面進行對比分析。

3.1 主觀評價

本文對5種不同環境下的圖像進行對比仿真實驗,處理結果如圖5所示。從圖5可以看出:全局線性映射可以保證圖像整體亮度的一致性,均勻區域噪聲較小,但存在對比度低,細節丟失的問題;8×8 CLAHE雖然可以提高圖像局部對比度,突出邊緣細節,但是僅采用局部處理會導致整體局部矛盾,并且還會放大噪聲;混合映射可以在一定程度上綜合整體和局部映射兩者的優勢,但兩者的劣勢也不可避免;多尺度直方圖合成基本解決了分塊效應的問題,圖像的對比度和細節也得到了提升,但仍存在噪聲放大和邊緣模糊問題;本文方法大幅提高了圖像對比度,整體局部矛盾得到解決,突出了圖像邊緣細節,成像視覺效果更好。

圖5 5種不同紅外圖像增強映射結果

3.2 客觀評價

本文采用峰值信噪比(PSNR)、平均梯度(AG)、標準差(SD)、信息熵(IE)4種性能指標來評估紅外圖像質量。PSNR就是到達噪音比率的頂點信號,是一種評價圖像的客觀標準。PSNR主要計算最大值信號與背景噪聲之間的比值,PSNR值越大,圖像質量越高。其算式為

(19)

(20)

其中:M、N分別表示圖像的寬、高;MMSE表示圖像的均方誤差;n1表示圖像像素的比特數。

AG用來衡量圖像的邊界或影線兩側附近灰度差異即灰度變化率的指標,這種變化率的大小可用來表示圖像清晰度和紋理變化,平均梯度越大說明圖像越清晰。其算式為

(21)

SD表示一組像素值和其平均值的差異大小,可以用來衡量均勻區域的噪聲情況,均勻區域標準差越小,噪聲影響越小。其算式為

(22)

其中:P(i,j)為第i行、第j列的像素值;μ為均值。

IE是衡量圖像中所包含的信息量的大小的指標,熵越大說明包含的信息越多,意味著可以從處理后的圖像中獲取更多的信息。其算式為

(23)

式中:H為圖像信息熵;Pa為灰度值a所占的比例。

上述指標的客觀評價數據見表1～4。

表1 不同算法PSNR性能比較

表1是不同算法PSNR性能比較表,從表1可以看出,本文算法的PSNR值基本上是對比算法中最高的,除了Picture5混合映射的PSNR值高于本文方法,但結合圖像進行主觀判斷,本文算法相較于混合映射算法細節更加豐富,對比度亮度更好。表2是不同算法平均梯度性能比較表,從表2可以看出本文算法的平均梯度是所有對比算法中最高的,說明本文算法紋理細節更加清晰。表3是不同算法均勻區域標準差性能比較表,由于只有Picture1和Picture4存在天空均勻區域,因此只對這兩個場景進行計算,從表3可以看出本文算法在圖像均勻區域標準差最低,說明本文算法噪聲抑制效果更好。表4是不同算法圖像信息熵性能比較表,從表4可以看出,本文算法圖像信息熵最高,說明本文算法在多尺度映射融合后保留了原始圖像更多的信息。

表2 不同算法平均梯度性能比較

表3 不同算法均勻區域標準差性能比較

表4 不同算法圖像信息熵性能比較

主觀上,Picture5中不同圖像增強后的效果來看,本文算法可以有效解決目前紅外圖增強映射算法中所存在的問題,呈現出良好的視覺效果;客觀上,從表1～4可以看出,本文算法各項指標的數值幾乎都是最優的。因此,本文算法可以有效實現紅外圖像增強。

4 結束語

本文針對目前主流的紅外圖像增強映射算法中存在的整體局部矛盾、細節丟失、場景適應性、噪聲放大等問題,提出一種基于多尺度多直方圖融合的紅外圖像增強映射算法。提出一種基于CLAHE的多尺度映射算法,能從不同尺度提取圖像特征信息,大尺度函數用于保持圖像整體的一致性,小尺度函數用于增強圖像對比度,豐富圖像細節紋理信息,解決整體局部矛盾問題;提出一種結合像素顯著性和空間動態范圍的圖像融合權重構建方法,并利用引導濾波進行優化,從而融合各尺度圖像的優勢,提高場景適應性;提出一種基于灰度域高斯核函數的細節增強算法,實現圖像自適應增強,進一步增強圖像細節,提高圖像對比度。對比實驗結果顯示,本文方法無論是主觀評價還是客觀評價方面都優于其他典型紅外圖像增強映射算法。