紅外回掃補償系統圖像退化評價方法的研究

劉大通,劉 洋,劉力雙

(北京信息科技大學 儀器科學與光電工程學院,北京 100192,中國)

0 引 言

紅外周掃成像系統廣泛應用于目標預警、防空探測等領域,其通常采用延遲積分型(time delay integration,TDI)線陣探測器配合掃描機構(如周掃轉臺)實現成像,但線陣探測器掃描成像時,像元與目標駐留時間短,造成靈敏度不高、探測距離有限。因此面陣回掃補償型周掃結構成為目前研究的主要方向。

回掃補償通過面陣探測器與擺鏡配合,利用擺鏡在積分時間內對轉臺運動進行反向補償,從而消除積分時間內的運動模糊。通過提升探測器的積分時間,有效提升系統探測距離。在此過程中轉臺、擺鏡擺速的均勻性及成像光學系統在回掃期間內主光線偏移所造成的額外相差,都會導致所采集的圖像存在不同程度的退化。目前,對圖像退化程度的量化評價主要采用平行光管配合黑體,通過測量傳遞函數等方式進行測量及評價。因此只能在實驗室通過專用設備進行,而周掃設備大都應用于海上、邊境等惡劣環境,為此本文作者提出一種基于全參考的回掃補償圖像退化質量評價方法,在不使用外部測量設備的前提下,可實現回掃補償型紅外成像系統的實時在線質量評價及優化。

針對補償擺鏡擺速與轉臺轉速不一致所導致的拍攝圖像存在運動模糊的現象,通常使用質量評估算法對失真圖像進行評價。傳統的全參考質量評估方法有均方誤差 (mean square error,MSE)法與峰值信噪比 (peak signal-to-noise ratio,PSNR)[1]法,這兩種算法可以較好地表示隨機誤差所造成的圖像失真,但對于結構性的或壓縮圖像的互相關誤差無效。WANG等人[2-4]提出的結構相似性理論(structural similarity,SSIM)評估算法,由于其假設圖像各部分區域的重要程度都相同,所以不能與實際結果相一致。參考文獻[5]中基于電子穩像[6]技術提出一種灰度投影結構相似度算法。參考文獻[7]中提出了將邊緣信息和梯度特征作為圖像結構信息的邊緣相似度算法和梯度相似度算法。ZHAO等人[8-9]中利用擴展的Sobel算子代替了傳統的梯度算子以獲取更為準確的圖像梯度信息。SESHADRINATHAN等人[10-14]提出基于圖像梯度特征和相位一致性的特征相似度測量算法,但該算法對于圖像邊緣失真的梯度信息變化不敏感。

根據以上所提方法的不足,本文作者在SSIM算法思想的基礎上,針對回掃補償型紅外成像系統的特點,提取出有效衡量圖像失真變化程度的梯度特征,計算出圖像的梯度相似度,最終為回掃補償型紅外成像系統提供一種新的實時在線圖像質量評價算法。

1 回掃補償型紅外成像系統

紅外成像系統在穩定平臺下隨著轉臺的運動進行周視掃描,實現方位角360°大視場監測,當紅外成像系統連續掃描未補償時,紅外相機所拍攝的圖像存在嚴重的拖尾現象?；貟哐a償型紅外成像系統可以在分辨率沒有明顯降低的情況下實現對視場內的目標檢測[15]。

根據擺鏡所處位置不同,回掃補償結構一般分為物方掃描與像方掃描兩種基本結構[16]。物方掃描結構中的擺鏡位于光學系統前方[17],因此結構簡單,對光學系統成像無影響,但由于光學系統口徑受擺鏡鏡片尺寸限制,只能應用在焦距較短、視場較大的系統中;而像方掃描結構中擺鏡位于前置望遠系統及2次成像物鏡之間,由于可使用前置的望遠系統來壓縮光束的口徑,因此通常應用在長焦系統中,但此類系統結構復雜,擺鏡掃描角度高,掃描過程對主光線入射角度變化較大[18-19]。兩種回掃補償結構示意圖如圖1所示。

圖1 兩種回掃補償結構Fig.1 Two retrace compensation structures

由兩種類型的回掃補償結構示意圖可知,紅外成像系統轉臺的轉速為ω,在物方掃描下,需要補償的反向擺鏡擺速ω1為ω/2;在像方掃描下,望遠鏡放大倍率為K,需要補償的反向擺鏡擺速ω2為Kω/2。

探測器隨方位轉臺進行勻速掃描時,場景圖像f(x,y)在探測器上的結果為:

(1)

式中:T為探測器積分時間;n(x,y)為探測器和電路噪聲總和;x0(t)表示運動時間變化參數,周掃轉臺勻速掃描成像時:

(2)

式中:D為像移,可以通過探測器積分時間和轉臺轉速的關系來確定。

紅外成像系統在方位轉臺上進行周掃成像時,紅外相機與實際場景之間的相對運動會造成圖像一定程度的拖尾像移[20]。針對此問題,通過擺鏡回掃補償的方式可大幅提高成像質量[21],而對于成像后的紅外圖像質量評價則必不可少,通常利用質量評價算法對其成像質量進行評估。

2 基于梯度相似度的圖像質量評價方法

通過回掃補償型紅外成像原理可知,回掃補償系統圖像退化的主要原因是周掃系統成像過程中紅外相機與實際場景之間的相對運動造成圖像的邊緣失真[21],為此本文中分析了兩種常用的圖像質量評價方法,并對其在紅外回掃補償系統圖像評價方面的性能指標進行分析及測試。

2.1 SSIM算法的基本原理

SSIM算法是通過計算原始圖像與失真圖像之間的亮度、對比度及結構度之間的差異來對失真圖像進行質量評價,相比一般的全參考質量評估算法更加符合人眼視覺系統的判斷。計算過程如圖2所示。

圖2 SSIM算法原理框圖[2]Fig.2 Block diagram of SSIM algorithm[2]

由原理圖可知,SSIM算法主要分為3個過程。首先計算參考圖像和失真圖像的亮度信號和對比度信號,然后通過亮度、對比度及結構三通道來計算二者相對應的比較函數,最后將計算出的3種比較函數的值進行合并,得到結構相似性的值[2]。其計算公式為:

VSSIM(r,d)=[l(r,d)]α·

[c(r,d)]β·[s(r,d)]γ

(3)

式中:r代表參考圖像;d代表失真圖像;l(r,d)、c(r,d)、s(r,d)分別表示二者間的亮度、對比度及結構3種比較函數;α、β和γ為大于0的3個權重參數,使用這3個參數調整3種比較函數在整個公式中的權重。3種比較函數的計算公式如下所示:

(4)

(5)

(6)

式中:μr和μd表示r和d二者的均值;σr和σd代表二者的標準差;σr,d代表二者之間的協方差;C1,C2,C3為常數。

SSIM算法比均方誤差、峰值信噪比等方法具有更好的評價性能,在很多方面都得到了廣泛的應用,但SSIM方法有兩個明顯的缺點:一是SSIM算法只是根據圖像的均值和方差來評價圖像質量,沒有考慮到梯度等包含圖像結構信息的邊緣紋理特征,使得SSIM算法不能很好地區分由于運動失真引起的不同模糊程度的紅外周掃圖像;二是失真紅外圖像盡管邊緣模糊,但相對于參考圖像來說,整幅圖像的亮度、對比度和整體結構并沒有太多的降質。因此,本文中提出將圖像梯度信息加入SSIM算法,從而獲得對運動模糊圖像更為準確的評價。

2.2 基于梯度特征的結構相似度

由于圖像紋理和邊緣特征是圖像結構中最為關鍵的信息,采用梯度特征可以很好地表示圖像邊緣紋理的變化程度,本文中提出將梯度信息加入SSIM算法,從而獲得對運動模糊紅外圖像的更為準確的質量評價。圖像梯度幅值計算方式為:

(7)

式中:G(i,j)表示圖像在點(i,j)處的梯度幅值;Gh(i,j)、Gv(i,j)分別表示水平和垂直方向上的梯度分量,當G(i,j)≠0時,表明在該點處存在梯度變化,G(i,j)值越大,該點處存在越清晰的邊緣信息。

如圖3所示,本文中采用Sobel梯度算子分別對原始圖像與失真圖像的梯度特征進行提取,進而得到原始圖像r和失真圖像d所對應的梯度圖像r′和d′。圖像梯度對比度可定義為:

圖3 Sobel梯度算子[7]Fig.3 Sobel gradient operator[7]

(8)

圖像梯度相關系數可定義為:

(9)

式中:σr′、σd′分別表示r′和d′的標準差;σr′,d′表示r′和d′的協方差;常數C2、C3避免分母為零的情況。將SSIM算法中的對比度函數c(r,d)和結構函數s(r,d)替換為式(8)、式(9),從而得到梯度相似度(gradient similarity,GSIM)算法模型:

VGSIM(r,d)=[l(r,d)]α·

[Cg(r,d)]β·[Sg(r,d)]γ

(10)

整幅圖像的梯度相似度可通過各子圖像塊的梯度相似度均值(mean gradient similarty,MGSIM)得出:

(11)

式中:M為子圖像塊的數量。

3 實驗結果分析及比較

為驗證圖像質量評估算法的有效性,本文中實驗分為兩部分:第一部分采用圖像與視頻工程實驗室(laboratory for image &video engineering,LIVE)圖像質量評價數據庫進行實驗;第二部分利用實驗室回掃補償型紅外成像系統所拍攝的紅外圖像數據庫進行實驗。

3.1 標準數據庫圖像質量評價實驗

在像移變化、像旋不變的運動模糊圖像實驗中,對原始參考圖像加入像移D變化范圍(5 pixel～55 pixel)、像旋角度θ=5°的運動模糊核,利用MSE、PSNR、SSIM以及MGSIM 4種算法對不同運動模糊程度的圖像進行質量評估。參考圖像及其不同運動程度的失真圖像如圖4所示。

圖4 原始圖像及其不同程度的運動模糊圖像Fig.4 Original image and its different degrees of motion blur images

利用上述4種算法對像移變化、像旋角度為定值5°的運動模糊圖像進行評價,其結果如表1所示。

表1 圖4中不同運動模糊程度圖像質量評估結果Table 1 Image quality evaluation results of different degrees of motion blur in Fig.4

從表1可以看出,隨著圖像像移距離的增加,圖像越來越模糊時,MSE的值逐漸增大,PSNR、SSIM、MGSIM的值逐漸減小。4種算法的評價結果與人眼視覺系統感知基本一致。

由圖5可以看出,當像移距離由小到大變化,即圖像越來越模糊時,SSIM算法與MGSIM算法二者的圖像質量評價值都呈現逐漸下降趨勢,但二者的變化程度有著顯著差異,SSIM算法的圖像評價值由0.882下降至0.634,而MGSIM算法的評價值由0.846下降至0.262,由此可知,MGSIM算法的評價值變化更加明顯,對不同運動狀態的圖像表現出更好的靈敏度,這表明梯度相似度算法對于不同運動狀態的失真圖像的質量評價更為優越。

圖5 圖4中不同運動模糊程度下的評價值的曲線Fig.5 Curves of evaluation values under different degrees of motion blur in Fig.4

3.2 紅外周掃圖像質量評價實驗

紅外圖像實驗使用周掃轉臺搭載的分辨率為1280 pixel×1024 pixel、像方掃描、焦距150 mm的非制冷紅外相機靜止拍攝的圖像作為參考圖像,采用周掃轉臺不同轉臺轉速和擺鏡擺速下的5幅不同模糊程度的圖像作為對比,其中,圖6a為周掃轉臺靜止拍攝的參考圖像;圖6b～圖6e為周掃轉臺以85.045 °/s的轉速、擺鏡擺速分別為95 °/s、98 °/s、100 °/s、105 °/s的周掃圖像;圖6f轉臺轉速為92.370 °/s、擺鏡擺速(110°/s)下的周掃圖像。

圖6 不同運動模糊程度的紅外周掃圖像Fig.6 Infrared scan images with different degrees of motion blur

利用MSE、PSNR、SSIM以及本文中MGSIM算法這4種方法對上述周掃圖像進行質量評估,其結果如表2所示。

表2 圖6中不同運動模糊程度的紅外周掃圖像質量評估結果Table 2 Evaluation results of infrared scan image quality with different degrees of motion blur in Fig.6

從表2可以看出,圖6d與參考圖像最為接近,4種方法均能正確反映圖6d的質量評價結果;圖6f失真最為明顯,MSE、PSNR、SSIM 方法并不能很好地區別不同運動模糊程度的紅外圖像;而本文中MGSIM算法較為準確地反映出紅外運動模糊圖像變化過程。

以往的評價方法主要采用平行光管測試傳遞函數的方式,該方法可以獲得絕對系統的評價參數,但這需要專用設備。像質評價主要用于優化周掃系統擺掃速度,使成像質量最優,因此采用相對評價參數并尋找最優參數也可同樣實現該目的。本文中所采用的圖像評價方法主要用于擺鏡回掃速度的優化,因此采用的是相對評價參數,目的是尋找各擺掃速度下圖像質量的最優值。由圖7可以看出,SSIM方法對于不同運動狀態下的紅外周掃圖像質量評價結果區分度不高,對擺掃速度變化較小的紅外周掃圖像并不能準確評估。而本文中MGSIM算法在評價過程中考慮了梯度信息對圖像質量變化的影響,對于不同運動狀態的周掃圖像更為敏感,與人眼視覺系統具有較高的一致性,更加準確地反映出紅外周掃圖像的質量評價結果。

圖7 圖6中不同運動模糊程度下紅外周掃圖像的評價曲線Fig.7 Evaluation curves of infrared scan images under different degrees of motion blur in Fig.6

4 結 論

針對回掃補償型紅外成像系統圖像退化程度在線評價問題,提出了梯度相似度的質量評估算法。該算法以分塊結構相似度思想為基礎,通過Sobel梯度算子獲得能有效度量圖像中失真程度的梯度特征,使用梯度特征替代SSIM算法中的對比度和結構兩個部分,最終計算各子圖像塊的梯度相似度均值,從而獲得整幅圖像的梯度相似度。MGSIM算法對紅外周掃圖像的質量評價從0.700下降至0.543,實驗結果表明,本文中所提出的方法對紅外周掃圖像的退化程度敏感性更高,可作為實時在線周掃圖像優化系統的一種有效評價手段。