一種新的IHS圖像多次融合的方法

賀國棟+石躍祥+龔偉

摘?要：本文針對傳統的IHS變換圖像融合方法在處理高分辨率圖像和多光譜圖像融合時出現的光譜退化現象的不足，對已有的傳統和改進的IHS圖像融合算法進行了研究，提出了一種新的基于IHS變換的像素級多次融合的方法框架，我們在將IHS變換后匹配得到的I分量和高分辨率圖像之間的替換策略進行改進，采用兩種或者多種互補的像素級圖像融合算法進行圖像的多次融合得到新的I分量，然后采用IHS逆變換獲得最后的融合圖像，同時實現了傳統IHS變換融合和SWT變換融合，根據主觀判定和客觀評價指標對融合結果進行了評價。實驗仿真結果，本文方法在融合質量以及視覺效果上都有相當不錯的提高。

關鍵詞：IHS;圖像融合;多次融合

中圖分類號?? 文獻標識碼??A

A?NEW?MULTIPLE?FUSION?METHOD?OF?IHS-IMAGE

He?Guodong*??Shi?Yuexiang??Gong?Wei

（College?of?Information?Engineering?of?Xiangtan?University，?Xiangtan?411105，Hunan，China）

Abstract：Based?on?the?shortage?of?the?spectral?degradation?phenomenon?occurred?in?process?of?dealing?with?the?fusion?of?the?high-definition?picture?and?the?multispectral?image?by?the?traditional?image?fusion?method?of?IHS?transformation，?this?paper?studies?the?existing?IHS?image?fusion?algorithm?and?the?modified?one?and?then?puts?forward?a?new?pixel?multiple?fusion?method?based?on?IHS?transformation.?We?improves?the?replacement?policy?between?the?I?component?and?the?high-definition?picture?gained?following?IHS?transformation，?adopts?two?or?multiple?complementary?pixel?image?fusion?algorithms?to?get?the?new?I?component，?and?then?adopts?IHS?inverse?transformation?to?get?the?final?blending?image.?We?also?evaluatethe?fusions?results?according?to?the?subjective?judgement?and?objective?evaluation?index..?Results?of?simulated?test?show?that，?compared?the?traditional?IHS?method?with?the?SWT?transform?fusion?method，?the?method?makes?the?fusion?quality?and?the?visual?effect?gain?a?quiet?great?improvement.

Key?word：IHS?;image?fusion?;multiple?fusion

1??引言部分

隨著傳感器技術的快速發展，圖像遙感技術的應用已經被廣泛的應用到了社會實踐的各個領域。使用衛星地圖給我們人類的生活提供了各種各樣的便利。但是，傳統的只從單一的傳感器上獲得的信息不夠豐富，也不夠準確。很多情況下，我們需要從多個傳感器所獲取的圖像中綜合相關的信息，這顯然需要圖像融合技術來實現。從二十世紀七十年代開始，簡單的傳統融合方法伴隨著其他技術的發展已經開始出現。圖像融合技術也逐漸地發展到了今天，已經跨越到了多尺度、多分辨分析的圖像融合框架上。相比于國外圖像融合技術的發展，國內起步比較晚，許多科研機構和學術研究員們只能借鑒國外的先進技術并不斷地改進和創新，在如我國星載和機載SAR圖像融合方面[1]取得了不小的成效。目前的圖像融合技術基于不同角度有多種劃分，我們按照對數據源圖像的處理程度可以將其劃分為像素級別融合、特征級別融合和決策級別融合?[2]。

傳統的IHS變換的融合方法憑借其實現起來簡單，在處理遙感圖像的融合中，能明顯地提高多光譜圖像的空間分辨率，達到較為理想的效果，使得該融合算法得到廣泛的應用[3][4]。本文研究了傳統的IHS變換融合以及一些改進的IHS變換融合方法，針對已有方法在融合效果上有光譜退化的不足，提出了一種新的基于IHS變換的像素級多次融合的方法框架，并進行了圖像融合仿真驗證，選取了主觀和客觀的雙層指標對多種融合方法的結果進行了評價。本文的研究工作是基于像素級的融合方法。

2???IHS變換融合算法

目前，在處理彩色圖像的空間表示上，除了RGB顏色模

型被大家使用外，IHS顏色模型也得到了廣泛的使用，這是因為后者與人感受顏色的方式更為相近，有著更好的視覺表達。文獻[7]中詳細描述了從RGB空間到IHS空間的相互變換。彩色圖像在IHS顏色空間里，I用以表示圖像的強度（以下簡稱I分量），主要表示圖像的空間分辨率;H表示色調（以下簡稱H分量）;S表示飽和度（以下簡稱S分量），H與S主要表示圖像的光譜分辨率。IHS變換融合的算法框架是將原始的多光譜圖像經過IHS變換矩陣的運算得到各個分量，再將原始的高分辨率圖像直接代替I分量作為新的分量，然后使用逆變換矩陣得到高空間分辨率的多光譜融合圖像。傳統的IHS變換融合算法其步驟如下：

步驟1??將多光譜圖像中在RGB顏色空間的基礎上與IHS的轉換矩陣進行運算，這樣就得到了I、H和S三個分量，并與高分辨率圖像進行相應的配準處理;

步驟2??將高分辨率圖像直接替換第一步中得到的亮度分量I，成為新的分量I;

步驟3?將第一步中的光譜系數（H、S分量）與第二步中的亮度系數（I分量）進行逆變換的運算在轉換到RGB空間表示。

傳統的IHS變換融合算法，在替換策略上，使用高分辨率圖像直接替換了多光譜圖像中的I分量，但是，由于成像原理和時間的不同，使的倆者的相關性較差，導致最終的融合圖像有光譜退化的現象;同時，IHS變換后的三個分量只是相對獨立，并不能完全隔離I分量的光譜信息，實際上在I分量上仍會保留一些光譜信息，直接進行替換會造成這些信息的丟失，產生一定的光譜扭曲現象。

3??基于多次融合的IHS變換融合方法

為得到高分辨率的多光譜圖像，我們在替換策略上需要保留多光譜圖像的I分量，因此需要改變I分量與高分辨率圖像的融合策略，針對不同融合算法的優缺點，通過對倆種或多種算法的融合結果再進行像素選擇融合得到最終的融合圖像[8]，即基于多次融合的想法進行改進。

圖1?基于IHS變換的多次融合的算法框圖

多次融合效果的好壞主要取決于融合算法的選取，我們考慮已有的像素級融合算法之間的互補性進行選取，本文中，我們在融合算法1、算法2上分別使用加權平均融合和梯度選大融合算法，加權平均融合模糊了圖像的邊緣和輪廓，而梯度選大融合算法是選取清晰的邊緣作為融合圖像的邊緣，彌補了加權平均算法的缺點，再通過像素選擇算法選取對比度大、清晰的像素作為最終融合的結果。

3.1??加權平均算法

算法的思想是將倆幅已配準圖像的對應像素的灰度值進行加權運算，得到新的灰度圖像。假設I分量圖像和高分辨率圖像P，加權平均融合過程可表示為：

3.2??梯度選大融合算法

我們依循所選取的兩種算法之間有互補的思想，為了彌補平均融合算法對圖像過于平滑的處理，使用梯度算法是為了更好的提取到圖像的邊緣信息，因此，我們首先考慮方向和幅度兩個特征值。通常，像素的變化平緩的是沿圖像邊緣方向，邊緣上的這種變化可以用算子檢測出來。Roberts算子、Sobel算子和Prewitt算子是常用的一階導數檢測算子;我們經常使用的Laplace算子是基于二階導數的邊緣檢測算子。在實際的運算中，我們選取一個3*3的模板，將圖像中的每個像素點與我們選取的模板作矩陣運算，同時規定一個閾值用以提取圖像的邊緣。

本文采用的是一階梯度算子，對于圖像，我們定義它的梯度為： ? ? ? ? ? （4）

如果圖像在該處存在邊緣，則會存在較大的幅度值;而圖像中較光滑的部分，灰度值的變化就會較小，有較小的幅度值

梯度選大融合算法的思想是通過比較像素點的幅度值，選取相應像素點幅度值大的作為融合圖像的像素值，其過程為：

通過上述可以得到最終的融合后圖像。

4??實驗結果及分析

本文為驗證改進算法的正確性和圖像融合效果，對來自于多個區域、不同衛星的遙感圖像進行了編程融合實驗。算法由Matlab7.1編程實現，計算機配置為：CPU為Intel（R）Core（TM）i5-2320，主頻3.00GHz，內存DDR3—4GB。圖2中（a）是某區域的多光譜原始圖像，（b）是對應區域的高分辨率原始圖像，圖（c）（d）（e）的融合結果分別是傳統的IHS變換融合、SWT變換融合以及本文論述的方法所獲得的結果。

（a）原始多光譜圖像?????????????????（b）原始高分辨率圖像

（c）傳統IHS算法的融合結果???????（d）小波變換（SWT）融合結果

（e）本文算法的融合結果

（a）原始多光譜圖像?????????????????（b）原始高分辨率圖像

（c）傳統IHS算法的融合結果???????（d）小波變換（SWT）融合結果

e）本文算法的融合結果

圖2?不同算法下的遙感圖像融合效果

主觀評價上，三種方法都使得多光譜圖像的清晰度得到了較大的提高，是融合圖像的信息更加豐富了，更利于機器的圖像處理和人為地識別。如（a）中原本不清晰的建筑邊緣和田地紋理在融合圖像中都得到了增強。但（c）中樹林的部分色度信息與（a）相比變化較大，即傳統方法的融合記過產生了一定的光譜退化現象。而（d）（e）中的色度與原始圖像更加相近，說明SWT變換融合方法和本文提出的方法不僅提高了多光譜圖像空間分辨率，而且同傳統的方法比較更好地保持了原始圖像的光譜信息。

客觀評價上，本文主要采用了以下的客觀定量評價指標：

（1）信息熵。圖像信息熵（EN）主要用來反映圖像攜帶的信息量。熵值越大，說明擁有的信息量越多。 （10）

（4）光譜扭曲度Dis。主要用來衡量融合圖像與原始多光譜圖像的之間的色度詫異程度。光譜扭曲度是光譜信息差異的直接反映，其值越大，表示光譜失真度越高，融合圖像的質量就越差，反之表示融合圖像的質量就高高。具體計算公式如下：

（5）空間清晰度SF?？臻g清晰度（SF）可以用來衡量圖像的清晰程度。SF定義如下：

表1?圖像效果的客觀評價指標一

熵??????標準差?????均值

傳統IHS??????4.4001???0.0016???105.3530

SWT變換??????4.3224???0.0016????98.5389

本文算法??????4.7720???0.0023???115.2028

由表1可知，本文采用的融合方法相比于傳統的IHS變換融合和SWT變換融合方法，融合圖像信息熵提高最大;本文的融合方法的均值效果最好，其亮度更適合人眼的視覺;標準差的值也比傳統IHS變換和SWT變換的圖像要高，說明改進的算法很好的保存了圖像細節紋理信息。

表2圖像效果的客觀評價指標二

光譜扭曲度Dis??????????空間清晰度SF

R????G????B?????AVE

傳統IHS??61.29??63.71??63.90??62.97?????41.1396

SWT變換??31.22??33.73??34.98??33.31?????38.0312

本文算法??42.20??42.38??42.40??42.32?????50.8795

由表2可知，本文采用的方法，其Dis值小于傳統方法，說明本文方法對光譜信息的保持能力明顯優于傳統方法，該方法的圖像SF值最高，說明其圖像的整體清晰度好于傳統的IHS方法和SWT變換方法。雖然在保持光譜信息上，SWT變換融合結果更好一些，但綜合多項的客觀評價指標，該方法得到的融合圖像無論從獲得信息量，符合人眼的視覺效果，還是對光譜信息的保存，圖像清晰度的提高來講，都達到了比較好的效果。

5??結束語

本文主要研究了基于傳統的IHS變換圖像融合算法在遙感圖像融合中的應用，對傳統的融合算法進行了改進，提出了一種基于多次融合思想的融合框架，通過主觀評價以及客觀評價指標信息熵、均值、光譜扭曲度、空間清晰度等對多種融合方法的結果進行了比較和分析。經過仿真后，結果表明，本文提出的方法在傳統的IHS融合方法的基礎上，更好的保留了原始多光譜圖像的光譜特性，又能使得融合效果在信息量、亮度等方面獲得提高，效果更令人滿意。

參考文獻

[1]?周前祥，敬忠良，姜世忠.多遠遙感影像融合研究現狀與展望[J].宇航學報，2002（5）：89-94.

[2]?何友，王國紅，陸大金等.多傳感信息融合與應用[M].北京：電子工業出版社，2000.

[3]?C?Pohl，?J?L?Van?Genderen.?Multisensor?image?fusion?in?remote?sensing：concepts，?methods?and?applications[J].?Int?J?Remote?Sensing，?1998，19（5）：823～854.

[4]?C?M?Chen，?G?F?Hepner，R?R?Forster.Fusion?of?hyperspectral?and?rader?data?using?the?IHS?transformation?urban?surface?features[J].?ISPRS?Journal?of?Photogrammetry&RemoteSensing，2003，58：19～30.

[5]?P.?S.?Chavez，?S.?C.?Sides，?J.?A.?Anderson，?Comparison?of?three?different?methods?to?merge?multi-resolution?and?multispectral?data：?Landsat?TM?and?SPOT?panchromatic[J]，Photogrammetric?Engineering?and?Remote?Sensi，?1991：295～303.

[6]?S.?T.?Li?and?B.?Yang，?Multi-focus?image?fusion?using?region?segmentation?and?spatial?frequency[J]，?Image?Vis.?Compute，?2008：?971–979.

[7]?Te-Ming?Tu，?Shun-Chi?Su，?Hsuen-Chyun?Shyu?et?.A?new?look?at?IHS-like?image?fusion?methods[J].?Information?Fusion，?2001（2）：177～186.

[8]?王學偉，王世立.一種圖像融合的新方法[J].激光與紅外，2012（9）：145～150.

[9]?時海亮.基于多分辨率分析的像素級多源圖像融合[D].西安：西安電子科技大學，2008.

[10]?蘇媛媛，李英杰.遙感圖像融合算法與質量評價討論[J].工程勘察，2012.