高光譜圖像輻射位深殘差量化及其對地物分類影響分析

王 娟, 張愛武*, 張希珍, 陳云生

1. 首都師范大學三維信息獲取與應用教育部重點實驗室, 北京 100048

2. 首都師范大學空間信息技術教育部工程研究中心, 北京 100048

3. 首都師范大學地理環境研究與教育中心, 北京 100048

引 言

隨著遙感成像技術的發展, 遙感圖像的空間分辨率、 光譜分辨率、 輻射分辨率都在不斷提高[1], 高輻射分辨率(≥10 bit)的航空航天數字遙感圖像已經逐漸成為主要的數據源, 增強了對地物輻射能量的感知范圍, 也增加了遙感圖像更多的地物細節[2]。

然而, 目前人們多關注高空間分辨率和高光譜分辨率的運用, 如K最近鄰(K nearest neighbor, KNN)[3]、 光譜角制圖(spectral angel mapping, SAM)[4]和支持向量機(support vector machine, SVM)[5]等經典光譜分類方法, 以及一些空譜結合分類方法[6-8]。 遙感圖像輻射分辨率反映了傳感器對地物輻射能量的微小變化的探測能力[9-10], 輻射分辨率越高, 圖像包含的地物細節越豐富。 Franks等[11]評估了高輻射分辨率對林業應用的益處, Irons等[12]研究了原始和降比特的TM(thematic mapper)圖像對最大似然分類算法的影響, Tucker等[13]研究了不同輻射分辨率對區分植被的影響, Rao等[14]評估了不同輻射分辨率對估算主要農作物(如棉花、 甘蔗和水稻)葉面積指數(LAI)的影響, Rama Rao等[15]和Verde等[16]評估了不同輻射分辨率對地物分類的影響。 這些研究雖然從表象上分析了不同輻射分辨率對分類的影響, 但都沒有充分挖掘和綜合利用圖像所包含的輻射信息。

Kang等[17-18]為了挖掘光譜信息提出一種基于高階殘差量化的光譜二值編碼新方法HOBC (high-order binary coding), 將光譜信息分解成不同粒度的編碼特征、 殘差特征和重建特征, 有效地突出了光譜弱信息。 本工作受Kang等[17-18]方法啟發, 對高光譜圖像(hyperspectral image, HSI)進行輻射位深分割, 構建不同輻射位深層級位深特征圖像及其殘差圖像, 并分析不同層級的位深特征圖像、 殘差圖像及其組合對地物分類的影響。 主要內容包括： (1)提出高光譜圖像輻射位深殘差分割方法, 對輻射分辨率為mbit的高光譜圖像進行輻射位深量化, 生成從1 bit至(m-1)bit不同位深層級的位深特征圖像(low bit depth hyperspectral image, LHSI)及其殘差圖像(residual hyperspectral image, RHSI)。 (2)分析不同輻射位深層級的LHSI和RHSI及其組合對地物分類的影響。 首先, 結合隨機森林分類器[19]用LHSI和RHSI進行地物分類, 分析不同位深層級的LHSI和RHSI對不同地物分類精度的影響; 接著利用主成分分析(principal component analysis, PCA)進一步提取從1 bit至(m-1)bit的LHSI和RHSI的綜合特征[20], 對PCA后的LHSI和RHSI的特征圖像進行排列組合, 并在特征組合的基礎上運用隨機森林分類器進行地物分類, 分析不同位深層級的位深特征圖像與殘差圖像組合對地物分類的影響。

1 數據和方法

1.1 實驗數據

采用的實驗數據是Indian Pines, 該數據集由可見光紅外成像光譜儀AVIRIS在1992年拍攝美國印第安納州獲得, 其光譜覆蓋范圍為400～2 450 nm, 空間分辨率為20 m, 輻射分辨率為14 bit, 包含145×145個像元和220個光譜波段, 共包含16個地物類別, 其中大多數代表不同的農作物。 去除圖像在[104—108], [150—163]和第224波段不能被水反射的無用波段, 余200個可用波段。 圖1(a)為該數據的偽彩色圖像, 圖1(b)是人工標記圖像, 不同地物用不同顏色標記, 共16種地物類別, 并將不屬于任何一類地物的像元用黑色作為底色標識, 在實際的分類過程中, 黑色標識部分不考慮。

圖1 (a) Indian Pines偽彩圖(Red： band50; Green： band100; Blue： band150); (b)真值圖; (c)隨機訓練樣本分布圖; (d)圖例

從每類地物中隨機選擇20%的樣本數量作為訓練樣本, 其余用作驗證樣本, 樣本分布圖如圖1(c)所示; 樣本分類及各類別樣本數量詳見表1。

表1 訓練集與測試集樣本類別及樣本數量

1.2 高光譜圖像輻射位深殘差量化方法

常規的圖像位深量化實際上是一個簡單的降比特的過程, 只提取了位深特征信息, 而忽略了每一層級對應的殘差信息, 是一個有損的降比特過程, 如Wallace[21]在量化過程中只保留必要的整數部分的位深特征信息。 Belyaev[22]等將16 bit深度紅外圖像降比特為一個8 bit基礎深度圖像和一個8 bit殘差位深圖像, 基礎深度圖像中包含主要信息, 殘差位深圖像中包含細節信息; Li[23]等在做網絡加速時運用高階殘差量化進行二值編碼, 在利用二值網絡加速的同時避免網絡精度的大幅度下降。 Kang等[17-18]提出基于高階殘差量化的光譜二值編碼方法, 利用殘差信息突出光譜細節。

本工作將殘差量化用于高光譜圖像輻射位深提取上, 獲得每一層級的位深特征圖像及殘差圖像。 具體講, 假設輸入的圖像X={X1,X2,X3, …,XN}的每個像素的輻射值是以mbit表示的非負整數值, 即0≤Xi≤2m-1, 首先, 則可將每個像素Xi量化為

Xi=βnHi+Ri(X)i=1, 2, 3, …,N

(1)

式(1)中,n為輻射位深量化層級,N為圖像的像素個數,βn為第nbit輻射位深殘差量化系數,Hi為像素Xi的位深特征,Ri(X)為像素Xi的殘差, 則可通過式(2)計算得出像素Xi對應的βn, 利用式(3)量化像素Xi得到相應的輻射位深Hi, 然后四舍五入到最接近的整數, 并生成nbit時的輻射位深特征圖像H={H1,H2,H3, …,HN}

(2)

(3)

式(2)和式(3)中,m為像素Xi的輻射位深, 計算得出βn和Hi后, 接下來利用式(4)量化像素Xi的殘差Ri(X), 并生成nbit殘差圖像R={R1,R2,R3, …,RN}

Ri(X)=Xi-βnHii=1, 2, 3, …,N

(4)

具體算法流程圖如圖2所示。

圖2 高光譜圖像輻射位深殘差量化流程圖

2 結果與討論

設計三組實驗, 具體探究輻射位深特征及殘差對地物分類精度的影響。 通過實驗1分析不同位深特征圖像對地物分類精度的影響, 通過實驗2分析不同位深殘差圖像對地物分類精度的影響, 通過實驗3分析位深特征圖像與殘差圖像組合對地物分類的影響。 此外, 由于實際高光譜圖像往往存在異常值, 在進行實驗前, 先對高光譜圖像進行輻射值異常值檢測, 用鄰域均值替換[24]去除小于等于零的DN值。

2.1 輻射位深特征圖像對地物分類精度影響

首先對輻射分辨率為14bit的Indian Pines數據集進行輻射位深殘差量化, 生成1～13 bit的LHSI, 結果如圖3所示。 可以看到, 隨著位深增加, LHSI的信息含量逐步增多并趨于穩定。 為進一步確定信息含量隨輻射位深大小變化的規律, 利用MATLAB R2021a中的corr2函數計算LHSI與原始HSI對應波段間的皮爾森相關系數(pearson correlation coefficient, PCC)[25], 取波段間相關系數均值, 相關系數的絕對值越大, 相關性越強。 圖4(a)所示為PCC隨輻射位深變化曲線圖, 可以發現, 隨著輻射位深的增加, 各位深對應的LHSI與原始HSI相關度整體呈憎大趨勢, 位深達到6 bit時, 增大趨勢漸緩, 當位深為7 bit時, 與原始圖像相關度高達92.24%, 從7 bit到13 bit變化過程中, 相關度雖然仍有提高, 但此時相差以0.03為單位增加。 因此, 初步確定位深為7 bit時, 最大程度降低數據冗余的同時, 保留了圖像大部分主要信息。

圖3 (a)—(m)依次為1～13 bit位深特征圖像(Red： band50; Green： band100; Blue： band150)

圖4 (a) PCC隨位深變化曲線圖; (b) MSA隨位深變化曲線圖; (c) OA、 KC隨位深變化曲線圖

進一步采用平均光譜角(mean spectral angel, MSA)[26]衡量輻射位深殘差量化前后光譜保真性, 越小的MSA表明光譜越相似。 圖4(b)中, 隨著輻射位深的增加, 各位深對應的LHSI與原始HSI光譜夾角逐漸減小。 實驗發現, 當位深在7 bit時, 光譜角為0.011 9 rad, 位深達到8 bit后, 光譜角減小到0.006 rad并以0.003 rad遞減(表2)。

表2 7～13 bit LHSI和原始HSI各地物分類精度及客觀評價

為分析不同位深LHSI對地物分類精度影響, 采用ENVI軟件中的隨機森林分類器對其進行分類實驗(其中關鍵參數設置： Number of Trees=100; Number of Features=Square Root; Impurity Function=Gini Coefficient; Min Node Samples=1; Min Impurity=0), 并利用總體分類精度(overall accuracy, OA)[27]、 Kappa系數(Kappa coefficient, KC)[28]作為分類性能評價指標。 結合圖4(c)中OA和KC來看, 當位深在7 bit時, OA為0.742 3, KC為0.698 8, 相對于原始HSI的分類精度有所降低; 當位深為8 bit時, OA達到了0.821 2, KC達到0.793 9, 相較于原始HSI, OA降低0.020 8, KC降低0.024 6(表2)。

進而利用圖像熵(image entropy, IE)[29]評估8～13 bit LHSI中各波段信息含量, 并與原始HSI中各波段信息含量進行對比, 圖像熵越大, 圖像包含的像素灰度越豐富, 灰度分布越均勻, 圖像的地物目標越多, 圖像的信息量越大。 圖5(a)—(f)為對比結果曲線圖。 整體來看, 隨著輻射位深的提高, 各波段信息含量不斷增加; 當輻射位深為10 bit時, 各波段平均信息量超過原始HSI的信息量(表2), 其中僅有少數幾個波段信息含量低于原始HSI, 如band104、 band145、 band199; 當輻射位深為12 bit時, LHSI中各波段信息含量均高于原始HSI。

圖5 (a)—(f) 8～13 bit LHSI與原始HSI各波段信息熵對比

表2所示為7～13 bit LHSI中各地物分類精度和原始HSI中各地物分類精度的情況, 從表中可以看出, Alfalfa在輻射位深為9 bit時, 分類精度最優達到0.652 2; Corn-min till在輻射位深為9和13 bit時, 分類精度最優達到0.677 1; Corn在輻射位深為9和12 bit時, 分類精度最優達到0.514 8; Grass/pasture在輻射位深為9和12 bit時, 分類精度最優達到0.913; Grass/trees在輻射位深為7 bit時, 分類精度最優達到0.968 5; Grass-pasture-mowed在輻射位深為8 bit時, 分類精度最優達到0.642 9; Hay-windrowed在輻射位深為7和8 bit時, 分類精度最優達到0.995 8; Oats在輻射位深為10～13 bit時, 分類精度最優達到0.3; Soybeans-no till在輻射位深為10和13 bit時, 分類精度最優達到0.815 8; Soybeans-min till在輻射位深為7 bit時, 分類精度最優達到0.932 4; Soybeans-clean till在輻射位深為11 bit時, 分類精度最優達到0.760 5; Wheat在輻射位深為7和9 bit時, 分類精度最優達到0.961; Buildings-Grass-Tree-Drives在輻射位深為9 bit時, 分類精度最優達到0.652 8; Stone-steel towers 在輻射位深為8 bit時, 分類精度最優達到0.881 7; 而Corn-no till和Woods這兩類地物在原始HSI上分類精度最優, 分別為0.802 5和0.973 9。 分析其中幾種地物分類精度較低的原因在于訓練樣本數量較少, 導致其分類誤差較多, 分類精度不高。

綜合以上實驗結果, 整體看來, 隨著輻射位深的增加, LHSI分類精度逐漸提升。 當輻射位深為9 bit時, 與原始14 bit圖像相比, 精度變化只有2%～3%, 這個實驗結果與其他探究不同輻射分辨率多光譜圖像對地物分類影響的研究結果相一致[10,14-15], 并且共有6類地物在輻射位深為9 bit時分類精度最優, 且IE低于原始HSI, 表明9 bit時LHSI在降低數據冗余的同時, 可以保證地物的分類精度, PCC和MSA也側面證明9 bit時的LHSI與原始HSI相關度高達98.87%, 光譜差異性僅為0.003 rad。 同時, 當輻射位深為10, 11和13 bit時, 相較于原始圖像, 輻射位深較低而分類精度較高, OA提升0.1%～0.2%(表2), 考慮是由于在像素內輻射位深越高則地物細節信息越豐富, 故導致分類準確度下降。 當輻射位深12 bit時, 出現分類精度略降低但IE高于原始HSI的情況, 考慮由于提取其位深特征后, Grass-pasture-mowed這類地物分類精度較低而導致整體分類精度略低。

2.2 位深殘差圖像對地物分類精度影響

根據輻射分辨率為14 bit的Indian Pines數據集輻射位深殘差量化結果, 生成1～13 bit RHSI, 結果如圖6所示。 可以看到, 隨著位深增加, RHSI的信息含量逐漸降低。 為了探究不同輻射位深RHSI的分類精度, 繪制了OA和KC隨位深變化的曲線圖。 從圖7(a)中OA和KC來看, 分類精度隨輻射位深增加而降低; 位深為5 bit時, OA為0.792 1, KC為0.760 1, 相較于原始HSI, OA降低0.049 9, KC降低0.058 4(表3)。

表3 1～5 bit RHSI和HSI各類地物分類結果質量客觀評價

圖7(b)—(f)所示為1～5 bit RHSI與原始HSI各波段IE對比, 整體看來, IE出現了由高到低再到高的變化趨勢, 考慮隨著輻射位深的不斷增加, 增加圖像細節的同時, 也增加了部分噪聲, 故導致其4～5 bit出現了IE升高的趨勢。 輻射位深為1 bit時, 少數幾個波段信息含量較少, 如band7、 band9、 band38等, 其余波段相較原始圖像信息含量增加, 側面說明細節信息較豐富; 輻射位深為2bit時, 與原始HSI信息含量相差不大, 也有少數幾個波段信息含量降低; 輻射位深為3 bit時, 前106個波段相比于原始HSI信息含量增加, 后94個波段相對信息含量降低; 當輻射位深為4和5 bit時, RHSI中信息含量超過原始HSI中信息含量, 表明其細節信息豐富。

表3所示為1～5 bit RHSI中各類地物分類精度, Alfalfa、 Corn-no till、 Corn-min till、 Soybeans-min till這4類地物在原始HSI上分類結果更優; Corn、 Grass-trees、 Grass-pasture-mowed、 Buildings-Grass-Tree-Drives、 Stone-steel towers這5類地物在1 bit RHSI上表現較優; Grass-pasture、 Soybeans-no till、 Soybeans-clean till、 Stone-steel towers這4類地物在2 bit RHSI上表現較優; Hay-windrowed、 Oats這2類地物在5 bit RHSI上表現較優; Wheat在3和4 bit RHSI上表現較優; Woods在2和3 bit RHSI上表現較優。

綜合以上實驗結果, 輻射位深為4 bit時的RHSI與原始HSI相比, OA僅僅降低0.65%; 同時IE表明, 相較于原始HSI, 4 bit時的波段信息熵含量略高, 表明RHSI中突出了許多地物重要特征以及豐富的細節信息。

2.3 不同位深層級的位深特征圖像與殘差圖像組合對地物分類影響

2.1中輻射位深殘差量化后OA≥80%的LHSI為8～13 bit, 2.2中輻射位深殘差量化后OA≥80%的RHSI為1～4 bit, 對2.1、 2.2中輻射位深殘差量化后OA≥80%的LHSI和RHSI利用PCA變換來進一步提取LHSI和RHSI的綜合特征, 得到特征圖像前10波段的信息量占比達到96%以上, 故選取特征圖像的前10波段代替原始200個波段的LHSI和RHSI。 將PCA變換后的8～13 bit LHSI和1～4 bit的RHSI利用MATLAB R2021a中的cat函數進行特征組合, 特征組合后的圖像共20波段, 共有24種組合方式, 結果如圖8所示。

圖8 (a)—(f) 1 bit RHSI和8～13 bit LHSI組合圖像; (g)—(l) 2 bit RHSI和8～13 bit LHSI組合圖像; (m)—(r) 3 bit RHSI和8～13 bit LHSI組合圖像; (s)—(x) 4 bit RHSI和8～13 bit LHSI組合圖像(Red： band1; Green： band2; Blue： band3)

為驗證特征組合圖像中各類地物的分類精度, 采用隨機森林分類器進行分類, OA和KC進行精度評估。 精度評估結果如表4所示(其中R1_L8表示1 bit RHSI和8 bit的LHSI組合后高光譜圖像, 依次類推)。

表4 組合后圖像各地物分類精度客觀評價

表4列示了組合后圖像各地物分類精度, 整體看來, 組合后圖像分類精度有所降低; 位深為R3_L13的組合圖像OA最高, 達到0.818 1, 與原始HSI相比, OA損失0.023 9, 相較于13 bit時LHSI, OA降低0.024 6, 較于3 bit時RHSI, OA降低0.015 9; 其KC也最高, 達到0.791 2, 較原始HSI, 降低0.027 3; 相較于13 bit時LSHI, 降低0.028 3, 較于3 bit的RHSI KC降低0.018 1。

Alfalfa、 Oats在R3_L10時分類精度分別為0.652 2和0.4, 較原始HSI分類精度有所提升; Corn-no till 在R3_L10分類精度為0.782 9, Corn-min till在R3_L11分類精度為0.659, Grass-pasture在R1_L8分類精度為0.879 9, Soybeans-no till在R4_L8分類精度為0.790 1, Soybeans-min till在R3_L12分類精度為0.866 8, Soybeans-clean till在R1_L11、 R1_L8上分類精度為0.654 3, 較原始HSI分類精度均有所降低; Corn在R1_L10分類精度較原始HSI分類精度提升0.033 7; Grass-trees在R1_L13和R2_L9上分類精度為0.952 1, 較原始HSI分類精度提升0.002 8; Grass-pasture-mowed在R1_L8、 R1_L12、 R3_L9、 R3_L11、 R4_L11上分類精度為0.892 9, 較原始HSI分類精度大幅提升, 提升0.571 5; Hay-windrowed在R2_L9、 R2_L11、 R2_L13、 R4_L12上分類精度為0.997 9, 較原始HSI分類精度提升0.020 9; Wheat在R3_L9分類精度為0.975 6, Woods在R2_L8上分類精度為0.977 9, 較原始HSI分類精度分別提升0.024 4、 0.004; Buildings-Grass-Tree-Drives在R1_L8和R1_L12上分類精度為0.626 9, Stone-steel towers在R1_L10和R1_L11上分類精度為0.957, 較原始HSI分類精度分別提升0.005 1、 0.096 8。

綜合以上實驗結果表明, 組合后的圖像總體分類精度降低3%～5%, KC降低2%～5%, 其原因是由于PCA變換后信息主要集中在前10個波段, 降低了數據冗余, 減少了波段數, 導致分類精度有所損失。 但其中Grass-pasture-mowed分類精度大幅度提升, 說明PCA變換后明顯突出了這類地物的特征; Alfalfa、 Oats、 Corn、 Grass-trees、 Hay-windrowed、 Wheat、 Woods、 Buildings-Grass-Tree-Drives、 Stone-steel towers這9類地物分類精度均有所提升, 說明PCA變換后進一步突出了這9類地物的特征。

3 結 論

提出了一種高光譜圖像輻射位深殘差量化的方法, 研究了不同輻射位深特征及殘差對不同地物分類的影響, 并采用不同實驗方案來篩選出面向分類應用的最佳輻射位深特征圖像、 最佳輻射位深殘差圖像及最佳特征組合圖像。

實驗結果表明隨著輻射位深的降低, 當輻射位深為9 bit時, 既保留了原始圖像的主要信息, 同時又保證了圖像的分類精度, 表明了適當降低輻射分辨率, 對分類精度影響很小。 這項研究提出了一些關于為某些分類任務選擇或降低輻射分辨率的提示, 研究表明較低的輻射分辨率并不總是以犧牲分類精度為代價。 同時, 輻射位深為4 bit時, 得到最佳輻射位深殘差圖像, 面向分類時既保證了分類精度又突出了圖像的細節特征, 這項研究可以為地物精細分類提供一些思路; R3_L13時的最佳組合特征圖像, 進一步突出了圖像的主要特征, 減少了數據冗余, 同時保證了分類精度, 這項研究為面向分類應用時高光譜圖像的數據量大、 冗余度高的問題高提供了一些解決思路。 未來研究可以更深入研究不同分類方法對不同輻射分辨率高光譜圖像分類精度的影響。