?

具有分類器機制的高光譜圖像特征提取方法

2024-03-20 01:09邢長達汪美玲徐雍倡王志勝
遙感學報 2024年2期
關鍵詞:特征提取分類器光譜

邢長達,汪美玲,徐雍倡,王志勝

1.中國礦業大學 信息與控制工程學院,徐州 221116;

2.南京航空航天大學 計算機科學與技術學院,南京 211106;

3.南京航空航天大學 自動化學院,南京 211106

1 引言

作為一種先進的技術,高光譜成像具有很強的空間分辨率和光譜分辨率感知能力,近些年已經在諸多領域顯示出巨大的應用潛力,比如城市繪圖、氣候觀測、地質勘察、工業智能、智慧醫療等(Ghamisi 等,2017;梁雪劍 等,2021;章碩等,2021)。由于高光譜成像可以有效地從數百個相鄰的窄光譜帶捕獲目標物體的反射信息,因此可以很好地反映物體的化學成分和物理形態信息(聶江濤 等,2023)。在與高光譜成像相關的研究中,高光譜圖像分類(魏祥坡 等,2020;薛朝輝和張瑜娟,2022)是目前最受關注的研究方向之一,旨在預測不同對象的類別標簽,實現精準觀測和精細分類。

從具有復雜結構的高光譜圖像中自動地提取高質量和有價值的特征是分類任務的關鍵,是高光譜圖像智能解譯的基本內容。一些方法直接將高光譜圖像的光譜像素用作判別特征,并利用支持向量機SVM(Support Vector Machine)(He 等,2016)、回歸(regression)(Fei 等,2012)等對這些光譜像素進行分析計算,從而預測出高光譜圖像的標簽信息。但這些方法僅關注圖像的光譜信息,而缺乏對空間特征感知的能力。為了描述高光譜圖像的空間特征信息,許多基于空間特征提取的分類方法被提出。例如,Benediktsson等(2003)提出的基于多尺度形態學的特征提取方法,通過組合開、閉運算來構建記錄空間結構信息的差分形態學輪廓,取得了不錯的效果。類似地,還有基于擴展形態學屬性輪廓EMAP(Extended Morphological Attribute Profiles)(Benediktsson等,2005)和定向形態學輪廓的方法DMP(Directional Morphological Profiles)(Liao等,2012)。上述方法大多依賴于單特征,其分類性能往往是弱于基于多特征的方法。例如,Fang等(2017)利用4組特征(即:光譜像素、形態輪廓特征、Gabor 紋理特征、微分形態輪廓)來聯合預測高光譜圖像的標簽,實驗結果表明,相比于單特征方法,該多特征方法取得了更好的分類性能。

表示學習(Scholkopf等,2021)也為高光譜圖像分類問題提供了一個有效的解決思路,常見的表示學習方法包括稀疏表示SR(Sparse Representation)、低秩表示LRR(Low-Rank Representation)、二值特征表示BR(Binary Representation)等。稀疏表示一般假設未知樣本可以通過來自字典的幾個訓練樣本的組合來近似表示,稀疏向量隱式地對類別信息進行編碼。常見的稀疏表示形式有L1 范數正則化(Xing 等,2020)、拉普拉斯正則化(Chen等,2011)、組稀疏編碼(Zhang 等,2013)、自適應稀疏編碼(Fang 等,2017)、聯合稀疏模型(Zhang 等,2014)等。低秩表示則是在低秩約束下找到高光譜圖像數據的一種表示形式(Xing 等,2022),用于獲取數據的全局結構信息。Chen等(2020)提出的低秩判別最小二乘回歸模型LRDLSR(Low-Rank Discriminative Least Squares Regression)巧妙地利用低秩約束來挖掘結構特征。二值特征表示的主要思想是在二值0/1 空間中尋找高光譜圖像的特征表示形式(Li 等,2022;Jia 等,2018;Xing 等,2023)。Xing等(2023)提出了一種基于局部光譜二值特征學習方法,首先對每個光譜向量進行分割,建立光譜向量的局部光譜模塊,然后對這些局部光譜模塊進行聯合編碼,構建具有局部光譜上下文注意力的二值特征編碼模型,在分類任務中取得不錯的效果。

深度學習是近些年最流行、最受關注的機器學習方法,能夠對數據進行高效表征學習,可以挖掘和描述隱藏在數據背后的深層次信息。Chen等(2014)首次將深度學習引入高光譜圖像分類任務中,利用堆棧式自動編碼器來構建深度網絡DAE(Deep AutoEncoder),獲得圖像的深層特征。受此啟發,Chen等(2015)利用深度置信網絡DBN(Deep Belief Networks)來感知高光譜圖像的聯合空間—光譜特征。針對傳統的DBN 模型面臨的特征判別性不高的問題,Li等(2022)則設計了一種基于多DBN(Multi-DBN)結構的學習網絡,能夠提取高光譜圖像的深度流形特征。卷積神經網絡CNN(Convolutional Neural Network)是最常見的深度學習結構,在高光譜圖像特征提取與分類中,無需手動干預,提取特征的判別性也較高。Xu等(2018)將高光譜圖像進行切塊處理,并自動選取若干個圖像塊作為卷積核來構建卷積網絡框架,可同時提取圖像的淺層和深層特征,用于分類計算。Cao等(2020)將主動學習AL(Active Learning)和CNN 集成到統一框架中,以改善高光譜圖像分類的性能。Dong等(2022)利用基于超像素的圖神經網絡GAT(Graph Attention Network)和基于像素的CNN 的互補特性,提出了GAT 和CNN 加權特征融合方法,并用于高光譜圖像分類,也取得了不錯的效果。此外,生成對抗神經網絡GAN(Generative Adversarial Network)、Transformer 等新型深度學習方法也已經被用到高光譜圖像分類問題中。例如,Bai等(2022)提出了一種復合型網絡結構,將GAN、Transformer 以及卷積塊統一起來,具有由Transformer 支持的全局感受野和由卷積塊支持的局部感受野的特點,并在高光譜圖像分類中取得了很好的結果。

高光譜圖像分類大多可看作是由特征提取與基于分類器的標簽預測這兩階段操作組成,并且它們在設計時往往是相互獨立的。雖說深度學習方法常常是直接進行特征學習并進行分類(即是從數據輸入到分類結果輸出的端到端(end-toend)網絡結構),但本質上仍可看作由基于DAE、CNN 等的特征提取方法與基于softmax、logistic regression 等的分類器直接級聯而成?,F有方法在構建特征提取模型時,一般不考慮分類器的影響,這可能會導致提取的特征并不兼容當前分類器,預測結果較差。這種不兼容性體現在分類器模型與其輸入特征數據之間的匹配關系。眾所周知,分類器往往都是基于一定模型的。當數據和模型匹配的時候,分類結果會很好。然而,當數據與模型不匹配的時候,分類結果一般會很差(Tan 和Wang,2007)。此外,圖1 給出了一張示例圖,用于進一步說明特征與分類器之間的不兼容及其對分類結果的影響,其中以高光譜圖像中兩地物中部分樣本為例,且將像元直接作為特征,SVM 作為分類器。從圖1中可以看出,上面虛線框中特征與SVM 分類器不夠兼容匹配,使特征可能不易被分類器所處理,導致分類結果較差。下面虛線框中,在特征獲取過程時加入SVM 特性,使得特征具有了“大間隔”的分布特點,這是SVM 分類器的內在要求,更容易被SVM 分類器所處理,從而實現較高的分類性能?;谝陨戏治?,本文提出具有分類器機制的高光譜圖像特征提取方法,實現特征提取與分類器間的兼容,使所提取特征能夠更好地被分類器計算,改善分類預測結果。分類器機制是關于分類器的約束,即:本文將分類器進行定量描述,并作為高光譜圖像特征提取模型的約束項。本文創新性貢獻可歸納為如下3個方面:(1)提出了具有分類器機制的高光譜圖像特征提取方法,在數學上明確方法的一般表達形式,定量分析了方法的基本原理和結構;(2)以稀疏表示與SVM 分類器為例,建立了基于SVM 特性的稀疏特征提取模型SRS(Sparse feature extraction with SVM),并給出其優化求解過程;(3)以深度自編碼網絡DAE 與softmax 分類器為例,建立了基于softmax 特性的深度自編碼特征提取網絡DAES(Deep Autoencoder feature Extraction with Softmax),并提出了相應的優化求解策略。

圖1 特征與分類器之間不兼容及其對分類結果影響的示例圖,其中以高光譜圖像中兩地物中部分樣本為例Fig.1 An example diagram of the incompatibility between features and classifiers,and its impact on classification results,where samples from two objects in hyperspectral images are partly selected

2 本文方法

2.1 研究動機與模型建立

本質上,高光譜圖像分類由兩大部分組成,即特征提取與分類器預測,并且這兩部分通常是相互獨立的。一般來說,由于在構建特征提取模型時,并不考慮分類器的影響,因此提取的特征可能不適應分類器,導致預測結果較差。如果將分類器的特性集成到特征提取模型中,那么提取的特征與對應的分類器之間將變得更加匹配,對分類預測也是非常有意義的。因此,本文將關注特征提取與分類器之間的關系,旨在建立一種能夠與分類器相兼容的特征提取模型?;谏鲜龇治?,本文建立的具有分類器機制的高光譜圖像特征提取方法的一般形式如下:

式中,Z表示模型輸出的特征;ψf(·)表示模型的特征提取部分;ψc(·)表示具有分類器特性的模型成分;Θf、Θc分別是ψf(·)與ψc(·)的參數集合;η是ψf(·)與ψc(·)的耦合參數。從式(1)中可以看出,所建立的特征提取方法將反映分類器機制的ψc(Z,Θc)作為特征提取模型ψf(A,Z,Θf)的約束項,使特征提取模型具備了分類器特性。通過實際的優化求解,使建立的模型在特征提取過程中充分考慮了分類器的作用,實現提取的特征與對應的分類器之間的兼容性。這種兼容性保證了特征能夠滿足分類器的內在要求,更易于被分類器處理,從而實現分類性能的提升,預測出更佳的分類結果。為了便于表示與分析,本文給出模型式(1)的兩種具體形式:(1)以稀疏表示與支持向量機SVM 為例,構建基于SVM 特性的稀疏特征提取模型,記為SRS 形式;(2)以深度自編碼網絡與softmax 函數為例,建立基于softmax 特性的深度自編碼特征提取網絡,記為DAES形式。

2.2 基于SRS的特征提取方法

基于稀疏表示的特征提取方法,是尋找一個映射關系W,使得WA=Z,且Z盡可能的稀疏,其數學模型可表示為

式中,W∈RE×L;α為正則化參數。為了建立具有SVM 特性的稀疏特征提取模型,需要對SVM 進行定量描述,并作為約束嵌入到模型式(2)中。本質上,SVM 尋找已知不同類別樣本間的最大間隔決策面。若樣本分布未知,那么在一定的條件下,可獲得某種具有大間隔的樣本特征分布??紤]WA=Z,并根據SVM 理論,能夠反映SVM 特性的數學形式可描述為

式中,Z可理解為未知樣本的集合。進一步考慮松弛變量,式(3)可轉化為如下形式:

式中,γ表示耦合參數,ξi,j為松弛變量。所以,將反映SVM 特性的式(4)作為約束項,嵌入到稀疏表示模型式(2)中,可得到具有SVM 特性的稀疏特征提取模型SRS,即:

式中,β表示耦合參數,為稀疏表示項,以及約束項表示SVM 分類器特性。該特征提取模型同時包含了稀疏特征表示與SVM 分類器的特點,因此特征不僅具有稀疏性,還容易被SVM 分類器處理計算。模型式(5)是一個多變量優化求解問題,也是一個非凸問題,所以無法直接獲得其最優解。模型式(5)亦可看作單個變量(固定其他變量)的凸優化問題,所以本文設計了一種基于交替優化的求解策略,以獲得模型的最優解。

2.2.1 優化變量W與ξ

固定模型式(5)中變量Z不變,得到僅關于變量W與ξ的優化模型:

引入Lagrange法(Parikh 和Boyd,2014),建立如下的Lagrange方程:

式中,εi,j表示參數變量,控制約束項的權重??紤] KKT條件(Karush-Kuhn-Tucker conditions)(Wu等,2016),得到下面的式子:

根據式(8)—式(10),可直接給出W和ξ的最優形式。

2.2.2 優化變量Z

保持式(5)中變量W與ξ不變,獲得關于Z的優化模型,即:

為求解模型式(11),這里引入輔助變量P=Z,使模型式(11)等價于:

式中,λ為常數。由ADMM(Alternating Direction Method of Multipliers)(Parikh和Boyd,2014)優化算法理論知,式(12)的最優解可通過如下兩式交替迭代得到,即:

式中,soft(a,b)=sign(a)×max(|a|-b,0),sign(a)為符號函數。

經過式(8)—式(10)、式(13)—式(14),可以求出最優的變量W,即通過訓練樣本集合A學習到的映射矩陣W。對于未標注的測試樣本集合B,其特征可表示為WB。具體的處理流程如算法1所示。進一步地,利用SVM 分類器對特征WB 進行計算處理,獲得測試樣本集合B的標簽信息。算法1為

輸出:映射關系矩陣W、高光譜圖像B的特征WB。

2.3 基于DAES的特征提取方法

本文DAES 方法將深度自編碼網絡與softmax分類器函數集成在一起,用于提取高光譜。

圖像特征,其形式可表示為

式中,Aj、Uj、Vj分別是自編碼網絡中第j層(1 ≤j≤J)的輸入、解碼矩陣以及編碼矩陣,且Aj=以及A1=A;losssm為關于softmax分類器的損失函數;σj是第j層的稀疏正則化參數;δ為耦合常數。為簡化分析,本文僅將網絡頂層(即第J層)中嵌入分類器機制,那么模型式(15)可視為由J-1層的自編碼網絡與式(16)所級聯而成的形式。

式 中,AJ∈、UJ∈RR×G、VJ∈RR×G(R和G分別是第J層輸入與輸出的維數)。模型(15)的前J-1 層的解Aj、Uj、Vj(1 ≤j≤J-1)可直接通過標準稀疏自編碼網絡訓練獲得,第J層的解UJ、VJ需優化求解模型式(16)。為便于求解,引入輔助變量S=那么模型式(16)等價于:

式中,κ為常數參數。下面,本文將給出模型式(17)的優化求解過程。

2.3.1 優化變量UJ

固定模型式(17)中的VJ、S不變,則有僅關于變量UJ的式子:

該式子的解析解可表示為

2.3.2 優化輔助變量S

當固定UJ、VJ不變時,模型式(17)可改寫為

該式的最優解S可通過下式表示,即:

2.3.3 優化變量VJ

當保持變量UJ和S不變時,式(16)可寫為如下僅關于變量VJ的形式,即:

該式等價于:

定義L(VJr)為式(22)的目標函數,其關于VJr的導數可表示為

根據梯度下降法,變量VJr可通過下式來更新,即:

式中,θ表示學習率,VJ=

2.3.4 DAES特征提取網絡的訓練策略

為了訓練DAES 特征提取網絡,本文提出一種兩階段訓練策略。首先將網絡提取的特征輸入到softmax分類器中,建立基于DAES的高光譜圖像分類方法。本文的兩階段訓練策略如下:在第一階段,利用帶標簽的訓練樣本集A來訓練DAES 分類方法的前J-1 層與softmax 層,這樣可看成是傳統的深度自編碼預測網絡,可以學習前J-1 層的參數Aj、Uj、Vj(1 ≤j≤J-1);在第二階段,單獨訓練第J層。首先將第一階段訓練的AJ-1作為第J層的數據輸入,即AJ=AJ-1,然后根據式(19)、(21)、(25)等交替迭代,即可獲得UJ、VJ。本文DAES算法的處理流程如算法2所示:

3 實驗結果及分析

本節將對提出的SRS 和DAES 特征提取方法進行實驗分析。根據前文分析,SRS 和DAES 方法中分別包含SVM 分類器特性和softmax 函數特性,為便于算法評估,本實驗將SRS 和DAES 所提取的高光譜圖像特征分別輸入到SVM 分類器和softmax 分類器中,輸出對應的分類結果,進一步地對所獲分類結果進行分析評價。

3.1 實驗數據與評價指標

本文選取遙感高光譜圖像與醫學高光譜圖像來進行實驗驗證與分析。一方面,遙感高光譜圖像采用Salinas 數據、Pavia Centre 數據以及Houston數據。Salinas 數據是由美國發射的衛星所搭載的AVIRIS(Airborne/Visible Infrared Imaging Spectrometer)傳感器所采集的,拍攝的是美國加利福尼亞州Salinas 山谷照片,包含16 個類別,尺寸為224 × 512 × 217。為便于實驗,剔除20 個吸水區域波段,并減少其空間尺寸至原來的一半,得到204 × 256 × 108大小的實驗數據。Pavia Centre數據是由ROSIS(Reflective Optics System Imaging Spectrometer)傳感器所采集,記錄的是意大利帕維亞(Pavia)市中心的信息,包含9個類別。為便于實驗,去除數據中噪聲波段,并減小空間分辨率,得到尺寸為103 × 365 × 238 的實驗數據。Houston數據是由NCALM(Airborne Laser Mapping)所采集,拍攝的是休斯頓大學校園及附近街區,其大小為144×349×1905,包含15個地物類別。另一方面,醫學高光譜圖像取自于In-Vivo HHB(In-Vivo Hyperspectral Human Brain)數據集,該數據集是由一臺外科手術高光譜采集系統獲得,描述的是手術過程中人腦的實時情況。成像相機覆蓋400—1000 nm的光譜范圍,光譜分辨率是2—3 nm,可捕獲826 個光譜帶。In-Vivo HHB 數據集共包括來自不同患者的36組高光譜圖像組成,每組圖像含4個類別(正常組織、腫瘤組織、血管以及背景等)。

在實驗中,為了定量地評價算法的性能,本文使用了3個常用的評價指標來衡量不同方法分類結果的質量,其中包括總體準確度OA(Overall Accuracy)、平均準確度AA(Average Accuracy)以及Kappa 系數??傮w準確度OA 用于計算正確分類的像素百分比。平均準確度AA 則是每個類別的平均像素百分比。Kappa系數是修正分類像素的正確百分比。在本實驗中,所有列出的度量結果都是5次實驗結果的平均值。

3.2 參數分析與選擇

本文的SRS(包括α、β、γ)和DAES(包括σj、δ)方法包含了若干關鍵參數,其不同取值會影響方法的性能。因此,需要對這些參數進行實驗分析,以便能選擇出合適的取值。為簡化實驗,首先利用單個高光譜數據進行實驗分析,選擇出最佳取值,然后將這些最優值推廣到其他數據集上。選取Salinas 高光譜圖像作為參數分析與選擇的實驗數據,并利用OA、AA 以及Kappa 指標對結果進行評價。此外,參考網格搜索法(grid search),參數α、β、γ、σj、δ的取值范圍均為[10-3,10-2,10-1,100,101,102]。

3.2.1 SRS方法的參數分析與選擇

圖2 是參數α、β、γ的不同取值對SRS 方法性能(在OA、AA 以及Kappa 指標上)的影響曲線。從圖2中可以看出,當α=10-2、β=100、γ=10-2時,OA 指標的值均取到最大,即此時SRS 的性能最優。當α<10-2、β<100、γ<10-2時,OA、AA 以及Kappa的值均趨于減小。原因在于,隨著SRS提取模型式(5)中稀疏項和SVM 分類器項的權重降低,該模型的特征表示能力會削弱,并且所提取的特征與SVM 分類器之間的兼容性也會減弱。相反地,當α>10-2、β>100、γ>10-2時,OA、AA以及Kappa 的值也明顯減小,這是因為,隨著模型式(5)中稀疏項或SVM 分類器項的權重提高,輸入圖像與輸出特征間的一致性(即:‖WA-會大大減弱,導致輸出的特征失真嚴重。綜上分析,SRS 方法中參數α、β、γ分別取10-2、100、10-2為最優選擇值。

圖2 參數α、β、γ的不同取值對SRS方法性能的影響曲線Fig.2 The performance of the SRS method with different values of parameter α,β,and γ

3.2.2 DAES方法的參數分析與選擇

本文DAES 方法的重要參數包括各層稀疏正則化參數σj、softmax 損失函數項的權重δ以及網絡層數J。

首先,為便于分析,將網絡各層的稀疏正則化參數σj設置為同樣的值,表示為σ=σj(1 ≤j≤J),并設置網絡層數為4層(即J=4)。如圖3 所示為參數σ、δ的不同取值對DAES 方法性能(在OA、AA以及Kappa指標上)的影響曲線。從圖3中可以觀察到,當σ=10-2、δ=10-1時,DAES 方法性能(在OA、AA 以及Kappa 指標上)均達到最優。當σ<10-2、δ<10-1時,DAES 性能趨于降低,這是由于DAES模型式(15)的稀疏性和softmax函數特性降低所導致的。而當σ>10-2、δ>10-1時,DAES 性能出現大幅度衰減,這是因為過高的稀疏項和softmax 函數項權重嚴重影響了自編碼網絡的特征表示能力。因此,選擇σ=10-2、δ=10-1作為參數的最優值。

圖3 參數σ、δ的不同取值對DAES方法性能的影響曲線Fig.3 The performance of the DAES method with different values of parameter σ and δ

其次,根據上述參數分析結果,設置σ=10-2、δ=10-1。如圖4 所示為網絡層數J的不同取值對DAES方法性能(在OA、AA以及Kappa指標上)的影響曲線。從圖4 中可以看到,當J<4 時,DAES方法的性能趨于下降,這是因為深度特征感知不足而導致的。當J≥4時,DAES方法的性能達到最優,并趨于穩定??紤]到過多的網絡層數會降低計算效率,因此選擇J=4作為網絡層數的最優值。

圖4 網絡層數J的不同取值對DAES方法性能(在OA、AA以及Kappa指標上)的影響曲線Fig.4 The performance(in OA,AA,and Kappa)of the DAES method with different values of parameter J

3.3 算法對比

本實驗采用遙感高光譜圖像和醫學高光譜圖像數據來進行算法對比,以驗證本文SRS和DAES方法的有效性和優越性。本文SRS和DAES方法所包含的關鍵參數,其值按照前文參數分析實驗結果來選擇,即α=10-2、β=100、γ=10-2、σ=10-2、δ=10-1。

3.3.1 在遙感高光譜圖像上算法對比結果

將Salinas、Pavia Centre、Houston 數據作為實驗數據,驗證本文SRS和DAES算法在遙感高光譜圖像上的有效性和優越性。選取6個先進算法用于對比,包括RAW(He等,2016)、EMAP(Benediktsson等,2005)、LRDLSR(Chen 等,2020)、MFASR(Fang 等,2017)、RPNet(Xu 等,2018)、SMBN(Fang 等,2019)。RAW 算法是將高光譜圖像的像素向量看作特征,并用SVM 分類器預測分類結果;EMAP 算法建立了具有前3 個主成分的形態輪廓來提取特征,同時也利用SVM 分類器進行結果預測;LRDLSR 算法是低秩判別最小二乘回歸模型,利用低秩約束來挖掘結構特征;MFASR 方法是一種多特征策略,融合了光譜像素、形態輪廓特征、Gabor 紋理特征、微分形態輪廓等4 組特征來聯合預測高光譜圖像的標簽;RPNet算法是一種深度卷積神經網絡,生成的特征同時包含圖像的淺層和深層特性,并利用SVM 做分類計算;SMBN 算法是一種多偏置深度網絡結構,根據不同物體偏差的大小,將特征圖分解成多個響應圖(對應不同的地面物體),并利用softmax做分類結果預測。上述6個算法的參數值,均按照對應文獻所建議的方式來設置。此外,隨機選擇高光譜圖像數據的每個類別中像素數量的10% 用作訓練樣本,剩余90%作為測試樣本。

圖5、圖6、圖7 是不同方法在Salinas、Pavia Centre 和Houston 數據上的分類結果。從圖中可以看出,本文SRS 和DAES 方法的分類結果圖(即圖5(i)—(j)、圖6(i)—(j)、圖7(i)—(j))比其他算法的結果(即圖5(c)—(h)、圖6(c)—(h)、圖7(c)—(h)更接近于groundtruth圖(即圖5(b)、圖6(b)、圖7(b)),說明了SRS 和DAES 方法的結果更好。例如,在圖5 中,對比算法RAW、EMAP、LRDLSR、MFASR、RPNet、SMBN 的分類結果圖在“未開墾的葡萄園”區域上包含較大面積的分類錯誤,但是本文SRS 和DAES 算法在該區域上的錯誤有明顯的減少。在圖6中,白色虛線框標注的“草地”、“瓷磚”等區域在6個對比算法的結果中都有較為明顯的誤分類情況,而這些不足在本文方法的結果中都得到顯著的改善。圖7所展示的結果圖也進一步表明了本文方法取得了更好的分類圖。上述實驗現象說明,本文SRS 方法和DAES 方法取得的分類結果圖整體上是優于其他對比算法的分類圖,主要原因這兩種方法中具有分類器約束,使提取的特征與其所用分類器之間具有良好的兼容性,這也是本文方法在特征層面的優勢。此外,本文還列舉了不同方法在Salinas、Pavia Centre、Houston 數據上的評價指標結果,如表1、表2 以及表3 所示。從表1—3 中可以看出,本文SRS 和DAES 方法的OA、AA 以及Kappa 指標值大多是高于對比算法的指標值(除Pavia Centre數據上的AA指標以外)。

表1 不同分類算法在Salinas數據上的評價指標結果Table 1 Metric results of different methods on Salinas/%

表2 不同分類算法在Pavia Centre數據上的評價指標結果Table 2 Metric results of different methods on Pavia Centre/%

表3 不同分類算法在Houston數據上的評價指標結果Table 3 Metric results of different methods on Houston/%

圖5 不同方法在Salinas圖像上的分類結果圖對比Fig.5 Classification maps of different methods on Salinas

圖6 不同方法在Pavia Centre圖像上的分類結果圖對比Fig.6 Classification maps of different methods on Pavia Centre

圖7 不同方法在Houston圖像上的分類結果圖對比Fig.7 Classification maps of different methods on Houston

根據上述在遙感高光譜圖像上的對比結果可以看出,相比于對比算法,本文SRS和DAES方法取得更好的分類性能,這是因為本文方法充分考慮了特征提取與分類器之間的關系,保證了特征提取與分類器之間的兼容性,使特征更易于被分類器所處理。

3.3.2 在醫學高光譜圖像上算法對比結果

在生物醫學領域,基于高光譜圖像的疾病診斷技術是一種新興技術,具有廣泛的應用前景(高紅民 等,2023;李偉 等,2021)。不同病理組織的化學組成和物理特征具有不同的反射和吸收特性,表現為光譜曲線的差異性,實現組織狀態信息的定性或定量檢測。根據高光譜圖像呈現出的空間分布信息,實現組織不同病態的可視化,從而為診斷組織疾病提供數據支持。為開展算法在疾病診斷方面的應用研究,這里將In-Vivo HHB數據集作為實驗數據,探討本文SRS 和DAES 算法在醫學高光譜圖像上的性能表現。

Wei等(2019)將RAW(He等,2016)、SVMGabor(Li和Du,2014)、CNN(Hu等,2015)成功應用于高光譜圖像的細胞分類、腫瘤診斷。MFSAR(Fang等,2017)、DAE(Chen等,2014)、RPNet(Xu 等,2018)算法也在醫學高光譜圖像分類任務中取得不錯的效果。因此,本文將這6種算法作為對比算法,以驗證SRS 和DAES 算法在醫學高光譜圖像上的有效性和優越性。類似地,隨機選擇高光譜圖像數據的每個類別中像素數量的10%用作訓練樣本,剩余90%作為測試樣本。

圖8 和圖9 為不同方法在In-Vivo HHB 數據集中MedHSI No.015-01 和MedHSI No.020-01 圖 像上的分類結果圖。從圖8中可以看出,本文SRS算法的分類圖(圖8(j))優于RAW、SVM-Gabor、MFASR、SAE、CNN的分類圖(圖8(c)—(h)),但劣于RPNet 的結果圖(圖8(i)),這是因為RPNet同時獲取數據的深層和淺層特征,具有很強的特征表征能力。然而本文DAES 方法作為一種深度學習方法,其提取的特征與分類器具有很強的兼容性,因此它的分類圖(圖8(j))都優于所有對比算法的結果圖(圖8(c)—(i))。此外,在圖9 中,本文SRS 和DAES 算法的結果(圖9(j))均明顯好于對比算法的結果圖(圖9(c)—(i))。表4 和表5 列舉的評價指標結果與以上分類圖結果一致。綜上,可以得出,本文SRS 和DAES 算法在醫學高光譜圖像分類任務中具有明顯的有效性和優越性。

表4 不同分類算法在MedHSI No.015-01數據上的評價指標結果Table 4 Metric results of different methods on MedHSI No.015-01/%

表5 不同分類算法在MedHSI No.020-01數據上的評價指標結果Table 5 Metric results of different methods on MedHSI No.020-01/%

圖8 不同方法在MedHSI No.015-01圖像上的分類結果圖對比Fig.8 Classification maps of different methods on MedHSI No.015-01

圖9 不同方法在MedHSI No.020-01圖像上的分類結果圖對比Fig.9 Classification maps of different methods on MedHSI No.020-01

3.4 消融實驗

本文最突出的創新貢獻是關注特征提取與分類器之間的關系,建立了能夠與分類器相兼容的特征提取模型,使提取的特征能夠更容易被分類器處理,從而改善分類的預測結果。為了進一步驗證本文算法的有效性,本節開展關于SRS和DAES的消融實驗,探索和證明集成的分類器特性在特征提取模型中的重要性。本實驗中,SRS 和DAES方法中各參數按前文參數分析結果來設置,即α=10-2、β=100、γ=10-2、σ=10-2、δ=10-1。此外,以Salinas 高光譜圖像作為實驗數據,OA、AA 以及Kappa 為評價指標,觀測對比本文SRS 和DAES算法在集成分類器特性前后的分類結果,如圖10所示。從圖10 中可以看出,SRS_NC 和DAES_NC取得的OA、AA、Kappa 指標值明顯小于SRS 和DAES 的值。也就是說,當去除特征提取模型(5)和(15)中的分類器特性時,本文SRS 和DAES 算法的性能會出現較大幅度的降低,這是因為特征提取和分類器之間的兼容性不足而導致的。綜上所述,本文構建的與分類器相兼容的特征提取模型在改善特征表征和分類預測方面具有明顯的有效性。

圖10 本文SRS和DAES算法在集成分類器特征前后的預測結果對比Fig.10 Result comparison of the proposed SRS and DAES method with/without embedded classifiers

3.5 收斂性分析

對于建立的SRS模型式(5)和DAES 模型式(15),本文給出了其對應的優化求解策略與過程。為進一步了解本文算法的可靠性與快速性,本文從收斂性方面分析探討SRS 和DAES 的性能表現。以Salinas 高光譜圖像作為實驗數據,觀測SRS 模型和DAES 模型的損失函數到達收斂時所消耗的優化迭代次數,其觀測曲線如圖11 所示。從圖11 中可以看出,本文SRS 和DAES 模型均在50 次迭代內均可收斂,并達到最小值,這證明了本文給出的優化求解策略能夠滿足算法可靠性與快速性的應用要求。

圖11 本文SRS和DAES模型的損失函數隨迭代次數變化曲線Fig.11 Curves of loss functions of SRS and DAES models with iteration times

3.6 適用性討論

從數據層面來說,影響本文方法性能的因素(即方法的適用性),主要體現在兩大方面:波段數和空間分辨率。具體地,(1)高光譜圖像的波段數,也稱光譜分辨率,直接影響基于SRS 和DAES 特征提取的高光譜圖像分類方法的效果。當波段數太小時,即光譜分辨率不足,高光譜圖像光譜特性較弱,導致SRS 和DAES 提取的特征判別性不夠,從而降低了分類精度。當波段數過度增加時,不僅會嚴重降低SRS 和DAES 方法的計算效率,而且波段間冗余信息會大量增加,進一步影響SRS 和DAES 的特征輸出,影響分類結果。(2)空間分辨率也是影響SRS 和DAES 方法性能的一大因素。當空間分辨率太低時,圖像中的細節信息往往比較模糊,且存在大量混合像元,空間特征較為貧乏,嚴重影響SRS 和DAES 輸出特征的判別性和可分性,進一步影響分類性能。當空間分辨率過大時,不僅會降低方法的計算效率,而且還會限制高光譜圖像的光譜分辨率,嚴重影響SRS 和DAES 的結果。綜上,充分考慮高光譜圖像數據的波段數與空間分辨率,能夠讓本文SRS 和DAES 方法實現更高水平的性能。

4 結論

本文關注特征提取與分類器之間的關系,提出了基于集成分類器機制的高光譜圖像特征提取方法,實現特征提取與分類器間的兼容性,使所提取特征能夠更好地被分類器計算,改善分類預測結果。本文給出了兩種具體形式:(1)以稀疏表示和支持向量機為例,將SVM 分類器特性集成到稀疏表示形式中,建立能夠與SVM 分類器相兼容的SRS 特征提取模型。(2)以深度自編碼網絡與softmax 函數為例,將softmax 分類器特性嵌入到深度自編碼網絡中,構建能與softmax 分類器相兼容的DAES特征提取模型。此外,本文也給出了所構建SRS 和DAES 模型的求解策略與優化過程。在實驗中,本文從參數分析、算法對比、消融實驗、收斂性分析等方面對SRS 和DAES 算法的有效性和優越性進行了全面地分析驗證。本文為高光譜圖像特征提取與分類提供了新思路,也為遙感監測、醫學診斷等應用提供了方法學支持。

猜你喜歡
特征提取分類器光譜
基于三維Saab變換的高光譜圖像壓縮方法
基于Daubechies(dbN)的飛行器音頻特征提取
BP-GA光照分類器在車道線識別中的應用
Bagging RCSP腦電特征提取算法
加權空-譜與最近鄰分類器相結合的高光譜圖像分類
結合模糊(C+P)均值聚類和SP-V-支持向量機的TSK分類器
星載近紅外高光譜CO2遙感進展
基于MED和循環域解調的多故障特征提取
基于LLE降維和BP_Adaboost分類器的GIS局部放電模式識別
苦味酸與牛血清蛋白相互作用的光譜研究
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合