高光譜影像少樣例分類的無監督元學習方法

高奎亮,劉 冰,余岸竹,徐佰祺,胡 偉,胡家瑋

1.信息工程大學,河南 鄭州 450001; 2.31016部隊,北京 100089; 3.中國人民武裝警察部隊甘肅省總隊,甘肅 蘭州 730046

隨著光譜成像技術、深度學習理論和高性能計算設備的不斷發展,基于深度學習模型進行數據驅動的高光譜影像分類已經成為了遙感影像智能解譯中的重要研究方向之一[1-2]。與傳統高光譜影像分析方法相比,深度學習模型能夠根據目標函數自動地從高光譜數據中學習到判別性和穩健性強的深度特征,從而有效提高地物識別和探測的準確率。

卷積神經網絡(convolutional neural network,CNN)是高光譜影像分析中最為常用的深度學習模型之一[3-5]。與其他模型相比,CNN能夠更好地適應高光譜數據的三維立方體結構并充分利用影像中的空譜聯合信息。文獻[6]首先將二維CNN應用于高光譜影像分類,取得了較傳統機器學習方法更高的分類精度。文獻[7]分別探究了一維、二維和三維CNN在高光譜影像深度特征提取中的效果,并進行了詳細的比較和分析。隨后,一系列基于CNN的高光譜影像分類模型如雨后春筍般出現,并與注意力機制[8]、密集連接[9]、孿生網絡[10]及生成式對抗網絡[11]等結構相結合,進一步提高了分類結果的準確率和穩定性。與CNN相比,膠囊網絡的向量計算模式和動態信息傳遞機制使其具有更強的特征表示能力,因此在高光譜影像分類中也得到了廣泛應用[12-13]。深度膠囊網絡是代表性算法之一,其基于三維膠囊、殘差連接和反卷積層構建端到端的深度學習模型,能夠有效利用影像中的深層次空譜特征[14]。此外,遷移學習[15]、半監督學習[16-18]、無監督特征提取[19-20]及對比學習[21]等先進學習方法被陸續引入,通過利用源域樣本或無標記樣本中潛在的特征信息輔助訓練,進一步提升了分類效果。

一方面,隨著光譜成像技術的不斷進步和航空航天平臺數量的持續增加,高光譜影像數據量飛速增長;另一方面,逐像素進行精確的地物標注仍然需要大量專家經驗和實地勘測等工作,獲取高質量的標記樣本費時費力。因此,如何利用少量標記樣本(例如,每類5個標記樣本)實現優異的分類結果,即實現準確的高光譜影像少樣例分類,更具有研究意義和實際應用價值[22-23]。然而,基于深度學習模型的高光譜影像分類方法往往需要選擇每類數十或者數百個標記樣本用于模型訓練,在少樣例條件下無法獲得令人滿意的分類結果,這無疑增加了在實際應用中的工作量和困難程度。

元學習方法為提高高光譜影像少樣例分類精度提供了新的思路和方向。其核心思想是利用預收集的大量相關任務對模型進行元訓練,使模型獲得更強的泛化能力,從而能夠在少樣例條件下快速適應新的任務[24]。因此,引入元學習方法可以使在源影像上訓練得到的模型獲得更強的少樣例學習能力,通過對少量標記樣本的學習實現對目標影像的準確分類。文獻[25—26]對監督元學習方法在高光譜影像分類中的效果進行了初步探究,獲得了較深度學習模型更高的分類精度。然而,監督元學習方法需要預先收集大量標記影像并構建標記源數據集,費時費力。例如,文獻[25]利用4幅預收集影像構建了一個包括55種類別和11 000個標記樣本的源數據集,模型的分類效果仍然依賴于大量人工標記信息,無法利用較容易獲取的無標記影像提升目標影像上的少樣例分類效果。

為此,本文基于自監督思想和元學習思想提出一種無監督元學習方法,利用無標記影像進行充分的元訓練并進一步提高目標高光譜影像的少樣例分類精度。本文方法遵循“元訓練、微調、分類預測”的典型元學習過程,通過構建同一樣本的大量增強特征實現零標記樣本條件下的無監督元學習。另外,結合高光譜影像光譜高維的數據特點,引入投票策略進一步提高分類精度。試驗結果表明,本文方法在少樣例條件下能夠獲得較現有方法更為優異的分類結果。

1 本文方法

1.1 整體框架

本文方法的整體工作框架如圖1所示,共包括無監督元訓練、微調和分類3個階段。首先,利用預收集的多幅無標記高光譜影像構建無標記源數據集,并對設計的深度學習模型進行充分的元訓練。然后,利用目標高光譜影像中隨機選取的少量標記樣本對模型進行微調,使模型快速適應新的地物類別和分類場景。最后,利用目標影像中的全部樣本評估模型的少樣例分類性能。預收集的源影像具有不同的地物類別、地面分辨率和光譜覆蓋范圍,能夠有效提高源數據集中樣本的多樣性,提升元訓練效果。目標影像與源影像具有完全不同的標記空間;而微調數據集和測試數據集均是目標影像的子集,享有相同的標記空間。與深度學習模型相比,本文方法能夠利用源影像中的大量無標記樣本進行基于任務的元訓練,對于不同目標影像具有更強的泛化能力和少樣例學習能力。與監督元學習方法相比,本文方法能夠在零標記樣本的條件下進行充分的無監督元訓練,在顯著減少必需標記樣本數量的同時進一步提高分類精度。

圖1 本文方法整體框架

1.2 樣本增強特征

與監督元學習方法不同,無監督元學習方法能夠利用無標記源數據集進行元訓練,使模型能夠從大量無標記樣本中學習到更為通用的特征知識。因此,如何利用無標記樣本構造用于元訓練的任務是無監督元學習必須解決的關鍵問題。

借鑒自監督學習方法中構建正負樣本對的思想,本文提出了一種主成分分析(principal comp-onent analysis,PCA)與數據增強方法相結合的增強特征生成方法,在充分適應高光譜影像數據特點的同時構建大量用于元訓練的任務。如圖2所示,對于任意無標記樣本,首先利用PCA算法將其降維至3個波段,在保留主要光譜特征的同時減少波段冗余信息。然后,利用裁剪、翻轉、旋轉、切割等數據增強方法對空間信息進行變換,生成樣本的增強特征。在元訓練過程中,同一樣本的增強特征被視為屬于同一類別的不同樣本,從而為任務構造提供偽標簽信息。提出的增強特征生成方法不僅能夠有效地擴大源數據集規模,而且能夠為無監督元訓練過程提供標記樣本支撐。

圖2 樣本增強特征

1.3 深度殘差關系網絡

圖3 深度殘差關系網絡

在訓練過程中,支撐樣本xi的類別標記視為監督信息,查詢樣本xj的類別標記視為未知,模型通過優化其在查詢樣本上的預測結果實現參數更新。具體地,特征學習模塊f負責將數據空間中的樣本xi和xj映射為特征空間中的向量f(xi)和f(xj),并將其在通道維度上進行連接,記為Con(f(xi),f(yi))。關系學習模塊g將每個連接向量映射為一個代表樣本間相似性的關系得分ri,j=g[Con(f(xi),f(yi))]。最后,由關系得分向量R={ri,j}中分值最大的連接向量對應的支撐樣本決定查詢樣本xj的類別。模型以均方誤差(mean square error,MSE)作為損失函數。如式(1)所示

(1)

如果支撐樣本和查詢樣本屬于同一類別,即yi=yj,關系分數ri,j將被優化為1,否則為0。在MSE函數的約束下,模型能夠進行有效的關系學習,即為同類樣本的連接向量賦予高分值,為不同類樣本之間的連接向量賦予低分值。模型訓練完成后,能夠通過比較支撐樣本和查詢樣本之間關系分值的方式進行類別預測。

表1列出了特征提取模塊和關系學習模塊的具體網絡結構。特征提取模塊以經典的深度學習模型Resnet18[28]為基礎進行改進,共包括一個卷積層、一個最大池化層和8個卷積殘差塊。為了對影像中深度特征進行更為充分的學習,將模型的卷積核數量從原Resnet18中的(64,128,256,512)增加至(128,256,512,1024),其余網絡結構均與Resnet18保持相同。試驗表明,卷積核數量的增加能夠有效提升模型的特征學習效果和影像分類精度。關系學習模塊基于1×1卷積和全連接層進行構建,并引入批量歸一化、ReLU激活函數和dropout操作,進一步提高模型的收斂速度和泛化能力。如表1所示,卷積層中卷積核數量為512,兩個全連接層中神經元數量分別設置為128和1。

表1 深度殘差關系網絡具體結構

本文方法基于關系網絡和殘差網絡進行設計,融合了二者不同的優勢:關系網絡通過相似性比較的方式進行關系學習,能夠學習到“同類聚集、異類分類”的深度特征;殘差網絡能夠充分融合不同層次上的深度空譜聯合特征,進一步提高分類精度。與傳統網絡模型相比,本文模型通過比較關系分值的方式確定樣本類別,能夠適應包含任意類別數量的分類任務并有效泛化至不同目標影像。另外,基于任務的訓練方式使本文模型具有更強的泛化能力和少樣例學習能力。

1.4 投票策略

一方面,本文方法在元訓練階段基于大量不同的樣本增強特征進行參數學習,微調和分類階段中的輸入樣本應與樣本增強特征在數據維度上保持一致;另一方面,高光譜影像不可避免地存在著光譜冗余的問題。因此,本文提出了一種基于投票策略的微調和分類方法。如圖4所示,對目標影像隨機選擇3個波段并重復10次,分別進行10次微調和分類,目標影像的最終分類結果由10次分類的投票情況決定,詳細步驟如下:①隨機選取目標影像的第i1、j1和k1波段并進行模型微調和分類預測,得到分類結果Ⅰ;②步驟①重復10次,分別得到10個分類結果Ⅰ,Ⅱ,…,Ⅹ;③目標影像不同像素位置的最終分類結果由10次分類結果中相應位置出現次數最多的類別確定。該方法具有以下3點優勢:首先,多次波段隨機選擇的方式能夠確保不同光譜范圍內的地物屬性信息和跨光譜范圍的波段關系得到充分利用;其次,巧妙地解決了不同影像間波段數量不一致的問題,對于具有任意波段數量的目標影像,均可以利用波段隨機選取和投票的方式進行分類;最后,投票策略實際上是一種集成學習方法,通過集成不同波段上的分類結果能夠在利用影像光譜信息的同時進一步提高分類精度。

圖4 基于投票策略進行微調和分類

2 試驗結果與分析

2.1 試驗數據

本文選擇Houston 2013 (HS13)、Botswana (BO)、Kennedy Space Center (KSC)和Chikusei (CH) 4幅高光譜影像作為預收集的無標記源影像,選擇University of Pavia (UP)、Salinas (SA),以及一幅近年來新獲取的影像HanChuan (HC)[29]作為目標影像。如表2所示,4幅源影像具有不同的光譜范圍、像素分辨率和地物類別,能夠有效提高源數據集中樣本的多樣性,從而提升元訓練效果。試驗中,選擇像素周圍28×28像素的鄰域數據作為輸入樣本,并從4幅源影像中隨機選擇40 000個樣本構建源數據集,以充分利用影像中的空譜聯合信息。對于每個無標記樣本,隨機生成20個增強特征。因此,構建的無標記源數據集的維度可表示為(40 000,20,28,28,3)。3幅目標影像由不同傳感器獲取,主要覆蓋場景分別為大學、山谷農田及城鄉接合區域,能夠為分類試驗提供不同場景和地物類別。

表2 試驗數據

2.2 試驗設置

試驗的硬件環境為:Intel(R) Xeon(R) Gold 6152處理器,256 GB內存,Nvidia A100 PCIE顯卡。試驗中所有程序均在Ubuntu系統上基于Python語言和Pytorch、sklearn等深度學習依賴庫進行開發。

在無監督元訓練過程中,學習率設置為0.000 1,迭代次數設置為40 000,以確保模型進行充分的元訓練。實際上,模型通過對一個任務的學習即實現了一次訓練迭代,因此,利用源數據集隨機采樣生成的任務的數量為40 000。參照現有文獻[26]和預試驗結果,每個任務的具體設置為(C=20,K=5,N=15),即從構造的無標記源數據集中每次隨機選擇20個類別,每個類別均隨機選擇5個和15個樣本構建支撐集和查詢集。在微調階段,學習率同樣設置為0.000 1,迭代次數設置為1000,任務設置為(C=Ctarget,K=2,N=3)。其中,Ctarget為目標影像中包含的類別數量,UP數據集中Ctarget為9,SA和HC數據中Ctarget為16。元訓練和微調階段均采用Adam算法進行參數優化,dropout層中隨機丟棄概率設置為50%。為了定量評價不同方法的分類結果,選取總體分類精度(OA)、平均分類精度(AA)和Kappa系數作為評價指標。另外,為了減輕樣本隨機選擇導致的分類結果不穩定的問題,利用不同方法進行10次試驗并將試驗結果的平均值和標準差作為最終分類結果。

2.3 試驗結果與分析

為驗證本文方法的有效性,選取6種不同分類方法進行比較,包括經典的半監督分類器TSVM、擴展形態學輪廓(extended morphological profile,EMP)與TSVM相結合的方法、先進的半監督深度學習模型EMP+GCN[30]、結合過采樣策略的生成式對抗網絡3D-HyperGAMO[11],以及兩種監督元學習方法DFSL+SVM[25]和RN-FSC[26]。兩種傳統半監督分類方法中,TSVM均以徑向基函數作為核函數,懲罰系數和超參數分別設置為1024和1.0。提取EMP特征時首先利用PCA算法進行降維,并在前3個主成分上利用交叉形元素進行形態學處理,開閉運算半徑分別設置為3、5、7、9。其余4種深度分類模型的參數設置均與原文獻保持一致:GCN模型由具有8個節點的隱藏層構成,學習率和迭代次數分別為0.001和2000;3D-HyperGAMO由三維卷積和二維轉置卷積構成,學習率和迭代次數分別為0.000 2和8000;DFSL+SVM中特征提取網絡包括兩個三維卷積殘差塊和一個二維卷積層,卷積核數量分別為8、16和32,學習率和迭代次數分別為0.001和10 000;RN-FSC基于三維卷積塊、Relu激活函數和最大池化層構建,學習率和迭代次數分別為0.001和10 000。對于前4種分類方法(TSVM、EMP-TSVM、EMP+GCN和3D-HyperGAMO),均隨機選擇目標影像中每類5個標記樣本進行模型訓練。對于兩種監督元學習方法和本文方法,均首先利用預收集的源影像進行元訓練,然后利用目標影像中每類5個標記樣本進行微調。另外,為所有分類方法均設置相同的隨機數種子,以保證所有方法在利用完全相同標記樣本的條件下進行公平比較。

表3—表5列出了不同方法在3幅目標影像上的分類結果,可以發現:①半監督分類器TSVM無法利用影像中的深層次特征,分類精度明顯低于其他深度學習模型,而EMP特征的引入能夠有效改善TSVM的分類效果;②深度分類模型EMP+GCN能夠同時利用標記樣本和無標記樣本中的空間和光譜信息進行半監督學習,而3D-HyperGAMO則能夠利用大量合成樣本對網絡進行輔助訓練,因此其在目標影像上的分類精度較TSVM方法而言均有明顯提高;③兩種監督元學習方法均首先利用大量源標記樣本對模型進行元訓練,并利用學習到的特征知識指導模型在目標影像上的分類任務,因此其分類效果進一步提升;④本文方法在所有對比方法中取得了最為優異的分類結果,其總體分類精度在3幅目標影像上較第二名分類提高了3.28%、0.43%和3.21%,Kappa系數在3幅目標影像上較第二名分類提高了0.037 9、0.004 7和0.034 8。本文方法在少樣例條件下的優異分類表現可以總結為以下3個原因:首先,本文方法通過生成每個樣本的增強特征來構建任務,能夠使模型利用無標記影像進行充分的元訓練;然后,構建的深度殘差關系網絡通過相似性比較的方式進行樣本間關系學習,在充分利用空間和光譜信息的同時能夠提取到可分性更強的深層次特征;最后,投票策略的采用能夠通過集成學習的方式進一步提高分類結果的精度。

表3 不同方法在UP數據集上的分類結果

表4 不同方法在SA數據集上的分類結果

表5 不同方法在HC數據集上的分類結果

分類圖是高光譜影像分類的直接產品,能夠反映不同地物目標的空間分布特征。為了直觀觀察不同方法的分類結果并進行定性評價,圖5—圖7展示了不同方法在3幅目標影像上的分類圖?？梢钥闯?隨著分類精度的不斷提高,分類圖中的噪聲和誤分類現象逐漸減少。與其他方法相比,本文方法能夠獲得最為準確的分類圖,且與真實地面標記最為接近,從可視化角度再次驗證了本文方法在高光譜影像少樣例分類中的有效性。

圖5 不同方法在UP數據集上的分類

圖6 不同方法在SA數據集上的分類

2.4 網絡結構分析

本文以改進后的Resnet18網絡作為特征提取模塊,并結合關系學習模塊設計了一種用于高光譜影像少樣例分類的深度殘差關系網絡。關系學習模塊實際上是一個包括卷積層和全連接層的淺層網絡,特征提取模塊則是本文方法的骨干網絡。因此,為了驗證本文方法較傳統網絡模型的優勢,本小節在試驗環境完全相同的條件下對本文方法與Resnet18網絡的分類結果進行了比較。與本文方法相同,Resnet18網絡首先利用構建的源數據集進行訓練,然后利用目標影像中每類5個標記樣本進行微調。表6的結果表明,本文方法在3幅目標影像上的分類結果均優于Resnet18網絡,驗證了其在高光譜影像少樣例分類上的有效性。與Resnet18網絡相比,本文方法通過相似性比較的方式進行基于任務的關系學習,在泛化至不同目標影像時表現出了更強的少樣例學習能力。

進一步地,本小節通過改變設計模型中的卷積核數量探究網絡具體結構對分類結果的影響。參照大多數深度學習模型的一般規律,采用逐漸加倍的方式確定不同層次上卷積核的具體數量,即 (M,2M,4M,8M)。圖8展示了M取值分別為32、64、128和512時提出方法在3幅目標影像上的分類精度?？梢钥吹?隨著M取值不斷提高,本文模型的分類精度呈現出先上升后趨于穩定的趨勢,且當M取值為128時提出方法能夠獲得最高的分類精度。

圖8 卷積核數量對分類精度的影響

2.5 投票策略分析

基于投票策略進行微調和分類實際上是采用集成學習思想進一步提高模型的少樣例分類效果。投票次數的設置直接影響著高光譜影像分類精度。圖9展示了不同的投票次數設置下本文方法在3幅目標影像上的分類結果,可以看出,隨著投票次數的不斷增加,總體分類精度逐漸提升并趨于穩定。當投票次數設置為10～20次時,模型均能夠取得較為理想的分類結果,但投票次數過大無疑會導致微調和分類時間的增加。因此,綜合考慮分類精度與執行效率,本文方法中投票策略的最優設置為10次。

圖9 投票次數對分類精度的影響

2.6 元訓練階段分析

如圖1所示,本文方法的訓練過程可分為無監督元訓練和微調兩個階段。無監督元訓練能夠利用大量不同的無標記樣本對深度學習模型進行充分的基于任務的預訓練,使其能夠積累大量的先驗知識并獲得更強的泛化能力。因此,元訓練是本文方法的關鍵步驟之一。為了驗證元訓練階段的有效性,本小節進行試驗探究了元訓練階段對分類結果的影響。由表7的結果可以看出,不進行元訓練的模型只能利用微調數據集中的少量標記樣本進行監督訓練,分類效果較差。在3幅目標影像上,深度學習模型在元訓練后的分類精度分別提高了8.46%、2.96%和9.48%,充分驗證了元訓練階段在本文方法中的有效性。

表7 元訓練階段分析

2.7 元學習方法綜合比較

表8列出了3種元學習方法在必需標記樣本數量、執行效率和總體分類精度方面的綜合比較。必需標記樣本包括元訓練和微調階段中需要的標記樣本。3種元學習方法在目標影像上的執行時間均可以分為微調和分類兩個階段。在必需標記樣本數量方面,DFSL+SVM和RN-FSC在元訓練階段均需要大量標記樣本構建標記源數據集,所以二者需要的標記樣本數量最多,而本文方法能夠利用無標記樣本進行無監督元訓練。因此,本文方法在元訓練階段必需的標記樣本數量為0,突破了監督元學習方法需要大量源標記樣本的瓶頸和限制。執行時間方面,DFSL+SVM采用核支持向量機進行微調和分類,因此所需時間明顯少于其他方法。本文方法利用投票策略確定樣本類別,對每一幅目標影像實際運行了10次微調和分類。因此,與其他元學習方法相比,本文方法需要更長的微調和分類時間。分類效果方面,本文方法在3幅目標影像的總體分類精度均明顯高于其他兩種監督元學習方法,直接表明了本文方法在高光譜影像少樣例分類中的有效性。

表8 元學習方法綜合比較

3 總結與展望

為有效減少監督元學習方法在元訓練階段對大量標記樣本的依賴,并進一步提高高光譜影像少樣例分類精度,本文提出了一種高光譜影像無監督元學習方法。與監督元學習方法不同,該方法僅利用無標記高光譜影像即可實現有效的元學習。針對源數據集中的每個無標記樣本,采用主成分分析和數據增強的方式生成多個樣本增強特征,并隨機構建大量用于元訓練的任務。構建的深度殘差關系網絡首先利用無標記影像進行無監督元學習,然后基于投票策略在目標影像上進行微調和分類性能評估。試驗結果表明,本文方法能夠顯著減少訓練階段中必需標記樣本的數量,且在少樣例條件下能夠獲得較現有方法更好的分類結果。

雖然本文方法能夠有效提高高光譜影像少樣例分類精度,但仍然沒有考慮到源影像與目標影像之間的數據分布差異。未來的工作將在本文方法的基礎上結合域適應技術,以期在減少影像間域差異的同時進一步提高少樣例分類結果的準確性和穩健性。