基于改進GraphSAGE的高光譜圖像分類①

尤晨欣,吳向東,王雨松,歐運起

1(長安大學 信息工程學院,西安 710064)

2(長安大學 公路學院,西安 710064)

近年來,高光譜圖像分類在軍事目標檢測和災害防控等領域受到越來越多的關注[1].與傳統的多光譜遙感圖像相比,高光譜圖像由數百個光譜波段組成,有助于更加精細地實現地物分類和目標識別.高光譜圖像具有較高的空間分辨率,可以識別各種土地覆蓋類型[2].早期的高光譜圖像分類方法旨在提升分類性能,比如支持向量機[3]等; 之后,出現一些利用特征提取技術進行高光譜圖像分類的方法探索地物表面的空間信息,如基于空間光譜稀疏表示的方法[4]等,通過建立函數映射以期分離高維空間中的光譜信息,實現地物分類.早期的高光譜圖像分類方法中的圖結構均為人工構造,無法捕捉不同類之間的細微差別和同類之間的大差別,普適性差且分類精度較低.深度學習為高光譜圖像的特征提取提供了理想的解決方案[5].

深度學習可以從數據中自適應地提取高光譜圖像的光譜空間特征,具有很好的魯棒性.Chen 等[6]采用卷積神經網絡從高光譜圖像中提取空間光譜特征,獲得了更好的分類性能; Qin 等[7]提出利用半監督圖卷積網絡將高光譜圖像編碼成圖結構,并根據相鄰像素的光譜相似性和空間距離在像素之間傳播信息; Wan 等[8]提出上下文感知的動態圖卷積網絡,用于捕獲遠程上下文關系,細化圖邊緣權值和圖像區域之間的鄰接關系; Mou 等[9]提出將整張圖像作為輸入,同時處理標記和未標記樣本數據,對圖像中的所有像素節點進行分類處理; Sellars 等[10]提出一種基于圖論的超像素高光譜圖像分類算法,降低了算法復雜度.此外,通過多尺度和小批次處理高光譜圖像成為近期研究的熱點,建立不同鄰域的多個輸入圖,利用不同尺度的光譜空間相關性細化圖信息[11-13]; Yang 等[14]通過GraphSAGE 歸納學習的方式構造圖結構,對于采樣節點數不足的情況,采取有放回的節點采樣方法,可能造成子圖中的局部信息不完整,導致特征模糊,從而使算法的分類誤差增大.

為了充分利用圖結構的空間相關性,本文提出了基于改進GraphSAGE 的高光譜圖像分類方法.首先采用簡單線性迭代聚類算法(simple linear iterative clustering,SLIC)[15]將高光譜圖像分割為超像素,降低后續學習的圖節點數; 再通過改進的GraphSAGE 算法生成目標節點的嵌入,利用平均采樣得到訓練樣本,選取平均聚合函數更新多階節點的信息.通過提取空間光譜信息來提高性能,既無須對整張圖進行節點嵌入,也最大化保留了局部圖結構的信息,從而提高算法的分類精度.

1 GraphSAGE 算法介紹

傳統的圖卷積網絡主要是在單一固定的圖像中進行節點嵌入,無法為未見節點或者全新子圖生成快速嵌入.為解決這種問題,Hamilton 等[16]提出了GraphSAGE算法,通過學習一個嵌入函數,利用節點的局部鄰域取樣和聚合特征,實現未見數據的生成嵌入.其流程如圖1 所示.

圖1 GraphSAGE 算法流程

對于已知無向圖G=(V,E),其中,V表示節點集,E表示邊集.所有的節點v∈V,需要學習K個函數來聚合當前節點的鄰域特征,具體做法如下.

(1)采樣: 通過隨機游走的方式獲取目標節點,考慮到計算效率,以有放回采樣的方式抽取目標節點的K階樣本,設置固定數量的鄰居,步驟如圖1 所示.K表示目標節點的搜索深度.

(2)聚合: 通過選取聚合函數聚合鄰居節點,更新自身節點信息.本文選取平均聚合的方式對鄰居節點進行聚合,將目標節點與鄰居節點的第K-1層向量拼接起來,再對向量的每個維度求均值,最終通過非線性變換產生目標節點的第K層表示向量,具體實現如下:

其中,N(v)表示節點v的近鄰點,表示節點v的任意相鄰節點u在k-1層的嵌入信息,hN(v)表示節點v在第k層中所有鄰居節點的特征表示.

通過聚合后節點特征用于不同層之間的信息傳播,定義如下:

其中,σ是非線性激活函數,Wk是需要學習的權重表示.

圖卷積網絡的節點嵌入需要所有節點參與訓練過程,而GraphSAGE 算法通過聚合鄰居節點的特征信息,為局部圖節點獲取嵌入向量.新的圖結構的節點嵌入只需利用學習的聚合函數,就能輸出低維向量,進行節點分類.

2 改進GraphSAGE 的高光譜圖像分類算法

2.1 總體架構

本文總體架構流程如圖2 所示.對于給定的高光譜圖像,先對其進行預處理,采用SLIC 算法將其分割成若干同質的超像素; 然后采用改進的GraphSAGE 算法對這些超像素進行平均采樣并聚合節點信息,使同類的超像素聚合到一起,再對輸入圖生成節點嵌入; 最后將生成的低維向量輸入到全連接層進行分類,再輸出分類結果.

圖2 改進GraphSAGE 網絡架構

2.2 超像素分割

高光譜圖像通常包含數十萬像素,且某些像素的差別不明顯,在節點嵌入和分類過程中容易增大計算復雜度.為了解決這個問題,采用SLIC 算法實現超像素分割,實現過程如下: 首先將原始圖像數據進行均值標準差標準化,再將其分割成空間連通且光譜相似性很強的均勻圖像區域,即超像素; 其次將超像素的中心表示為一個圖節點,并通過梯度下降法更新節點矩陣;最后通過建立超像素之間的鄰接關系,將高光譜圖像轉換成無向圖,構造超像素圖像的特征以及標簽.將高光譜圖像分割為超像素能顯著減少圖節點的個數,有助于保存局部結構信息,提高計算效率.

2.3 改進的GraphSAGE 算法

由于在采集高光譜圖像的過程中不可避免地會引入一些噪聲,且其邊緣部分的像素分布不均勻,因而傳統的GraphSAGE 模型采集的樣本具有短缺性和隨機性.針對傳統GraphSAGE 算法中圖像邊界采樣節點數不足以及有放回的采樣引起特征誤差的問題,本文提出平均采樣的GraphSAGE 模型,采樣過程的具體實現流程如算法1 所示.

算法1 改進GraphSAGE 算法的平均采樣具體思想是: 每一次迭代,對目標節點v的k階鄰居節點進行采樣,V(k)表示第k層的節點,K表示采樣的層數.對目標節點采樣時按照k=K,···,1的順序,以達到聚合過程中按照k=1,···,K的順序聚合的目的.若節點u是V(k)的鄰居,則取為鄰居節點.若階層節點個數達不到采樣值,取本階層節點的平均光譜特征作為補充,此過程可以表示為式(3):

算法1.超像素的鄰居采樣輸入: 圖; ; 搜索深度 ; 平均采樣函數輸出: 平均采樣鄰居樣本G{V,E}v∈VKN()V(k)←V 1)2)for do k=K,···,1 V(k-1)←V(k)3);u∈V(k)4)for do V(k-1)←V(k-1)∪Mean{N(u)}5)6)end 7)end

結合本文提出的平均采樣的思想,介紹模型具體實現流程,如算法2 所示.

算法2 的核心內容是: 先根據平均采樣的方式抽取固定數量的鄰居節點,然后學習聚合函數對鄰居節點的信息進行聚合得到信息; 最后獲得圖中每個節點的低維向量表示供下游學習.經過改進的GraphSAGE 層得到的低維向量作為全連接層的輸入,經過Softmax 激活函數,預測目標節點的標簽,從而得到真實值與分類輸出值之間的差異; 最后使用NLL loss 損失函數進行反向傳播.

NLL loss 函數如式(4)所示:

算法2.平均GraphSAGE 節點嵌入G(V,E)Wk ?k={1,···,K}σ()N()輸入: 圖; 搜索深度K; 權重矩陣 ; ; 非線性激活函數 ; 平均聚合函數; 平均采樣函數zv輸出: 生成向量表示h0v←Xv,?v∈V(0)1)初始化:2)for do k=1,···,K v∈V(k)3)for do 4)hkN(v)←Mean({hk-1 u ,?u∈N(v)})v ,hkN(v)))5)hkv←σ(Wk·CONCAT(hk-1 6)end hkv←hkv/‖hkv‖2 7)zv←hkv,?v∈V 8)9)end

3 算法仿真分析

3.1 數據集

為了驗證本文所提網絡模型的有效性,在公開的Pavia University 和Kenndy Space Center 數據集上進行實驗,并和其他算法的分類結果進行了對比.

(1)Pavia University 數據集,見表1.該數據集是意大利帕維亞城的一部分高光譜圖像.圖像具有610×340 個像素以及115 個光譜波段,空間分辨率為1.3 m,去除受噪聲和水汽影響因素后剩余103 個波段,包含9 個地物類別.

表1 Pavia University 數據集訓練、測試樣本數

(2)Kenndy Space Center 數據集,見表2.該數據集是在美國肯尼迪航天中心上空獲得的,圖像包含224 個波段和614×512 個像素.空間分辨率為18 m,去除水汽和受噪聲影響的波段后剩余176 個波段,包含13 個地物類別.

表2 Kenndy Space Center 數據集訓練、測試樣本數

3.2 仿真實現

本文采用改進GraphSAGE 算法對Pavia University和Kenndy Space Center 兩個數據集進行分類實驗,取數據集的10%作為訓練樣本,剩余90%作為測試樣本.模型參數設置如下: 學習率為0.01,權重衰減為5E-3,迭代次數為100,使用Adam 優化器.網絡訓練過程中,設置采樣層數K=2,聚合二階鄰居特征,對一階鄰居抽樣5,二階鄰居抽樣15.

Pavia University 數據集分類實驗的訓練樣本和測試樣本數見表1.將標準化后的數據作為SLIC 算法的輸入數據,輸入大小為610×340×103 的圖像.為提高計算效率,將原始圖像進行2 500 次分割,得到1 487 個超像素.將得到的超像素作為改進GraphSAGE 算法的節點,最終特征數設置為9,經訓練后輸出9 個數目為1 487 的張量,從而進行分類

圖3 為不同方法的Pavia University 數據集分類結果,基于RDF 的支持向量機(RDF-SVM)需手動設置專業的參數提取特征,可能產生較多的誤分類; 二維卷積神經網絡(2DCNN)無法靈活的獲得邊界信息,容易造成特征誤差; 傳統的GCN 只利用像素的光譜特征,無法表示其內在相似性.分類結果表明,本文方法的分類結果和樣本分布圖具有高度一致性,可以很好地區分不同的地物類型,具有較強的空間相關性.在算法精度方面,表3 Pavia University 數據集上各種分類方法的分類評價指標表明,在總體分類精度(OA)、平均分類精度(AA)和Kappa 系數3 個精度指標上,本文分類方法的精度均優于其他方法,改良方法的效果十分明顯.

表3 Pavia University 數據集分類評價指標對比 (%)

圖3 Pavia University 數據集分類結果

Kenndy Space Center 數據集分類實驗的訓練樣本和測試樣本數見表2.訓練過程與Pavia University 數據集訓練過程相同,原始圖像分割后得到1 462 個超像素,最終輸出13 個數目為1 462 的張量用于圖像分類過程.

對比圖4 的樣本分布圖與其他算法分類圖,可以發現部分算法的分類結果存在誤差.將每一張分類圖的關鍵區域放大,其中,圖4(a)紅色圓圈中的地物類別是“Swamp”,圖4(b)中是“Mud flats”,這兩種地物類別具有相似的光譜特征.在所有的分類圖中,“Swamp”的部分像素被誤分類為“Mud flats”,其中,圖4(d)中的誤分類區域最小.結果表明,和Pavia University 數據集分類結果相似,分類結果和實際分類結果具有很好的一致性,可以很好地區分不同的地物類型.在算法精度方面,表4 中各種分類方法的分類評價指標表明,本文分類方法的精度遠高于GCN,略優于RDF-SVM 和2DCNN,改良效果明顯.

圖4 Kenndy Space Center 數據集分類結果

表4 Kenndy Space Center 數據集分類評價指標對比(%)

3.3 算法分析

在原有GraphSAGE 算法的基礎上引入了SLIC 超像素分割算法,對Pavia University 和Kenndy Space Center原始圖像進行了2 500 次分割,將擁有數十萬像素的高光譜圖像降維成僅有數千個超像素的超像素圖像,即用少量的超像素代替大量的原始圖像像素來降低圖像維度,減少了圖節點個數,進而降低后續計算復雜度.

此外,對GraphSAGE 算法的采樣過程進行改進,引入平均采樣的思想.圖3 與圖4 可以看出,改進后的GraphSAGE 算法在Pavia University 和Kenndy Space Center 數據集上的分類結果與真實標簽結果十分相近,誤分類區域較少,尤其是在模型邊界處的分類效果較好.分析表明,平均采樣克服了有放回采樣引起特征誤差的問題,以階層節點的平均光譜特征補充采樣值,能解決圖像邊界采樣節點數不足的問題.由表3 與表4可知,改進的算法模型分類精度高于其他分類方法,在大部分物體上獲得了比較好的分類精度值.分析表明,改進的GraphSAGE 算法對各類物的識別具有很強的適用性,模型分類結果和實際分類結果高度一致,具有較強的空間相關性,進一步驗證了本文方法的優越性.

4 總結

為了提高高光譜圖像的分類精度,本文提出了一種改進GraphSAGE 算法的高光譜圖像分類網絡模型.為減少圖節點個數,降低計算復雜度,該模型引入了超像素分割算法對原始圖像進行預處理; 針對圖像邊界采樣節點個數不足和有放回采樣引起的特征誤差問題,通過平均采樣的方式補充邊界缺少的節點,降低了提取特征的誤差,提高了分類準確度.該模型在Pavia University 和Kenndy Space Center 數據集上達到了較高的分類精度,能有效降低計算復雜度,提高分類效率.通過一系列對比實驗評估本文模型的優越性,結果表明,與RDF-SVM、2DCNN 和GCN 相比,改進的GraphSAGE算法彌補了邊界部分采樣節點不足的缺陷,提高了分類準確度.但本文網絡對鄰域大小的確定模式單一,下一步將會借助注意力機制自適應的學習鄰居節點的個數,加快網絡訓練速度.