基于寬度學習的微多普勒目標分類

李曉斌 袁子喬 徐 飛 劉 暢

(西安電子工程研究所 西安 710100)

0 引言

隨著智能化信息技術發展的不斷深入,針對于窄帶雷達的空中目標識別技術研究受到廣泛關注,越來越需要窄帶防空雷達在具備發現目標的同時進行目標屬性自動分類的能力。近年來,微動特性在雷達目標探測與識別中受到廣泛關注,微動是指雷達目標除質心平動以外的振動或轉動,由微動產生的多普勒頻率為微多普勒頻率。不同的微動會產生不同的微多普勒,微多普勒效應可以反映目標結構部件的幾何構成和運動特性,是目標本質的特征?；谀繕宋硬町惪梢蕴崛【哂辛己梅诸愋阅艿奶卣?從而實現對目標的分類和識別。

傳統特征提取方法[2]需要更多的人工操作,不僅耗費時間和精力,且因為人工經驗抽取信號特征是隨機過程,會帶來相應的誤差。隨著人工智能的崛起,基于大數據和深度學習[1]的分類識別方法越來越多,相比于傳統的利用波形熵、二階中心矩等特征,利用支持向量機、決策樹作為分類器來實現微多普勒分類的方法,由于能夠提取到識別對象中更深層次的信息特征,所以它的分類效果會更好。但是深層結構的神經網絡并不是完美無缺,它的網絡結構復雜,需要對很多的超參數進行設置。它需要不斷地進行多次迭代,求取層與層之間的連接權重,并且需要反向調節網絡的權重,才能夠得到較好的分類結果。此外,當模型訓練好之后,就不能再對訓練數據進行更新。若更新訓練數據,那么就需要將整個深層神經網絡再次訓練,給用戶造成了很多不便。

寬度學習(Broad Learning System,BLS)系統[3-6]相較于深層神經網絡,網絡結構簡單,只有輸入層和輸出層兩層,不需要通過多層的隱藏層來提取識別對象的特征,并且省去了不斷更新層與層之間連接權重的過程,計算量變小,所以它的訓練速度非常迅速,訓練時間減少了成百上千倍。此外,當訓練數據發生更新時,它不需要重新訓練整個網絡,而只是通過BLS的增量學習算法就可以達到重建網絡,這極大地提升了用戶的體驗感。因此,考慮將寬度學習算法應用到雷達的目標分類識別,探索其可行性。

1 寬度學習系統

寬度學習的前身是隨機向量函數連接網絡(Random Vector Functional Link Neural Network,RVFLNN)[7],如圖1所示。

圖1 RVFLNN的網絡結構

這種網絡結構由輸入層、隱藏層和輸出層3部分組成,輸入層除了與隱藏層相連接之外,還直接和輸出層進行了連接。這個網絡結構通過不斷更新輸入層與輸出層之間的連接權重W和輸入層與隱藏層之間的連接權重Wh而取得較好的分類效果。其中,X為輸入數據,Y為輸出的分類結果,輸入數據X經過非線性變換ξ(xWh+βh)得到增強節點的值。此外,輸入層和輸出層、隱藏層與輸出層都是僅有線性變換。

寬度學習系統的網絡結構如圖2所示,可以看到,寬度學習系統相較于RVFLNN,只是由輸入層和輸出層組成,但是輸入層發生了變化。首先,輸入數據X經過線性變換成為多個特征節點Z1,Z2,…,Zn,增強節點H1,H2,…,Hn則由特征節點經過非線性變換映射得到。特征節點和增強節點共同構成了輸入層,并且與輸出層Y直接連接。其中φ為激活函數,常用的激活函數有tanh、sigmoid等。W為網絡的權重,β為網絡的偏置,它們都是隨機生成的。

圖2 寬度學習系統網絡結構圖

1.1 特征節點

特征節點Z是輸入數據X經過線性變換映射得到的,映射函數為φ(XWe+βe)。則生成第i個特征節點Zi為

Zi=φ(XWei+βei)

(1)

其中,βei為偏置項,Wei為隨機生成的權重,優化目標函數為

(2)

(3)

ρ>0,S為軟閾值算子,定義為

(4)

特征層可以定義為Zn=[Z1,…,Zn]。

1.2 增強節點

增強節點是由特征節點經過非線性變換映射得到的,映射函數為ζj(ZjWhj+βhj),它能夠進一步提取輸入信號的深層次特征,得到增強節點的表達式為

Hm≡ζ(ZnWhm+βhm)

(5)

其中Whj為特征節點到增強節點的權重,βhj為偏置項。由于整個過程都是非線性變換,所以需要使用激活函數對增強節點進行激活,而映射函數ζj(ZjWhj+βhj)中已經完成了該步驟,故本文不再介紹。

增強層可以定義為Hm≡[H1,…,Hm]。

1.3 偽逆運算

根據上述介紹,寬度學習的輸入數據為X,輸出結果為Y,輸入層與輸出層的連接權重為W,則網絡的數學模型為Y=WX,由于寬度學習是一種有監督的網絡模型,故輸入數據X和輸出結果Y是已知的,只需要求解連接權重W即可。寬度學習使用了嶺回歸方法對連接權重W進行求解。寬度學習網絡的數學模型為

Y=[Z1,…,Zn∣ξ(ZnWh1+βh1),…,ξ(ZnWhm+βhm)]W

=[Z1,…,Zn∣H1,…,Hm]W

=[Zn∣Hm]W

(6)

其中,Zn為輸入層的所有特征節點,Hm為輸入層的所有增強節點,將Zn和Hm組合在一起作為輸入X。求解連接權重W就是對式(6)進行逆運算W=[Zn∣Hm]+Y。逆運算求解時,由于輸入并不規則,所以求解并不是非常容易。寬度學習系統是通過偽逆進行求解,連接權重W求解公式為

W=(VTV+In+mc)-1VTY

(7)

其中,V為Zn和Hm的組合,n和m代表兩種節點的數量,它們并不是固定值,需要實驗者根據數據集的大小進行設定。

因此,輸入數據A的偽逆為

(8)

其中:c為正則化參數。

2 BLS的增量學習算法

當特征節點、增強節點和樣本數據發生變化時,寬度學習系統相較于傳統的機器學習算法或者深層神經網絡,它的特點在于并不需要重新訓練整個網絡。只需要使用增量學習算法就可以重建模型,接下來,本文將分別進行闡述。

2.1 增加增強節點

增強節點的作用在于能夠將信號信息中的深層次特征提取出來,所以增強節點的增多可以提高分類精度。

現有的輸入層為V=[Zn∣Hm],添加p個增強節點后為

Vm+1≡[Vm∣ζ(ZnWhm+1+βhm+1)]

(9)

其中Whm+1∈Rnk×p,是映射p個增強節點的特征節點權重系數,βhm+1∈Rp是偏置項。

得到Vm+1的偽逆是:

(10)

令D=(Vm)+ζ(ZnWhm+1+βhm+1),C=ζ(ZnWhm+1+βhm+1)-VmD,則BT為

(11)

更新后的權重是:

(12)

BLS的增加增強節點算法如圖3所示。

圖3 BLS的增加增強節點算法

2.2 增加特征節點

特征節點的個數也會影響到分類精度,特征節點個數過少,會導致從輸入數據中提取的特征并不充分,即使增強節點再多,也并不能提高分類精度,所以常常需要增加特征節點來達到預期的效果。

假設增加第n+1個特征節點,表達式為

Zn+1=φ(XWen+1+βen+1)

(13)

所對應的增強節點則為

Hexm=[ζ(Zn+1Wex1+βex1),…,ζ(Zn+1Wexm+βexm)]

(14)

(15)

(16)

得到新的權重:

(17)

BLS的特征節點增強算法如圖4所示。

圖4 BLS的特征節點增強算法

2.3 增加輸入數據

在實際應用時,常常會有新數據的添加,寬度學習系統通過將新數據再次經過函數φ(XWe+βe)求得新的特征節點,并對新的特征節點經過非線性變換得到新的增強節點,構造了新的輸入層,不需要重新訓練整個模型,就能重建模型。

(18)

(19)

對應的偽逆矩陣為

(20)

(21)

因此,需要更新的權重結果為

(22)

其中,Ya是新增數據Xa所對應的標簽值。

BLS的輸入數據增加算法如圖5所示。

圖5 BLS的輸入數據增加算法

3 實驗結果與分析

3.1 網絡輸入節點數量的選擇

在寬度學習算法中,特征節點和增強節點的數量影響著模型的預測性能和運算速度,為了設置合適的參數值,本文基于包含三類地面目標的微多普勒數據集進行實驗,分別為履帶式裝甲車、輪式裝甲車和輪式民用車輛。其中履帶式裝甲車有2352幀數據,輪式民用車輛有5143幀數據,輪式裝甲車有4095幀數據,每幀數據都有512個數據點。本文使用單幀作為樣本,將數據集中80%作為訓練集,20%作為測試集進行三類地面目標的分類實驗。使用稀疏正則化約束,增強節點的縮放尺度設為0.8,迭代輪數為5。實驗結果如表1所示。

表1 增加特征節點數量的分類結果(平均正確率,%)

本文又對增加增強節點數量進行了實驗,如表2所示。

表2 增加增強節點數量的分類結果(平均正確率,%)

可以看到,當增強節點數量維持不變時,增加特征節點數量,分類正確率從91.03%逐漸增長至93.69%,以此時的特征節點為基數,增加增強節點數量,可以看到分類正確率有一個緩慢上升。隨著每次增加特征節點和增強節點的數量,分類精度逐漸提高,但是當其達到一定數量時,再增加節點數量,正確率開始下降,這可能是過擬合造成的。故本文選擇特征節點為40,增強節點數為8000作為后續實驗的網絡輸入節點數量。

3.2 分類識別實驗與分析

為驗證寬度學習相比深度學習在微多普勒目標分類的優越性,本文搭建了一個雙向長短記憶神經網絡(Bi_LSTM)與寬度學習算法進行實驗對比,使用的數據集有3種,除上一小節中介紹的針對三類地面目標的分類外,第二種是針對槳狀飛機、噴氣式飛機和直升機三類飛機的分類問題,其中槳狀飛機有4588幀數據,噴氣式飛機有1136幀數據,直升機有5336幀數據。第三種是針對單人和小分隊的兩類地面目標的分類問題,單人數據有4279幀數據,小分隊數據有8704幀數據。由于數據樣本不均衡,對上述三種數據均采取了數據增廣手段,最后得到第二種分類中槳狀飛機有4588幀數據,噴氣式飛機有4544幀數據,直升機有5336幀數據;第三種分類中單人數據有8558幀數據,小分隊數據有8704幀數據。選取70%作為訓練集,10%作為驗證集,20%作為測試集。在訓練過程中,使用訓練集進行訓練,只使用驗證集測試網絡效果,以免數據泄露導致分類精度增高。本文實驗所使用的編程語言為Matlab,采用單GPU運行。

雙向長短記憶網絡是一種應用十分廣泛的深度神經網絡,本文搭建的Bi_LSTM網絡中有2個bilstm層、1個dropout層和1個全連接層,bilstm層中分別有128和64個隱藏單元。迭代輪數為20輪,小批量尺寸為16個樣本,初始學習率設為0.001,并采用學習率衰減策略,每5輪衰減一次,每次衰減系數為0.5,并采用梯度截斷策略將梯度范圍限制為[-1,1],避免梯度爆炸問題,每輪迭代都打亂訓練集數據。經過100輪迭代后,訓練結束,圖6為單人、小分隊目標訓練階段,目標損失函數和準確率隨著訓練次數增加的變化曲線。圖7、圖8和圖9分別表示本方法在三類數據上的混淆矩陣。

圖6 單人、小分隊目標損失函數和準確率隨著訓練次數增加的變化曲線

圖7 Bi_LSTM在三類車輛數據上的混淆矩陣

圖8 Bi_LSTM在三類飛機數據上的混淆矩陣

圖9 Bi_LSTM在兩類單人、小分隊數據上的混淆矩陣

寬度學習算法中窗口數batchsize為10,迭代輪數為5輪。特征節點數和增強節點數分別設置為40和8000,稀疏正則化約束參數設為2～30,增強節點的縮放尺度設為0.8,激活函數都是采用tanh函數。迭代5輪求其平均值。圖10、圖11和圖12分別表示本方法在三類數據上的混淆矩陣。

圖10 寬度學習在三類車輛數據上的混淆矩陣

圖11 寬度學習在三類飛機數據上的混淆矩陣

圖12 寬度學習在兩類單人、小分隊數據上的混淆矩陣

為更明顯地看出各個數據集的正確率,本文列出了所有結果如表3所示。其中,有效值保留到小數點后兩位,而均值反映了兩種算法在所有數據集上的分類效果的總體表現,可以看到Bi_LSTM算法和寬度學習算法的平均分類結果接近。

表3 兩個算法在三種數據集上的分類結果(平均正確率,%)

接下來本文對比兩個算法上在三種數據集上的訓練時間,如圖6所示為單人、小分隊基于Bi_LSTM的目標損失函數和準確率隨著訓練次數增加的變化曲線?？梢钥吹降降?0輪時,正確率趨于穩定,而本次用時共94′40″。其他數據集基于Bi_LSTM分類的訓練時間也是此操作。如表4所示,可以看到Bi_LSTM的訓練時間要明顯慢于寬度學習。

表4 兩個算法在三種數據集上的訓練時間

綜上所述,我們可以得出,在精度方面,寬度學習算法與Bi_LSTM深度學習算法在三類數據集分類實驗中相差不多;而在訓練速度方面,寬度學習算法遠遠快于Bi_LSTM算法。從這里體現出寬度學習算法應用于雷達的目標分類識別是可行的。

4 結束語

本文研究了寬度學習算法在窄帶雷達目標識別方面的應用。首先介紹了寬度學習系統的基本概念以及BLS的增量學習算法,然后對BLS的網絡輸入節點數量進行了分析實驗,接下來搭建了Bi_LSTM深度學習算法,在3種數據集上和寬度學習進行對比實驗,得出寬度學習和Bi_LSTM算法在三種數據集上的平均分類正確率接近;也比較了兩種算法的訓練時間,證明了寬度學習的訓練速度要遠遠快于深度學習,為窄帶雷達微多普勒目標分類識別方面的問題提出了一種解決方法。