基于遷移元學習的調制識別算法

龐伊瓊, 許華, 張悅, 朱華麗, 彭翔

(空軍工程大學 信息與導航學院, 陜西 西安 710077)

0 引言

通信信號調制樣式識別是介于信號檢測與解調之間的關鍵步驟,在信息偵察、電子對抗、電磁頻譜監測等領域都有著重大的研究意義。傳統通信信號調制識別通過對目標信號進行特征分析與提取,并以此為依據設計特定的分類器實現對信號的分類[1-3]。隨著現代通信技術的迅猛發展,傳統方法已無法適應復雜電磁環境下的調制識別任務,這促進了以深度學習為基礎的新一代調制識別技術的發展。O’Shea等[4-5]首次采用深度學習技術解決調制識別問題,提出通過卷積神經網絡(CNN)直接學習信號IQ序列樣本,完成對11類調制信號的識別任務。Kumar等[6]采用ResNet-50和Incepction V2網絡提取信號星座密度矩陣圖特征,并通過與前置噪聲濾波網絡結合實現對低信噪比數字調制信號的準確識別。Liu等[7]將雙向長短時記憶(LSTM)網絡與CNN級聯,在信噪比超過4 dB時對11類調制信號的識別率可達到90%。文獻[8]采用特征降維的方式控制CNN的運算開銷,對比傳統CNN,在降低94.44%計算量的同時實現了86.5%的識別準確率,該算法有效提升了CNN網絡在調制識別領域的應用價值。

雖然基于深度學習的調制識別方法取得了顯著的識別效果,但深度學習方法的成功往往都需要至少數千個帶標簽訓練樣本,訓練樣本量不足會導致網絡出現過擬合問題。然而隨著實際應用的不斷擴展,通信信號環境所能提供的帶標簽信號樣本很難滿足以上基于深度學習的調制識別方法的要求。

針對深度學習方法所需訓練樣本過多的問題,遷移學習[9]將從源域中學到的知識遷移到對相關目標域的學習過程中,有效降低了在目標域訓練深度神經網絡對樣本量的需求。在信號調制識別領域遷移學習技術已經有了廣泛應用,如文獻[10-12]采用遷移學習技術對網絡模型進行預訓練,在目標數據集樣本量明顯減少的情況下保證了算法的識別準確率。但遷移學習要實現較好的識別性能仍需至少幾百個目標域信號樣本,針對僅有幾個帶標簽信號樣本的調制識別任務無法直接采用遷移學習技術,元學習[13-14]可采用基于任務的訓練方式來解決僅有幾個帶標簽訓練樣本的信號識別問題。元學習的目標是訓練得到一個具有強泛化性能的基網絡,該網絡通過從訓練任務中積累的元知識指導對新任務的學習,僅需極少量數據就可使網絡快速收斂。模型無關元學習(MAML)[15]在元訓練過程中通過大量不同任務所產生的誤差的梯度信息學習基網絡的最優初始化參數。在元測試時采用學習到的最優網絡參數來初始化基網絡參數,只需少量訓練數據對網絡進行微調就可快速適應新任務。但MAML算法的基網絡通常只能采用淺層神經網絡,若直接采用較深的神經網絡將會大幅提升網絡的訓練難度,限制了網絡識別性能的進一步提升。

本文提出一種基于遷移元學習的調制識別算法。為采用深度殘差神經網絡作為MAML算法的基網絡,針對所用信號樣本獨立同分布的數據特性,本文算法根據遷移學習思想首先在整個訓練集上對基網絡進行預訓練,在元學習階段中只保留基網絡特征提取部分,并通過設置兩個可學習的神經元參數ψ1和ψ2對其預訓練所得網絡參數θ1進行縮放與偏移操作,即ψ1θ1+ψ2,從而實現網絡的遷移。元訓練過程中將ψ1、ψ2以及基網絡分類部分的網絡初始參數θ2作為元知識,通過最小化識別任務中測試數據產生的損失來優化ψ1、ψ2以及θ2,提高網絡對新類信號數據的泛化性能。元測試過程中將元訓練得到的ψ1、ψ2以及最優初始化參數θ2用于解決新類信號的識別任務,只需通過少量訓練數據對基網絡分類部分網絡參數進行微調,就能對新任務中待測信號的調制樣式實現準確識別。

1 模型無關元學習算法

1.1 元學習基本思想

人類在學習新事物時可以運用之前學習過程中已經掌握的一些技能,如認識貓的兒童更容易理解老虎這個概念,可通過學習一張老虎圖片就快速認出老虎。受此啟發提出元學習的概念,元學習通過對以往任務的學習積累元知識來指導對新任務的學習,根據元知識的不同,可將元學習方法分為基于度量的元學習算法[16-19]、基于優化策略的元學習算法[20]、基于最優初始化參數的元學習算法[15]。元學習的實現分為元訓練與元測試兩個過程,且都是基于任務進行的,本文算法主要針對僅有幾個帶標簽訓練樣本的調制識別問題,則元訓練與元測試過程中的任務都為信號識別任務,且每個任務包含少量訓練信號樣本與待測信號樣本。在元訓練過程中通過學習訓練任務積累元知識,元知識可用于提高基網絡的泛化性能,實現對元測試階段新類信號的信號識別任務的快速學習。

元訓練與元測試過程中采樣的識別任務中的訓練數據若包含C類信號,且每類信號擁有K個信號樣本,則將該識別任務稱為C-wayK-shot任務。為使網絡在元測試階段對僅有少量訓練樣本的新類信號識別任務實現較高的識別準確率,需要大量訓練任務幫助網絡積累元知識,訓練任務通常從一個包含大量信號樣本的數據集Dbase中采樣得來,假設Dbase由NC類信號組成(不包含測試任務中所含有的信號類別),采樣一個C-wayK-shot任務時首先從這NC類信號中隨機選取C類信號(C≤NC),然后從每類信號樣本中隨機采樣K+Nq個樣本,將這K+Nq個信號樣本中的K個樣本作為該任務的訓練數據,Nq個樣本作為該任務的測試數據,通過該方式多次采樣本文所需的訓練任務集。

1.2 MAML算法

(1)

(2)

MAML算法的訓練過程分為外循環與內循環,在內循環中尋找針對每個任務的最優參數θ′i,在外循環中通過基網絡在最優參數下的測試損失更新基網絡的初始參數θ。算法訓練偽代碼如圖1所示。

根據文獻[13]的研究結論可知,MAML算法通過這種特殊的訓練方式為網絡尋找到一個盡可能適應所有任務的初始化參數,使得網絡參數在面對新任務時能夠被更快、更容易地微調,提升網絡快速學習新任務的能力。當訓練結束后,面對未經訓練的新類信號,只需微調一小部分網絡參數就可使網絡快速學習到可用于區分新類信號的關鍵特征。

輸入:任務分布集p(T);學習率:β、γ過程:1.使用隨機值θ初始化基網絡f參數2.while not done do3. 從p(T)中抽取一批任務,即Ti～p(T)4. for all Ti do5. 計算Ti的訓練損失:LTtri(fθ)6. 通過梯度下降得針對任務Ti的最優參數:θ′i=θ-βΔθLTtri(fθ)7. end8. 更新初始化參數:θ←θ-γΔθ∑Ti～p(T)LTtei(fθ′i)9.end輸出:基網絡f的最優初始化參數θ

MAML算法僅在傳統端到端網絡的輸出后增加了由測試集生成的損失函數,其設計結構具備很好的通用性與性能提升潛能。由于算法采用的基網絡僅需負責反向傳播以及輸出預測結果,在訓練過程中不需要增加額外參數,相比其他類型的元學習算法,MAML算法自適應能力更強,更適用于解決極少量樣本條件下的調制識別問題。

2 基于遷移元學習的調制識別算法

針對僅有幾個有標簽信號樣本的調制識別問題,本文在MAML算法的基礎上做了進一步的改進,如圖2所示,本文算法的實現過程分為遷移預訓練階段和元學習階段。首先通過整個訓練集預訓練網絡模型,在元學習階段凍結網絡參數且只保留特征提取部分,并通過設置縮放偏移參數[ψ1,ψ2]將其遷移至小樣本識別任務的學習過程中,在元訓練過程中采用MAML算法的雙層循環訓練策略,將[ψ1,ψ2]以及新分類器的初始化參數θ2作為可學習的元知識進行優化訓練,使得在元測試時基網絡可快速適應新的小樣本識別任務。

圖2 算法流程圖Fig.2 Algorithm flow chart

2.1 算法實現過程

如圖2所示,在遷移預訓練階段,本文通過訓練集內的所有信號樣本優化網絡模型參數,首先隨機初始化特征提取部分和分類器部分的網絡參數θ1和θ2,并通過梯度下降對[θ1;θ2]進行優化訓練,即

(3)

式中:α表示學習率;D表示訓練集;LD([θ1;θ2])表示訓練集識別損失,可表示為

(4)

x表示信號樣本,y表示x對應的信號標簽,本文中l(f[θ1;θ2](x),y)為交叉熵損失函數。

通過訓練集內所有信號樣本預訓練得到網絡模型f[θ1;θ2],元學習過程基于多個信號識別任務進行,由于訓練集與信號識別任務內待識別的信號類別數不相等,如本文中預訓練得到的是10類別(10-way)信號分類器,而元學習過程中需要5類別(5-way)信號分類器,因此在后續的元學習過程中將只保留網絡模型的特征提取部分。在元學習階段凍結特征提取部分網絡參數θ1,并針對信號識別任務設置新的分類器。本文算法所用訓練集與測試集內包含的調制信號樣本來自同一信號數據集,所有信號樣本均服從同一分布,樣本間具備較高的相關性。根據遷移學習思想[7],預訓練所得特征提取網絡不僅可以提取訓練集內信號樣本特征,還可有效實現對測試集內信號樣本的特征提取,但由于預訓練網絡是在整個訓練集上進行的,難以快速適應只有幾個帶標簽信號樣本的識別任務。因此本文算法在元學習階段通過設置可學習的縮放偏移參數[ψ1,ψ2]實現對特征提取部分網絡參數θ1的遷移,具體地,假定網絡參數的權值和偏差分別為W、b,則當輸入為x時,網絡輸出可表示為

f[W;b;ψ{1;2}](x)=(W⊙ψ1)x+(b+ψ2)

(5)

在元訓練前隨機設置分類器的初始參數θ2,ψ1和ψ2的初始值分別設置為1和0,在內循環過程中針對小樣本識別任務T,通過Ttr訓練優化當前基網絡分類器部分的參數,則針對T的最優網絡參數為

(6)

不同于式(3),此處θ2表示新分類器的網絡初始化參數,外循環過程中通過得到的f[θ1;θ′2]網絡測試Tte,并由產生的識別損失優化更新[ψ1,ψ2]以及基網絡分類器的初始化參數θ2,即

(7)

(8)

2.2 網絡結構

本文網絡模型的特征提取部分和分類器分別由卷積層和全連接層構成,其中特征提取部分采樣深層殘差網絡ResNet,ResNet由多級殘差塊組成,每個殘差塊包含3層3×1卷積,通過1×1卷積使得輸入輸出的格式一致,實現跳層連接,最后再級聯一個2×1的最大池化層,殘差結構可避免網絡過深導致的梯度消失問題。如圖4所示,圖4(a)為n級殘差塊結構,圖4(b)為ResNet網絡整體結構。網絡分類器部分采用一層全連接網絡。

輸入:任務分布p(T)以及對應訓練集D;學習率:α、β、γ過程:1.隨機初始化基網絡f特征提取器部分和分類器的網絡參數θ1和θ22.for (x,y) in D do3. 計算損失:LD([θ1;θ2])=1|D|∑(x,y)∈Dl(f[θ1;θ2](x),y)4. 更新網絡參數θ和θ:[θ1;θ2]←[θ1;θ2]-αΔLD([θ1;θ2])5.end6.初始化ψ1值為1,ψ2值為07.根據識別任務設置新分類器并隨機初始化對應參數θ8.while not done do9. 從p(T)中抽取一批任務,即Ti～p(T)10. for all Ti do11. 計算Ti的訓練損失:LTtr(f[θ1;θ2],ψ{1,2})12. 計算針對任務Ti的最優參數: θ′2=θ2-βΔθ2LTtr(f[θ1;θ2],ψ{1,2})13. end14. 更新分類器初始化參數θ2: θ2←θ2-γΔθ2∑T～p(T)LTte(f[θ1;θ′2],ψ{1,2})15. 更新[ψ1,ψ2]:ψi←ψi-γΔψi∑T～p(T)LTte(f[θ1;θ′2],ψ{1,2})16.end輸出:最優初始化參數θ2、[ψ1,ψ2]

圖4 ResNet特征提取網絡Fig.4 ResNet feature extraction network

本文算法設置了兩個可學習的參數[ψ1,ψ2],其結構隨著特征提取網絡參數結構的變化而不同,如圖5所示當特征提取網絡權重參數格式為C×Nk×k1×k2,則對應放縮系數ψ1和平移系數ψ2格式分別為C×Nk×1×1和1×Nk×1×1。相對于一般MAML算法,本文算法在元學習階段只需更新參數[ψ1,ψ2],減少了網絡所需訓練的參數量,降低了算法在小樣本條件下采用深度神經網絡時的訓練難度。

圖5 參數格式Fig.5 Parametric format

3 仿真實驗

3.1 實驗數據集與實驗參數設置

RadioML2018.01是Deepsig提出的調制識別公開數據集,數據集內信號樣本通過從模擬的真實通信環境中采樣得來,隨機采樣下的所有信號樣本獨立同分布[5]。該數據集包含24類調制信號,本節實驗選取信噪比從-10 dB到20 dB的調制信號,信噪比分布間隔為2 dB,通過從每類信號的每個信噪比點的樣本中采樣1 000個樣本構成本節仿真實驗所需數據集,信號數據格式為[1 024,2],表示序列長度為1 024的I、Q路分量。實驗中將數據集內不同類調制信號劃分為訓練集、驗證集以及測試集,3個數據集內所包含信號調制樣本不相交,各個數據集的具體調制樣式如表1所示。在元學習過程中通過從這些數據集中隨機采樣出大量不同的C-wayK-shot識別任務來實現本文算法。

本節實驗采用Python軟件開發平臺下的Pytorch神經網絡架構搭建網絡模型,實驗在Windows 7系統、32 GB內存、配備NVDIA P4000顯卡的服務器上進行。

在預訓練階段通過SGD算法優化網絡參數,初始學習率設置為0.01,訓練迭代100個epoch,每經過20個Epoch,學習率減小為原來的50%,選取驗證識別率最高的模型用于元學習階段。元訓練階段采用Adam優化算法,內循環和外循環學習率分別設置為0.001和0.000 1,選取驗證識別率最高的模型作為最終訓練模型。在元測試階段,通過和采樣訓練任務一樣的方式從測試集中采樣600個測試識別任務來測試網絡模型的識別準確率,將所有測試任務識別準確率的平均值用于表征算法最終的識別性能。在每個識別任務中,每類信號選取15個信號樣本作為測試樣本。

3.2 遷移元學習算法性能分析

3.2.1 不同樣本量下算法性能分析

遷移元學習算法可解決極少量帶標簽信號樣本條件下的調制識別問題,為驗證算法的識別性能,在不同樣本量條件下進行仿真實驗,同時為證明遷移元學習算法的性能優勢,實驗還選取了 3種不同的調制識別算法,分別為CNN[4]、遷移學習(TL)[11]和數據增強(DA)[21],對所有算法在不同樣本量下的性能差異進行對比分析。遷移元學習算法特征提取網絡設置為ResNet網絡,為保證實驗結果的可靠性,根據實驗單一變量原則,所有對比算法所用數據集均為表1所示的測試集,通過采樣該數據集中部分信號樣本訓練3種對比算法的網絡參數,將其余樣本用于測試算法識別性能。本文遷移元學習算法采用表1中數據集進行仿真實驗。當測試信號信噪比為20 dB時,不同算法識別準確率隨每類信號訓練樣本量的變化情況如圖6所示。

分析圖6中變化曲線可知:本文算法要達到最好的識別性能所需的樣本量只有20個,遠遠少于其他對比算法所需的樣本量;當待測信號的訓練樣本量只有幾個時,本文遷移元學習算法的識別性能明顯優于對比算法,如當每類信號訓練樣本量為20時,對比基于CNN、TL、DA的3種調制識別方法,本文算法的識別準確率分別提高了79.66%、72.42%、78.05%。

圖7分別展示了本文算法針對5-way 5-shot和5-way 1-shot測試任務以及3種對比算法的識別準確率隨信噪比的變化曲線,圖7(a)中CNN、TL、DA 3種對比算法所用每類訓練信號樣本量N=50,圖7(b)中N=100。從圖7中可以看出,當對比算法的訓練樣本量N為50個時,相對于其他對比算法,本文算法針對5-way 1-shot和5-way 5-shot測試任務均取得了最優的識別效果;當N=100個時,本文算法在測試信號信噪比大于0 dB時針對5-way 5-shot任務的識別性能依然優于其他對比算法。圖6和圖7中實驗結果表明,本文遷移元學習算法在待測信號只有幾個訓練樣本時仍能取得較高的識別準確率,在所用樣本量遠遠少于其他對比算法時。本文遷移元學習算法可以實現更優的識別性能,主要原因在于本文算法采用元學習策略優化網絡模型,即在訓練階段通過學習大量不同的小樣本識別任務來優化模型網絡參數。通過這種跨任務的訓練方式,使得網絡模型具備了“學會學習”的能力,可以實現對新任務的快速適應。不同于元學習策略,對比算法則是直接學習信號樣本與對應標簽之間的映射關系,訓練完成的網絡能夠直接識別新的待測信號樣本的調制樣式,然而網絡模型要掌握這種能力需要學習大量不同的信號樣本,當訓練樣本量不足時會導致識別性能的下降。從實驗結果中可以看出,本文算法即使在每類信號帶標簽樣本量只有1個時也能保持較高的識別準確率,相對于3種對比算法,本文算法有很大的性能優勢。

圖7 不同算法識別性能變化曲線Fig.7 Variation curves of recognition performances of different algorithms

3.2.2 算法對比消融實驗

為進一步提高網絡模型在帶標簽信號樣本量只有幾個時的識別準確率,在MAML算法的基礎上,本文遷移元學習算法增添了遷移預訓練過程,并在元學習過程中設置可訓練更新的縮放偏移參數[ψ1,ψ2]。為驗證這些改進的有效性,本節在表1的數據集上進行消融實驗,當測試信號信噪比為20 dB時,針對5類調制信號識別任務(5-way)的實驗測試結果如表2所示,其中ConvNet表示5層的卷積神經網絡,且經過遷移預訓練的網絡在元學習階段將凍結特征提取部分的網絡參數。

表2 對比消融實驗結果Table 2 Comparison of ablation results %

從表2中可以看出,本文針對MAML算法的改進都進一步提高了網絡的識別準確率。分析表2中的數據可知,當MAML算法采用層數更深的ResNet作為特征提取網絡時,網絡的識別準確率反而下降了。這是因為MAML算法針對每個識別任務都只有極少量的訓練樣本(見圖8),當采用較深的特征提取網絡,如果直接更新整個網絡參數,則難以訓練網絡收斂,整個元訓練過程中網絡的識別精度和損失都在劇烈波動,網絡無法實現一個較為穩定的學習效果,導致網絡的識別性能顯著下降。

圖8 采用ResNet時MAML算法訓練損失與訓練精度Fig.8 Training loss and accuracy of MAML algorithm with ResNet

通過遷移預訓練過程進一步提升了ResNet網絡對同一分布信號樣本的特征提取能力,緩解了ResNet網絡在元學習階段的學習壓力,元學習過程中凍結特征提取部分的網絡參數,這極大地減少了網絡所需學習更新的網絡參數,降低了網絡訓練的難度(見圖9)。遷移元學習算法在使用更深的ResNet特征提取網絡時,網絡經過60次訓練迭代就能使網絡收斂到最優的狀態。同時在元學習階段凍結特征提取部分網絡參數還能使訓練過程更注重對分類部分網絡參數的學習,強化了分類網絡對提取到信號特征的敏感度。但從表2數據中還可以看出,當ConvNet作為特征提取網絡時,通過遷移預訓練操作沒有提高算法的信號識別準確率。主要原因在于ConvNet網絡層數較淺,特征提取能力有限,無法提取到信號樣本間細致的特征差異。由于ConvNet網絡特征提取能力存在局限性,使得遷移預訓練操作無法有效提升采用ConvNet作為特征提取網絡時的算法識別性能。采用另一方面設置可學習的縮放偏移參數[ψ1,ψ2]遷移特征提取部分的網絡參數,通過元訓練得到最優的[ψ1,ψ2]可幫助特征提取網絡在元測試階段盡快適應新類信號的識別任務,進一步提升網絡的識別性能。

圖9 遷移元學習算法訓練損失與訓練精度Fig.9 Training loss and accuracy of transfer meta-learning algorithm

3.2.3 不同元學習算法性能對比

為進一步驗證遷移元學習算法的性能優勢,本節另外選取5類元學習算法進行對比實驗,包括原型網絡(PN)[16]、關系網絡(RN)[17]、匹配網絡(MN)[18]、孿生網絡(SN)[19]、Meta-learner LSTM[20],將這些元學習算法用于解決本文所提的只有幾個帶標簽信號樣本時的調制識別問題,所有算法都在表3所示數據集上進行仿真實驗,當測試信號信噪比為20 dB時,以上算法在5-way 5-shot和5-way 1-shot識別任務上的測試結果如表3所示,從表3數據中可以看出,相對于其他算法,本文算法取得了更好的識別效果。

本文算法具有明顯的性能優勢,在5-way 5-shot和5-way 1-shot識別任務中都取得了最優的識別效果。在對比的5類元學習算法中,PN、RN、MN、SN都屬于基于度量的元學習算法,該類算法通過多個訓練任務學習一個合適的特征度量空間,當面對新類信號的識別任務時,不需要更新網絡參數,只需將帶標簽信號樣本與待測信號樣本映射到經訓練所得的特征度量空間中,通過某種距離度量函數計算樣本間的距離,尋找最近鄰的類別確定識別結果。

表3 不同元學習算法的性能對比Table 3 Performance comparison of different meta-learning algorithms %

由于樣本量的限制,基于度量的元學習算法很難學習到一個高效率的特征度量空間,對比本文遷移元學習算法,當ResNet作為算法特征提取網絡時,這4類基于度量的元學習算法在5-way 5-shot識別任務上測試識別準確率分別降低了8.61%、7.98%、18.48%、26.18%。

Meta-learner LSTM算法通過訓練一個LSTM元網絡來學習基網絡參數的更新規則,當面對新類信號的識別任務時,在LSTM元網絡指導下可以對網絡參數進行更準確地更新,以快速適應新任務,但該算法中基網絡訓練損失和元網絡參數的梯度都依賴于元網絡的參數,算法計算復雜度較高。當ResNet作為基網絡時,本文算法在5-way 5-shot識別任務上的識別準確率相對于Meta-learner LSTM算法提升了21.14%。本文算法通過遷移預訓練操作降低了訓練ResNet的難度,并通過引入可學習的偏移縮放參數將預訓練所得的ResNet網絡參數遷移至元學習過程中,使得ResNet網絡能夠更快地適應小樣本識別任務,進一步提高了網絡的識別性能,算法識別準確率在5-way 1-shot識別任務上也遠高于其他元學習算法。

4 結論

本文通過遷移預訓練的方式降低MAML算法采用較深的特征提取網絡時的訓練難度,提升網絡對信號特征的提取能力,同時為減少網絡面對新類信號識別任務時所需訓練的參數量,在元學習階段凍結特征提取部分的網絡參數,并通過引入縮放偏移參數將其遷移到對新任務的學習過程中,在元測試階段,網絡從通過元訓練得到的最優初始權重下開始微調分類部分的網絡參數,僅需少量信號樣本就能快速適應新類信號的識別任務,通過對比實驗進一步驗證了本文算法的可行性以及相較其他算法在極少量樣本條件下的性能優勢。