電磁頻譜空間射頻機器學習及其應用綜述

周福輝，張子彤，丁 銳，徐 銘，袁 璐，吳啟暉

（南京航空航天大學電磁頻譜空間認知動態系統工業和信息化部重點實驗室，南京 211106）

引 言

電磁頻譜資源已被世界各國公認為繼海、陸、空、天、網等重要戰略領域的又一國家戰略自然資源，在推動社會經濟發展、國防建設和改善人民生活等方面發揮著越來越重要的作用。然而，隨著通信、雷達、導航、遙感、電抗和測控等各類電磁用頻設備和系統的數量爆炸式增長，電磁頻譜空間環境（圖1）呈現高動態、異常復雜和多系統耦合特性［1］。而且，頻譜資源是一種有限的自然資源，隨著用頻需求的迅猛增長，電磁頻譜空間的資源稀缺問題勢必日益凸顯［2］，進行電磁頻譜空間資源的高效利用迫在眉睫。

圖1 電磁頻譜空間Fig.1 Electromagnetic spectrum space

同時，電磁信號是移動通信的基石，保障其工作信道的暢通無阻是必然需求，而電磁信號不可避免地對臨近信道的雷達、衛星通信的正常工作產生影響。一系列智能應用，如自動駕駛、遠程醫療等，其抗電磁干擾的能力直接關系到民生安全，同時，自身產生的電磁信號也會干擾到其他系統。因此，電磁頻譜空間中的安全隱患勢必大幅增加。為實現電磁頻譜空間資源的高效利用，保障電磁頻譜安全，亟需頻譜智能管控技術。

近年來，機器學習方法被廣泛使用，利用人工智能實現頻譜智能管控勢在必行。深度學習作為機器學習的一個重要分支，在頻譜感知［3］、頻譜預測［4］、目標識別［5］和目標檢測［6］等多方面都發揮著舉足輕重的作用，是目前運用最為廣泛的解決方法。相比于傳統手工設計特征的方法，基于深度學習的方法避免了繁瑣的手工設計過程，能夠自動學習更具有區分力的深度特征，不僅降低了設計難度，同時也保障了算法性能。

然而，傳統深度學習方法是為計算機視覺、自然語言處理領域的問題量身定制的，在面對電磁頻譜空間這一特定背景下的實際問題時，此類深度學習模型取得的效果并不理想。因此，提出射頻機器學習這一概念［7］。射頻機器學習從電磁頻譜空間特性出發，以射頻大數據為基礎，充分利用電磁頻譜領域知識，具有快速、小樣本甚至零樣本、可解釋性和高性能優勢，應用于電磁頻譜空間的認知、決策等方面。

針對傳統深度學習方法的不足，射頻機器學習旨在克服以下3大難題。

（1）傳統深度學習的優秀表現更多地依賴于模型復雜的體系結構和反復實驗的調參經驗，人們無法探知深度學習模型究竟從數據中學到了哪些知識，如何進行最終決策，缺乏完備的數學理論指導和改進深度學習模型的表達能力、訓練能力和泛化能力［8］。因此，射頻機器學習的第1大難題就是如何結合外部知識賦予網絡可解釋性。

（2）深度學習取得巨大成就的同時，人們發現將其應用到實際場景中卻困難重重。高質量標簽數據的獲取首當其沖，目前的深度學習方法需要大量的標簽數據來進行訓練，但是實際應用中數據獲取往往是困難的，這其中既包含國家機密和隱私的問題，也有目標對象本身就稀缺的情況，除此之外，數據標注工作往往需要耗費大量人力、物力，從而嚴重阻礙了深度學習技術在實際場景中的落地［9］。因此，射頻機器學習的第2大難題是如何提升小樣本、零樣本學習能力。

（3）深度學習方法在提高算法性能的同時，往往伴隨著龐大的網絡運算，這也就使得深度學習的方法很難部署在計算資源受限的設備上，因此在一些算力受限的應用場景，比如萬物互聯、車載通信和衛星通信等問題中，頻譜管控目前大多還是使用一些低智能化、低算力消耗的技術完成，這同樣嚴重阻礙了頻譜智能管控的發展［10］。因此，射頻機器學習的第3大難題是針對具體問題設計輕量化的網絡結構，降低網絡復雜度。

1 射頻機器學習國內外研究現狀

本節從物理層、數據鏈路層、網絡層、傳輸層和應用層出發，介紹了射頻機器學習具體應用的最新研究工作，如圖2所示。在物理層，射頻機器學習可以用于調制方式識別、頻譜預測、信道估計、射頻指紋識別和無線接入方式識別等。在數據鏈路層，射頻機器學習可以用于鏈路質量評估和流量預測等。在網絡層，射頻機器學習可以進行路由優化。在傳輸層，射頻機器學習適用于擁塞控制和調度。在應用層，射頻機器學習用于異常檢測。

圖2 射頻機器學習具體應用的最新成果Fig.2 Application of radio frequency machine learning

1.1 物理層

1.1.1 調制方式識別

由于典型的非合作通信系統中使用的調制方式存在差異，因此調制方式識別是信號解調前的一項重要的工作，目的在于對接收機所接收到的信號進行處理，并依據一定的規則對信號的調制方式進行判別，為信號解調或實施干擾等后續工作提供信息。在電磁頻譜空間中，頻譜資源的短缺將導致他人非法使用分配的頻段，而調制識別算法可以幫助頻譜監測系統分析每個頻帶的調制方式，解調監測信號，分析監測信號屬性，最終實現頻譜資源高效管控［11?13］。

傳統的知識驅動調制方式識別算法主要是基于特征提取的統計模式識別方法和基于決策理論的似然比識別方法，其在低信噪比的條件下往往效果較差且人工提取特征計算量大、步驟煩瑣，而隨著計算技術和集成電路的發展，具有深層結構的深度學習可以從原始數據中學習特征，并利用分類器層自動進行分類，這類數據驅動算法雖然大大提高了調制識別的分類精度，但在低信噪比下的分類精度仍沒有實質性提升，并且由于深度學習的黑盒性質還額外帶來了可解釋性問題。針對數據驅動和知識驅動各自的缺陷，一個可行的思路是將二者融合使用，結合雙方優勢，規避各自劣勢。在文獻［14］中，作者對3種自動調制分類的網絡架構性能進行了對比，并指出繼承于專家系統的架構為在射頻機器學習領域中設計新的網絡架構提供了有價值的見解。

最簡單的一種融合思路就是引入通信領域中對于信號數據的處理方式，將手動提取的特征作為機器學習算法的輸入。文獻［15］提出了一種基于相位統計圖以及卷積神經網絡的智能調制識別算法，通過相位統計圖獲得調相信號的特征，以圖片的形式作為神經網絡學習的樣本提取特征從而進行分類。文獻［16］提出了一種基于循環相關熵向量（Cyclic correntropy vector，CCV）和長短時記憶密集連接網絡（Long short?erm memory densely，LSMD）的自動調制識別方法，將接收信號中由知識驅動算法提取的循環相關熵的CCV特征放入數據驅動的LSMD，并利用加性余弦損失來訓練LSMD，以最大化類間特征差異并最小化類內特征變化。文獻［17］在相干接收機中使用二值卷積神經網絡從預處理過的信號環形星座圖中自動提取與調制方式相關的特征，具有功率和時間效率高、性能損失小的特點。文獻［18］通過使用Choi?Williams分布和模糊函數將雷達信號轉換為T?F圖像，然后利用灰度梯度共生矩陣提取預處理后T?F圖像的融合紋理特征并輸入支持向量機，從而實現了低信噪比下低截獲概率雷達輻射源信號的調制方式識別。上述文獻相比純知識驅動或數據驅動的方法，均在低信噪比條件下實現了調制方式識別精度的提升，但比直接以I/Q信號數據作為輸入的數據驅動算法犧牲了一定運行效率。

為進一步提升低信噪比下的識別準確性，文獻［19?22］對數據驅動算法的輸入首先進行了降噪處理。文獻［19］使用平滑偽魏格納?維爾分布（Smoothed pseudo Wigner?Ville distribution，SPWVD）時頻變換獲得不同調制類型跳頻信號的時頻圖像后使用卷積自動編碼器對時頻圖像進行去噪，并將去噪后的圖像發送到卷積神經網絡進行特征提取和分類識別。文獻［20］通過提出的低秩表示算法對原信號進行降噪預處理并獲取信號的循環譜圖，使用稀疏濾波準則對神經網絡進行預訓練后，再通過神經網絡從降噪后的循環譜圖中提取特征來實現自動調制識別。不同于文獻［19?20］對提取的信號特征進行降噪，文獻［21?22］直接將原始信號I/Q數據輸入卷積自編碼器進行降噪與重構，之后分別輸入長短期記憶網絡（Long short?term memory，LSTM）和殘差網絡，自動從低信噪比的無線電信號中提取穩定和魯棒的特征以進行更為精準的調制方式識別。

知識驅動的算法也可以用于調整數據驅動算法的結構。在文獻［23］中，作者提出了一種利用異步幅度直方圖（Asynchronous amplitude histograms，AAHs）訓練的徑向基函數人工神經網絡識別信號調制方式的方法，通過應用期望最大化來利用AAHs的統計特性并選擇徑向基函數的中心向量，取代了K?均值或隨機選擇的中心向量選擇方法，具有更高的時間效率與識別準確性。文獻［24］提出了一種基于神經結構搜索的自動調制識別方法來自動調整深度神經網絡（Deep neural network，DNN）的結構和參數，并在訓練和約束的組合下找到最優結構，提高模型搜索的靈活性，并克服反向傳播過程中不可微量化函數導致的梯度傳播困難。與固定結構的網絡相比，文獻［23?24］提出的方法在低參數和浮點運算條件下具有更高的識別精度。

除了關注調制識別精確度和算法復雜度，學者們對于使用數據與知識雙驅動來減小訓練樣本數量、提高實際通信場景中的適用性也做了大量研究。文獻［25］提出了一種基于多任務學習（Multi?task learning，MTL）的自動調制識別方法，并引入了非白高斯噪聲和同步誤差，通過在不同信噪比條件下訓練具有相同結構的多個彼此共享知識（例如模型權重）的卷積神經網絡（Convolutional neural networks，CNN）模型，使得MTL可以從不同噪聲場景下的數據集中提取一般特征，增強網絡的泛用能力。在沒有大量標記樣本的情況下，文獻［26］將生成對抗網絡（Generative adversarial networks，GAN）模型的特征提取能力與半監督異常檢測方法一類支持向量機（One?class support vector machine，1SVM）相結合，利用GAN模型學習的特征對1SVM進行訓練，取得了優異的調制方式識別性能。文獻［27］提出了一個模塊化的自動調制識別小樣本學習框架MsmcNet，包含I/Q融合模塊、1D信號特征處理模塊和分類器，大量實驗結果表明該框架在小樣本甚至單樣本的條件下都實現了較基準方案更為精確的調制方式識別性能。此外，遷移學習也是解決小樣本挑戰的利器之一，文獻［28?30］均構建了基于遷移學習的半監督自動調制識別方案，對未知信號和信道參數引入的信號形狀變換更具魯棒性，在有限樣本的情況下取得了良好的識別準確性。

在提升可解釋性方面，文獻［31］提出使用概念瓶頸模型進行信號調制識別，作為在基于深度學習的調制識別算法中提供內在決策解釋的手段，在滿足所需識別精度的同時提供了模型可解釋性。文獻［32］首先通過利用不同調制的屬性特征構建了基于殘差網絡的屬性學習模型，其次構建并預訓練了調制識別視覺模型，結合屬性學習模型和視覺模型提出了數據與知識雙驅動的調制方式智能識別方案，在各種信道環境尤其是低信噪比下取得了非常優異的分類精度，同時屬性特征的引入也增強了方案的可解釋性。

1.1.2 頻譜預測

頻譜預測通過挖掘頻譜歷史數據的內在相關性和使用模式，并通過各種算法學習特征，對即將到來的時隙的頻譜占用進行合理預測。以此提前獲得信道使用信息，準確的頻譜預測能減少時間和能源消耗等，提高頻譜決策的準確性，為動態頻譜接入奠定基礎。通過引入知識可以解決純數據驅動的深度學習頻譜預測算法在低信噪比條件下性能差、缺乏網絡可解釋性、對訓練樣本需求量巨大、網絡訓練消耗巨大和計算資源等問題［33?35］。

文獻［36］首先提出了一種通過圖像處理從頻譜圖中準確定位信號的預處理算法，進一步地以一種時頻融合注意力網絡來建模復雜的時頻關系。值得注意的是，作者還以網絡內耦合的方式引入了外部知識，并使用設置加權遷移學習策略，通過有效利用源頻譜和目標頻譜的數據，進一步提高了頻譜預測模型在目標頻譜上的性能。文獻［37］提出了基于自回歸模型與LSTM的數據與知識雙驅動的頻譜預測框架，整體結構根據自回歸結構改造而來，這賦予了網絡可解釋性。相比于傳統自回歸模型中利用最小二乘法進行參數估計，該網絡通過深度學習方法訓練得到優化參數從而得到更精確的參數估計，最后每個網絡單元僅有的兩個可訓練參數能夠加速網絡訓練過程。文獻［38］提出了NN?ResNet頻譜預測模型，首先為了充分利用區域中的傳感器，部署了基于卷積神經網絡和殘差網絡的深度學習預測模型以預測該區域的時空頻譜使用情況，進一步地為降低感知開銷，應用最近鄰插值來恢復未感知區域中的頻譜使用數據，由此借助重建過程進行預測所需的傳感器更少，在傳感器稀疏的情況下保持了較高的預測準確率。

1.1.3 信道估計

無線通信系統的性能很大程度上受到無線信道的影響，如陰影衰落和頻率選擇性衰落等的存在使得發射機和接收機之間的傳播路徑非常復雜。無線信道并不像有線信道固定并可預見，其具有的隨機性對接收機的設計提出了很大挑戰。在正交頻分復用技術（Orthogonal frequency division multiplexing，OFDM）系統的相干檢測中需要對信道進行估計，信道估計的精度將直接影響整個系統的性能。為了能在接收端準確地恢復發射端的發送信號，人們采用各種措施來抵抗多徑效應對傳輸信號的影響，信道估計技術的實現需要知道無線信道的信息，如信道的階數、多普勒頻移和多徑時延或者信道的沖激響應等參數。信道估計是信道對輸入信號影響的一種數學表示，而“好”的信道估計則是使得某種估計誤差最小化的估計算法［39?41］。

文獻［42］通過將現有的迭代檢測算法展開到DNN結構中并在每一層引入兩個輔助參數實現了基于知識驅動深度學習（Deep learning，DL）的大規模多輸入多輸出（Multiple?in multiple?out，MIMO）檢測器，使得檢測器可以用更小的數據集快速訓練。文獻［43］在基于知識驅動DL的MIMO檢測器基礎上，進一步提出了聯合信道估計和信號檢測框架，檢測器考慮了信道估計誤差和信道統計信息，而信道估計由檢測數據細化并考慮了檢測誤差，通過數據與知識雙驅動獲得了顯著的性能增益。文獻［44］提出了將DL與專家知識相結合的OFDM接收機，接收機分為信道估計子模塊和信號檢測子模塊，每個子模塊均為DNN并使用現有的傳統解決方案作為初始化。文獻［45］提出了將DL與共軛梯度算法相結合的基于知識驅動的DL網絡用于MIMO中恒定包絡預編碼。文獻［46］提出了將DL集成到最大對數后驗概率算法中的TurboNet用于Turbo譯碼。

1.1.4 射頻指紋識別

隨著無線通信技術的不斷發現，保障無線網絡的安全也變得愈發重要。由于設備內部元件在生產制造和使用過程中存在著難以預知的損耗，同一制造商生產的同一批次設備也存在微小且穩定的差異，這一獨特的差異稱為射頻指紋。因此，獨具穩定性和唯一性的射頻指紋可以對設備身份進行有效的識別，提升物理層的無線網絡安全［47?49］。

目前為止，部分國內外學者利用收發器獨特的物理層特性實現對射頻指紋的識別。文獻［50］利用設備中信號的載波頻率偏移（Carrier frequency offset，CFO）的平均值相對穩定這一特性，提出了一種根據CFO值校準CNN輸出的混合分類器。文獻［51］利用輸入信號的相位和頻率偏移量作為知識，結合數據驅動的深度學習方法達到訓練網絡的目的，提升了低信噪比下分類性能。

此外，還可以利用其他輔助知識來提升識別精度。文獻［52］提出了一種基于噪聲模型輔助CNN的射頻指紋識別方法，以增強物理層安全。其中噪聲模型對接收信號進行處理以消除原始數據的影響，只留下包含設備獨特特性的噪聲部分。文獻［53］融合了三維希爾伯特譜和雙譜這兩種特征，提出了基于深度學習的多特征融合的射頻指紋識別模型，提升了模型識別的精度。

通常的射頻識別系統具有海量數據流的特點，在實際應用場景中，不僅需要大量的手工工作來收集相關數據樣本并標記數據，而且還可能隨著項目的進展而出現新的數據類別，大量標簽樣本的收集難以甚至完全無法實現。文獻［54］提出了一種基于可變形卷積網絡的射頻指紋識別方法，使卷積運算更偏向于能量較高的特征圖中有用的信息內容而忽略部分背景噪聲信息，并利用分布式聯邦學習系統解決了多方聯合訓練模型在不交換原始樣本數據的情況下局部訓練樣本數量不足的問題，無需訓練序列和導頻且信息量小，實現了較高的能源效率和頻譜效率。文獻［55］將半監督學習引入射頻指紋識別，提出了一種基于雙譜特征提取的自分類GAN，利用信號的雙譜估計作為發射器的特征表示，將標簽信息嵌入到隱藏層中以指導GAN的訓練，在多種場景下都具有良好的半監督分類性能。

1.1.5 無線接入方式識別

由于頻譜資源有限，相互競爭的無線技術受到不同程度的干擾，多種無線技術共存是未來通信系統的趨勢。智能認知無線電系統需要正確的頻譜可用性評估和在訪問許可頻帶之前的態勢感知。在異構共存網絡中，隨著干擾概率的增加，對操作特定頻段的無線技術的識別為認知節點提供了潛在干擾的估計，無線接入方式分類對于實現高效的頻譜共享和干擾管理至關重要?，F有的基于深度學習的方法可以通過直接捕獲輸入數據的特征對其進行低精度的分類，但因為輸入數據類型的不確定、噪聲干擾等因素的存在使得分類的準確度偏低［56?58］。

文獻［59］關注輕量化網絡，基于信號存在多尺度特征的事實，提出了一種多尺度卷積神經網絡框架用于無線接入方式識別，具有更優的分類性能和更快的收斂速度。文獻［60］考慮了多個可區分的物理層設置，根據原始I/Q測量值對傳輸設置如帶寬、載波頻率和接收信號強度（Receiving signal strength indicator，RSSI）進行估計，實現了符號級提取方案以提取調制設置的獨特特征并應用于機器學習中以識別接收到的無線技術類型。與原始I/Q測量值相比極大簡化了提取的特征，因此可以使用簡單的結構設計機器學習分類器如多層感知機，從而面向物聯網節點快速部署。文獻［61］面向小樣本場景，作者提出了一種使用深度自編碼器的無線接入方式識別算法，利用軟件定義無線電來構建I/Q樣本的大型未標記數據集，但只需要對其中少數樣本進行標記即可開始學習過程，最大限度地減少手工標記頻譜數據的需要，且該方法只需要原始I/Q樣本，因此可以很容易地從低成本的傳感設備中獲取。文獻［62］面向開放集識別的難題，提出了一種基于CountGAN架構的多任務學習體系結構，用于識別已知和未知的無線信號類型，其中多任務架構的引入能夠捕獲信號的調制域信息從而改進單個無線信號的表示，使用度量學習中的圓損失和極值理論進一步增強了模型的魯棒性和對開放集場景的適應性。

1.2 數據鏈路層

1.2.1 流量預測

流量預測是將歷史流量數據輸入到非線性模型中來預測當前或者未來的網絡流量，可以反映出網絡某一時刻或者某一段時間內網絡業務的使用情況。通過流量預測模型提前了解流量的變化趨勢，會大大提升網絡資源分配調度的效率，從而提升整個網絡資源的可利用率。無線網絡流量的歷史數據是高度非線性和復雜的，因此數據點在空間上相互關聯，時間上相互依賴。然而，在一個連續空間中，時空特征的動態變化是突然的。射頻機器學習通過將通信領域知識融合在原有的時空特征來提升流量預測準確性［63?65］。

文獻［66］在捕捉隱藏在數據間復雜時空相關性的同時，充分利用影響蜂窩數據業務生成的各種因素（空間、時間和社會活動水平），提出了一種基于遷移學習的新型深度神經網絡架構STCNet，實現有限樣本下的流量預測。雖然上述遷移學習解決了數據有限的問題，但是仍舊需要從類似場景中學習和遷移信息，短時間內對用戶的流量水平進行預測仍然具有挑戰性。面對上述存在的問題，文獻［67］提出了一種基于元學習的反饋模型，該模型包含一個主策略和一組預測器，其中每個預測器都經過了優化，用以預測特定類型的流量。然后，主策略通過每個預測器反饋的預測精度來動態選擇最合適的預測器。文獻［68］將網絡流量問題建模為馬爾可夫決策過程，然后通過蒙特卡羅Q學習預測網絡流量。值得注意的是，為了解決實時性要求，作者提出了一種基于殘差的字典學習算法來降低該算法的計算復雜度。

此外，文獻［69］利用無線流量中特殊事件發生觸動流量變化的可預測因果關系，提出了基于相關性和因果性的預測框架，該框架集成了時空流量信息和其他維度信息的兩類預測，利用不同層次信息間的互補優勢來最大程度地提升預測精度。

1.2.2 鏈路質量評估

在無線通信環境中，信道條件會隨著時間和空間的變化發生顯著的變化，進而會影響無線鏈路的質量。建立有效的鏈路質量評估模型不但能夠客觀地評價鏈路質量、鏈路的穩定性和敏捷性，還可以結合路由對數據傳輸提供保障。具體來說，鏈路質量越好，接收信號成功的比例就越高，故而，通信就越發可靠。除此之外，鏈路質量的有效預測可提供巨大的性能回報，如減少數據包丟失而提高網絡吞吐量，受限的路由重新發現等［70?71］。

文獻［72］將不同物理層參數承載的鏈路質量信息通過輕量級加權歐幾里得距離進行融合，利用融合后的參數與包接受率的映射模型實現鏈路質量的定量估計。文獻［73］利用實時流量值和鏈路信息來評估鏈路質量，提出了一種基于流量感知和鏈路質量的路由協議，在數據包交付率和平均傳輸延遲方面實現了顯著的性能提升。文獻［74］根據無線鏈路的特性采用小波去噪法將信噪比時間序列分解為確定性部分和隨機部分，通過兩個LSTM預測確定性部分和隨機部分的方差，計算置信區間邊界，用于判斷鏈路質量是否適合下一次傳輸。

1.3 網絡層

路由的目的是選擇合適的路徑將信息從發射機傳遞到接收機。為了使信息可以更快、更高效地傳輸到目的地，一般根據流量需求對路由進行優化。路由優化指的是以最有效和最高效的方式優化流量的路由路徑?，F有的部分路由優化方法是遵循網絡中固定數量的路由器進行的。一旦部分路由器發生故障或者手動修改拓撲結構，現有的路由優化算法可能就無法正確地做出路由選擇。射頻機器學習為這些情況提供可能。將通信領域知識引入路由優化，可以在動態變化的無線通信環境中自適應地生成最優模型［75?77］。

文獻［78］利用鏈路可靠性和其他傳統路由指標來設計路由算法，通過斯費勒?萊曼核和雙卷積神經網絡（Weisfeiler?Lehman kernel and dual convolutional neural network，WL?DCNN）模型引入相似度矩陣和拉普拉斯譜來提取和標記目標鏈接生成的子圖，提升了拓撲特征挖掘的自學習能力，為深度學習模型構建主要輸入和輔助輸入。實驗結果表明，該模型在保持較高能量效率的同時有效提高了傳感器網絡的彈性。文獻［79］利用物理層信干噪比這一概念，使用強化學習對路由進行有效優化。其中，單個智能體與每個流相關聯，通過基于相鄰節點的地理位置信息智能地做出聯合路由和頻譜分配決策來避免干擾。

此外，面對地面用戶與基站沒有可靠直接連接的情況，多跳無人機網絡可以作為數據中繼。文獻［80］研究了多跳無人機中繼網絡中的分組路由問題，提出了新型聯合訓練機制，即無人機自己內部和無人機間的訓練，解決了智能體動作空間大這一難題，從而最小化數據包傳輸時間，降低網絡擁塞概率。

1.4 傳輸層

1.4.1 擁塞控制

現實生活中，設備的處理和轉發能力都是有限的。當所有網絡參與者發送數據過快或者信道質量較差時，擁塞就會發生。而擁塞導致的排隊和丟包導致的超時都會大大降低傳輸速率。網絡擁塞控制主要解決網絡傳輸需求和網絡傳輸能力不匹配引起的擁塞問題。當擁塞發生時減少發送速率或者提前對帶寬進行分配，可以在一定程度上滿足低延時的要求［81?83］。

文獻［84］考慮了影響鏈路擁塞的當前流路由信息，采用改進后的Q學習算法進行擁塞控制。實驗結果表明該模型可以實現更高的鏈路利用率和更低的擁塞水平。然而，由于Q表的存儲容量有限，Q學習算法可能適用于狀態有限的場景，這無法適用于網絡中的潛在變化。文獻［85］提出了一種新的基于共享瓶頸的擁塞控制模型，其利用顯式擁塞通知機制來檢測子流之間的共享瓶頸。值得注意的是，為了在保持瓶頸公平性的同時提供負載平衡，提出了耦合擁塞控制算法來估計每個子流的擁塞程度，并利用它來動態地控制擁塞窗口。文獻［86］利用多智能體強化學習提出了一種分布式學習方法，以適應多變的環境并實現高效的擁塞控制。值得注意的是，每個智能體的網絡中都引入了兩層注意力機制，一層注意力機制會獲取其他鏈路的狀態，另一層注意力機制在不犧牲整體性能的情況下充分挖掘每個鏈路的傳輸潛力。文獻［87］將無線接入網（Radio access network，RAN）信息引入基于深度強化學習的擁塞控制中，這會有助于智能體直接了解潛在的瓶頸信息。同時，智能體會據此來采取行動防止RAN中的擁塞，從而提高網絡利用率。

1.4.2 調度

為了加快任務的處理速度，資源調度器將作業劃分為多個任務。然后，調度器將每個任務分配到某個計算資源上運行。因此，任務調度就是如何根據計算資源的負載狀態和任務的計算需求合理地將任務分配給計算資源，目標是確保負載平衡并提高計算資源的利用率［88?89］。

文獻［90］將優化功率分配的專家知識和深度人工神經網絡相結合，以解決無單元大規模MIMO通信系統中的接入點調度問題串行帶寬受限的前傳架構。然而，傳統純數據驅動的優化算法會存在收斂速度慢的問題。文獻［91］提出了基于強化學習的云資源調度方案，并在強化學習中引入模仿學習來減少最優策略的訓練時間。文獻［92］設計了一種基于自適應深度強化學習的任務調度框架，用于高效節能的云計算。其中，作者構建了一個自動生成網絡，其可以根據不斷變化的工作量動態調整深度強化學習的折扣因子，以實現加速學習速度的目的。文獻［93］考慮到有限的計算和通信資源，通過深度Q網絡算法對任務卸載、無線信道分配和圖像壓縮率選擇進行聯合決策，以獲得較高的平均識別精度和較低的平均處理延遲。值得注意的是，作者將神經網絡算法作為底層算法融合到深度Q網絡算法中，以減少模型維數災難，加快收斂速度。文獻［94］提出了一種知識驅動的云端多目標工作流調度算法。一方面，該算法利用工作流的結構知識將大規模決策轉化為一系列小規模分組策略，以加快收斂速度；另一方面，該算法挖掘工作流任務和云資源的知識，估計目標空間歸一化的理想點和最低點，保持多目標工作流調度的多樣性。

此外，部分優化算法還會存在搜索空間冗余的難點。文獻［95］研究了一種基于知識的自適應離散優化框架，在最小化工作流程成本的同時將其執行時間保持在預定的期限中。值得注意的是，作者將每小時成本中的空閑時間知識重構自適應控制搜索步長的離散傳播算子，以在巨大的搜索空間中高效地搜索有希望的區域，將任務分配方案相應資源的優秀塊結構作為知識，以強化局部區域并加速收斂。文獻［96］提出了一種基于深度強化學習的表示模型，以適應節點和任務的動態變化，解決深度強化學習中由于海量數據引起的維度災難的難點，而后利用降維后的向量表示進行調度決策。

1.5 應用層

近年來，隨著通信技術的迅速發展，各類無線電設備不斷涌現，通信系統中的信號成分也越來越復雜。如果將包含已知授權用頻設備發出的正常頻點信號以及相應的背景噪聲的特定電磁空間定義為正常狀態的電磁空間，則當發生未授權設備入侵、用頻設備互相干擾等導致電磁空間遭到破壞的異常情況時，應視為電磁空間的異常狀態。異常情況的發生使得通信系統的安全可靠性大大降低。由于異常情況難以避免，因此在電磁頻譜監測領域內，異常信號檢測技術至關重要。隨著深度學習在通信領域的應用范圍越來越廣泛，依據射頻信號特性和領域知識為異常信號檢測任務定制相適應結構的深度學習模型也是題中應有之義［97?99］。

文獻［100］基于預測誤差的方法，將LSTM網絡和高斯混合模型相結合實現了實時異常檢測算法。文獻［101］基于重構誤差的方法，將自編碼器結構引入生成對抗網絡中，生成信號時頻圖的重構圖像，根據生成對抗網絡判別器的損失值和重構誤差判斷輸入信號是否為異常信號。文獻［102］同樣基于重構誤差，將LSTM和CNN分別作為編碼和解碼網絡，并引入生成對抗思想，結合半監督和無監督學習方式對輸入信號的功率譜密度圖進行重構并根據重構誤差檢測異常信號。文獻［103］提出了用歸一化修正條件轉移熵作為識別時間序列因果關系的度量并構建因果網絡，使用具有特征注意力機制的多元LSTM對遙測數據進行建模、預測以及異常檢測，與傳統的基于預測模型的異常檢測方法相比，該方法可以用于研究多變量和大規模遙測數據中的因果關系，模型預測對異常信號更敏感。文獻［104］研究了一種基于元學習的跨頻帶頻譜異常檢測方法，通過使用InceptionV 3的預訓練模型來分析不同頻帶數據以獲取不同頻帶之間的差異，之后構建元學習數據集并通過元學習訓練模型找到模型參數的最優分布，最后使用少量目標頻段數據微調模型以檢測目標頻譜中的異常信號。

2 射頻機器學習框架

根據數據驅動與知識驅動的不同作用機理，將現有射頻機器學習方法總結為4大框架：串行雙驅動框架、并行雙驅動框架、耦合雙驅動框架和反饋雙驅動框架。接下來對4種框架分別進行詳細介紹。

2.1 串行雙驅動框架

在基于數據和知識串行雙驅動框架中（圖3），設數據輸入為X，模型輸出為Y，將數據驅動建模為g(X)，知識驅動建模為f(X)，因此基于數據與知識串行雙驅動框架可以表示為

圖3 基于數據與知識串行雙驅動框架Fig.3 Data?and?knowledge serial dual?driven framework

具體來說，數據和知識串行雙驅動方法能夠更詳盡地表征目標對象，知識驅動的方法對數據驅動的結果做進一步修改提高。在提升整體性能的同時，知識的引入能夠降低純數據驅動方法對大量樣本的依賴，另一方面，數據驅動的修正能夠降低知識驅動方法中精確建模的壓力。文獻［105］將LSTM的強非線性擬合能力和差分整合移動平均自回歸（Autoregressive integrated moving average，ARIMA）模型的線性擬合能力相結合，構建了LSTM?ARIMA預測模型，利用ARIMA模型對LSTM的預測誤差建模，最后，將兩者的輸出結果相加得到最終的預測結果。文獻［44］將信號接收機劃分為信道估計子網和信號檢測子網，每個子網絡為一個深度神經網絡結構，且首先通過模型方法進行初始估計，接著通過數據驅動的雙向LSTM進行精估計。文獻［106］首先通過傳統數據驅動方法，多次預測得到初步圖像分類結果，接著根據多標簽分類結果構建知識子圖，將場景相關性和語義相關性作為分類標準，輔助圖像識別，提升模型的精確度。

2.2 并行雙驅動框架

在基于數據和知識并行雙驅動框架中（圖4），設數據輸入為X，模型輸出為Y，將數據驅動建模為g(X)，知識驅動建模為f(X)，融合模塊建模為h(X1，X2)，因此基于數據與知識并行雙驅動框架可以表示為

圖4 基于數據與知識并行雙驅動框架Fig.4 Data?and?knowledge parallel dual?driven framework

具體來說，數據驅動方法和知識驅動方法并行工作，數據驅動方法和知識驅動方法各自存在不足，因此，可以通過二者之間的比較或融合以實現性能的提升。當兩者的輸出屬于不同類型數據時，可以通過一個控制模塊對數據類型進行轉換。這種集成方法有助于提高模型可靠性和模型完整性，但是整體運行時間通常依賴于知識驅動的方法。文獻［32］將語義屬性知識作為新的數據源，構建屬性學習模型，將屬性學習結果與數據驅動的視覺模型輸出結果相結合，顯著提升了低信噪比下的性能。由于LSTM的預測結果普遍偏低，ARIMA結果普遍偏高，基于這一先驗知識，文獻［107］提出了一種LSTM和ARIMA組合預測模型，通過Critic方法將兩個模塊的輸出結果融合，以實現性能提升。

文獻［69］基于預測結果的相關性和因果性提出了數據驅動的深度學習方法和知識驅動的ARIMA并行的預測方法，兩者動態互補，實現了預測精度的提升。此外，作者還設計了一種輕量化網絡結構降低了運算復雜度。

文獻［66］利用多種不同領域的數據作為神經網絡的輸入，提取數據之間的復雜時空相關性，最后采用拼接的方式融合多通道輸出。文獻［108］針對小樣本和零樣本學習問題提出了一種深度視覺語義嵌入模型，視覺模型和語義學習模型分別提取出原始數據的視覺特征和語義特征，針對這兩種不同類型的數據特征，設計一個轉換模型將其映射到同一個特征域，最終通過最小二乘嵌入損失函數來量化兩者之間的誤差，實現語義知識與原始視覺數據的融合。

2.3 耦合雙驅動框架

在基于數據和知識耦合雙驅動框架（圖5）中，設數據輸入為X，模型輸出為Y，將數據驅動建模為g(X)，知識驅動建模為f(X)，因此基于數據與知識耦合雙驅動框架可以表示為

圖5 基于數據與知識耦合雙驅動框架Fig.5 Data?and?knowledge coupled dual?driven framework

具體來說，數據驅動方法作為內部模塊嵌入知識驅動方法中，用于復雜元素替換或模型參數校準。相比于純知識驅動的方法，這種集成方法能夠降低精確建模的壓力，因為數據驅動的方法能夠通過端到端的訓練方法自動訓練得到最合適的模型參數。相比于黑盒子結構的純數據驅動方法，模型結構賦予了網絡可解釋性，同時能夠降低對數據量的依賴，提升整體設計的靈活性。以知識驅動的深度學習為代表性案例，文獻［37］將自回歸模型的迭代過程展開成深度網絡的層級結構，在展開的網絡結果中人為加入若干可學習參數，通過深度學習的訓練方法優化這些參數和不同步長的權重，不僅大大改善了傳統深度學習方法訓練參數量大、實時性差的缺點，而且顯著提升了預測準確度。文獻［42］中迭代檢測算法被展開為DNN結構，這樣將檢測任務嵌入深度學習網絡中，同時在每一層都引入額外的可學習參數以消除多用戶之間的干擾。文獻［45］中，共軛梯度算法被展開為多層深度網絡，該網絡通過無監督學習來獲取搜索步長，并調整搜索方向。類似地，文獻［109］將迭代算法展開為深度網絡，設計出了用于有限字母預編碼的大規模多輸入多輸出網絡。

除了上述知識驅動的深度學習這一典型耦合雙驅動方法之外，還有許多其他耦合方法，將知識巧妙地嵌入數據驅動框架中。文獻［110］針對移動目標檢測問題，利用牛頓定律這一公認的結構化物理知識生成標簽數據，避免了深度學習難以獲取大量高質量標簽數據的問題。雖然本文是基于移動目標做勻速運動這一假設進行實驗的，但是其思想依舊具有指導性意義。文獻［111］設計了一個知識驅動的深度神經網絡，將文本語義信息和知識圖譜分別通過嵌入式學習表示為向量，將語義表示與知識表示相結合構成多通道多維數據，利用深度學習方法實現了用戶興趣預測。類似地，文獻［112］通過現有大型知識圖譜，根據感興趣內容提取出知識子圖，利用知識表示、語義表示和鄰近實體表示構建多通道數據，輸入數據驅動的循環神經網絡，實現股票趨勢預測。文獻［84］提出了一種改進的Q學習方法，每個Q訓練周期中都增加了新的擁堵判斷，從而對鏈路帶寬進行了進一步約束。將改進的Q學習方法代入狀態/動作/獎勵/狀態/動作（State?action?reward?state?action，SARSA）算法中，既可以提高鏈路的利用率，又避免了網絡擁塞的情況。文獻［113］提出將基于翻譯模型的結構化實體表示和基于圖像的實體圖像表示相結合，選擇性地突出與實體表示更相關的圖像表示，三元組實體與圖像的結合實現了更好的知識表示學習。

多任務學習作為一種融合多域知識的學習方法，通過遷移相似但是不同領域的知識，旨在提升多任務性能的同時降低深度學習對各個任務數據量的要求。文獻［114］利用不同調制類型的信號對I/Q和A/P信號敏感度不一致的特點，將調制分類和高低信噪比分類兩個不同任務一起學習，顯著提升了分類性能。

2.4 反饋雙驅動框架

在基于數據和知識反饋雙驅動框架（圖6）中，設數據輸入為X，模型輸出為Y，將數據驅動建模為g(X)，知識驅動建模為f(X)，因此基于數據與知識反饋雙驅動框架可以表示為

圖6 基于數據與知識反饋雙驅動框架Fig.6 Data?and?knowledge feedback dual?driven framework

具體來說，當輸入數據和輸出數據為同類型數據時，通?？梢酝ㄟ^輸出來指導輸入數據，從而彌補輸入數據質量低下的問題。

文獻［115］針對圖像的細節恢復和偽影去除兩個問題，分別構建知識驅動的先驗表達過程與數據驅動的深度預測過程，實現了領域知識與深度信息的充分融合。交替迭代的求解機制保證中間結果被及時修正，進一步引導解序列沿著理想的傳播方向逼近目標解。在文獻［116］中，作者利用TransR、TransE等知識圖譜表征算法，通過從知識圖譜中挖掘推理規則，提出了一種有效的語義校正算法，在接收端檢測信息的語義合理行，當出現語義錯誤時，反饋到發送端進行重傳，顯著提高了語義通信系統的魯棒性。文獻［67］提出了一種反饋式預測器，這種方案不需要預訓練模型，直接將預測結果反饋給當前的預測器進行狀態更新，通過迭代訓練得到最優解。

但是，在針對具體任務時，難以找到合適的互補任務，因此，反饋雙驅動方法存在一定的應用局限性。

3 關鍵挑戰和開放性問題

近幾年來，國內外學者已經開始進行射頻機器學習的基礎性研究，但是，現有的研究還存在大量局限性，未來的射頻機器學習應考慮以下關鍵挑戰和開放性問題。

3.1 樣本質量

電磁頻譜空間中可以獲得大規模的樣本，但是樣本本身的質量層次不齊，導致樣本標注是一項費時費力又難以保證準確性的工作。如果標注的樣本質量較低會使得研究結果受低質量數據的影響或損害。此外，現有的大部分數據集是私有的，這使得比較不同模型性能變得困難，同時也難以創新原有的射頻機器學習模型。因此，其中一個關鍵性挑戰是制定標準的數據集和評估指標。

3.2 知識的表征與高效利用

知識的利用在電磁頻譜管控中是十分重要的，然而知識具有多種表征方式，例如文本描述、仿真結果、知識圖譜、科學公式和邏輯規則等，如何將這些知識應用于射頻機器學習是一個值得思考的問題。部分知識能夠以公式的形式引入射頻機器學習，例如可以將違反先驗知識的方程引入損失函數中，加快模型的收斂速度。部分知識能夠以仿真結果的形式引入射頻機器學習，仿真結果作為訓練數據的一部分，增加了原始訓練數據集的大小，提升了模型性能。更多的知識表示方式難以直接引入射頻機器學習，需要根據不同的電磁頻譜任務設計特定的知識表征和引入方式。

3.3 輕量化網絡結構

現有的射頻機器學習算法依賴于大規模計算設備，其表現在訓練和測試階段需要大存儲量、高計算量的硬件平臺的支持。然而，現實生活中的通信設備都是資源有限的平臺，難以實現現有的高復雜度的射頻機器學習算法的順利部署，如手機、公共場所攝像頭和無人駕駛汽車等。具體來說，高復雜度的射頻機器學習模型會帶來弊端：（1）調用一個較復雜的模型時，模型加載所占用的內存空間較大，剩下的內存可能不足以支撐設備運行致使設備死機；（2）模型較復雜會導致計算量暴增，向手機、無人機等設備所含的芯片無法承載過大的計算量。

3.4 穩健性能

由于無線傳播的性質，將目標射頻信號輸入DNN之前的預處理步驟與射頻機器學習的穩健性有著密切的關系。無線通信通常對傳輸中的擾動非常敏感，其中人為惡意攻擊是射頻機器學習需要解決的首要問題。一方面，最近DNN脆弱性問題的爆發很大程度上歸功于快速梯度符號法（Fast gradient sign attack，FGSM），FGSM與其衍生的相關攻擊證明DNN容易受到無法察覺的疊加式干擾而導致誤分類，這些干擾的實現只需要一個反向傳播，計算量低實時性高；另一方面，隨著DNN規模日益龐大，外包機器學習服務逐漸流行，由幾個大型云計算提供商提供，然而同時也帶來了安全隱患，因為用戶可能得到被后門攻擊感染的DNN模型，后門可以是在訓練過程中植入（通過將模型訓練過程外包給惡意或不安全的第3方），或者是由第3方在訓練之后添加。最新的研究表明，公開數據集也可能存在后門傳播風險，例如惡意用戶在數據集中植入后門攻擊并在公開平臺二次傳播，這種經過“設計”的數據集會使攻擊者能夠操控用戶正常訓練的網絡模型。因此，射頻機器學習的一個關鍵挑戰是應對包括惡意攻擊在內的干擾穩健性。

3.5 高動態復雜電磁頻譜環境

現有的大多數射頻機器學習方法仍然在模擬或者預定的環境中進行評估，而這些模擬或者預定的環境不能充分替代真實的高動態的無線通信環境。具體來說，隨著無線信道的快速時變，網絡拓撲的動態變化等因素會導致無線通信環境和通信任務快速變化。面對新的無線通信環境和新的通信任務，一方面，射頻機器學習無法保證原有的網絡結構可以在新環境中取得最優的性能，另一方面，射頻機器學習需要重新訓練網絡參數，導致時效性難以保證。除此之外，在實際通信環境中會存在應急通信、突發通信等情況。射頻機器學習如何處理這種突發狀況也是一個亟待解決的難題。

3.6 通信領域獨有的神經網絡架構

基于射頻機器學習的神經網絡架構對于電磁頻譜管控是有效的，例如調制方式識別、信道估計和射頻指紋識別等。然而，這些神經網絡架構仍然存在些許不足：一方面，基于深度神經網絡架構的射頻機器學習算法在提升性能的同時往往伴隨著模型復雜度的增加；另一方面，基于強化學習網絡架構的射頻機器學習算法會面臨動作空間大、模型難以收斂的難題。因此，設計通信領域獨有的神經網絡架構對于射頻機器學習的應用至關重要。

4 結束語

本文對射頻機器學習在無線通信系統的具體應用進行了詳細的總結，并從物理層、數據鏈路層、網絡層、傳輸層和應用層這5個層次出發對已有的算法進行歸類分析。根據現有射頻機器學習在無線通信中的應用，本文利用數據驅動和知識驅動的相互作用機理總結了4種數據和知識雙驅動的射頻機器學習框架。最后，根據現有研究問題提出了關鍵挑戰和開放性問題。