基于RL-LSTM 的空中目標意圖識別方法*

張鵬程，張 勇，李建國，張鵬飛，魏 鑫

（北方自動控制技術研究所，太原 030006）

0 引言

敵方空中目標作戰意圖識別是目前態勢估計領域研究的熱點［1］，準確的識別結果是奪取制空勝利的重要支撐，同時可以為我方指揮員防空作戰指揮提供有力支撐［2-3］?，F代戰場復雜多變，目標狀態會呈現出動態、時序變化特征；同時，敵我雙方為了隱蔽作戰企圖，通常會釋放一些欺騙和虛假信息，存在著隱蔽性、欺騙性等很多不確定因素［4-5］，因此，僅憑指揮員經驗來推測目標作戰意圖顯然不夠科學。這就迫切需要一種科學、高效、準確的智能化方法來輔助指揮員進行決策，以縮短決策時間，提升決策質量。

目前圍繞目標作戰意圖識別問題的研究方法主要有模板匹配、證據理論、貝葉斯網絡、神經網絡等。文獻［6-7］依據領域專家的軍事知識構建模板庫，從敵方目標作戰行動中提取特征，通過推理特征與模板庫的匹配程度確定目標作戰意圖，但沒有考慮意圖的隱蔽性和欺騙性。孫越林等建立高維空間相似度模型［8］，結合D-S 證據理論（dempster-shafer evidence theory）進行目標作戰意圖識別，但使用證據理論可能會導致龐大的計算量。文獻［9-10］依據領域專家知識構建貝葉斯網絡，但需要大量領域專家先驗知識對意圖識別特征權重、先驗概率等進行量化，而現代戰場的復雜性使專家較難在短時間掌握目標的全面信息。

針對以上問題，部分專家探索利用神經網絡自適應和自學習的能力來進行目標意圖識別。賈蘇元等從訓練特征數據中提取識別規則，并將識別規則記憶在網絡權值中以便后期意圖識別預測［11］，但由于隱藏層數較淺，難以表達復雜度高的問題。錢釗等利用長短時記憶神經網絡對生成樣本集進行學習來形成敵方空中目標作戰意圖識別模型［12］，但沒有用優化器進行優化，導致收斂速度較慢。劉鉆東等采用自適應矩估計（Adam）優化算法對長短時記憶（LSTM）網絡優化后進行訓練［13］，但模型訓練初期Adam 自適應學習率的方差會比較大，導致識別準確率較低。

鑒于此，本文采用RAdam 來減少Lookahead 的訓練方差，實現準確識別；同時利用改進后的Lookahead 算法來加速3 層LSTM 模型收斂，實現快速識別。將空中目標屬性特征、意圖模式與對應的標簽輸入到RL-LSTM 模型中進行訓練并調整節點權值，模型在訓練過程中反復運行迭代后，可應用于空中目標作戰意圖識別。

1 空中目標作戰意圖識別問題

空中目標作戰意圖識別是指在動態環境下，將戰場信息分析、軍事知識以及作戰基礎相結合，來識別敵方作戰意圖。目標作戰意圖是敵方作戰人員思維模式的體現，無法進行直接觀測，為了實現這些作戰意圖，敵方目標在高度、速度等數據特征上符合某種特定規律，因此，可以訓練模型識別這些規律，就可以將敵方目標運動狀態數據輸入模型對意圖進行識別。

空中目標作戰意圖識別流程如圖1 所示。本文用仿真系統生成數據并打標簽，構成樣本數據集，進行預處理后劃分訓練集和測試集，用訓練集訓練RL-LSTM 模型，并用測試集驗證其性能，經過反復試驗得到訓練好的網絡模型，即可應用于實際戰場環境用來識別敵方作戰意圖。

圖1 空中目標作戰意圖識別流程Fig.1 Air target operation intention recognition process

1.1 作戰意圖空間描述

對于敵方目標作戰意圖的識別，需針對不同的作戰場景、作戰樣式以及敵方可能擔負的作戰任務，來定義目標的作戰意圖集。文獻［14］根據海上防空的特點，將敵方空中目標的可選意圖空間確定為{撤退、掩護、攻擊、偵察}；文獻［15］以敵方空中目標近岸空襲軍事建筑為研究背景，建立的敵方空中目標意圖空間為{攻擊、突防、偵察、佯攻、電子干擾、監視、撤退}；本文以防空作戰中敵方空中目標作為研究對象，依據領域專家經驗將目標可能的作戰意圖定義為{攻擊、佯攻、預警、突防、電子干擾、撤退、偵察}7 類。

1.2 意圖識別特征描述

作戰意圖通常會在目標執行特定作戰任務時，通過某些特征信息表現出來。例如低空突防時目標對應高度為50～100m、高空突防時為6 500～8000 m；低空偵察時對應高度為100～1 000 m、超高空偵察時為15 000 m 以上；敵機在執行預警任務時會開啟雷達，而撤退時則通常會關閉雷達。

因此，本文依據領域專家知識，建立了與空中目標作戰意圖關系緊密的特征空間{速度、加速度、高度、敵我距離、航向角、方位角、雷達散射截面、機動類型、電子干擾狀態、雷達狀態}，如下頁表1 所示。

表1 空中目標作戰意圖特征空間Table1 Air target operation intentions feature space

2 樣本數據處理

由于原始數據無法被神經網絡模型直接接收和處理，需要分別將數值型數據、非數值型數據與意圖模式進行處理。

2.1 歸一化處理

為了消除量綱影響及加快模型收斂速度，需對數值型數據進行歸一化處理。本文采用最大-最小標準化對速度、加速度、高度等7 種屬性數據進行歸一化處理。對于數值型數據，第k 種數據定義為Ak，第k 種第i 個原始屬性值為aki，則Ak=［ak1，ak2，…aki，…akl］（k=1，2，…，7）；l 為數據總數。將aki映射到區間［0，1］的結果為áki，其過程為

式中：minAx 為第x 種屬性Ax 的最小值；maxAx 為屬性Ax 的最大值。

2.2 數值化處理

對于目標機動類型、電子干擾狀態、雷達狀態共3 種非數值型數據進行編碼記錄，例如電子干擾狀態編碼為1 或0，1 表示開啟，0 表示關閉，需要將其進行數值化處理并轉變到［0，1］區間內。對于非數值型數據，第r 種數據定義為Br，第r 種第h 個非數值型數值為brh，則Br=［br1，br2，…brh，…brw］（r=1，2，3）；w 為數據空間的大小。將brh映射到區間為［0，1］的范圍內，過程為

2.3 意圖編碼

目標作戰意圖為分類數據，需要將意圖空間中的7 種模式分別與{0，1，2，3，4，5，6}標簽值相對應來進行編碼，而后輸入到模型中訓練。在實際戰場中，通過輸出的標簽值與意圖的對應關系，就可以得到識別出的目標意圖。作戰意圖與模型輸出對應關系如圖2 所示。

圖2 作戰意圖標簽化處理Fig.2 Labeling of operation intentions

圖3 長短時記憶神經網絡模型Fig.3 Neural network model of long short-term memory

3 作戰意圖識別模型構建

3.1 LSTM-長短期記憶網絡模型

長短時記憶網絡（LSTM）［16］是一種時間循環神經網絡，通過引入記憶細胞解決長期依賴問題，能夠有效地學習到防空作戰時序變化數據特征中的時變規律，且符合指揮員對空中目標作戰意圖識別的思維模式；同時，通過LSTM 可以將意圖識別問題有效地轉換為基于時序變化運動特征的多分類問題。因此對于實時變化的空中目標作戰意圖識別問題，LSTM是良好的解決方案，本文選用3 層LSTM 模型。

3.2 RL 優化算法

鑒于實際防空作戰中戰機稍縱即逝，需要快速準確地識別敵方空中目標作戰意圖，本文提出用RL算法優化LSTM 模型，算法流程如下所示：

Step 1 備份現有參數θt；

Step 2 從θt開始采用RAdam 更新k 步，得到新的權重；

Step 3 更新模型權重θt←θt+α（-θt）；

Step 4 判斷參數θt是否收斂。如果沒有收斂，令t=t+1，然后重復步驟1 至步驟4，直至誤差收斂到指定閾值，停止訓練。

梯度下降系列算法大多通過融入動量法或者優化學習率的方法來改進探索訓練過程，但模型收斂過程會出現不穩定現象。Lookahead 算法［17］采用了一種全新的設計：維持兩套權重：Fast Weights 和Slow Weights，前者較后者稍快。Lookahead 算法允許Fast Weights 不斷向前探索，同時Slow Weights 留在后面帶來更好的長期穩定性。部分公式如下：

RAdam 能根據方差分散度，動態地打開或關閉自適應學習率，減少Lookahead 算法自適應學習率的方差，提升識別準確率；RL 算法通過使LSTM 模型收斂過程更加穩定來加速模型的收斂，實現目標意圖快速識別。二者結合特別適用于空中目標作戰意圖識別［18］。

3.3 空中目標意圖識別模型總體設計

本文基于RL-LSTM 設計了空中目標意圖識別模型，圖4 為模型的基本結構，共分為3 部分：輸入層、隱含層和輸出層。其中，隱含層由RL-LSTM 層和全連接層組成。模型的基本流程為：1）將樣本編碼成特征向量，作為后續神經網絡模型的輸入；2）將特征向量輸入到RL-LSTM 模型中，并訓練網絡；3）將RL-LSTM 模型的輸出進行邏輯回歸，經過模式分析得出目標意圖識別結果。

圖4 空中目標意圖識別模型基本結構Fig.4 Basic structure of air target intention recognition model

4 仿真實驗分析

實驗將RMSProp、Adam、RAdam、Lookahead、RL算法與LSTM 模型相互結合，以不同實驗指標比較了上述算法對LSTM 模型的優化效果。

4.1 實驗數據準備及環境

實驗采用從某作戰仿真平臺獲得的多意圖空中目標運動樣本數據集作為仿真數據集。每個樣本中包含連續12 幀的狀態信息（每幀信息包括速度、加速度、高度、敵我距離、航向角、方位角、雷達散射截面、機動類型、電子干擾狀態和雷達狀態共10 維特征數據）。由于樣本集數據量比較大，先由計算機按照領域專家依據經驗知識編寫的目標作戰意圖識別相關規則對樣本集進行分類，其中在一定數量的樣本中，識別結果與經驗知識存在誤差，再由領域專家對其進行修訂。由于目標狀態的連續性，可把樣本中最后時刻目標狀態作為運動信息輸入到模型。共分為7 種作戰意圖，數據占比情況為攻擊23.8%、佯攻11.1%、預警10.2%、突防12.7%、電子干擾9.6%、撤退20.4%、偵察12.2%，樣本規模為12 000。分別隨機抽取80%數據構成訓練數據庫，剩余20%構成測試數據庫。

本實驗采用Python 語言，學習框架為Pytorch，運用Pycharm2021 軟件進行仿真，環境為Win10 系統、RTX3080 顯卡、16 GB 內存。實驗中根據模型的識別準確度作為參考指標，經過多次運行迭代調整超參數，最終設置參數如下頁表2 所示。

表2 模型主要參數表Table2 Main parameters table of the model

4.2 模型準確性驗證實驗

如表3 和下頁圖5 所示，實驗對比了5 種模型在本數據集上的識別準確率，結果表明，隨著迭代次數的增加，各模型的識別準確率逐步遞增。其中RAdam 算法相比于Adam，能夠根據自適應率的方差動態地開關自適應學習率來調整梯度，因此得到了比Adam 算法更好的準確率。Lookahead 算法和RL 算法維持兩套權重可以使模型更快地收斂，但RL-LSTM 模型的準確率有了明顯的提升，達到了0.9915，說明Fast Weights 部分采用RAdam 更新的Lookahead 算法優化效果更好。實驗表明RL-LSTM模型的識別準確率要高于其他4 種模型。

表3 優化模型的精度對比Table3 The precision comparison of the optimized models

圖5 各模型在數據集上準確率變化情況Fig.5 The change of accuracy of each model on the dataset

4.3 模型泛化性驗證實驗

為了更加精準地觀測預測值與真實值的差距，比較各模型在數據集上的損失值，又因為意圖識別網絡主要實現的是分類識別任務，所以選取分類交叉熵損失函數categorical_crossentropy 評估差異，計算公式為：

式中，LCE為模型得到的概率分布與真實分布的差異；yi為真實意圖類別標簽；y^i為網絡識別的意圖類別標簽；Noutput為網絡模型輸出的維度。

圖6 中各模型在訓練集和測試集上分別進行損失值對比，通過對比發現，RAdam 算法能夠動態地調整梯度，因而RAdam-LSTM 在數據集上損失值小于RMSProp 以及Adam 優化后的模型?？梢钥吹絃ookahead-LSTM、RL-LSTM 模型各自在不同數據集上損失值差異均較小，說明采用兩套權值可以帶來更好的穩定性。實驗表明，RL-LSTM 模型取得比其他模型更好的效果，在訓練集和測試集上損失率均穩定在0.1 附近，說明了該模型的泛化能力較強，能夠在不同數據集上較為準確地識別大多數樣本，即RL-LSTM 模型對戰場新鮮實時樣本的適應能力較強，適用于實際戰場來識別空中目標作戰意圖。

圖6 各模型在不同數據集上的損失率變化情況Fig.6 Thechangeofthelossrateofeachmodelondifferentdatasets

4.4 模型適用性驗證實驗

在空中目標作戰意圖識別問題中，要盡可能避免對敵方目標作戰意圖誤檢漏檢。指標AUC 為正樣本的得分比負樣本大的概率，值越大且越接近1，模型分類效果越好，誤檢的可能性越小。Macro-F1兼顧了精確率和召回率的關系，值越高的模型精確率高且漏檢概率低。相關公式如下：

其中，TP、FP、TN、FN 分別代表真陽率、假陽率、真陰率和假陰率。

ROC 曲線是準確性的綜合體現，AUC 為ROC曲線下的面積；召回率為正樣本的準確率，精確率是識別結果為該樣本的集合中識別正確的比率，綜合模型準確性驗證實驗結果，得到RL-LSTM 模型的AUC 值、精確率及召回率均高與其他模型。如圖7 所示，本文提出的目標意圖識別方法得到的Macro-F1和AUC 值分別達到了0.994 和0.984，相比于RMSProp-LSTM 模型分別提高了4.3%和3.7%，且明顯高于其他模型，說明RL-LSTM 模型在意圖識別問題上能較準確地劃分邊界區域，驗證了模型在該問題上的有效性和適用性。

圖7 模型的評估指標對比Fig.7 Comparison of evaluation indicators of the model

5 結論

針對防空作戰目標意圖識別問題，提出了一種基于RL-LSTM 的空中目標意圖識別方法。通過理論分析和仿真實驗可以得出以下結論：

1）來襲目標的運動信息具有時序變化特性，LSTM 模型能夠有效地學習到時序變化數據特征中的時變規律，有著良好的識別效果，是解決實時變化的意圖識別問題的良好方案。因此，本文提出用LSTM 作為基礎模型來實現敵方空中目標意圖識別。

2）通過分析防空作戰意圖識別問題特點以及現有優化算法的不足，將RAdam 與Lookahead 相結合來優化3 層LSTM 模型，識別準確率最終可達99.15%，Macro-F1為0.994，AUC 值為0.984。通過分析各項實驗指標，證明RL-LSTM 模型較適用于解決目標作戰意圖識別問題。

空中來襲目標的意圖識別是戰場態勢認知的重要組成部分之一，提升意圖識別模型各方面指標具有重要意義，可以進一步為后續的態勢認知以及指揮員指揮決策提供指導。