基于改進型Transformer 網絡的高階QAM調制分類研究

安 移，項 瀾

（上海理工大學 光電信息與計算機工程學院，上海 200093）

引言

隨著5G，6G 等通信技術的快速發展，用戶對通信速率的要求變得越來越高[1]。高階正交振幅調制（quadrature amplitude modulation，QAM）信號可以提高單個符號所攜帶的比特量，因此可以通過增加M階QAM 信號的調制數M來提高通信速率。隨著調制數M的不斷增加，QAM 信號的調制格式變得越來越多，為了在接收端準確地恢復出原始發送信號，就需要對接收到的QAM 信號進行調制分類。

目前針對QAM 信號的調制分類的主流方式有2 種：基于特征提取的分類方法和基于深度學習的分類方法。文獻[2] 通過對信號進行希爾伯特變換來獲得信號的瞬時包絡，然后提取瞬時能量分布向量作為特征向量來對QAM 信號進行調制分類。文獻[3] 通過計算QAM 信號矢量圖的最小環帶方差進行QAM 信號的調制分類。文獻[4] 通過聚類算法并結合模板匹配來對QAM信號進行調制分類。文獻[5] 通過信號的四階累積量以及減法聚類等方法識別QAM信號的調制格式。文獻[6] 通過模糊C 均值與反向傳播（back propagation, BP）神經網絡相結合來對QAM 信號進行調制分類。文獻[7] 研究了卷積神經網絡模型和特征參數結合深度神經網絡模型對QAM 信號的調制分類效果。文獻[8] 通過密集連接網絡來對QAM 信號進行調制分類。

上述國內外研究現狀為調制識別提供了豐富的研究基礎，但最高只研究到了256 QAM 信號的調制分類，并沒有研究512 及以上的高階QAM 信號的調制分類。針對高階QAM 信號的調制分類問題，結合了QAM 信號的分解特征與Transformer 編碼器的自動調制分類網絡[9]，提出了一種改進Transformer 編碼器網絡的自動調制分類網絡，將QAM 信號的同相分量與正交分量并行通過2 個Transformer 的編碼器，再將2 個編碼器的輸出結果拼接并進行調制分類。研究了該網絡在信噪比（signal to noise ratio, SNR）從-10 dB 到30 dB（間隔為2 dB）的21 種加性高斯白噪聲（additive white Gaussian noise，AWGN）信道條件下，從4 QAM 到4 096 QAM 的10 種QAM 調制格式的分類效果。

1 信號模型與網絡結構

1.1 信號模型

接收到的QAM 信號模型可表示為

式中：sk為QAM 信號的基帶碼元信號序列，序列長度為N；j 為虛數單位；ak為QAM 信號的同相分量 ；bk為QAM 信號的正交分量；g(t) 為成形濾波器的沖激響應；Tb為碼元寬度；fc為載波頻率；φ為載波相位；w(t) 為加性高斯白噪聲。

假設已經對接收到的QAM 信號序列r(t) 進行了預處理操作，包括：信號的下變頻，匹配濾波，定時同步以及下采樣等操作，得到了sk。當信噪比為20 dB 時，沒有載波頻率偏移和載波相位偏移的16 QAM 和32 QAM 星座圖分別如圖1（a）和（b）所示。

圖1 沒有載波頻率偏移和相位偏移的QAM 星座圖（SNR 為 20 dB）Fig. 1 QAM constellation diagram without carrier frequency offset and phase offset (SNR is 20 dB)

圖2 （a）和（c）分別為信噪比為20 dB 時，沒有載波頻率偏移和相位偏移的16 QAM 和32 QAM的ak時域散點圖；圖2（b）和（d）分別為16 QAM和32 QAM 的bk時域散點圖。

圖2 16 QAM 和32 QAM 的ak與 bk 時域散點圖（SNR 為 20 dB）Fig. 2 Time-domain scatter plots of ak and bk for 16 QAM and 32 QAM (SNR is 20 dB)

如圖2 所示，不同調制階數的QAM信號的ak與bk具有不同的分布特征。因此，可以根據ak與bk的組合來對QAM 信號進行分類。

當信噪比為20 dB 時，載波頻率偏移為500 Hz和載波相位偏移為 π/6 的16 QAM 信號的星座圖如圖3（a）和（b）所示，相同條件下的32 QAM 信號的星座圖如圖3（c）和（d）所示。

圖3 載波頻偏為500 Hz 或載波相偏為π/6 時16 QAM 和32 QAM 的星座圖（SNR 為 20 dB）Fig. 3 Constellation diagrams of 16 QAM and 32 QAM with carrier frequency offset of 500 Hz or carrier phase offset of π/6(SNR is 20 dB)

圖4 為在信噪比為20 dB 時，QAM 信號受載波頻率偏移500 Hz 影響下的ak和bk的時域散點圖。

圖4 載波頻偏為500 Hz 時16 QAM 和32 QAM 的ak與 bk 時域散點圖（SNR 為 20 dB）Fig. 4 Time-domain scatter plots of ak and bk for 16 QAM and 32 QAM with a carrier frequency offset of 500 Hz(SNR is 20 dB)

從圖4 中可以發現，當載波頻率偏移500 Hz時，不同調制階數的QAM 信號的ak與bk具有不同的分布。因此，可以根據ak與bk的組合來對QAM 信號進行分類。

圖5 為在信噪比為20 dB 下QAM 信號受載波相位偏移 π/6 影響下ak和bk的時域散點圖。

從圖5 中可以發現，當載波頻率偏移500 Hz時，不同調制階數的QAM 信號的ak與bk具有不同的分布。因此，可以根據ak與bk的組合來對QAM 信號進行分類。

綜上所述，無論是否有載波頻率偏移或相位偏移，不同QAM 信號的ak和bk具有不同的分布組合。因此，可以根據信號的ak和bk的組合來對QAM 信號進行分類。

1.2 網絡結構

Transformer 網絡主要由編碼器和解碼器組成[10]。編碼器可以提取輸入序列的特征，因此可以用Transformer 的編碼器結構來提取QAM 的ak和bk的特征。

圖6 為本文提出的網絡結構框架圖。其中輸入數據Data 為AWGN 干擾后的QAM 信號的基帶碼元序列sk；數據處理（data preprocessing）模塊首先將sk的實部和虛部提取出來，得到同相分量ak和正交分量bk，然后對ak和bk進行標準化處理并乘以量化系數res 轉為序列編碼處理，最后在序列編碼的起始位添加序列標識符CLK， CLK 會隨著編碼序列一起在網絡進行訓練，并能夠很好地保留本組編碼序列的特征，最后根據訓練好的CLK 對序列進行分類；詞嵌入（embedding）模塊將輸入的一維序列編碼轉為多維序列向量，有利于在高維空間向量中捕捉一維編碼序列的特征；位置嵌入（position embedding）模塊用于添加序列編碼的位置信息；將位置嵌入模塊的位置向量與詞嵌入模塊的編碼序列向量相加，形成編碼器（encoder）層的輸入數據x。

編碼器層由殘差連接與層歸一化層（Add ＆Norm）、前向傳播網絡（feed forward network，FFN）以及多頭注意力層（mutil-head attention）構成。

殘差連接（residual connection）的作用是用于解決深度神經網絡中的梯度消失和梯度爆炸問題，同時也可以幫助網絡更好地學習到輸入數據的特征；層歸一化（layer normalization, LN）是一種類似于批歸一化的歸一化方法，但是它是在每個樣本的每個神經元上進行歸一化處理，這樣可以使得每個神經元的輸入分布相同，從而提高網絡的穩定性，加速網絡的訓練，LN 層輸出的計算式為

式中：γ和 β 為可學習的縮放和偏移參數； μ 和σ為x的均值和標準差； ⊙ 表示元素乘法； ε 為一個很小的常數，防止分母為零。

全連接層是將輸出轉換為最終預測結果的關鍵組成部分，它可以降低數據維度和提取數據特征，增加網絡的表達能力，提高網絡的泛化能力。

多頭注意力機制是一種在Transformer 模型中廣泛使用的注意力機制，它可以將注意力機制應用于多個查詢、鍵和值向量上，從而提高模型的表達能力和泛化能力。圖7 為多頭注意力機制的計算流程示意圖。首先將輸入向量x分別通過線性變換映射為查詢向量Q（query），鍵向量K（key）和值向量V（value），然后將Q，K，V3 個向量映射到h個子空間中，得到h組子向量；接著對每組子向量分別計算注意力得分向量A（如式（4）所示）；將h個子向量的注意力得分拼接在一起，得到最終的輸出向量Z（如式（5）所示）。最后，將向量Z通過線性變換映射回原始空間，得到最終的輸出向量[10]

圖7 多頭注意力機制計算流程圖Fig. 7 Computational process of multi-head attention mechanism

式中：Q，K，V為查詢向量、鍵向量和值向量；dmodel為每個編碼數字的詞向量維度；，i為第i個子空間的參數；dK=dV=dmodel/h，h為注意力頭數。

通過編碼器層的標識符CLK 已經保留了序列的特征信息，可以通過1 層線性層將序列的特征信息取出。最后將2 路信號的特征進行拼接，通過線性層和Softmax 層就可以判斷QAM 信號的調制格式。

假設輸入的QAM 信號的基帶碼元序列sk的調制類型共M種，輸入網絡的數據大小為(Batch,N-1)，Batch為輸入的batch size 大小，表示每次輸入網絡的序列有多少組，N-1 為每組輸入的序列長度，以同相分量分路（Data I）為例（Data Q 路與Data I 路中間的參數大小都相同），每層網絡的參數輸出大小如表1 所示。

表1 每層網絡的參數輸出Tab. 1 Parameter output of each layer network

2 實 驗

2.1 數據集

使用MATLAB 生成3 組QAM 數據集，分別是沒有載波頻率偏移和載波相位偏移的QAM數據集，載波頻率偏移500 Hz 的QAM 數據集以及載波相位偏移 π/6 的QAM 數據集。每個碼元的采樣點數為8 個，成型濾波器與匹配濾波器使用的都是 α = 1 的根升余弦濾波器。3 種數據集的格式都一樣，每組數據集一共有10 種調制格式的QAM（4 QAM，16 QAM，32 QAM，64 QAM，128 QAM，256 QAM，512 QAM，1 024 QAM，2 048 QAM 和4 096 QAM）信號，每一種調制格式共有2 000 組QAM 信號序列，每組QAM 信號序列共有500 個碼元。信道噪聲為AWGN，每種QAM 有21 種信噪比（從-10 dB到30 dB，間隔2 dB）。每組數據集的大小為（mod, snr, groups, length）：mod 為調制格式種類，大小為10；snr 為信噪比種類，大小為26；groups 代表每種調制格式每個信噪比下有多少組信號序列，大小為2 000；length 為每組信號序列的長度，大小為500。

2.2 實驗設置

實驗使用的服務器GPU 型號為3 080 Ti，顯存12 G；CPU 型號為AMD EPYC 7 451，核心數為6 核。數據處理部分（data preprocessing）將輸入數據等比量化到0～255。提出的網絡總參數大小為13.9 k，網絡的訓練參數batch_size設置為300，epoch 設置為500，詞嵌入的詞向量參數dmodel設置為24，多頭注意力層的頭數h設置為2，Add ＆ Norm 層的dropout 設置為0.1，優化器使用的是Adam，損失函數使用的是交叉熵損失函數（cross entropyloss），學習率lr設置為可變學習率，初始lr設置為每個batch_size 的迭代式為

式中，y為迭代次數。

2.3 實驗結果與分析

圖8 為沒有載波頻率偏移與載波相位偏移的10 種調制格式信號的QAM 在不同信噪比下的調制分類準確率。

圖8 沒有頻率偏移與相位偏移的識別率Fig. 8 Recognition rate without frequency offset and phase offset

如圖8 所示，當信噪比大于20 dB 時，本文提出的網絡可以100%識別出所有的調制格式；當信噪比介于2～20 dB 時，隨著信噪比的提升，網絡可以逐漸識別出更高階的QAM 信號；當信噪比低于2 dB 時，網絡無法識別QAM 信號的調制格式。由此證明當信噪比大于20 dB時，本文提出的網絡可以準確識別出沒有載波頻率偏移與載波相位偏移的QAM 信號的調制格式。

圖9 所示為載波頻率偏移500 Hz 的10 種調制格式的QAM 信號在不同信噪比下的調制分類準確率。

圖9 頻率偏移500 Hz 的識別率Fig. 9 Recognition rate with frequency offset 500 Hz

從圖9 中可以發現，當信噪比大于等于26 dB時，4 QAM 到1 024 QAM 的調制分類準確率為100%, 2 048 QAM 的調制分類準確率大于96%，4 096 QAM 的調制分類準確率大于91%；當信噪比介于2～26 dB 時，隨著信噪比的提升，網絡能夠識別更高階的QAM 信號；當信噪比低于2 dB 時，網絡不能準確識別出QAM 信號的調制格式。與圖8 對比發現，網絡對載波頻率偏移500 Hz 的QAM 信號序列識別難度較大。在同等識別準確率條件下，載波頻率偏移500 Hz的QAM 信號序列的信噪比大約是沒有載波頻率偏移的QAM 信號序列的信噪比的1.5 倍。證明了載波的頻率偏移對本文提出的網絡影響較大，只有當信噪比大于30 dB 時，網絡才有可能準確識別出載波頻率偏移500 Hz的QAM 信號的調制格式。

圖10 所示為載波相位偏移 π/6 的10 種調制格式的QAM 信號在不同信噪比下的調制分類準確率。

圖10 相位偏移π/6 的識別率Fig. 10 Recognition rate with phase shift π/6

從圖10 中可以發現，當信噪比大于等于20 dB 時，本文提出的網絡可以100%識別出所有QAM 信號的調制格式；當信噪比介于2～20 dB 時，隨著信噪比的增加，網絡可以識別更高階的QAM 信號的調制格式；當信噪比低于2 dB 時，網絡無法準確識別出QAM 信號的調制格式。與圖8 對比發現，網絡對載波相位偏移π/6的QAM 信號與沒有載波相位偏移的QAM信號具有幾乎相同的識別準確率。證明了本文提出的網絡幾乎不受載波相位偏移的影響，在信噪比大于20 dB 時，網絡能準確地識別出載波相位偏移π/6 的QAM 調制格式。

圖11 為3 個數據集在信噪比為20 dB 時，本文提出的網絡對QAM 信號的調制分類準確率的混淆矩陣圖。

圖11 3 個數據集的混淆矩陣（SNR 為 20 dB）Fig. 11 Confusion matrix on three datasets (SNR is 20 dB)

圖12 顯示了3 個數據集在20 dB 信噪比下模型的訓練集與測試集的調制分類準確率和損失曲線。

圖12 3 個數據集的調制分類準確率和損失曲線（SNR 為 20 dB）Fig. 12 Training and testing modulation classification accuracy and loss curves of three datasets (SNR is 20 dB)

2.4 與其他方法對比

表2 列出了本文提出的調制分類方法與文獻[5]、文獻[8] 的調制分類方法的對比結果，以5 種調制方式分類準確率大于95%為條件，對比3 種方法所需的最小信噪比的大小，所需最小信噪比越小則說明該調制分類方法效果越好。

表2 本文網絡與其他方法對比Tab. 2 Comparison of the results in this article and the results obtained by the other methods

如表2 所示，本文提出的方法在滿足較高準確率的同時所需信噪比最小，證明了本文提出的方法優于其他2 篇文獻中的方法。

3 結論

本文提出的改進型Transformer 網絡的高階QAM 自動調制分類網絡具有網絡結構簡單，訓練參數少的優點，且對所有從4 QAM 到4 096 QAM 調制信號具有很好的分類效果。當信噪比大于20 dB 時，網絡可以準確識別出沒有載波頻率偏移影響的所有QAM 信號的調制格式；當信噪比大于30 dB 時，網絡可以識別出所有QAM信號的調制格式。與其他方法對比，本文提出的方法在同樣的調制分類準確率條件下所需信噪比比其他方法低，而且本文研究了512 QAM 及以上的高階的QAM 信號的調制分類，這對使用高階QAM 調制通信的研究具有重要意義。