基于并行多尺度卷積記憶殘差網絡的物聯網流量預測

陸勤政 朱曉娟

【摘? ?要】? 針對現有物聯網流量預測方法中特征提取不足、丟失重要信息、預測準確度不高的問題，提出了一種基于并行多尺度卷積記憶殘差網絡的物聯網流量預測方法。首先，采用并行結構，CNN提取多尺度的局部特征得到包含有局部特征的序列，LSTM和BiLSTM分別提取前向的時間關系和前后向的時間關系得到有合適比例的前后向時間特征序列；其次，引入ResNet結構，在CNN、LSTM、BiLSTM的輸入和輸出之間加入跳躍連接，即通過跳躍連接在特征序列中加入原始序列信息；再次，在有原始信息的特征序列中分配可訓練的權重參數，突出相應序列的重要性，進行拼接得到總的輸出序列；最后，將總的輸出序列輸入到全連接網絡中得到預測結果。實驗結果表明，本方法在均方根誤差（RMSE）、平均絕對誤差（MAE）、擬合系數（[R2]）3項指標上要優于其他方法，能更準確地進行物聯網流量的預測。

【關鍵詞】? ?物聯網流量預測；卷積神經網絡；長短時記憶網絡；雙向長短時記憶網絡；跳躍連接

Research on Internet of Things Traffic Prediction Based on Parallel

Multiscale Convolutional Memory Residual Network

Lu Qinzheng， Zhu Xiaojuan*

（Anhui University of Technology， Huainan 232001， China）

【Abstract】? ? An accurate prediction of Internet of Things （IoT） traffic is crucial for the intelligent management of IoT systems， so based on a parallel multi-scale convolutional memory residual network， a prediction method is proposed to solve such issues as insufficient feature extraction， loss of crucial information， and low prediction accuracy. Firstly， a parallel structure is employed， where Convolutional Neural Networks （CNNs） with different kernel sizes extract multi-scale local features to obtain sequences containing local features. Long Short-Term Memory （LSTM） and Bidirectional LSTM （BiLSTM） are then utilized to capture forward and bidirectional temporal relationships， yielding properly proportioned forward and backward time feature sequences. Secondly， a Residual Network （ResNet） structure is introduced， incorporating skip connections between the input and output of CNN， LSTM， and BiLSTM， thereby integrating original sequence information through skip connections. Subsequently， trainable weight parameters are assigned to the feature sequences with original information， emphasizing the importance of respective sequences， followed by concatenation to obtain the overall output sequence. Finally， the total output sequence is fed into a fully connected network to derive the prediction results. The experimental results indicate that the proposed method outperforms existing approaches in terms of Root Mean Square Error （RMSE）， Mean Absolute Error （MAE）， and Coefficient of Determination （[R2]）. More accurate predictions for IoT traffic can be achieved with this approach.

【Key words】? ? ?IoT traffic prediction; convolutional neural network; long short-term memory network; bidirectional long short-term memory network; skip connections

〔中圖分類號〕? ?TP391? ? ? ? ? ? ? ? ?〔文獻標識碼〕? A ? ? ? ? ? ? ?〔文章編號〕 1674 - 3229（2024）01- 0033- 09

0? ? ?引言

準確的流量預測能夠幫助網絡管理者更全面地了解網絡的使用情況，從而合理地分配網絡資源，有助于避免資源浪費，提高網絡的整體性能。物聯網流量是一種具有復雜非線性特征［1］的時間序列，時間序列預測的早期模型有自回歸模型（Autoregressive，AR）、移動平均模型（Moving Average，MA）、自回歸移動平均模型（Autoregressive Moving Average，ARMA）、差分自回歸移動平均模型（Autoregressive Integrated Moving Average，ARIMA）等［2 -3］，這些模型使用多項式對時間序列進行分析，通過擬合函數逼近與時序相關的數據，過程中涉及多個參數的調整，從而對時間序列進行預測。其后，學者通過深度學習模型來捕獲復雜的流量特征，提高預測的準確度。Ko T等［4］使用卷積神經網絡（Convolutional Neural Network，CNN）來進行流量預測，Abdellah A 等［5］使用長短時記憶網絡（Long Short-Term Memory Network，LSTM）來預測物聯網流量，Tian Z等［6］使用雙向長短時記憶網絡（Bidirectional Long Short-Term Memory Network，BiLSTM）來對流量進行預測。但是基于LSTM和BiLSTM的方法未考慮到序列局部特征的影響，同樣存在特征提取不足的問題。

針對單一深度學習模型的局限性，學者對多個模型進行組合，來克服單一模型的不足。Mahajan S等［7］使用CNN和LSTM相結合的方式來預測無線網絡中的時間序列，Merayo M G等 ［8］使用CNN和BiLSTM相結合的方式來預測流量，Aksan F等［9］使用CNN-LSTM和LSTM-CNN分別來預測時間序列，分析CNN和LSTM的先后順序對預測的影響。上述方法考慮到了序列的局部特征和時間關系，但僅是對CNN、LSTM、BiLSTM進行簡單的串行拼接，處在前半部分的輸出會干擾后半部分對原序列特征的提取，這會導致序列部分重要信息的丟失。Ma X 等［10］和Guo J等［11］使用CNN和BiLSTM通過并行的方式來預測時間序列，并行的結構使得CNN和BiLSTM的輸出不互相干擾，取得了比簡單串行拼接網絡更好的預測效果。Wang C等［12］在使用CNN和BiLSTM并行結構的基礎上在CNN中引入了殘差網絡（Residual Neural Network，ResNet）結構來預測網絡流量，ResNet結構優化了原始的CNN，緩解了梯度消失的問題，提升了CNN部分的性能。但是該方法并沒有考慮對BiLSTM進行優化，沒能更好發揮BiLSTM部分的性能。王馨彤等［13］使用并行多尺度CNN和LSTM串行，并在此基礎上引入了殘差網絡結構來預測網絡流量，但該方法沒有很好地考慮到LSTM在模型中所處的排列位置以及序列后向的時間關系。

針對上述問題，本文提出了一種基于并行多尺度卷積記憶殘差網絡的物聯網流量預測方法，主要貢獻如下。

（1）采用并行的結構分別由卷積核大小不同的CNN提取物聯網流量序列的多尺度局部特征，LSTM提取序列前向的時間關系，BiLSTM提取序列前向和后向的時間關系。通過互不干擾地提取多角度的局部特征和適當比例的時間前后向關系，提升物聯網流量預測的準確度。

（2）引入ResNet結構的思想，在CNN、LSTM、BiLSTM的輸入和輸出之間分別加入跳躍連接。通過加入原始的輸入信息，得到更豐富的表達，同時緩解梯度消失的問題，加快模型的收斂速度，提高模型的性能。

（3）為加入原始信息的特征序列分配可訓練的權重參數，突出部分特征序列的重要性。先為各個序列分配適當的重要程度再進行拼接，進一步提高流量預測的效果。

1? ? ? 物聯網流量預測任務

物聯網流量具有以下幾個特點。

（1）物聯網流量展現出較強的時間特性。在某一觀測點上，采集到的數據是連續的隨時間變化的序列。

（2）物聯網流量表現出明顯的周期性。對于某一觀測點，記錄的數據有時、日、周上的周期性節奏。這種相似性模式在節假日期間同樣存在。

（3）物聯網流量還會受到突發事件等的影響，使流量具有一定的突變性。

物聯網流量預測任務從本質上來說，即用過往一個時間段的流量來對未來一個時間段的流量進行預測，其關鍵點在于如何充分利用歷史數據中的時間特性、周期性以及復雜多樣的突變因素。給定的原始流量序列為[X={x1，x2，…，xL}]，[X∈RL*1]，其中，[L]表示輸入序列的長度，1表示序列每個時間步的特征維度，則預測任務的數學表達為：

[[xt+β，xt+β-1，…，xt+1]=f（xt，xt-1，…，xt-α+1）] （1）

其中，[α]和[β]分別表示固定的滑動窗口大?。v史的時間步數）和要預測的時間步數，[f（?）]表示預測模型，[xt∈X]，[t∈（1，L）]。

2? ? ? 模型設計

2.1? ?CNN模型

卷積神經網絡（Convolutional Neural Networks，CNN）由Lecun于1989年提出，是按照生物的視覺機制構建的，通常用于圖像識別的任務。一維CNN可以用于時間序列的預測和分析，它通過捕捉時間序列的局部特征來對序列進行預測［14］。給定滑動窗口大小為[α]的序列為[Xα={xt，xt-1，…，xt-α+1}]，[X∈Rα*1]，設CNN的卷積核大小為[K]，輸入通道數為[C]，輸出通道數為[C']，輸入通道數和序列的特征維度相匹配，[C=1]，則具體卷積過程的數學表達式如下：

[ui=j=0K-1xi+j?wj+b] （2）

其中，[ui]表示輸出序列中的值；[xi+j]表示輸入序列中的值，[i]表示輸入序列的索引，[j]表示卷積核窗口內的偏移值；[wj]表示[ui]卷積核的權重參數；[b]表示[ui]的偏置項。

將得到的多個局部特征值[ui]組合成序列[U]，[U∈RS*1]，[S]表示輸出序列的長度，再通過多個卷積核的計算得到最后的輸出序列[Z]，[Z∈RS*C']。

2.2? ?LSTM模型和BiLSTM 模型

長短時記憶網絡（Long Short-Term Memory Network，LSTM）是循環神經網絡（Recurrent Neural Network，RNN）的變體。LSTM比傳統RNN對時間序列有著更強的記憶能力和長期依賴關系的建模能力。對于給定的滑動窗口序列，[Xα={xt，xt-1，…，xt-α+1}]，[X∈Rα*1]。圖1展示LSTM的基本單元結構，它由4個部分組成，分別是輸入門、遺忘門、輸出門和記憶單元，每個門由一個激活函數和一個點乘的操作組成［15］。

遺忘門根據當前輸入[xt]和前一時間步的輸出[ht-1]計算向量[ft]，表示前一個時間步記憶單元狀態中需要被遺忘的信息：

[ft=σ（Wf?[xt，ht-1]+bf）] （3）

其中，[Wf]表示[ft]的權重矩陣，[bf]表示[ft]的偏置項，[σ]表示[ft]的sigmoid激活函數。

輸入門根據當前輸入[xt]和前一時間步的輸出[ht-1]計算向量[it]和向量[C't]，表示當前輸入中需要被更新到記憶單元狀態中的信息：

[it=σ（Wi?[xt，ht-1]+bi）] （4）

[C't=tanh （WC'?[xt，ht-1]+bC'）] （5）

其中，[Wi]和[WC']分別表示[it]和[C't]的權重矩陣，[bi]和[bC']分別表示[it]和[C't]的偏置項，[σ]表示[it]的sigmoid激活函數，[tanh]表示[C't]的激活函數。

記憶單元更新狀態時的新值是根據前一時間步的記憶單元狀態[Ct-1]、[ft]、[C't]、[it]計算的新的狀態向量[Ct]：

[Ct=ft⊙Ct-1+it⊙C't] （6）

其中，[⊙]表示哈達瑪乘法，是向量的逐元素相乘。

輸出門根據當前輸入[xt]和前一時間步的輸出[ht-1]計算向量[ot]，以及根據[ot]和當前時間步的新值[Ct]計算當前時間步的輸出向量[ht]，表示輸出信息的重要程度：

[ot=σ（Wo?[xt，ht-1]+bo）] （7）

[ht=ot⊙tanh （Ct）] （8）

其中，[Wo]表示[ot]的權重矩陣，[bo]表示[ot]的偏置項，[σ]表示[ot]的sigmoid激活函數，[tanh]表示[Ct]的激活函數。

LSTM只處理了序列前向的時間關系，并沒有對序列后向的時間關系進行處理，這就導致了對序列時間關系的獲取不足。而雙向長短時記憶網絡（Bidirectional Long Short-Term Memory Network，BiLSTM） 解決了這一問題，它是基于 LSTM 的擴展，同時考慮了序列前向的時間關系和后向的時間關系。BiLSTM結合了兩個LSTM結構，一個按正序處理輸入序列，另一個按逆序處理輸入序列。通過這種方式，網絡能夠更全面地理解當前的輸入。圖2是BiLSTM的單元結構，給定前向的輸出為[hf，t]，后向輸出為[hb，t]，當前時間步BiLSTM的輸出為：

[hm，t=Wm，thf，t，hb，t+bm，t] （9）

其中，[Wm，t]表示[hm，t]的權重矩陣，[bm，t]表示[hm，t]的偏置項。

2.3? ?Resnet結構

殘差網絡（Residual Neural Network，ResNet）是一種深度學習模型，能有效地提升網絡的學習能力［16］，它的基本結構單元是一個殘差塊（Residual Block），每個塊相較于原本的神經網絡，在輸入和輸出之間加入了一個跳躍連接（skip connection），這個連接允許原始輸入信息［17］直接傳輸到后面的層中，促進了信息在網絡中的流動，在豐富表達的同時緩解了梯度消失問題。殘差塊的數學表達式如下：

[F'x=Fx+x] （10）

其中，[x]表示跳躍連接中引入的原始輸入信息，[Fx]表示原來神經網絡的輸出，[F'x]表示[Fx]和[x]相加得到的殘差塊的輸出。

2.4? ?基于并行多尺度卷積記憶殘差網絡模型

基于上述結構，本文提出了基于并行多尺度卷積記憶殘差網絡的組合模型，該模型結構如圖3所示。模型由4個重要的部分組成：LSTM、BiLSTM、卷積核大小不同的一維CNN和ResNet。

對于物聯網的流量預測，提出的模型通過以下步驟實現。

（1）對于給定的原始流量序列[X={x1，x2，…，xL}]，[X∈RL*1]，將其進行最小最大值歸一化（Min-Max Normalization）處理，序列值縮放到（0，1）之間，得到歸一化后的流量序列[X'={x'1，x'2，…，x'L}]，[X'∈RL*1]。

（2）設歸一化的流量序列[X']中滑動窗口大小為[α]的序列為[X'α]，將多個滑動窗口為[α]的序列作為模型的輸入。

（3）CNN部分由卷積核大小為3、5、7的1層一維CNN構成，它分別對[X'α]進行多尺度的局部特征提取，并使用填充的方式讓序列保持原有的窗口大小，根據式（2），可得輸出序列為[Zα，3]、[Zα，5]、[Zα，7]，[Zα，3∈Rα*C'3、Zα，3∈Rα*C'5、Zα，7∈Rα*C'7]，其中，下標的數字表示卷積核對應的大小，[C'3、C'5、C'7]分別表示卷積核不同的CNN的輸出通道數；LSTM部分由2層LSTM構成，它對[X'α]進行序列前向的時間關系的提取，根據式（3）[～]（8），可得輸出序列[H'={h't，h't-1，…，h't-α+1}]，[H'∈Rα*h1*h2]，其中，[h1]和[h2]分別表示LSTM的第1個隱藏層單元個數和第2個隱藏層單元個數；BiLSTM部分由2層BiLSTM構成，它對[X'α]進行序列前向和后向的時間關系的提取，根據式（9），可得輸出序列為[H'm={h'm，t，h'm，t-1，…，h'm，t-α+1}]，[H'm∈Rα*h3*h4]，其中，[h3]和[h4]分別表示BiLSTM的第1個隱藏層單元個數和第2個隱藏層單元個數。

（4）在LSTM、BiLSTM、卷積核為3/5/7的一維CNN中分別引入ResNet結構，即在這5個并行模型的輸入和輸出之間分別加入1個跳躍連接，根據式（10），則可得到輸出序列分別為：[Z''α，3=Z'α，3+X'α]，[Z''α，5=Z'α，5+X'α]，[Z''α，7=Z'α，7+X'α]，[H''=]

[H'+X'α]，[H''m=H'm+X'α]。

（5）在得到的輸出序列中加入可訓練的權重參數[w]，給各個部分的輸出分配相應的重要程度，再進行拼接，從而得到最終的輸出序列[P=[w1?Z''α，3，? w2?][Z''α，5， w3?Z''α，7， w4?H''， w5?H''m]]，[P∈Rα*（C'3+C'5+C'7+h2+h4）]。

（6）取序列[P]最后一個時間步的值[p]，[p∈R1*（C'3+C'5+C'7+h2+h4）]，將其輸入到全連接網絡（Fully Connected Neural Network，FCNN）中進行降維，得到預測結果。

2.5? ?損失函數

模型訓練的目的是將流量預測值和真實值的差異最小化。本文使用流量真實值和預測值的均方誤差（Mean Squared Error，MSE）作為損失函數，其數學表達式如下：

[MSELoss=1ni=1n（y'i-y'i）2] （11）

其中，[n]表示樣本數，[y'i]和[y'i]分別表示流量的真實值和預測值。

3? ? ?實驗設置與分析

3.1? ?數據集的設置與分析

實驗采用英國學術骨干網絡［18］（United Kingdom Backbone Academic Network，UKBAN）的流量數據集，該數據集由19888個數據點組成，2004年11月9日9：30至2005年1月27日10：45，每隔5min記錄一次骨干節點流量作為一個數據點。本文選擇了2004年11月22日0：00（星期一）至2004年12月12日23：55（星期日）3個星期內6048個數據點來進行實驗，并按照8：2的比例劃分訓練集和測試集。

采用最小最大歸一化對原始的流量序列進行處理，其數學表達式如下：

[x'=x-xminxmax-xmin] （12）

其中，[xmax]和[xmin]分別表示原始序列中的最大值和最小值，[x']表示原始序列中[x]歸一化后的對應值。

3.2? ?評價指標的設置與分析

為了檢測模型預測的效果，本文使用反歸一化后流量真實值和預測值的均方根誤差（Root Mean Squared Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）、擬合系數（Coefficient of Determination，[R2]）作為評價指標，其數學表達式如下：

[RMSE=1mi=1m（yi-yi）2] （13）

[MAE=1mi=1m|yi-yi|] （14）

[R2=1-i=1m（yi-yi）2i=1m（yi-yi）2] （15）

其中，[m]表示要預測的樣本總數，[yi]、[yi]、[yi]分別表示反歸一化后流量的真實值、預測值、真實值的平均值。均方根誤差和平均絕對誤差越接近0，表示預測的準確度越高，擬合系數越接近1，表示預測的準確度越高。

3.3? ?參數設置與分析

模型涉及的參數包括學習率、訓練輪數、批次大小。該模型選取Adam作為優化器，學習率為0.0001，訓練輪數為300，批次大小為64。

模型中CNN通道個數和LSTM、BiLSTM隱藏層單元個數會影響預測的誤差和擬合程度。如表1所示，括號中的數字表示模型中CNN通道個數和LSTM、BiLSTM隱藏層單元個數，當CNN通道個數為64，LSTM、BiLSTM隱藏層單元個數為64時，模型預測的均方根誤差和平均絕對誤差最低，擬合系數最高。因此，本文將CNN通道個數設置為64，LSTM、BiLSTM隱藏層單元個數設置為64。

模型中CNN層數和LSTM、BiLSTM層數也會影響預測的誤差和擬合程度。如表2所示，括號內的數字表示層數，當CNN層數為1，LSTM、BiLSTM層數為2時，模型預測的均方根誤差和平均絕對誤差最低，擬合系數最高。因此，本文將CNN層數設置為1，LSTM、BiLSTM層數設置為2。

模型中的滑動窗口大小同樣影響預測效果，實驗選取窗口大小為4（20min）、8（40min）、12（60min）、16（80min）、20（100min）來進行測試，結果如圖4所示，可以看出當滑動窗口大小為12，即用于預測的歷史時間為60min時，模型預測的均方根誤差和平均絕對誤差最低，擬合系數最高。因此，本文將滑動窗口的大小設置為12。

模型中CNN卷積核的大小對預測效果也有影響。實驗選取卷積核大小分別為1、3、5、7、9的CNN來進行測試，結果如表3所示，可以看出當卷積核大小分別為3、5、7時，均方根誤差和平均絕對誤差最低，擬合系數最高。所以，本文將CNN的卷積核分別設置為3、5、7。

3.4? ?對比實驗與分析

比較本文方法與以下6種方法的預測誤差和擬合系數。

（1）差分自回歸移動平均模型（ARIMA），它結合了自回歸、滑動平均和差分的概念，用于預測平穩序列。

（2）卷積神經網絡（CNN），它先使用單一卷積核的CNN捕捉序列的局部特征，再通過全連接網絡來進行預測。

（3）長短時記憶網絡（LSTM）［5］，它利用門控單元和記憶單元來捕捉序列前向的時間關系，結合全連接網絡進行預測。

（4）串行卷積雙向長短時記憶網絡（Sequential CNN-BiLSTM）［8］，它先通過CNN來提取序列的局部特征，再通過BiLSTM來提取序列前后向的時間關系，最后用全連接進行預測。

（5）并行卷積雙向長短時記憶網絡（Parallel CNN-BiLSTM）［11］，它采用并行的結構，分別由CNN和BiLSTM同時提取序列的局部特征和前后向的時間關系，再由全連接網絡進行預測。

（6）多尺度卷積記憶殘差網絡（MSMRNet）［13］，它先通過并行的卷積核不同的CNN來提取序列的多個局部特征，再通過與LSTM串行來提取序列前向的時間關系，同時在CNN和LSTM中引入ResNet結構，最后通過全連接層進行預測。

由表4可得，基于深度學習的方法在整體上要好于ARIMA，這是由于ARIMA主要處理平穩的時間序列數據，難以較好地提取復雜特征，導致均方誤差和平均絕對誤差高，擬合程度低。CNN和LSTM由于只提取了序列單一的局部特征和序列前向的時間關系，導致預測的效果并不理想。將CNN和BiLSTM進行串行拼接后，由于同時提取了序列的局部特征和前后向的時間關系，相比單一的深度學習模型在指標上有較大提升。將CNN和BiLSTM由串行結構改為并行時，由于每個部分能夠單獨地提取序列特征，排除了串行結構中前半部分的輸出對后半部分特征提取的影響，能更有效地提取局部特征和前后向的時間關系，預測的效果有所提升。MSMRNet由并行CNN提取不同的局部特征后再使用LSTM提取前向的時間關系，同時引入了ResNet結構，因為較為全面的局部特征提取和跳躍連接對網絡結構的優化，使得各項指標提升較大。相比MSMRNet，本文詳細地考慮了更合適的CNN卷積核大小、后向的時間關系、LSTM的排列位置以及每個特征輸出部分的權重參數，實現了更有效的不同局部特征、合適比例的前后向時間關系、兩者之間互不干擾的提取以及更合理的特征輸出，使得各項指標進一步提高，均方根誤差和平均絕對誤差分別比MSMRNet下降了4.55%和3.47% ，擬合系數比MSMRNet上升了0.0003。

3.5? ?消融實驗與分析

為了驗證模型中各重要組成部分的作用，取出各部分并將其相互組合，對其均方根誤差、平均絕對誤差、擬合系數進行對比。如表5所示，括號中的數字表示CNN的卷積核大小。

由表5可知，在使用LSTM部分進行預測時，能一定程度上完成物聯網流量預測的任務，這是因為LSTM提取了序列中前向的時間關系，但LSTM對序列時間關系的考慮不足，在各項指標上偏差較大，預測誤差較高，擬合程度較低。BiLSTM部分比LSTM部分多提取了序列中后向的時間關系，使得對序列時間關系的提取更全面，所以各項指標比LSTM略好。卷積核大小為3、5、7的CNN部分由于對序列進行了多個適當尺度的局部特征提取，使得CNN的各項指標要好于LSTM和BiLSTM。在LSTM、BiLSTM、卷積核為3/5/7的CNN中分別引入ResNet結構，即在原有模型的輸入和輸出之間分別加入一個跳躍連接，從表中可以看出，加入跳躍連接后的LSTM、BiLSTM、卷積核為3/5/7的CNN在各項指標上都有明顯的提升，這是由于跳躍連接保留了原始的輸入信息，將這些信息與原有模型的輸出進行相加，得到了更豐富的輸出表示，同時，跳躍連接使得梯度能夠更容易地通過連接處直接傳遞，有助于緩解梯度消失問題，加快模型的收斂，使得網絡更容易訓練。

在有跳躍連接的卷積核為3、5、7的CNN部分中依次并行加入有跳躍連接的LSTM部分和BiLSTM部分，可以發現：當單獨加入LSTM時，各項指標有所提升；單獨加入BiLSTM時，各項指標反而變差了；同時加入LSTM和BiLSTM時，各項指標比單獨加入LSTM時要更好。這說明在對序列進行多尺度局部特征的提取后，再加入時間關系的提取時，要提取適當比例的前向和后向的時間關系，才能更好地提高預測的準確度。對加入跳躍連接的LSTM、BiLSTM、卷積核為3/5/7的CNN部分進行增加和除去并行CNN的操作，卷積核為3、5的CNN和卷積核為1、3、5、7的CNN分別是2個并行CNN組合和4個并行CNN組合中指標最優的，卷積核為1、3、5、7、9的CNN是5個并行CNN的組合，可以看出，并行的CNN不是越多越好，選取適當并行數量的CNN才能達到較好的預測效果。最后，在有跳躍連接的并行LSTM、BiLSTM、卷積核為3/5/7的CNN部分的輸出中分別引入可訓練的權重參數，給輸出分配相應的重要程度，各項指標得到了進一步的提升，如圖5（a）、（b）所示，可以直觀地看出本文方法預測誤差低，擬合程度高。

4? ? ?總結

本文方法采用了并行的結構，同時提取多尺度的局部特征和合適比例的前后向時間關系，引入了ResNet結構優化網絡并加入權重參數，合理地調整所得特征的重要性。通過大量的實驗驗證，證明所提方法在均方根誤差、平均絕對誤差和擬合系數這3個指標上基本優于對比方法，可以更準確地對物聯網的流量進行預測。

［參考文獻］

［1］ 肖軍弼，魏嬌嬌. 面向數據挖掘的網絡流量分析及預測研究綜述［J］. 計算機與數字工程，2023，51（2）： 372-379+467.

［2］ Alsharef A，Aggarwal K，Sonia，et al. Review of ML and AutoML solutions to forecast time-series data［J］. Archives of Computational Methods in Engineering，2022，29（7）： 5297-5311.

［3］ Li Y，Zhang S，Ren X，et al. Real World Wireless Network Modeling and Optimization： From Model/Data Driven Perspective［J］. Chinese Journal of Electronics，2022，31（6）： 991-1012.

［4］ Ko T， Raza S M， Binh D T， et al. Network prediction with traffic gradient classification using convolutional neural networks[A]. 2020 14th International Conference on Ubiquitous Information Management and Communication （IMCOM）[C]. IEEE， 2020： 1-4.

［5］ Abdellah A R， Koucheryavy A. Deep learning with long? ? ? ? ? ? ? ? short-term memory for iot traffic prediction[A].? Internet of? ? ? ? ?Things， Smart Spaces， and Next Generation Networks and? ? ? ? ? ? Systems： 20th International Conference[C]. St. Petersburg，? ? ? ? ? ?Russia： Springer International Publishing， 2020： 267-280.［6］ Tian Z，Song P. A novel network traffic combination predic? ? ? ? ? tion model［J］. International Journal of Communication Systems，2022，35（7）： e5097.

［7］ Mahajan S，HariKrishnan R，Kotecha K. Prediction of network traffic in wireless mesh networks using hybrid deep learning model［J］. IEEE Access，2022，10： 7003-7015.

［8］ Méndez M，Merayo M G，Nú?ez M. Long-term traffic flow forecasting using a hybrid CNN-BiLSTM model［J］. Engineering Applications of Artificial Intelligence，2023，121： 106041.

［9］ Aksan F，Li Y，Suresh V，et al. CNN-LSTM vs LSTM-CNN to Predict Power Flow Direction： A Case Study of the High-Voltage Subnet of Northeast Germany［J］. Sensors，2023，23（2）： 901.

［10］ Ma X，Zhang J，Du B，et al. Parallel architecture of convolutional bi-directional LSTM neural networks for network-wide metro ridership prediction［J］. IEEE Transactions on Intelligent Transportation Systems，2018，20（6）： 2278-2288.

［11］ Guo J，Wang W，Tang Y，et al. A CNN-Bi_LSTM parallel network approach for train travel time prediction［J］. Knowledge-Based Systems，2022，256： 109796.

［12］ Wang C，Cao W，Wen X，et al. An Intelligent Network Traffic Prediction Scheme Based on Ensemble Learning of Multi-Layer Perceptron in Complex Networks［J］. Electronics，2023，12（6）： 1268.

［13］ 王馨彤，王璇，孫知信. 基于多尺度記憶殘差網絡的網絡流量異常檢測模型［J］. 計算機科學，2022，49（8）： 314-322.

［14］ Kiranyaz S，Avci O，Abdeljaber O，et al. 1D convolutional neural networks and applications： A survey［J］. Mechanical systems and signal processing，2021，151： 107398.

［15］ Chen W N，Hu Z J，Yue J P，et al. Short-term load prediction based on combined model of long short-term memory network and light gradient boosting machine［J］. Automation of Electric Power Systems，2021，45（4）： 91-97.

［16］ He K， Zhang X， Ren S， et al. Deep residual learning for image recognition[A]. Proceedings of the IEEE conference on computer vision and pattern recognition[C]. 2016： 770-778.

［17］ He K， Zhang X， Ren S， et al. Identity mappings in deep residual networks[A]. Computer Vision ECCV 2016： 14th European Conference[C]. Amsterdam， Netherlands： Springer International Publishing， 2016： 630-645.

［18］ Cortez P，Rio M，Rocha M，et al. Multi-scale Internet traffic forecasting using neural networks and time series methods［J］. Expert Systems，2012，29（2）： 143-155.