地鐵車站PM2.5 濃度自注意力混合預測方法研究

陳定宇，高國飛，袁 泉

（1.北京城建設計發展集團股份有限公司，北京，100037；2.廣州地鐵設計研究院有限公司，廣東 廣州 510010）

引言

空氣和人類的生活息息相關。隨著工業化和城市化的不斷發展，其過程中排放的空氣污染物包括顆粒物、二氧化硫、氮氧化物等，這些物質可引發呼吸系統疾病。長期暴露于污染空氣中，人們容易患上呼吸道疾病，如慢性支氣管炎、哮喘等［1］。

作為發展中國家，我國當前空氣污染較嚴重。我國正在經歷由傳統產業向新型產業結構轉化。在這個過程中，對空氣污染的控制和治理十分重要。

對PM2.5 濃度進行預測，考慮其對我國地鐵車站的影響是一項重要的環境管理工作。首先，PM2.5 是細小顆粒物，可以進入呼吸道并深入肺部，對人體健康造成潛在威脅。通過預測PM2.5濃度，車站管理者可以提前警示旅客，尤其是老年人、兒童和患有呼吸系統疾病的人，采取措施來降低暴露風險。其次，高濃度的PM2.5 可能影響交通運營的正常進行。對PM2.5 濃度的預測可以幫助交通管理者調整列車時刻和提前發布警報信息，以減緩交通系統的運營受到的影響。然而，由于PM2.5 的不規則特性和復雜的影響因素，難以實現PM2.5 濃度的精確預測。近年來，研究人員已經提出了一系列PM2.5濃度預測模型。

長期以來對空氣污染物濃度的預測，相關研究主要在于提高模型預測的精確性和穩定性，隨著人工智能的發展，出現了許多預測空氣污染物濃度的模型［2］。這些模型可以分為三類：化學模型、統計模型、人工智能模型?；瘜W模型包括CAMx［3］、CMAQ模型［4］和LOTOS-EUROS［5］等。這些方法能夠考慮許多化學動力學條件、反應指數和化學產物，實現污染物預測?？諝馕廴绢A測的傳統統計模型包括自回歸綜合移動平均（ARIMA）［6］、灰色模型（GM）［7］、逐步回歸［8］、主成分回歸（PCR）［9］、多元線性回歸（MLR）［10］和其他回歸模型，例如孟凡強等［11］用ARIMA 對我國五個城市的空氣污染物指數進行預測，李穎若等［12］用MLR 實現對北京空氣質量的評估。

基于人工智能的預測模型中包括單一的預測模型和混合預測模型，單一預測模型包括深度信念網絡（DBN）［13］、卷積神經網絡（CNN）［14］和長短期記憶網絡（LSTM）［15］等模型，例如王洪彬等［16］將CNN 用于空氣中苯濃度的預測。

考慮到單一模型預測的局限性，混合模型在空氣質量預測中變得越來越重要?；旌夏Ｐ椭饕ㄒ韵聝煞N類型：一是簡單混合模型，即將兩個或者多個模型堆疊在一起進行預測，省略了數據前處理和優化，例如楊雨佳等［17］采用CNN-GRU 模型對臭氧濃度進行預測，劉媛媛等［18］采用了CNN-LSTM 對空氣質量指數進行預測。二類是智能混合模型，此類模型結合了數據處理和優化算法，例如王菲等［19］使用ELM 和灰狼優化算法結合，實現了對空氣質量的預測，劉炳春等［20］采用Wavelet-LSTM 模型對北京空氣污染進行預測。目前PM2.5 濃度的預測的相關文獻存在以下不足：第一，PM2.5 濃度時間序列通常包含長期依賴關系，其中當前時刻的濃度受前幾個時刻的濃度和外部因素的影響，相關文獻的模型可能會受到滯后特征的限制［21］；第二，PM2.5 時間序列數據存在固有的隨機性，難以預測，在模型預測完后仍會出現較大誤差。

為了克服以上不足，本文提出了一種基于智能混合預測方法的集成和預測誤差校正模型，旨在提高模型預測的精確性和穩定性，本文的主要工作如下：

（1）自注意力機制可以有效地捕捉時間序列的長期依賴關系，可以有效改善時間序列的滯后性。因此首先采用自注意力機制對時間序列中的關鍵信息進行捕捉，再用GRU 進行預測 。

（2）采用誤差修正可以幫助提高預測的準確性，通過對預測結果進行修正，可以減少誤差，使模型更加可靠。因此本文設計了DBN 模型用來校正帶自注意力機制的GRU 的誤差，并且將誤差預測結果和原預測結果相加得到最終預測結果，實驗結果表明，基于自注意力機制的GRU-DBN 誤差修正模型提高了模型預測的穩定性和精度。

1 模型及方法介紹

1.1 本文模型結構

模型結構框圖如圖1 所示。

圖1 模型框圖Fig.1 Block diagram of the model

圖2 GRU 網絡結構Fig.2 Network structure of GRU

圖3 DBN 網絡結構Fig.3 Network structure of DBN

1.2 自注意力機制

注意力機制（Self-attention）可以通過計算注意力權重然后給輸出向量動態生成權重，具體描述為將詢問向量Q（query）、鍵值向量K（Key）和值向量V（value）映射到輸出向量過程，輸出向量是由Q和K計算過程產生的權重分配到值上產生的加權和。自注意力機制的點積模型公式如下：

由于模型在對當前信息進行編碼時，會過度地將注意力集中于自身的位置，因此需要多頭注意力機制解決這一問題，具體公式如下：

1.3 GRU

門控循環單元（Gate Recurrent Unit，GRU）［21］是RNN 的變種，解決了LSTM 不能長期記憶和反向傳播中的梯度問題。GRU 比LSTM 的結構簡單，GRU 包含兩個門分別是更新門和重置門。

GRU 結構圖如2 所示。

1.4 DBN

深度置信網絡（Deep Belief Network，DBN）深度信念網絡是一個概率生成模型，與傳統的判別模型的神經網絡相比，DBN 能夠建立一個觀察數據和標簽之間的聯合分布，擁有強大的無監督特征提取能力，DBN 由多個受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）構成，最后一層為傳統BP 神經網絡。與傳統BP 神經網絡相比，DBN 學習速度更快，對數據的輸入要求更低，精確性和穩定性更高。

DBN 網絡結構和傳統神經網絡不同前面幾層由RBM 構成，層內神經元無連接關系，結構圖如3所示。

DBN 理論推導：

（1）輸入層中，輸入污染物數據至觀察層v1，計算觀察層神經元激活概率P(hj=1|v)，從計算概率分布中利用 Gibbs 抽樣法抽取樣本hj～P(hj=1|v)。

（2）用隱藏層h1重新構建觀察層并反推。計算隱藏層神經元激活概率P(vi=1|h)，從計算概率分布中利用 Gibbs 抽樣法抽取樣本vi～P(vi=1|h)由v2再次計算隱藏層神經元激活概率并更新權重，并重復多次訓練。

（3）利用 BP 算法用來進行有監督反向微調，目標函數為最小化重構輸入與最初輸入的均方誤差：

式中n為樣本個數，Yi為真實標準結果，為DBN 網絡實際輸出結果。

1.5 評價指標

論文使用統計學中常用的三個誤差評估指標來定量評估模型的預測精度，即平均絕對誤差（MAE）、RMSE 和平均絕對百分比誤差（MAPE）。這三個評估指標如表1 所示。

表1 評價指標表Tab.1 Table of evaluation indicators

2 實驗步驟

因為PM2.5 時間序列受到多個因素的綜合影響，包括但不限于溫度、氣壓和風速等，僅僅依賴于復雜參數的單一預測模型很難有效擬合其變化趨勢，導致預測精度不容易達到要求。因此，本文采用混合預測模型的方法，以更全面、綜合的方式對序列進行預測。通過考慮多個影響因素的綜合作用，本文混合模型有望提高預測的精確性，更好地捕捉PM2.5 濃度變化的復雜模式，滿足更高的預測精度要求。該模型主要包括數據預處理，預測模型和模型評價：

步驟一：數據預處理，通過隨機森林算法填補缺失值，用四組數據集分別來驗證本文模型的性能，將數據集以8：2 的比例劃分訓練集{y1，y2，…，yt}和測試集{yt+1，yt+2，…，yt+n}。

步驟二：首先采用自注意力機制來捕捉合時間序列的關鍵信息。

步驟三：獲得關鍵信息后，用GRU 對污染物時間序列進行預測。

步驟四：綜合上述預測結果和原始序列得到殘差e=y-，最后將殘差用DBN 得到預測后的殘差e'，進行誤差修正后形成最終的預測序列y*=+e'，預測精度更高。

步驟五：用評價函數對模型進行評價，并且和現有的模型進行比較。

3 實驗及模型評價

3.1 數據描述

本文以我國的四個交通樞紐（北京、天津、上海、廣州）的污染物數據集作為研究對象。近年來我國交通樞紐的發展越來越快，研究其空氣污染物預測模型對污染防治有著重大的意義。此次實驗的數據來源于2022 年1 月 1 日～12 月 31 日24 小時PM2.5 數據，該PM2.5 數據均來自國家城市空氣質量實時發布平臺https：//air.cnemccn：18007/中國環境監測中心。本文將數據分為四組來評價本文模型的性能，數據集均為8700 h（日期為2022.01.01～2022.12.31）的PM2.5 污染物數據，其中北京的污染物數據集為數據集1，天津的污染物數據集為數據集2，上海的污染物數據集為數據集3，廣州的污染物數據集為數據集4。每一組按照8∶2 比例劃分訓練集與測試集，所有實驗在Windows10 上的Python（3.9）四組數據集如圖4 所示。

圖4 四組原始數據圖Fig.4 Plot of four sets of raw data

從圖4 可以明顯觀察到PM2.5 濃度在特定時間段內變化較為顯著，尤其是出現了較大的波動。這種復雜的時序變化使得單一模型的預測難以準確捕捉其真實趨勢，導致預測的不精確性。因此，為了更有效地應對這種時序數據的多變性，需要采用混合模型來進行預測。

3.2 帶自注意力機制的GRU 預測

在本節中研究了帶自注意力機制的GRU 對PM2.5 濃度預測的影響，比較了帶或不帶自注意力機制的預測效果，四組數據集預測的平均MAE，RMSE、和MAPE 如圖5 所示。

圖5 有無注意力機制的預測效果比較Fig.5 Comparison of prediction effects with and without self-attention mechanism

由圖5 可知，由于自注意力機制能夠允許模型在處理序列數據時更靈活地關注不同位置的信息，而不受固定窗口大小的限制，這使得GRU 能夠更好地捕捉序列中的長距離依賴關系，提高了GRU 時間序列預測的能力。

3.3 DBN 誤差修正

在本節中，研究了DBN 誤差修正對PM2.5 小時濃度預測的影響，誤差預測結果如圖6 所示。然后比較了四組數據，帶或不帶DBN 誤差修正的模型之間取四組數據的MAE 比較如圖6 所示，四組數據使用DBN 誤差修正的改善百分比如表2 所示。從圖6和表2 可以看出，在選定的四組數據集中，DBN 誤差修正的使用可以提高整個模型的PM2.5 預測精度。

表2 使用誤差修正的精度提升百分比Tab.2 Percentage improvement in accuracy using error correction

圖6 有無誤差修正MAE 比較圖Fig.6 Comparison of MAE with and without error correction

由圖6 可知，帶有誤差修正的模型比沒帶有誤差修正的模型的預測精度高很多，說明用DBN 對模型預測結果進行誤差修正是十分重要的。

由表2 可知，由于DBN 能夠通過層級學習和特征提取，對輸入數據進行有效地表征，這使得DBN在誤差修正中具有優勢，所以使用DBN 誤差修正對前面的模型進度提升顯著。使用DBN 誤差修正后MAE 最高提升都達到了68%，RMSE 的最高提升達到了71%，MAPE 的最高提升達到了62%以上。

3.4 模型比較及誤差分析

為了證明本文的預測方法的優勢，將現有的五個空氣污染預測模型與所提出的模型進行了比較。它們是DBN，GRU，Attention-GRU，極限學習機（ELM），回聲狀態網絡（ESN）。為了更直觀地顯示本文的使用對預測結果的影響，圖7～10 是選取平均精度最高的四個模型預測結果的散點圖，當散射點的分布更集中于y=x線時，表明相應模型的預測結果更準確、更穩定。

圖7 數據集1 的散點圖Fig.7 Scatterplot of dataset 1

圖8 數據集2 的散點圖Fig.8 Scatterplot of dataset 2

圖9 數據集3 的散點圖Fig.9 Scatterplot of dataset 3

圖10 數據集4 的散點圖Fig.10 Scatterplot of dataset 4

由圖中可以直觀地看出本文模型圖像的散射點比其他模型的散射點更集中于y=x線，帶自注意力機制和DBN 的誤差修正的模型對預測的精度有很大的提升，即本文提出的模型比現有的參照模型具有更好的預測效果。

本節還列出了各模型預測評價指標比較，如表3 所示。

表3 各模型預測評價指標比較Tab.3 Comparison of model prediction evaluation indicators

根據表3 可知：

（1）ELM 和ESN 都是相對簡單的模型，通常在處理長時序列依賴關系時效果較差。對于復雜的時間序列，它們可能難以捕捉到足夠復雜的關系，所以在本實驗中更復雜的模型（深度學習模型）表現更好。ELM 和ESN 在上述四個數據集中表現不佳。

（2）由于DBN 逐層學習數據的層級特征，有助于捕捉數據的復雜模式，這使得DBN 在某些情況下能夠更好地適應數據的復雜性，在本實驗中的四個數據集中DBN 展現出比GRU 更好的效果。

（3）由于帶有自注意力機制的GRU 在時間序列預測中的優勢主要在于能夠更好地處理長距離依賴關系，更靈活地調整對不同時間步的關注程度，以及更全面地捕捉序列中的特征和動態關系。這些特性使得它相對于普通的GRU 在PM2.5 時間序列預測任務上表現更好。在本實驗中帶自注意力機制的GRU 在四個數據集中的表現均優于GRU。

（4）本文的混合模型具有穩定且優異的性能，對于選定的四組PM2.5 數據的預測結果，與現有的五個模型相比，做出的預測精度都高于另外五個模型。這證明采用自注意力機制后和DBN 誤差修正可以有效地提高模型的預測精度。

4 結語

本文提出了一種基于自注意力機制的GRUDBN 誤差修正的PM2.5 濃度預測方法。選取中國的四個交通樞紐為研究對象，分為四組進行相關實驗。本文提出的預測方法結合了自注意力機制、GRU 和DBN 誤差修正。自注意力機制用來提取關鍵信息，GRU 用來PM2.5 時間序列預測，DBN 可以校正上一步的預測誤差，以獲得更準確的PM2.5 濃度預測結果。

實驗結果表明：（1）本文提出的預測方法可以實現對每小時PM2.5 的較好的預測效果，四組數據的預測結果表明本文的預測方法優于相關文獻中已有的五個模型，證明了本文建立的模型的優越性。（2）采自注意力機制有助于提取PM2.5 濃度時間序列的關鍵信息，達到更高的預測精度。（3）DBN 對預測誤差進行修正可以提高模型對PM2.5 的預測精度，四組實驗數據結果表明DBN 對預測誤差進行修正對預測結果的改善顯著。

本文建立的PM2.5 預測模型可以實現準確的預測效果，實現空氣污染預警，幫助人們提前采取措施減少損失。