基于WOA-BiLSTM模型的空氣質量指數預測①

劉 英,裴莉莉,郝雪麗

(長安大學 信息工程學院,西安 710064)

伴隨著我國生態建設力度的加大,空氣質量問題成為生態問題的重要組成部分,空氣質量的好壞有關國家建設“綠水青山”的使命,有關社會環境治理問題,有關人民身體健康問題.我國每年因為大氣污染造成呼吸道疾病感染而死亡的人數高達數百萬,空氣中霧霾、浮塵等顆粒嚴重影響了空氣質量,因此能夠很好地預測空氣質量問題成為人們亟需解決的一大課題.順應大數據時代的到來,很多研究人員已經做了一些針對空氣質量預測的相關工作[1,2].

早些年間,人們對于空氣質量的預測多基于生活中的主觀經驗,這顯然缺乏一定的科學性.后來,人們也基于數學方法來進行建模,從而對空氣質量問題完成了很好的預估[3].例如,楊寧等人運用時間序列分析方法,借助SPSS 軟件對北京市未來2 周的空氣污染物變化情況進行了預測,通過Q 檢驗和擬合統計量R2驗證了ARIMA 模型預測效果較好,具有一定的推廣價值[4].

隨著機器學習技術的逐漸成熟,越來越多的研究者采用神經網絡建模的方法很好地完成了空氣質量的預測工作.很多國內和國外的研究中,人們較多使用傳統的神經網絡方法來建立預測模型.例如,Samia 等人使用非線性的人工神經網絡ANN 和移動平均模型ARIMA 的組合模型完成了對斯法克斯南郊等地區的氣象和顆粒數據的實驗,證明了該模型的有效性[5].Chauhan 等人使用卷積神經網絡CNN 模型對印度不同城市的空氣質量數據集進行了實驗,分析了空氣污染物對城市的影響,驗證了模型的準確性和適用性[6].Jiang等人提出了一種基于樣本自組織聚類的BP 神經網絡,利用自組織競爭神經網絡的聚類特征對空氣質量進行了預測,模型預測精度得到了提升[7].范彩云等人以北京市空氣質量為例,采用小波降噪和LSTM 神經網絡的方法,結合區域關聯性等對AQI 指數進行了預測,與ARIMA 模型等進行對比,證明了降噪后帶空間因素的LSTM 神經網絡具有更好的預測結果[8].徐萬鏞等人選取蘭州市PM10等主要污染物濃度數據并進行標準化處理,搭建4 層的LSTM 神經網絡對未來12 小時的AQI 指數進行預測,和傳統的3 層模型進行對比說明了該LSTM 模型具有較好的預測效果[9].Menares等人基于LSTM 和深度前饋神經網絡DFFNN 對智利圣地亞哥市監測站氣象數據進行了預測,最終證明了深度學習的LSTM 模型的表現一直優于目前使用的確定性模型[10].

以上方法中,無論是基于傳統的神經網絡模型還是數學模型,其模型的參數都是依據個人經驗而定的,所以預測結果往往存在預測精度低,訓練周期長,不夠可靠的問題.基于這些問題,本文引入鯨魚優化算法,使用WOA 算法對BiLSTM 網絡的訓練參數神經元個數m和學習率l進行尋優,從而可以達到提升模型的擬合效果、訓練過程和預測結果的目的.

1 數據質量提升及算法流程圖

1.1 數據來源及可視化

本文數據源自于UCI (University of California Irvine)數據庫中陜西省空氣質量數據集,選取2019年7月到2020年12月共13 000 條氣象數據,主要包含date、CO、NO2、O3、PM10、AQI 等8 個屬性.

對2020年的AQI 數據按照一年12 個月的變化,進行可視化統計如圖1 所示.可以發現,在1月AQI 最高(167.68),說明此時空氣質量最差; 在8月AQI 最低(45.33),說明此時空氣質量最優.

圖1 2020年AQI 變化趨勢圖

1.2 數據質量提升

首先,在O3、CO、NO 等特征中,均存在不同數目的缺失值.通過計算每一列的平均值來對此列中存在的缺失值“NA”進行了填充,確保序列數據在進入網絡進行訓練之前不存在缺失.

其次,在原始數據集中,各特征存在較大差異的數據量綱,容易導致模型精度降低,模型訓練時間長,因此在將特征輸入到網絡之前,還需對特征因子進行歸一化操作[11].歸一化操作的原理如下:

其中,xmax即所在列的最大數據,xmin是所在列的最小數據,x是待標準化前的數值,x*是x標準化后的數值.

特征歸一化操作使得數據范圍均介于[-1,1]之間,樣本數據的均值接近于0,數據既保留了本身的正負屬性,而且可以提高神經網絡的學習速度.

1.3 算法流程圖

本文首先對陜西省的空氣質量數據進行清洗,并對數據進行歸一化操作,然后先根據經驗函數設定隨機參數后將特征輸入到BiLSTM 網絡中進行訓練,再根據WOA 算法對網絡模型的神經元個數和學習率進行尋優[12],輸出最優網絡超參數,再根據最優參數,將特征輸入到建立好的WOA-BiLSTM 模型中,然后將測試集輸入到該模型中進行驗證,進行數據反歸一化得到數據預測結果,最終還將該模型和BiLSTM 以及LSTM 進行了對比分析,證明本文提出的WOA-BiLSTM模型具有更好的預測結果.本文的算法流程圖如圖2所示.

圖2 算法流程圖

2 空氣質量預測原理

2.1 BiLSTM 網絡

LSTM 作為一種特殊的RNN 網絡,以其可以學習到長時間依賴信息的能力,而被廣泛應用于時間序列預測領域[13].LSTM 神經網絡分別由輸入門it、輸出門ot、遺忘門ft三種存儲門部件構成.

本文引入雙向的長短期記憶網絡BiLSTM,BiLSTM網絡基于前向和后向的雙向傳播原則,同時提取過去和未來的隱藏層信息,使得空氣質量信息提取更加充分.BiLSTM 網絡結構如圖3 所示.

圖3 BiLSTM 網絡結構

其中,α、β為常數,α 和 β之和為1.

2.2 WOA 算法

本文使用鯨魚優化算法WOA 對BiLSTM 的訓練參數隱藏神經元個數和學習率進行尋優.WOA 的原理就是模擬座頭鯨圍捕獵物的行為,實現全局搜索的過程[14],主要包含了包圍、攻擊和搜索3 大過程.

(1)包圍.開始鯨魚會先選擇一個局部最優的捕食方向,設定一個當前最優的獵物位置進行包圍.計算公式如下:

其中,X*代表獵物位置的向量,X代表鯨魚位置的向量,t為迭代輪數,A和C為系數向量.計算時,會對A和C向量進行調試,用來尋找X在最優解周圍的位置.A、C的計算公式如下:

其中,a從2 到0 線性變化;r是取自于[0,1]中的隨機向量.

(2)攻擊.一般鯨魚在進行攻擊的時候,主要有兩個機制,分別是收縮包圍獵物機制和螺旋更新位置機制.

收縮包圍機制: 新的個體位置可以定義在目前的鯨魚個體和最佳鯨魚個體間的任何一個位置[15],參見式(5).

螺旋更新位置機制: 首先計算出鯨魚和獵物之間的距離D′,構建方程:

其中,b為常數,l取[-1,1]之間的隨機數.

本文設定0.5 為閾值,通過判斷產生的概率值p來決定鯨魚在攻擊時采取何種機制.若概率p＜0.5 且|A|＜1,則采取收縮包圍的機制; 若概率p＞0.5 且|A|＜1 時,則采取螺旋式機制來更新位置.

(3)搜索.若|A|＞1,則隨機搜索并選取鯨魚來進行位置的更新,而非基于已有的最優的鯨魚個體.如果算法的迭代輪次已經達到最大,則算法終止.

2.3 WOA-BiLSTM 預測模型

選擇最優的隱藏層神經元個數m和學習率l值對于神經網絡預測來說,是至關重要的,而依據經驗選取參數的做法會降低BiLSTM 模型預測精度.因此,本文通過WOA 算法對BiLSTM 循環網絡的參數m和l做以優化.

將鯨魚個體作為各個優化策略,將鯨魚位置的維數對應BiLSTM 模型待優化參數的個數,在鯨魚不斷更新自身位置的過程中獲得BiLSTM 循環網絡的最優參數組合.

WOA-BiLSTM 組合模型如圖4 所示.WOA 算法將計算得到的初始化種群參數傳遞給已經建立的BiLSTM 模型,輸入訓練集到BiLSTM 模型進行訓練,再對測試集進行預測,得到真實值和預測值之間的誤差,同時WOA 算法種群不斷更新,將更新得到的參數傳遞給模型進行再訓練,直到WOA 算法輸出最優的網絡超參數,再將得到的全局最優解傳遞給BiLSTM模型,模型根據最優解組合對數據進行訓練,之后再進行測試,最終輸出得到模型的最佳預測結果.

圖4 WOA-BiLSTM 組合模型

使用WOA 算法來對BiLSTM 網絡模型進行優化,首先需要給定兩個參數的搜索區間,然后經過第2.2 節描述的鯨魚優化算法在給定的區間范圍內進行隨機搜索,使得預測模型的損失函數Loss 不斷收斂,得到最高的預測精度,從而得到最優的網絡參數,將最優網絡參數代入BiLSTM 模型進行預測.WOA 算法用于BiLSTM 模型來實現空氣質量預測的算法流程圖如圖5 所示.

圖5 WOA-BiLSTM 算法流程圖

將WOA 用于BiLSTM 模型進行預測,其算法流程按照如下幾步進行:

步驟1.首先對空氣質量數據進行清洗和歸一化等處理后,將數據輸入到BiLSTM 模型;

步驟2.對BiLSTM 模型參數學習率l和神經元個數m進行初始化;

步驟3.對鯨魚優化算法種群進行初始化.將變量組合(m,l)輸入到WOA 算法中,作為待優化參數,種群不斷更新;

步驟4.將初始化完成的參數值作為歷史最優參數輸入到BiLSTM 模型進行訓練;

步驟5.將傳統BiLSTM 模型進行訓練后得到的損失函數值作為系統要求的終止條件,并同時計算得到基于鯨魚優化算法的預測模型的損失值;

步驟6.如果基于鯨魚優化算法的預測模型損失值比傳統的BiLSTM 模型的損失值小,則滿足判定條件,輸出最優學習率l和神經元個數m; 相反,如果基于鯨魚優化算法的預測模型損失值大于或者等于傳統的BiLSTM 模型,則需要進一步更新參數并再次訓練模型.

3 基于WOA-BiLSTM 模型的空氣質量預測分析

3.1 WOA 適應度分析

考慮到全局優化算法有多個,本文對WOA 等多個優化算法的適應度值進行了分析,如圖6 所示,可以看出,當迭代次數達到65 代左右時,WOA 算法出現最佳適應度值,GSA (gravitational search algorithm)引力搜索算法在第100 代時出現最佳適應度值,而PSO(particle swarm optimization)粒子群優化算法和BOA(Bayesian optimization algorithm)貝葉斯優化算法則是在第200 代左右時出現最佳適應度值.WOA 算法最佳適應度值為0.000 193 2.由此可以說明,WOA 算法比其他優化算法具有更快的收斂速度和更高的收斂精度.

圖6 各算法適應度值收斂曲線圖

3.2 WOA-BiLSTM 模型參數選擇及優化結果

過往研究可以發現,LSTM 網絡參數中,隱藏層神經元個數m和學習率l對模型的訓練結果影響最大.一般神經網絡中的隱藏層神經元個數都是由經驗公式,見式(10),而得到一個大致的取值范圍,然后在這個取值范圍中,進行屢次的實驗來設定該參數的取值,并且還要對模型性能進行橫向的對比,最終選取一個最優的參數.

其中,α 和 β分別為輸出層和輸入層的節點數,n取介于[0,10]之間的常數.

學習率l對于BiLSTM 網絡來說,關乎網絡訓練時損失曲線的振幅以及模型收斂的快慢.學習率如果設置的較小,Loss 曲線就會振幅變小,學習速度也變得緩慢; 而學習率如果設置的過大,Loss 曲線就會振幅變大,下降速度變快.所以需要選擇合適的學習率參數,實現模型訓練“穩中求進”的原則[16].

WOA-BiLSTM 模型具有雙向的循環神經網絡,模型具有輸入層,輸出層和一個隱藏層結構,選取Adam優化器來更新模型參數.本文中隱藏層神經元個數m的值范圍為[10,50],學習率l的取值范圍為[0.001,0.01],WOA 算法對鯨魚種群進行初始化后,將參數傳遞給BiLSTM 模型,初始的隱層神經元個數m為30,學習率l為0.001.為避免過擬合問題,迭代次數設為200,時間步長設為5.基于WOA 算法的不斷更新迭代,最后將最優的網絡超參數進行輸出,最終獲得最優參數組合如表1 所示.

表1 BiLSTM 模型的最優參數組合

3.3 WOA-BiLSTM 模型預測結果分析

根據模型在訓練過程中,隨著迭代輪次的遞增,訓練集上損失值不斷下降的過程,得到模型訓練的Loss曲線圖,如圖7 所示.可以看出,在前100 次迭代時,損失曲線大幅下降,而當迭代輪次到達140 左右時,Loss已經近乎為0.

圖7 Loss 曲線圖

將提升后的數據輸入本文模型,訓練集取4 000 條樣本,測試集取400 條樣本,訓練WOA-BiLSTM 模型如圖8 所示.可以看出在訓練集和測試集上,AQI 的預測值和真實值非常貼近,曲線波動走向近乎一致,說明預測誤差小,模型精確度高,可以實現對AQI 的高精度預測.

圖8 WOA-BiLSTM 模型預測效果圖

為驗證WOA-BiLSTM 模型對比其他現有預測模型間所具有的優勢,采用BiLSTM 和LSTM 模型進行對比試驗,隱藏層中的激活函數均使用tanh 函數,并采用十折交叉驗證法對模型進行訓練.圖9 和圖10 分別為BiLSTM 和LSTM 對AQI 進行預測的結果,可以看出,兩個模型的訓練精度均低于WOA-BiLSTM 模型.尤其從測試集可以發現,真實值和預測值在很多峰值處無法達到高度擬合狀態.

圖9 BiLSTM 模型預測效果圖

圖10 LSTM 模型預測效果圖

為了量化表示不同模型的預測值與真實值之間的誤差大小,本文采用絕對均值誤差(MAE)、均方根誤差(RMSE)以及線性相關系數(R2)作為評價指標[17].評價指標的計算見式(19)-式(21).

其中,n指測量值的總個數,yi指AQI 預測的實測值,指AQI 預測的預測值,指yi的平均值.

本文分別將WOA-BiLSTM、BiLSTM、LSTM 模型在測試集上的預測評價指標進行了記錄,如表2 所示.

表2 不同模型的評價指標

為了更形象化的對比驗證本文模型的合理性,對模型的評價指標進行可視化展示,如圖11 所示.

圖11 模型預測指標對比

可以看出,本文提出的WOA-BiLSTM 模型MAE、RMSE值為最低,分別為6.543 3 和7.334 6.其中MAE值較BiLSTM 模型和LSTM 模型分別降低了1.876 5和3.913 6.RMSE較BiLSTM 模型和LSTM 模型分別降低了3.186 9 和5.325 1; 同時,本文模型的R2值亦為最高,較BiLSTM 模型和LSTM 模型分別提高了0.26%和1.98%.這也說明了基于WOA 算法的BiLSTM 模型對于空氣質量具有更好的預測效果,其中WOA 算法幫助BiLSTM 模型尋找最優網絡參數,雙向的長短期記憶網絡幫助模型能夠從前向和后向一并提取充足的數據特征,達到更為精準的AQI 預測效果.

4 結論

針對一般的長短期記憶網絡在預測過程中,網絡參數需要依據經驗而得,訓練周期長,模型精度不夠高的問題,本文提出的WOA-BiLSTM 模型,以陜西省空氣質量數據作為數據集,驗證了本文模型的有效性.

(1)本文WOA-BiLSTM 模型中提出的WOA 算法作為一種啟發式的參數尋優算法,可以高效的得到網絡的最佳訓練參數,能夠有效避免模型訓練時調參所帶來的對預測精度的影響,而且采用了雙向的長短期記憶網絡,能夠使得模型在提取數據信息時,盡可能地關注單向長短期記憶網絡所忽略的信息,從而能夠保證空氣質量預測結果的優越性.

(2)本文還將WOA-BiLSTM 模型和BiLSTM 以及LSTM 模型進行了預測效果的對比,發現了本文提出模型的MAE、RMSE、R2值均是最佳的.這也說明了本文提出的模型能夠更為準確的預測空氣質量問題,能夠為我省氣象局開展空氣質量預測工作提供理論支撐和實踐依據.