改進DQN算法在WSNs資源分配中的應用

鄭 嵐,徐麗萍

(安徽三聯學院 電子電氣工程學院,合肥 230601)

無線傳感器網絡(Wireless Sensor Networks, WSNs)資源有限,當節點資源消耗殆盡,WSNs就會失效或死亡,從而引發服務中斷、假警報等各種不良后果,因此提高WSNs資源利用率是目前最有效的網絡能耗解決方法之一[1]。通過合理分配,能夠讓各種資源之間相互配合,降低能源損耗,從而達到提高WSNs資源利用率目的[2]。

在上述的背景下,關于網絡資源分配的研究有很多,不同的專家和學者提出了不同解決方法。張玉琴等[3]將最大-最小保密率作為目標函數,然后利用改進啟發式優化算法對目標函數進行尋優求解,得到的最優解就是網絡資源分配方案。王海峰等[4]以WSNs中的節點資源為對象,在考慮節點間距的基礎上,以吞吐量為優化目標,在數據傳送路徑、節點通信容量、節點布局3個約束條件下,通過貪婪算法進行求解,得到WSNs節點資源的分配方案。雖然前人研究取得了一定的研究成果,但是存在2個缺陷:1)多數都是針對單一資源分配設置目標函數;2)最后的求取算法本身存在一定的缺陷。在雙重問題作用下,得到的分配方案失衡,綜合效益不高。本文將改進的深度Q網絡(Deep Q-Network,DQN)算法應用在WSNs資源分配中,通過進一步完善網絡拓撲結構,設計網絡資源優化模型,提升網絡資源的均衡負載水平,研究分為WSNs拓撲結構、多目標函數及分配方案求取3個部分。通過本研究以期提高WSNs資源的利用率,延長WSNs使用壽命。

1 設計與分配方案

1.1 網絡拓撲結構設計

WSNs具有體積小、成本低、易于部署等優點,因此在很多領域都發揮重要作用。例如,在環境監測領域可以通過在監測區域內布設傳感器,實時感知該區域內的環境信息,采集空氣質量、溫度、濕度、風速等信息;WSNs還可以被應用到醫療衛生領域,通過讓患者佩戴傳感器,實時感知患者的體征信息,如脈搏、呼吸以及體溫等[5]。此外,WSNs還可以應用到軍事領域、建筑領域、交通領域。WSNs結構設計如圖1所示。

圖1 WSNs結構

傳感器節點包括數據采集單元、數據傳輸單元、數據處理單元和能量支持單元[6]。節點位置可以隨時改變,通過無線通信形成的多跳自組織網絡可以無線連接到物聯網[7]。為方便描述,將WSNs拓撲結構通過有向無環圖表示,即A={B,C,D},其中:B={b1,b2,…,bn}為無線傳感器節點;C={c1,c2,…,cm}為無線傳感器節點之間的鏈路;D={d1,d2,…,dk}為WSNs中節點之間鏈路的初始資源信息。

假設WSNs具有以下屬性:

1)WSNs拓撲結構已知;

2)WSNs節點數量和位置已知;

3)在WSNs中不考慮節點沖突問題;

4)WSNs節點都具有相同的感應數據生成速率;

5)WSNs初始資源信息已知。

1.2 多目標優化模型構建

本文選擇多個目標構建優化模型,與單一目標優化模型相比,多目標模型下求取的WSNs資源分配方案更具有全局性,綜合效益更高。WSNs資源分配的理想狀態是誤碼率最小化、網絡鏈路容量最大化、資源分配負載均衡度最大化、網絡節點能耗最小化[8]。從上述可知,優化目標不一致,為保證多目標優化中目標函數的一致性,均將最大化問題轉化為最小化問題,即取最大化的負值[9]。另外,由于每個目標的重要程度不一樣,因此需要對每個目標進行賦權,最終構建的多目標優化函數如下:

Ymin=w1y1min+w2(-y2max)+w3(-y3max)+w4y4min。

(1)

式中:Ymin為多目標優化最小值;y1為誤碼率;y2為網絡鏈路容量;y3為資源分配負載均衡度;y4為網絡節點能耗;w1、w2、w3、w4為4個優化目標的權重,w1+w2+w3+w4=1。

1)誤碼率。

(2)

式中:aij為數據在鏈路cij上傳輸時,鏈路接收端j的信噪比;E為噪聲帶寬;eij為數據傳輸速率。

2)網絡鏈路容量。

(3)

式中:G為可用信道的帶寬;gij為信道頻譜寬度;dij為鏈路cij的頻譜寬度;Dij為鏈路cij的通信距離。

3)資源分配負載均衡度。

(4)

式中:P為時隙集合;Q為信道集合;Jpq為第p個時隙第q個信道的鏈路容量之和;o為時隙的個數;u為信道的個數。

4)最大化網絡生命期。

(5)

針對式(1)設置以下約束條件:

(6)

式中:Gmin、Gmax分別為信道帶寬下限和上限;D總為鏈通信總距離;emin、emax分別為數據傳輸速率下限和上限;d總為鏈路頻譜總資源量。

式(1)與式(6)共同構成多目標優化模型。

1.3 改進DQN算法求解分配方案

在完成多目標優化模型構建后,需要求取最優分配方案[10],即解出最優解。求取最優解的最佳方法就是通過尋優算法不斷迭代,優勝劣汰,一步一步排除非優解,最終剩下的1個解就是最優解[11]。在這里選取的尋優方法為DQN算法。DQN算法是深度強化學習中的一種,該算法中主要有2個網絡:1)當前值網絡;2)目標網絡。其中前者通過從經驗池中獲取訓練樣本,進行訓練,目的是調整網絡參數并將該參數全部賦值給目標網絡;后者是利用訓練好的目標網絡,通過輸入測試樣本,得出最優結果。然而,該算法在實際應用中很容易出現過估計問題,也就是某個狀態下次優動作的值將超過最優動作的值。該問題的出現不僅會影響算法整體穩定性,更為重要的是很可能導致最優解永遠找不到[12]。此外,在上述基礎DQN算法中,經驗池的參數更新采用隨機經驗回放機制來實現。這種方法不僅效率低,而且獎勵很小。面對上述2種問題,本節從2個方面對DQN算法進行更新。

針對過估計問題,在DQN算法的基礎上進行改進,改進后DQN算法為:

(7)

針對基礎DQN算法的隨機經驗回放機制進行改進,設計一種自適應多采樣經驗回放機制,具體過程如下:

步驟1:經驗樣本輸入。

步驟4:根據權值概率隨機選取采樣模式。

步驟5:判斷更新模式是否為隨機采樣?若是,執行簡單隨機采樣原則;若否,進入下一步。

步驟6:判斷更新模式是否為就近采樣?若是,執行就近采樣原則;若否,進入下一步。

步驟7:執行優先經驗回放。

基于改進后的DQN算法,具體求解過程如圖2所示。

上述過程求取的最優解就是WSNs資源分配方案。

2 實驗測試

2.1 WSNs拓撲結構

為測試改進DQN算法在WSNs資源分配中的應用效果,在Matlab環境下構建1個500 m×500 m的研究區域。隨機在研究區域內部署30個無線傳感器節點,如圖3所示。

圖3 初始化傳感器節點的分布

仿真參數設置如表1所示。

2.2 改進DQN算法參數設置

改進DQN算法求解WSNs資源分配方案時,所設置的初始化參數如表2所示。

表2 改進DQN算法參數

2.3 應用效果對比分析

設置任務量100～1 000,分別使用改進DQN算法、改進啟發式優化算法(算法1)、貪婪算法(算法2)進行求解,得出WSNs資源分配方案,然后運行WSNs資源分配方案,統計每個方案的傳輸延遲以及節點總能耗。傳輸延遲越小,節點能耗越少,證明WSNs資源分配方案越合理,即所研究算法的應用效果越好。結果如圖4和表3所示。

從圖4和表3中可以看出,與算法1、算法2得出的WSNs資源分配方案相比,隨著任務量的增多,本文算法求取的WSNs資源分配方案的傳輸延遲更低、節點總能耗更小,方案綜合效益更好,由此證明了本文算法在WSNs資源分配中的應用效果。

圖4 傳輸延遲對比

3 結束語

本文針對WSNs資源有效分配,提出一種改進DQN算法,以提高網絡資源利用率,將算法模型誤碼率最小化,隨之將網絡鏈路容量最大化和資源分配負載均衡度最大化綜合了多個單一目標函數并利用改進DQN算法進行求解,得出了WSNs資源分配方案。最后通過WSNs資源分配方案應用下的傳輸延遲和節點總能耗對改進DQN算法應用效果進行對比,證明了其有效性。本文基于網絡資源分配的視角提升了WSNs的均衡度,在未來應進一步完善網絡拓撲結構,優化網絡鏈路的性能。