基于強化學習的低時延車聯網群密鑰分配管理技術

徐堂煒，張海璐，劉楚環，肖亮，朱珍民

（1.廈門大學信息學院，福建 廈門 361005；2.中國科學院大學計算技術研究所，北京 100190）

1 引言

車聯網（VANET，vehicular Ad Hoc networks）群集內共享群密鑰對群成員通信進行對稱加密[1]，是保障群集車輛協同駕駛、擁塞避免以及娛樂服務過程中通信安全和用戶隱私的關鍵[2-3]。由于車聯網群集的動態性和開放性，群集容易遭受各種內外部網絡攻擊，攻擊者利用時序攻擊、緩存攻擊[4]等手段竊取群密鑰，進行竊聽、電子欺騙等攻擊，導致用戶隱私泄露與交通事故。因此，車聯網需要實時更新群密鑰，保障群密鑰在車輛加入和離開群集的前向安全和后向安全[5]。

車聯網群集使用群密鑰對車輛進行節點認證和通信加密受到廣泛關注的同時，如何有效管理車聯網密鑰是一個亟須解決的問題。文獻[6]提出基于公鑰基礎設施（PKI，public key infrastructure）的車聯網匿名密鑰管理方案，通過匿名數字證書認證車輛節點和保護數據完整性，但隨著車輛節點數的增加，大量的密鑰和匿名證書使認證中心需付出較大的管理成本以確保系統安全，并對車輛節點的存儲和通信開銷帶來負擔。文獻[7]提出使用基于群集的對等批密鑰協議，但車輛節點只能屬于一個群集，且當新節點加入群集時，群首需要重新與群成員逐個協商密鑰，難以適用于高動態性的車聯網。Islam等[8]提出的GKA方案使用假名對群集進行認證與密鑰更新，通過假名構建數字簽名的同時對群集車輛進行認證，防止車輛軌跡隱私的泄露。文獻[5]提出使用軟件定義網絡對車聯網進行管理，不同群集自主構建去中心化網絡進行通信，同時使用中心網絡對群集進行認證與密鑰管理。針對群集去中心化網絡，Jiang等[9]提出通過計算哈希消息認證碼取代認證撤銷列表對車輛進行分布式批量匿名認證，該方案保護用戶隱私的同時，減小認證時延；Liu等[10]提出在信任機制基礎上，信譽度高的車輛通過信任中心認證后，可進行匿名密鑰協商，在保護隱私的同時，確保消息機密性和完整性。

強化學習作為機器學習的主要研究方向，被廣泛用于車聯網通信安全[11-12]。Xiao等[13-14]提出使用強化學習輔助移動設備優化中繼方案、發射功率和通信頻點等以抵抗敵意干擾，該方案在降低能耗的同時，保證了通信可靠性。文獻[15-16]在未知信道模型與電子欺騙攻擊模型的情況下，使用強化學習優化接收信號強度等無線信道物理層特征的認證閾值，在惡意發送者的動態博弈中實現高精度認證。Chu等[17]使用基于長短期記憶效應的強化學習進行用戶聯合接入控制和電池能量預測，在提升網絡吞吐量的同時，節約能耗。文獻[18]提出使用強化學習根據當前緩存使用狀況和信道狀態進行聯合緩存分配和干擾對齊，以解決無線通信中的多用戶干擾，提升傳輸速率。

本文立足于車聯網群集內通信安全，以群集群密鑰分配管理為研究對象。在該網絡中，同一區域具有共同利益的車輛（如目的地、愛好、朋友群等）構建群集，協作形成基于車輛隊列的駕駛模式，分享路況及駕駛信息，以很小且恒定的車距提高道路通行能力和能源效率，并提供多媒體服務。由于車輛頻繁加入和離開群集，為保證群集內車輛通行安全，防止電子欺騙等攻擊，對路況、多媒體等部分群集內信息進行加密，且需要實時更新群密鑰。與傳統PKI相比，本文提出一種無證書簽名方案，該方案摒棄了數字證書的使用，通過信任中心與車輛間保密存儲的隨機質數對群密鑰簽名，確保數據完整性，并借助路邊單元（RSU，rode side unit）廣播群密鑰更新信息，實現群密鑰同步更新，減少車輛節點更新群密鑰的通信開銷，降低群密鑰更新傳輸時延。群首在群密鑰更新策略無前效性的情況下，群密鑰的更新策略僅與群集當前狀態有關，因而將密鑰更新策略的優化過程構建為馬爾可夫決策過程。為了得到動態群集環境中最優的密鑰更新頻率與密鑰長度，本文提出了基于強化學習的低時延群密鑰分配管理技術，在未知群集的車流變化模型和訪問驅動高速緩存攻擊模型的前提下，該技術根據群集車輛數目、群集車輛數目變化、之前時段密鑰更新決策和當前群集通信的安全等級，使用強化學習優化群密鑰的更新頻率和密鑰長度，在不斷試錯與借鑒的學習中，獲得最優密鑰更新策略，降低群集通信加解密的計算時延和群密鑰被竊取的概率，提升群集通信服務質量。

2 系統模型

2.1 密鑰管理模型

車聯網低時延密鑰管理技術主要由裝配于車輛的車載單元（OBU，on board unit）、路邊單元和信任機構（TA，trusted authority）組成。OBU以專用短距離通信（DSRC，dedicated short range communication）協議[19]為基礎與RSU和周圍車輛通信。RSU作為一個通信中繼與廣播節點，通過有線網絡和TA連接，并與OBU通過無線網絡通信。當所有車輛首次進入TA注冊時，TA分發車輛身份標識ID，產生隨機質數n用于生成群密鑰與加密群密鑰，產生公鑰VPK和私鑰VSK，登記{ID,n,VPK}，并將{ID,n,VSK}存放在車輛的OBU中。TA登記RSU的身份標識RID和其公鑰RPK，并將其私鑰RSK存儲于RSU。

表1 重要參數符號Table 1 Notations of important parameters

如圖1所示，車聯網基于動態聚類算法在一定區域內組織M個車輛節點{Vehi}1≤i≤M構建群集[20]，并為其提供協同駕駛、擁塞避免等服務；由于高速行駛的車輛加入和離開群集具有一定隨機性，因而需要實時更新群密鑰。假設單位時間內加入和離開群集的車輛節點數服從均值為λ的泊松分布，群集車輛身份標識為{IDi}1≤i≤M。為了保證群集內的通信和隱私安全，群集內通信采用對稱加密機制，并采用無證書簽名密鑰管理方案更新群密鑰。群首（cluster head）VehF為群集生成密鑰更新請求，RSU負責將該請求進行二次加密并轉發給TA，TA根據請求反饋新密鑰。具體而言，群首VehF觀察群集內車輛的數目，加入和離開群集的車輛數目，群集的平均行駛速度，前D個時刻的密鑰更新決策和當前時刻的安全等級，生成密鑰更新請求。密鑰更新請求主要包含更新密鑰的群集車輛ID和新密鑰的長度x2，即x2||{IDi}1≤i≤M。VehF使用私鑰VSKF加密密鑰更新請求，添加時間戳1T發送給RSU。RSU于收到密鑰更新請求后，計算，用于驗證密鑰更新請求的有效性，防止重放攻擊。若，RSU使用私鑰RSK再次加密密鑰更新請求，通過有線網絡將密鑰更新請求發送給TA。

群成員Vehi接收RSU廣播的密鑰更新消息，使用私鑰VSKi解密IDi對應的部分，獲得。群成員使用OBU中存儲的隨機質數ni解密獲得群密鑰ψ*，并計算其hash值h(ψ*)校驗新密鑰*ψ的真實性。若h(ψ*)≠h(ψ)，接收到的密鑰更新信息為偽造消息；否則，更新*ψ作為群集內通信的新密鑰。

圖1 密鑰管理模型Figure 1 Key agreement model

2.2 攻擊模型

本文主要考慮車聯網內部攻擊，攻擊者可以是網絡內部合法的車輛節點，或者被控制的惡意車輛節點，其通過時序攻擊、緩存攻擊[4]等邊信道攻擊手段獲取群密鑰，進而實施電子欺騙攻擊[8]等。具體而言，攻擊者使用間諜程序觀察加密過程中的時延邊信道信息，監視緩存的命中與未命中，從而竊取加密密鑰。攻擊者冒充已經獲得身份驗證的車輛或RSU，通過合法身份將惡意信息或偽造的信息，如車流密度信息、碰撞避免信息，發送給周圍車輛，甚至冒充合法身份的車輛將該車輛從VANET中移除。假設每個車輛節點發動內部攻擊成功的概率為y，擁有車輛數目M的群集被攻擊的概率為1-(1-y)M。其中，群集被攻擊成功的概率與群集車輛數目和密鑰更新頻率呈正相關，與密鑰長度呈負相關。

3 基于強化學習的密鑰管理技術

隨著車輛的加入、離開，群集的合并、拆分和通信安全等級的變化，群首需要實時更新群集內通信的群密鑰。群密鑰的密鑰長度和更新頻率與群集通信安全等級、通信加密與解密計算時延的動態優化過程可以視為一個馬爾可夫過程。本文提出一種基于強化學習的低時延車聯網群密鑰分配管理技術，群首優化群密鑰的長度和更新頻率，通過不斷試錯與學習，獲得最優的密鑰更新策略。

在該技術中，群集基于物理層特征，如信道狀態和接收信號強度等，進行入侵檢測[22]，VehF根據反饋的檢測結果評估群集的通信安全等級ρ。當群集檢測到車輛遭受電子欺騙等攻擊時，ρ=0；否則，ρ=1。群首VehF綜合考慮群集的車輛數目M，群集平均速度v，前D個時刻內密鑰更新決策g和上一時刻群集通信的安全等級ρ等信息，根據群集的長期學習效益，選擇密鑰更新策略x∈A，包含是否發送密鑰更新請求x1∈{0,1}與更新的密鑰長度x2∈[1,LA]bit，即x=[x1,x2]。其中，LA為密鑰長度的上限值，A為密鑰管理動作空間。當x1=0時，VehF不發送密鑰更新請求，群集繼續使用之前的密鑰進行通信加密；當x1=1時，VehF向TA請求更新長度為2x的群密鑰。

在k時刻，VehF觀察群集內k-1時刻和k時刻的車輛數目Mk-1和Mk，群集車輛平均行駛速度vk，前D個時刻密鑰更新決策和k-1時刻群集通信的安全等級ρk-1，構建當前群集狀態sk。

令Q(s,x)表示VehF在s狀態下采取行動x的長期收益，VehF根據當前群集的狀態sk，通過對應的Q值采用ε-貪婪策略選擇群密鑰的更新策略。具體而言，VehF以1-ε的概率選擇當前狀態sk中長期收益Q(sk,x)最大的密鑰更新策略；以ε的概率從A中任意選擇一個密鑰更新策略，即

在k時刻，若VehF向TA發送經由RSU轉發的密鑰更新請求，該請求包含群集車輛身份標識{IDi}1≤i≤M和密鑰長度；TA接收密鑰更新請求并生成群密鑰ψ返回給RSU；RSU接收到被加密的新密鑰后，將其廣播給群集車輛以實現對整個群集密鑰的更新。

當群集進行密鑰更新后，VehF通過群集成員的反饋獲得當前群集內通信的安全等級ρk，并評估群集加密與解密長度為的群密鑰的計算時延。VehF通過群集車輛數目Mk、群集通信安全等級ρk和密鑰長度評估此次密鑰更新的收益uk。

其中，c1和c2分別表示群集通信加密與解密的計算時延和密鑰更新時延的權重。

VehF觀察群集k+1時刻狀態sk+1，基于貝爾曼方程，更新狀態動作對(sk,xk)對應的Q值，即

基于強化學習的車聯網密鑰管理技術的具體過程如算法1所示。

算法1基于強化學習的低時延車聯網密鑰分配管理算法

1)初始化α，β，Q=0，s1，k=1，K。

2)觀測k-1時刻和k時刻車輛數目Mk-1與Mk，車速vk，前D個時刻內密鑰更新情況gk和k-1時刻通信安全等級ρk-1。

3)構建當前k時刻群集的狀態sk=[Mk-1,Mk,vk,gk,ρk-1]。

6)評估當前通信安全等級ρk。

7)根據式(3)獲取效益uk。

8)根據式(4)更新Q(sk,xk)。

9)若k=K，則結束學習；否則，k=k+1，跳轉至步驟2)。

4 仿真實驗

為了驗證基于強化學習的低時延車聯網群密鑰分配管理技術在加密與解密的計算時延和通信安全等級上的優勢，本文利用Python構建動態群集仿真場景。仿真參數設置參考文獻[23]，具體如下：群首與300 m范圍內的車輛構成群集，起始群集車輛節點數目為50，群集內車輛平均速度v∈[0,120]km/h且與群集車輛數目呈反比[24]。群集車輛使用高級加密標準（AES，advanced encryption standard）對稱加密算法對群集內通信進行加密，可選密鑰長度x2∈{128,192,256}bit。群集內車輛通信的數據包大小為1kB。Q學習的學習率α=0.2，折扣因子β=0.8。

圖2提供了3 000個時隙內基于強化學習的密鑰管理技術（RLKA）的平均性能，考察了單位時隙加入和離開群集的平均車輛數目λ∈{1,2,…,5}對加密與解密計算時延和群集通信安全等級的影響。當λ從1增加到5時，群集內車輛加密和解密1kB數據包的計算時延從432 μs增加至497 μs，時延增大了15.0%；群集通信安全等級從0.963降低至0.794，性能降低了17.5 %。當λ=3時，與GKA方案相比，本文所提技術的加解密計算時延降低了18.1%，安全等級提升24.1%。這是因為與GKA方案固定的密鑰長度和更新頻率相比，本文提出的RLKA技術能夠根據當前群集的車輛數目、車輛加入與離開群集數目和群集車輛入侵檢測安全反饋等車聯網相關信息，通過合理地更新密鑰與控制密鑰長度，降低惡意節點攻擊成功概率，保證車聯網群集通信安全并獲得更小的加解密計算時延開銷。

圖2 車聯網密鑰管理平均性能Figure 2 Average performance of key agreement in VANET

圖3 密鑰更新傳輸時延Figure 3 The transmission delay of key update

為了驗證使用無證書簽名的RLKA技術在通信開銷上的優勢，本文利用Matlab構建密鑰更新傳輸時延的仿真。仿真參數設置參考文獻[9]，車輛節點與RSU間的無線傳輸速率為600 Mbit/s，車輛ID、時間戳T、請求密鑰長度x2的數據大小為4 byte。如圖3所示，當群集車輛數目從20輛增加到100輛時，由于密鑰更新信息的數據量增大，群集密鑰更新信息的傳輸時延隨群集車輛數目線性增加。當群集車輛數為60時，與GKA[8]方案相比，本文所提技術的密鑰更新傳輸時延降低了31.0%。相比基于PKI的車聯網密鑰管理方案，本文使用無證書簽名密鑰管理技術，摒棄了數字證書，避免傳輸數字證書帶來的通信時延和通信負載，并通過RSU廣播實現群密鑰的快速同步更新。

5 結束語

本文提出了一種基于強化學習的低時延車聯網群密鑰分配管理技術，群首車輛觀測周圍車輛變化數目、車輛行駛速度等群集特征，結合之前時刻密鑰更新決策與當前車聯網通信安全情況構建群集狀態，使用強化學習優化群密鑰的更新頻率和密鑰長度，通過低時延群集密鑰更新實現對密鑰竊取和電子欺騙等攻擊的抵抗，提升群集通信安全等級，降低群集內通信時延。仿真結果表明，與GKA[8]方案相比，本文提出的RLKA技術保證通信安全的同時，降低群密鑰更新傳輸時延，減小群集內通信加密與解密的計算時延，提高群密鑰保密性，提升群集通信服務質量。