基于機器學習的電網威脅檢測算法模型和大數據平臺設計

陳益芳，宣羿，樊立波，孫智卿，屠永偉，張亦涵，蔡乾晨

(1.國網浙江省電力有限公司杭州供電公司，浙江 杭州 310016) (2.國網浙江省電力有限公司，浙江 杭州 310063) (3.深信服科技股份有限公司，廣東 深圳 518000)

電力企業網絡安全關系國家安全、經濟命脈，網絡安全事件給國計民生帶來重大損失。而當今世界正處于信息時代，信息技術飛速發展，給社會、政治、經濟、文化帶來重大影響。生產生活信息化和經濟全球化相互促進，互聯網已經融入社會生活的方方面面， 深刻地改變了人們的生產和生活方式[1-5]。2015年12月，烏克蘭電網遭到黑客的網絡攻擊，造成烏克蘭境內多個區域停電數小時。2019年3月，委內瑞拉發生大規模停電，嚴重影響到了委內瑞拉整個國家的生產、交通、通訊系統。2019年7月，伊朗信息戰隊入侵美國紐約市電網控制中心，造成紐約市大規模停電數小時，引發了極大地混亂[6-10]。隨著網絡信息技術的發展和信息化與工業化的融合，網絡安全的重要性愈發凸顯。

基于某供電公司現有的網絡安全系統以及安全日志數據，為提升公司整體安全能力建設，圍繞“打造行業級網絡安全平臺和基礎設施、提升網絡安全技術防護能力、強化數據安全保障”三項重點目標，構建網絡安全數據大平臺，具備可視化、可預警、可建模、可擴展的能力，極大提升電力公司內部特定場景的安全檢測威脅發現能力。提高電網系統安全管理水平，降低電網系統所面臨的安全風險威脅，保證電網系統安全、穩定地運行。

1 研究思路

本文研究網絡安全大數據運營技術，運用大數據建立AI檢測模型，通過持續安全運營迭代檢測模型算法，構建自進化AI威脅檢測引擎；推進自進化AI態勢感知平臺的試點部署及功能升級。研發屬于電力行業的網絡安全場景模型，搭建網絡安全仿真驗證環境基礎結構，針對電力內網環境的因子變化，以及日志分析做到安全問題定位與分析[11-12]。全面采集杭州電網安全風險和接收來自各設備的安全信息，實現全網安全風險分析和整體安全運營。安全大數據平臺打通安全運營人員和流程，并通過大數據、威脅情報、運營流程的交互界面，提升本地已部署的各類安全組件的聯動能力，實現對各類安全威脅深度檢測，安全風險全面分析。

2 安全分析模型設計

網絡安全大數據平臺構建包括平臺以及各類流程、日志采集探針，通過深度挖掘數據中存在的關聯價值與AI建模，其中計劃構建的模型如圖1所示：

圖1 網絡安全大數據平臺模型Fig.1 Cyber security big data platform model

2.1 賬號越權模型

根據業務系統賬號的安全訪問需求，建立一套賬號越權訪問管理的規范和預警規則。通過對匯集的自助設備日志、柜臺終端日志、業務系統日志、流量數據等進行深度分析，以業務系統接入活動軌跡為主線，對業務系統連接訪問情況、終端訪問情況、客戶端活躍程度等多位信息進行深度挖掘和分析判別，并結合用戶實體行為分析(user and entity behavior analytics, UEBA)[13-16]技術進行持續的特征向量計算。對賬號的關系進行分析如常用的登錄設備、常用的登錄IP、常用的登錄地點，保障賬號安全維護賬號管控體系的安全，為賬號越權行為涉及的需審查終端進行分析判別時提供依據。

2.1.1 模型構建思路

基于業務系統日志、流量訪問日志[17-21]進行分析，可通過對業務系統的連接訪問情況、對終端查詢源、賬號發起人、獲取訪問頻次進行綜合分析判別，建立賬號越權訪問的分析模型。具體可從以下維度進行分析：

(1)重點檢測目標端口為22或3389的流量日志，防范異常的遠程主機登錄行為。

(2)對于賬戶信息、網絡信息等信息搜集行為和其他憑證獲取行為，結合終端日志進行檢測與告警。

(3)分析關鍵賬號或IP的登錄次數、操作次數、訪問次數，進行登錄趨勢的記錄，當登錄基線異常進行告警。

(4)分析關鍵賬號的操作關系行為、登錄關系行為，根據歷史數據分析賬號常用的關系，比如登錄IP或地點，常用操作、常用登錄時間段。當業務系統出現新的登錄IP、多主機登陸同一賬號、同一主機登陸多個賬號、新的登錄地點或舊IP下出現新的高權限賬號，訪問新的敏感數據、出現新的數據操作等行為判斷為賬號越權訪問。

2.1.2 算法分析

賬號越權模型中采用的UEBA技術通過建立用戶風險評分模型，體現用戶風險程度。通過公式從失陷賬戶、內部合規、數據泄露等多個維度計算風險分值，異常行為越多則風險分值越高。進行用戶行為建模、行為關聯分析、行為異常分析實現更加精確的電網系統安全威脅檢測。

采用異常點監測算法[22-24]通過構建賬號與IP的對應關系進行異常點建模如：N1、N2區域代表正常點的數據集合，區域中的點代表了時間T之內與賬號Z之間的對應關系。而O1作為一個數據對象在建模的坐標系統明顯遠離其他的正常的N1、N2區域，因此標記為異常點(outlier)。如下圖2所示，假定N1、N2為兩個正常數據點集合。而距離集合N1、N2較遠的O1、O2、O3集合則標記為異常點集合。

圖2 異常點建模Fig.2 Anomaly modeling

移動平均(moving average)[25-28]常被用于時間序列分析，其本質上是低頻濾波器，可以過濾時間序列中的高頻擾動和檢測序列數據中的異常點。本文通過利用移動平均原理計算某時間段內的用戶行為風險分值的移動均值，并與該時刻T的風險分值進行對比，若兩者相差超過一定閾值則可檢測出該時刻T的用戶行為異常。

針對本次賬號越權的行為，經過多次實驗從支持向量機、樸素貝葉斯、邏輯回歸算法中選擇最優的算法進行建模，實驗結果是使用支持向量機的模型檢測準確率最高。支持向量機(support vector machines, SVM)[29]有如下優點：

(1)適合解決小樣本的機器學習問題；

(2)SVM 模型可以有效地避免維數災難；

(3)沒有局部極小值問題；

(4)能夠有效處理高維數據，具有較強的泛化能力。

鑒于上述分析，本節提出以SVM模型為核心的賬號越權模型。因此針對如何選擇有代表性，更好的特征提高SVM分類準確率的問題， 利用RFE算法[30]先選出部分優秀的特征子集作為遺傳算法解空間的先驗知識，幫助遺傳算法更合理的初始化種群，引導算法進化，更快地選出優秀的特征子集。通過改進后的特征選擇算法選出更好的特征子集來表達樣本，從而提高SVM分類的準確率。

SVM算法是一種二分類模型。其算法思想是將特征空間正確劃分為兩部分，并最大化被劃分的兩部分之間的間隔，SVM學習算法就是對特征空間超平面分類的凸二次規劃求解。建設一個基于所有基本賬號的特征權限，一旦有發生特征偏離的情況即會進行偏離的業務判定。

圖3 異常點排列圖Fig.3 Anomaly alignment chart

采用兩類平面的構造式為：

(1)

同時為了解決離散點數據優化問題，進來，引入拉格朗日公式：

(2)

當滿足w，b的偏導為0的時候，即可得到算法的最優解。

aj≥0j=1,2,…,l

(3)

因此得到最優分類超平面：

f(x)=sgn{(w*·x)+b*}=

(4)

根據上述離散點SVM向量的優化特征不難得出整個基于最優化的平面線，并可對出現的賬號業務偏差做相關的判定?？梢葬槍ν毁~號在不同時間點的登陸判定，事件只要有偏離f(x)的關聯性后就會產生相關告警。

2.2 設備仿冒模型

通過對設備以主機名、MAC地址、IP進行唯一標識結合流量識別建立設備資產指紋庫。對設備行為進行基線建立，如流量的基線、操作的基線、訪問頻次的基線，實現對設備活動異常行為的檢測和預警。當仿冒設備的攻擊者進行橫向移動，獲取信息或發起暴力破解、漏洞等攻擊手法展開惡意活動時，及時發現攻擊者的惡意程序、后門的活動軌跡。

2.2.1 設備仿冒模型構建思路

(1)通過流量資產識別，識別新增的設備，如果識別到新違規設備則告警(搜集常見廠商攝像頭打印機的MAC地址。

(2)檢測同IP下的MAC地址變動活動，通過維護IP、MAC關系表，識別設備替換行為并調用資產識別系統對該設備進行指紋掃描和上報處理。

(3)通過流量監測新增設備的活動軌跡(包括活動時間和流量路徑等)，根據常用業務場景或者結合UEBA技術建立白名單范圍并設置相應告警規則，防止潛在的內網滲透攻擊。

(4)監測攝像頭、打印機等設備的訪問源和訪問目的的流量，針對內網資產建立白名單，對名單范圍之外的可疑流量進行告警。

(5)結合威脅情報對設備訪問流量進行審計，對出現過的風險IP進行告警。

2.2.2 設備仿冒模型算法分析

設備仿冒模型的構建亦可以根據UEBA的聚類場景進行分析。如可以采用異常角度點進行檢測。

圖4 基于角度異常點的時間檢測Fig.4 Time detection based on angular anomalies

(5)

假設D是點集，則對于任意不同的點Y,Z∈D，點X的所有角度的方差為：

(6)

理論上異常點所求出的所有角度的方差較小，通過這個算法可以求出序列中的異常點，而該算法的時間復雜度是O(N3)，非常適合數據量比較小的訓練樣本進行使用。

2.3 自建小系統檢測模型

通過收集常用業務系統清單，根據常用業務系統關鍵屬性建立業務系統白名單；結合對主機的訪問日志、終端管理設備日志、傳輸文件樣本分析等數據構建自建小系統分析模型，追蹤自建小系統上的操作執行情況，并通過網絡流量數據分析網絡中敏感數據的訪問和外發情況從而進一步追溯對自建小系統的異常訪問行為。

2.3.1 自建小系統檢測模型構建思路

(1)利用實時流式分析框架，構建時間窗口內的群體用戶訪問行為的特征向量，分析群體用戶外的個體用戶對業務系統的訪問行為特征向量，尋找差異。

(2)對網絡流量中識別的網站用戶訪問行為進行日志字段特征構建，特征采集http flow和ftp flow匹配開放的端口，形成自建小系統URL模型。

(3)排除遠程登陸RPC的訪問，以及排除掉71000端口，13389端口,還有登記備案的URL以及域名。

基于自建系統的模型主要是實現數據的去噪與去重，對匹配上的數據進行集中統計，降低監測的誤報。針對該場景，利用UEBA內置模型，通過對篩選服務器的地址、端口、時間段、地點的異常監控，判斷是否存在訪問異常，發現非常用地址和非常用時間通過高風險協議如rdp/ftp/smtp/telnet等協議訪問業務服務器(黑客非法遠程控制或自建業務系統)。

3 網絡安全大數據平臺架構設計

“網絡安全大數據平臺”整體架構如上圖所示，從數據源層采集數據，通過對數據進行解析和關聯分析形成主題數據。安全大網絡安全大數據平臺提供檢索引擎分析主題數據，支持利用數據開發工廠自定義數據解析和關聯分析規則。其中大數據平臺提供數據的存儲、處理和分析的基礎能力。本次平臺設計分成三個架構層：數據源層、平臺層、應用層。

圖5 網絡安全大數據平臺架構Fig.5 Cybersecurity big data platform architecture

3.1 數據源層

安全大網絡安全大數據平臺支持接入流量探針采集的數據，基礎設施的日志數據和安全設備的日志數據。流量探針可以采集提取流量中的HTTP、UDP、TCP、DNS、POP3、FTP、HTTP文件傳輸、SSL、SSH、MySQL、Oracle等協議會話的關鍵數據以及PCAP包?；A設施可以采集電網服務器、電網終端、電網網絡設備、電網應用系統和電網業務日志數據，應用系統日志主要包括用戶管理、認證系統、業務系統的操作日志、用戶信息、訪問信息等數據。網絡安全設備主要包括東軟防火墻、東軟WAF、路由器、交換機、APT檢測、IPS等網內關鍵網絡安全設備。

3.2 平臺層

網絡安全大數據平臺由電網數據采集子系統、電網行為邏輯關聯分析子系統、機器學習子系統、大數據存儲和計算平臺軟件層、主題數據層、可視化開發子系統組成。

電網數據采集子系統包括數據提取、數據解析和數據映射三個主要功能。數據提取支持從多種異構數據源(FTP服務器、本地目錄文件、syslog、外發數據等)采集數據到大數據體系中。

電網行為邏輯關聯分析子系統的核心是提供針對流式數據的復雜事件處理能力，同時支持多類型源數據融合處理分析。關聯規則分析[31]引擎預置多種安全事件定義模板和安全事件分析模型，同時支持可視化拖拽和參數配置的方式對數據進行關聯分析，進而提高實施和二次開發的效率。

機器學習子系統利用機器學習的方法構建安全分析模型，并支持自定義機器學習模型，通過輸入任意指標類數據進行模型訓練，發現異常行為并生成安全事件與告警，降低建模的難度，提高效率。

主題數據是通過對數據進行解析和泛化、多維關聯分析，數據建模分析后最終形成的主題數據庫，如流量元數據、日志數據、安全告警數據、安全事件數據、PCAP包和其他資產數據庫等。

可視化安全開發子系統[32-34]基于批流一體的數據融合分析引擎向上提供包括數據開發工廠(批流畫布)和搜索工具。批流畫布提供可視化開發方式對流數據流進行實時處理和分析，支持結合流數據和外部數據庫進行聯合分析。搜索工具提供類SQL的分析語法，同時批流一體數據融合分析引擎提供開放接口支持上層應用利用其數據融合分析能力構建安全應用。

安全大網絡安全大數據平臺提供基礎的數據存儲和計算資源，主要包括HDFS、ES、SPARK和FLINK。HDFS能夠靈活存儲大小不一的數據文件，用來儲存例如電網網絡設備的日志文檔、監控圖片。ES可以用來存儲電網信息系統的操作日志、告警信息、安全事件等，并支持快速檢索和分析功能?；贖DFS分布式文件系統和SPARK內存計算引擎可以提供分布式離線分析能力。FLINK提供流式數據分析、統計和處理能力，向上支持批流一體的數據融合分析引擎。同時大數據基礎平臺通過安全多租戶子系統提供統一、可視化的多租戶資源管理服務。

3.3 應用層

應用層主要包括安全事件中心。安全事件中心主要提供安全事件的展示，查詢和溯源分析的功能。同時安全中臺提供標準的開放接口支持第三方構建網絡安全應用、信息安全應用和業務安全應用。開放接口主要包括大數據平臺存儲和計算引擎的訪問接口，SPL(搜索處理語言)和批流一體的數據融合分析引擎接口。

4 平臺資源部署設計

本次網絡安全大數據平臺共采用4臺一體機來構建大數據平臺底座以及高性能的future X引擎，同時部署兩套臺流量探針(東湖供電所+杭州局)，針對管理平臺的縱向流量進行抓取。

圖6 網絡安全大數據平臺建設架構Fig.6 Cybersecurity big data platform construction architecture

網絡安全大網絡安全大數據平臺部署在杭州局，用于歸集各探針的分析結果，網絡安全大數據平臺將從總部現有的各類已建其他安全系統(如IPS、WAF、日志審計、防火墻等)獲取數據，對各類重要信息系統的安全情況進行網絡安全監控、風險預警、事件通報。同時，網絡安全大數據平臺根據業務需要，實現關鍵業務模型的建設與業務風險的匹配。整個集群部署配置如下。

按探針采集0.98Gbps×2和日志審計，IPS、WAF等syslog計算，平臺的規模與數據存量增量以及使用情況直接相關，根據統計，平均每秒產生3750條日志，每日產生3.24億條日志。每日所需存儲298GB,預留CPU比率30%。

整體方案設計需要約100顆物理核，1024 GB內存。

需配置服務器4臺,單臺硬件配置為：存儲(SATA/SAS)8盤位×4 TB,CPU(>2.4GHz)20物理核，內存256 GB，系統存儲(SSD)2 盤位×480GB,千兆網口>=2個,萬兆網口>=2個,其中：

分布式數據湖：存儲每天新增的元數據，根據數據的使用需求與方式，平臺依賴于不同的大數據組件對數據進行存儲，數據湖等存儲包括分布式文件系統HDFS、HIVE等。

從存儲角度出發：數據湖每節點存儲空間按照2×480GSSD系統盤，8×4TBSATA/SAS數據盤共8盤位設計。單節點數據磁盤空間32TB，考慮到多副本(按照兩副本加壓縮后數據冗余度大約1.5計算)及大數據組件自身占用(按照不高于10%計算)，單節點有效存儲不低于32TB×(1-0.1)/1.5=19.2TB空間。結構化數據存儲周期是180天，故需要298×180/19.2×1024=3節點。

MPPDB分布式數據庫：存儲關鍵安全數據和配置數據，存儲周期三年，由于數據規模較小，建議使用3節點作為集群。

NOSQL存儲：主要存儲情報數據，配合實時流處理進行打標簽，數據規模不大，建議使用3節點作為存儲。

圖數據庫：主要是用來存儲畫像數據，包括黑客畫像、攻擊畫像等數據，數據規模不大，建議使用3節點作為存儲。

非結構化存儲：目前并未有內容解析的非結構化數據需要存儲，暫不考慮。

5 結論

烏克蘭電網遭受網絡攻擊事件以及美國紐約遭伊朗信息戰隊攻擊事件等專門針對電網以及工控網絡系統的安全事件層出不窮，意味著工控網絡系統的網絡安全形勢越發嚴峻，電網網絡系統安全事關國家安全、經濟命脈，一旦遭受攻擊，將會是一場不可估量的災難。

本文網絡安全大數據平臺建設規劃旨在利用云計算、大數據、AI建模、態勢感知等技術，建設集中統一的安全數據分析平臺，實現電網系統的實時監測、威脅告警、入侵溯源、安全審計、閉環管控等能力，全面監控電網系統各類設備的運行情況以及安全情況。通過大數據平臺建設，打破傳統電網數據孤島，推進“智慧電網”建設，加快杭州電網朝“三融三化”和“三條主線”數字化目標轉型，本平臺建設還對杭州電網網絡安全能力發展具有以下創新意義。

(1)聚焦挖掘沉睡數據，提升沉睡數據價值。運用大數據建立AI檢測模型，通過持續安全運營迭代檢測模型算法，構建自進化AI威脅檢測引擎。

(2)研究電網業務模型，打造業務安全運行基準。以大數據、云計算技術為依托，結合終端安全日志和網絡UEBA行為分析技術，研發屬于電力行業網絡安全場景模型，搭建網絡安全仿真驗證環境基礎結構，針對內網環境的因子變化，以及日志分析做到安全問題定位與分析。建立監控內部違規行為(如試圖使用他人賬號登錄、越權訪問、異常行為等)和存在外部安全風險(如自建小系統、設備仿冒等)的智能化風險控制安全體系，防范違規行為、預警違規風險。

(3)聯防聯控，打造電網內部一體化安全中臺。采取“平臺統一、小步快跑、持續迭代”的演進策略，建立安全模型可視化展示，實時推送高風險用戶告警信息、定期形成分析報告，打造電網行業級網絡安全展示中心。