“鷹眼”大數據安全管控平臺的技術實現解析

【 摘 要 】 計算機和互聯網技術正在改變人們的生活方式，同時而來的是信息安全問題。為了防御外部攻擊，保障日常應用系統可靠運行，需要投入大量資金用于防火墻、交換機等網絡安全產品和數據庫、服務器等基礎設施建設，這些系統日常運行中以日志形式記錄大量的信息，是信息技術人員日常監控、維護的重要依據。隨著大數據技術的成熟，我們利用數據挖掘、關聯分析、模式識別等技術實現從基礎設施日常運行產生的海量日志數據中及時發現潛在的安全威脅，并形成實時的、自動化的阻截能力，將成為安全防御體系的發展方向。

【 關鍵詞 】 網絡安全；海量日志；安全威脅；安全防御；數據挖掘；關聯分析

Technical Analysis of “Eagle Eye” Big Data Security Management Platform

Li Li-hong

（Information Security Management Dept，China Pacific Insurance （Group） Co.Ltd. Shanghai 200233）

【 Abstract 】 Computer and Internet technology are changing the activities of human society， and also bring information security issues. In order to defend against network attacks and maintain business systems stable， it is necessary to invest a lot of money in network security products such as firewalls and IPS， infrastructure system such as databases and servers. In day-to-day operation， these systems create a large amount of logs which are the important information to monitor and maintain by technical personnel. With the maturity of big data technology， we use data mining， threat intelligence， reputation feeds， pattern recognition etc to identify， understand， respond to security threats. Based on the "Eagle Eye"， we built a real-time situational awareness， actionable intelligence to block attack automatically which is the main direction of our security construction.

【 Keywords 】 network security；massive log；security threat； security defense；data mining；threat intelligence

1 引言

隨著移動、云計算、大數據、互聯網和移動終端的廣泛運用，傳統保險業快速向互聯網轉型，保險產品營銷和服務實現移動化、自助化不斷加速，各種APP如雨后春筍，層出不窮?；ヂ摼W+保險，以技術作為最主要驅動因素催生了傳統保險業營運和商業模式的變革。據不完全統計，全國通過互聯網渠道銷售的保險收入逐年翻倍增長。

2 互聯網+保險面臨的安全問題

新技術應用給保險行業的發展帶來了新的機遇，但同時，由于互聯網先天存在的虛擬特征，給企業帶來許多信息安全問題和挑戰。

一是各保險公司為提升客戶體驗，向用戶提供手機、PAD、互聯網等多種接入方式、多渠道支付方式，金融支付類病毒利用系統漏洞盜取用戶賬戶信息事件頻發。

二是大數據日益顯著的商業價值導致信息泄漏更嚴重。

三是全球化的商業競爭導致黑客攻擊更嚴重和頻密，金融平臺的特殊屬性，更容易成為各類惡意攻擊的首選目標。

四是商業化、工具化的黑客工具唾手可得，原來復雜的需要專業技能和設施的攻擊往往很方便可以從網上下載或購買。

五是內部人員的權限控制不當造成的信息泄露、篡改、丟失也是潛在的威脅。正如一把雙刃劍，移動互聯網技術既給保險業帶來了前所未有的創新，給客戶帶來從未有過的高效便捷，也給行業的信息安全帶來了挑戰和壓力。

3 “鷹眼”信息安全綜合管控平臺

面臨新的挑戰，傳統的、依靠不同廠商的安全設備堆疊的安全防御系統需要改造升級，傳統的依靠安全和運維人員人工發現、判斷、分析和處理問題的流程需要優化提升，需要建設一個集成的安全防御系統以實現各類威脅的預知、防御的自動化處理、追蹤的可視化展現，實現以用戶可接受的運營成本，快速抵御更多威脅。

大數據技術的快速發展和日益成熟的應用為我們提供了技術手段。在信息系統中任何系統操作都會留下日志，黑客入侵的操作也會留下日志，而按照監管規定，保險業務系統、操作系統、數據庫、網絡設備、安全設備均需保留一定時間的日志，對于一家大型保險公司而言，每日產生的日志量在數十億條。自主研發的“鷹眼大數據信息安全管理管控平臺”（簡稱“鷹眼系統”）正是借助大數據技術通過對這些日志的分析，來發現各類潛在威脅。

3.1 “鷹眼”系統架構和功能

“鷹眼”系統目前部署在太保集團上海數據中心和成都數據中心，可同時分析兩大數據中心的安全事件?！苞椦邸毕到y的部署架構如圖1所示。

ERC日志采集系統做HA提高其可用性，同時ERC也支持虛擬化平臺。

ELM日志存儲系統主要承擔接收、查詢原始日志的角色。

ACE事件關聯分析系統可提供實時關聯分析和歷史關聯分析。

ESM承擔整個生產SIEM的管理角色，也是用戶的訪問接口界面。

DAS-50是50T直連存儲，直連ELM-4600用于長期在線存儲原始日志，或直連ESM用于長期存儲關聯事件及參與關聯的規范化事件。

3.2 安全事件響應處置流程

“鷹眼”系統將各類安全事件集中監控，通過關聯規則將有價值的安全事件呈現出來，再根據安全事件的大小與影響范圍，設置安全事件處置等級，依據等級進行不同優先級響應。針對高風險的外部攻擊事件，平臺不僅可以立刻告警郵件通知相關人員，還能夠自動聯動IPS設備進行主動隔離；針對普通安全事件平臺能生成工單自動發送給安全運維人員及時處置。

4 “鷹眼”安全管控平臺的關鍵技術解析

4.1 各類設備和應用運行日志的統一采集和甄別

我們收集的對象為網絡設備日志、防火墻日志、入侵檢測日志、代理服務器日志以及操作系統、數據庫審計日志、事件日志等。這些信息由ERC日志采集系統收集，并且轉發給ESM集中管理平臺， ESM集中管理服務器把原始的事件一份直接存儲到ELM日志存儲系統上，另外一份解析成統一的能夠被關聯引擎所識別的格式，提供給ACE關聯分析引擎進行進一步的分析。

4.1.1日志采集范圍和技術

“鷹眼”系統采集事件日志類型有幾種。

操作系統日志：主要包括Windows、Linux、AIX、HP-UX系統。

網絡設備日志：主要包括防火墻（Cisco、Juniper）、交換機（H3C、Cisco、華為）、路由器（Cisco）、ACS、VPN、無線AC、負載均衡（F5、Radware）。

安全設備：主要包括IPS、WAF、郵件安全網關、安全代理、SSL加速、DP、TDA、TMCM、DeepSecurity、Officescan、SEP、WSUS、DLP、MVM、BVS、Appscan、堡壘機、特權CyberArk。

輔助系統：主要包括CMDB、Remedy、Patrol、Windows AD。

采集日志的方式主要有Syslog、WMI、FTP、文本、讀取數據庫等方式。

4.1.2各類事件日志的標準化處理

不同類型的設備記錄日志的格式不同，從各類設備采集的日志必需經過解析處理并整理成統一的格式后才有價值。

我們在開發過程中首先對設備和事件日志設置唯一編號，每一種設備的編號為Normalized ID，日志的分類號為Signature ID，然后建立統一（Normalization）日志格式：事件日志觸發時間（Frist time）、結束時間（Last Time）、源地址（Source IP ）、目的地址（Dest. IP ）、源端口（Source Port）、目的端口（Dest. Port）、嚴重級別（Event Subtype）、唯一事件號（Signature ID），事件類別編號（Normalized ID）等等。這樣處理后可以標準化事件分類，在運維和問題排查過程中，可以很方便的定位故障點，管理和追蹤攻擊來源。

4.1.3正則表達式在安全事件標準化中的應用

一般成熟的廠商會標準化大部分產品的輸出日志格式，很多自己開發的系統以及部分國產產品日志格式并不能被直接解析成標準格式，因此就需要人工對unknown的日志進行解析，我們使用正則表達式識別并標準化此類日志。

正則表達式（Regular Expression）描述了一種字符串匹配的模式，可以用來檢查一個串是否含有某種子串、將匹配的子串做替換或者從某個串中取出符合某個條件的子串等。

舉例來說，如下收到原始日志格式為：

<29>Jul 30 00：03：47 [10.1.4.103.128.42] id=tos time="2012-07-29 23：32：33" fw=WT-NGFW4000-A pri=6 type=pf src=10.100.64.66 dst=10.1.4.103 sport=62595 dport=8 smac=00：1C：57：29：00：40 dmac=00：13：32：02：21：E8 proto=ICMP indev=intranet rule=Accept policyid=8057 msg="中文測試null"

“鷹眼”系統默認的識別規則不能解析，通過正則表達式可將日志中關鍵項提取出來并賦值到標準化字段中，編寫的正則表達式如下：

＼x5d＼s+id＼x3d（[^＼s]*）＼s+time＼x3d＼"（[^＼s]*＼s[^＼s]*）＼"＼s+fw＼x3d（[^＼s]*）＼s+pri＼x3d（[^＼s]*）＼s+type＼x3d（[^＼s]*）＼s+src＼x3d（（？：＼d{1，3}＼x2e）{3}＼d{1，3}）＼s+dst＼x3d（（？：＼d{1，3}＼x2e）{3}＼d{1，3}）＼s+sport＼x3d（[^＼s]*）＼s+dport＼x3d（[^＼s]*）＼s+smac＼x3d（[^＼s]*）＼s+dmac＼x3d（[^＼s]*）＼s+proto＼x3d（[^＼s]*）＼s+indev＼x3d（[^＼s]*）＼s+rule＼x3d（[^＼s]*）＼s+policyid＼x3d（[^＼s]*）＼s+msg＼x3d（[^＼s]*）

通過上述標準化處理工作，可有效實現對不同設備日志的統一化管理。目前已實現可接入所有網絡、安全設備、數據庫、中間件、操作系統及業務系統日志，覆蓋太保集團上海、成都兩大異地數據中心六大類32種設備類型，每天收集的實時日志信息均在30億條左右，全部實現集中、標準化管理和可識別處理。

4.2 基于大數據技術的海量日志事件關聯分析平臺技術原理

我們研發的事件關聯分析平臺通過對各類外部攻擊、內部合規等事件的特征進行抽象歸納、提取特征值，再利用關聯、基線等分析技術對海量日志進行關聯分析，可以把在一個點發現的威脅迅速在平臺共享，形成安全威脅的主動發現與精準定位，該平臺具備幾項功能：（1）安全事件的快速定位、溯源；（2）安全攻擊等行為的及時預警；（3）海量安全事件的自動化關聯分析；（4）安全風險趨勢的可視化呈現與監控報告生成。

下面主要介紹在“鷹眼”系統的設計中如何利用大數據的關聯規則、模式識別等技術，并就實現的一個案例做詳細分析。

除了日志的標準化工作外，關聯分析是“鷹眼”核心技術所在。而找到數據庫中存在的數據關聯就是知識發現的過程。理論上講，若兩個或多個變量的取值之間存在某種規律性，就稱為關聯。關聯可分為簡單關聯、因果關聯、時序關聯，關聯分析的目的就是發現海量數據中存在的、對我們有價值的各種規律并表達出來。Agrawal等人1993年首先提出了挖掘客戶交易數據庫中數據間的關聯規則問題，之后人們對原有算法不斷優化，如引入隨機采樣、并行計算的思想等提升算法的執行效率。在研發中，主要是通過對海量存量日志的關聯分析發現用戶的正常行為模式，并描繪當前時點日志數據中展現的用戶行為模式，通過對比分析發現某些用戶的異常行為。

模式識別的具體方法這里不再論述，在實際應用中需要根據對象的性質選擇合適的方法。在應用中將句法和決策理論兩種方法結合使用收到較好的效果。下面重點展示下我們利用大數據關聯分析和模式識別技術的一個場景的片斷。

案例設計：能夠偵測蠕蟲病毒爆發并自動攔截

（1）日志源：IDS、IPS日志、防火墻日志

嚴重性：高；

規則說明：IDS、IPS日志中蠕蟲類報警，3分鐘內出現了50次以上相同報警，觸發自動終止動作。

（2）策略參數

Rule Name：CPIC10-Internal-Malware Breakout in Production Segments；

Signature： 47-6000009；

Severity ： 75；

Normalization Name： Malware；

Tags： Current Threats：Worm，Malware：Worm；

Group By ： N/A。

（3）判斷邏輯

展示Logic 3的實現：

在防火墻設備上發現有生產網IP在10分鐘內訪問可疑端口（137、138、139、445）2000次以上，就產生Correlation Event。

（4）過濾條件

Part 4：

目前已完成207條規則開發、60張合規報表的開發。其中設計關聯規則和調優是難點，需要不斷優化算法收斂模型，使平臺輸出的結果更加精準。通過歷時幾個月的模型訓練，目前已從每天30多億的安全日志中可自動產生50000次左右威脅告警，其中需要運維人員關注、處置的300件左右，已實現“蠕蟲傳播”、“暴力破解”、“安全攻擊”、“GTI全球智能威脅惡意地址訪問”、“違規訪問生產環境”、“非授權路徑訪問”、“非法重啟服務器”“高危操作”等安全威脅的實時監控、精準報警和自動化攔截。

4.3 可實現自動攔截的快速事件處置機制

開發的分級安全事件響應機制，是在實現集中監控各類安全事件的基礎上，重新設計自動化管理流程、崗位和職責，設置安全事件等級和響應級別：針對高危攻擊事件，平臺能夠自動向IPS等安全防御設備發出指令自動隔離；針對普通安全事件平臺能生成工單自動發送給安全運維人員處置，真正實現7×24自動化監控。

目前平臺每月發現并自動隔離來自全球的外部攻擊源達到兩千到一萬多次，每月自動化生成安全事件工單千件左右，涵蓋越權與濫用、惡意代碼與病毒、入侵和攻擊、破壞完整性、安全平臺系統五大類安全事件。

5 “鷹眼”系統應用成效顯著

“鷹眼”系統能把各種看似沒有關聯的各種事件源數據進行集中監控、智能分析，敏銳地感知到可能會發生的安全威脅，并預警和準確定位，系統實施以來，成功發現、防范了多起安全事件。

典型應用案例：通過對內部網絡訪問日志的分析，及時發現惡意代碼行為?！苞椦邸毕到y在2015年11月曾觸發告警：“某服務器向內網各地址段掃描可疑端口?！苯浉櫡治?，確認該服務器已感染木馬控制病毒，正在掃描攻擊其他主機系統。安全運維人員隨后為該服務器安裝防病毒軟件并查殺該惡意軟件后，及時解除了內網攻擊威脅。

發現非法訪問生產網數據庫事件?！苞椦邸毕到y某日告警：某開發部軟件開發人員在凌晨1：00時嘗試破解應用系統密碼并訪問數據庫，違規操作數據。內控人員接到告警郵件后立即聯系開發部門應急處理。

通過對內部網絡日志的分析，構建威脅模型與關聯規則，主動發現網絡異常行為?！苞椦邸毕到y在2016年7月曾觸發告警：某網絡鏈路負載均衡設備不停掃描內網TELNET（23）、HTTP（80）、SSH（22）、HTTPS（443）、SMTP（25）、RDP（3389）等敏感端口，經跟蹤分析，確認為外部用戶訪問行為導致，存在網絡配置的不規范性。

6 結束語

本文主要論述如何通過大數據技術對日常運維產生的海量日志數據進行關聯、挖掘和對比分析，時刻監控系統安全狀態，發現安全威脅信息。這也正是本項目的創新點，通常我們依靠不同的團隊對各自掌握的日志信息孤立分析，單一設備或團隊往往難以判斷威脅的性質而不能很好的發現潛在問題。通過大數據技術訓練并預定義正常行為模式庫，再用庫中的模式去匹配當前的行為，并將匹配的程度直觀展現出來，因此當前系統的安全狀態可一目了然。

此外，也可以將威脅行為特征抽象表達成模式規則，持續豐富模式庫，對各類事件進行自動判斷是否是安全事故、采取何種措施。這種首次將大數據技術應用于安全防御體系的設計思路首次得以實踐并應用成功，使得可以建設一個集成的安全防御系統以實現各類威脅的預知、防御的自動化處理以及追蹤的可視化展現，實現從小時級或日級的響應能力到分鐘級或秒級的跨越。

本文的成果可以對擁有海量數據的企業在拓展數據挖掘和關聯分析能力方面提供借鑒，對擁有海量運行日志的企業在如何實現和提升自動化運維能力方面拓展了思路。

參考文獻

[1] 劉宜.我國互聯網保險發展現狀及其對保險行業的影響[J].吉林金融研究，2015年1期.

[2] 鄭昊楠，陳露，江春華.“互聯網+”紅利時代傳統金融行業轉型的研究分析[J].中國商論，2016年20期.

[3] 曹瑞瑩，鄧喻方.把脈我國互聯網保險[J].金融經濟（理論版），2015年8期.

[4] https：//www.cpic.com.cn/cpic/cn/companyeverts/latestactivity/26449.shtml.

[5] 唐輝.大數據時代信息資源建設面臨的挑戰和機遇[J].科技情報開發與經，2015年23期.

[6] 劉雅倩.淺析網絡保險的風險及防范建議[J].中國經貿，2014年16期.

[7] 阮清嫻.我國互聯網保險的操作風險分析[D].暨南大學（碩士學位論文），2015.

[8] 韓志雄.移動金融的產生、發展及前景探析[J].南方金融，2015年02期.

[9] 陳曦.移動金融終端安全研究[J].信息安全與通信保密，2014年11期.

[10] 陳一鼎，喬桂明.“互聯網+金融”模式下的信息安全風險防范研究[J].蘇州大學學報（哲學社會科學版），2015年06期.

[11] 董紀昌，焦丹曉，張欣，宋子健，李秀婷.大數據金融背景下商業銀行客戶信息保護研究[J].工程研究-跨學科視野中的工程，2014年03期.

[12] 楊延嬌著.異常數據挖掘在Web服務器日志文件中的應用[J].西北師范大學學報（自然科學版），2008年06期.

[13] 韓東海，王超，李群，編著.入侵檢測系統及實例剖析[M].北京：清華大學出版社，2002.

[14] 景永霞，著.基于分布式數據庫的關聯規則挖掘算法[J].湛江師范學院學報，2007（6）.

[15] 葉和平，著.一種面向入侵檢測的數據挖掘算法研究[J].計算機技術與發展，2008（1）.

[16] 張硯雪.基于數據挖掘的IDS日志算法的改進[J].齊齊哈爾大學學報，2008（6）.

[17] E.Eugene Schultz，Russell Shumway，著，段海新，等譯.網絡安全事件響應[M].北京：人民郵電出版，2002.

[18] William Stallings，SNMP，SNMPv2 and SNMP v3.the Practical Guide to NetworkManagement Standards[M].北京：電子工業出版社，2002.

[19] Ralph Kimball，Joe Caserte.the data warehouse ETL toolkit[M].Wiley Publishing inc，2004.

[20] （美）邁克爾·貝里（MICHAEL J.A.BERRY），（美）戈登·利諾夫（GORDON S.L）. 數據挖掘[M].北京：中國勞動社會保障出版社，2004.

[21] 朱明，著.數據挖掘[M].北京：中國科學技術大學出版社，2002.

[22] 袁玉波，楊傳勝，黃廷祝，著.數據挖掘與最優化技術及其應用[M].北京：科學出版社，2007.

[23] 李雄飛，李軍，編著.數據挖掘與知識發現[M].北京：高等教育出版社，2003.

[24] 毛國君，等編著.數據挖掘原理與算法[M].北京：清華大學出版社，2007.

[25] （美）OLIVIA PARR RUD，著.數據挖掘實踐[M].北京：機械工業出版社，2003.

[26] 朱玉全，楊鶴標，孫蕾，編著.數據挖掘技術[M].南京：東南大學出版社，2006.

作者簡介：

李麗紅（1968-），女，漢族，河北定州人，畢業于上海交通大學計算機與系統結構專業，研究生，碩士學位，中國太平洋保險集團信息安全與內控管理部，副總經理；主要研究方向和關注領域：優化各項安全和內控管理策略、機制、流程。