物聯網網絡流量分析系統設計

摘要：隨著物聯網技術迅速發展，網絡數據激增，對數據分析和網絡安全提出挑戰。數據可視化技術在物聯網網絡流量數據分析中發揮關鍵作用。本文設計一個專注于物聯網網絡流量數據的可視化系統，整合各類數據可視化工具，建立高效分析平臺。該系統實際部署后能有效識別和分析網絡流量數據，為研究人員提供強大支持。通過數據可視化技術，用戶能夠更直觀地了解大規模網絡流量的特征、趨勢和異常，為不斷變化的網絡環境提供全面可靠的解決方案。

關鍵詞：物聯網；網絡流量；網絡安全；數據可視化

引言

數據可視化技術在物聯網網絡流量數據分析中扮演關鍵角色，提升了網絡安全和分析人員對通信模式及異常的識別效率[1]，對物聯網網絡研究和監管至關重要，有助于檢測異常、了解流量特征和趨勢。隨著物聯網網絡節點增多，結構復雜，流量數據不斷增加，網絡管理和安全分析面臨巨大挑戰。數據可視化技術減輕了分析人員工作負擔，避免了資源和時間成本的浪費。物聯網網絡安全可視化技術通過將抽象網絡數據轉化為圖形和動畫，結合人機交互技術進行網絡安全事件分析，有助于實現網絡安全態勢感知，發現入侵和異常，促進未知安全事件的研究[2]。

將可視化技術應用于網絡安全領域將帶來許多優勢。首先，可視化技術使得網絡安全數據信息更易于獲取。通過可視化技術，研究和管理人員能夠更快速地感知網絡安全數據信息，迅速識別數據模式和數據差異，從而更深入地發現數據異常。其次，可視化技術使對威脅的感知更加直觀敏捷。它可以方便地對網絡入侵事件進行聚類識別，從海量數據信息中發現新的攻擊模式和規律，進而對攻擊趨勢進行預測并提前進行防御。

物聯網安全可視化的方向大體可分為以下幾種：首先是物聯網安全管理的可視化，該方法實現了對物聯網安全運維全過程的跟蹤和管控，通過拓撲表達方式支持設備管理、策略管理及部署，圖表數據暴露了更深層次的物聯網安全信息和線索。其次是信息安全的可視化，解決了不同物聯網安全產品產生的異構安全信息的融合問題，整理分析出真正對物聯網安全分析人員有意義有價值的信息，增強物聯網安全產品和網絡系統之間的聯系。最后是數據可視化，通過二維或三維空間的直觀反映，解決了日志數據信息受到數據集特征限制的問題，使信息更直觀立體，達到更好的顯示效果。

Keim等人[3]引入Radial Traffic Analyzer系統，以同心圓形式可視化網絡流量的源/目的IP地址和端口，協助分析人員監控流量、捕捉通信模式。Lakkaraju等人[4]設計TNV系統，基于時序進行全局網絡流量分析，避免底層細節過度關注。Cappers等人[5]提出SNAPS系統，結合深度數據包檢查和異常檢測，協助安全分析人員評估消息層異常對網絡層安全的威脅。Ball等人[6]提出VISUAL系統監控內部網絡，通過網格表示內外部節點，展示訪問行為和強度。Xiao等人[7]將網絡流量可視化與陳述式知識表達法相結合，通過迭代發現網絡攻擊模式，并更新知識庫。Mansmann等人[8]提出可交互的TreeMap布局網絡地圖系統，對IP地址空間分層處理，實現大規模網絡直觀分析。

本文專注于研究物聯網網絡流量數據可視化和網絡安全可視化，設計并建立物聯網網絡流量數據可視化系統，并利用可信賴的網絡異常流量數據集CIC-IDS-2017進行系統測試，通過構建后臺管理平臺，整合了模擬攻擊、數據收集和圖表展示等功能。

1. 系統設計

在龐大的物聯網網絡流量數據中，有針對性地進行全面的可視化模擬與分析，對于不同研究領域和具體平臺環境至關重要。盡管已存在多種網絡數據可視化技術，卻缺乏一個綜合的平臺架構，為數據可視化提供更大的發展空間。本文提出了一個與物聯網網絡數據深度結合、兼具視覺效果和高性能操控感的物聯網網絡流量數據可視化系統平臺。

該系統整合了數據可視化、后臺管理和模擬網絡攻擊等功能，涵蓋了數據集研究、真實數據反饋和跨平臺數據交互等需求。從對數據集的研究到對真實環境下網絡流量數據的分析，該系統滿足了數據分析管理人員學習與工作的多方面需求。

物聯網網絡流量數據可視化系統涉及兩個主要信息來源：一是網絡安全數據集的信息，通過對不同網絡安全數據集進行數據可視化，降低研究人員的工作難度，以更直觀有效的方式獲取全面的數據集信息；二是網站后臺的真實網絡流量數據，通過對真實流量數據的研究分析，深入了解網絡流量數據的各個方面，幫助實際網站運營者提供準確的網絡安全洞察，以便網絡安全人員更好地理解網絡攻擊和威脅。

2. 系統實現

2.1 PC前端部分

PC前端數據可視化部分的核心基礎是Web技術，其主要功能是實現數據可視化，使研究人員能以更直觀清晰的方式研究網絡數據集，發揮數據可視化在網絡安全研究學習中的作用。

PC端數據可視化部分的主要功能流程如下：用戶注冊登錄，本功能為系統基礎功能，用于用戶的注冊和登錄，用戶可分為管理員和普通用戶，管理員可以在后臺進行設置，目前為了系統的通用性，系統所有功能設置對所有用戶可見，之后會加強系統的安全性和可維護性，添加隱私機制。用戶通過注冊和登錄進入系統，系統分為系統首頁與實驗案例兩部分。在系統首頁，用戶可以根據需要查看基于某些數據集的網絡攻擊數據展示。此外，用戶也可根據自身需求上傳自有數據進行可視化操作。PC端數據可視化部分的建立涵蓋兩個主要方面：網絡攻擊數據展示和數據上傳處理操作。

在系統的架構中，采用了Python的Tornado作為Web服務器兼Web應用框架，同時利用Nginx進行反向代理，并通過Supervisor進行監控。在Handlers中，包含了系統所有頁面的處理邏輯。通過向web.Application類的構造函數傳遞static_path參數，系統能夠從文件系統的特定位置提供靜態文件。為便于部署，靜態文件目錄被命名為static。我們配置了靜態文件的URL，并設定了模板文件的路徑。在Methods部分，使用PyMySQL進行數據庫連接的配置，并利用MySQL處理相關的數據庫操作。這種系統架構充分發揮了Tornado的異步性能、Nginx的反向代理特性，并通過Supervisor進行監控，從而使系統具備高性能、可伸縮性和穩定性。

本系統的主要功能包括網絡攻擊數據的展示和數據上傳操作。在網絡攻擊數據展示功能頁面中，詳細呈現了數據集中的攻擊類型統計、攻擊源IP和目的IP，以及時間戳對IP的關聯（由于數據集中時間戳過于集中而省略此功能）、時間戳對其他、其他對其他（根據數據集中的特征標簽來命名功能）。在數據上傳操作功能頁面中，包括攻擊源IP和目的IP，以及時間戳對其他這兩個功能，其他功能由于實用性不高而被舍棄。在數據上傳操作功能中，用戶可以上傳經CICFlowMeter處理過的csv文件，生成相應的可視化圖表。

2.2 后臺管理部分

該系統將采用React構建后臺管理部分的用戶界面，使用Koa作為后臺管理系統的Web框架，并選擇MySQL 8作為數據庫支持。監控方面將使用PM2，同時通過Nginx進行反向代理。系統還嵌入了tcpdump、CICFlowMeter等工具，以實現網絡攻擊模擬、網絡流量數據整理和數據預處理等功能的整合。

后臺管理部分的主要功能流程如下：用戶首先進行注冊或登錄，然后進入后臺管理平臺。系統展示各項功能，其中重要的功能包括素材管理、文件下載和檢測操作。在各功能模塊中，用戶可以根據需要自行更改系統所需的素材，或查看并下載PC端數據可視化子系統生成的文件。tcpdump在系統中的嵌入涉及文件下載系統的實現。目前，系統主要利用tcpdump實現數據包的自動捕獲，并將數據包保存到pcap文件中，然后使用CICFlowMeter獲取csv文件。流程包括在服務器端運行shell腳本啟動tcpdump自動捕獲程序，自動捕捉數據包并保存到指定位置以供系統調用，在實驗中可停止捕獲。

本平臺的后臺管理系統采用了React-Antd-Admin框架，該框架適用于構建簡單通用的后臺管理系統，可在開源基礎上引入更多的框架更新和功能擴展優化。主要功能包括用戶注冊登錄、系統首頁、用戶管理以及文件下載。用戶注冊登錄是系統的基礎功能，分為管理員和普通用戶，管理員可在后臺進行設置。目前，為了系統通用性，所有用戶都可以看到所有功能設置，但未來將加強系統的安全性、可維護性，并添加隱私機制。系統首頁設有側邊導航欄，顯示具體功能，并在右上角設置了用戶中心，用于管理用戶信息。用戶管理功能用于管理使用本系統的用戶。文件下載功能用于與PC端數據可視化子系統交互，可下載適用于PC端數據可視化系統操作的數據，包括csv文件和pcap文件，這些文件由tcpdump在項目所部署的服務器上捕獲的流量數據文件。

3. 系統測試

本文實驗過程中使用CIC-IDS-2017數據集進行測試。CIC-IDS-2017數據集全面覆蓋了11種常見攻擊的必要標準，包括DoS、DDoS、Brute Force、XSS、SQL注入、過濾、端口掃描和Botnet等。該數據集經過完全標記，通過使用CICFlowMeter軟件提取和計算了所有良性和入侵性流量的80多個網絡流量特征。該軟件已在加拿大網絡安全研究所的網站上公開提供[9]。

CIC-IDS-2017數據集捕獲期為五天，分別為星期一至星期五。星期一為正常流量，其余四天分別實施多種攻擊，如FTP Patator、SSH Patator、DoS、Heartbleed等。使用CICFlowMeter提取了80個流量特征。在線模式可實時監控并生成特征，監聽結束后可保存結果或通過離線模式提交pcap文件，并獲取包含特征的csv文件，如表1所示。

為確定每種攻擊的最佳特征集，使用了Scikit-Learn的隨機森林回歸模型類。首先，對整個數據集中的每個特征進行重要性評估。接下來，在每個類別上，將每個特征的拆分平均標準化值與相應特征重要性的乘積計算得出。這一過程最終產生了綜合結果，通過將平均標準化值與特征重要性相乘，有效地捕捉了每個類別內各個特征的貢獻，從而提供了綜合而有針對性的評估。數據集攻擊數據樣本統計表展示效果如表2所示。

結語

數據可視化技術是幫助人們挖掘大規模數據中潛在特征的重要手段，在多個領域得到廣泛應用，包括物聯網網絡流量數據分析。物聯網網絡流量數據可視化有助于提升網絡安全人員和分析人員對通信模式及異常情況的識別和定位效率。作為網絡數據的重要組成部分，物聯網網絡流量數據對于網絡研究和監管人員偵測網絡異常、了解網絡流量特征和趨勢等具有重要意義。物聯網網絡安全可視化的實現離不開網絡數據，因為網絡數據源在可視化流程中至關重要。各類網絡數據中蘊含著多樣的網絡信息，為網絡安全可視化在不同領域的應用奠定了基礎。本文以物聯網網絡流量數據為研究對象，通過分析不同系統，探討了先前的網絡安全可視化工作，構建了基于Web的網絡流量可視化系統，提出了線上網站與安全數據監測分析相結合的方案，并進行了線上部署和實驗驗證。在未來研究中，將專注于深入研究實時數據交互和分析，以提供實用的數據可視化方案，同時力求擺脫特定數據集的限制，進行更廣泛通用的可視化技術研究。

參考文獻：

[1]穆逸誠，柯珊珊.網絡安全的可視化分析[J].科技創業月刊，2017，30（3）：20-22.

[2]Becker R A，Eick S G，Wilks A R.Visualizing Network Data[J].IEEE Transactions on visualization and computer graphics，1995，1（1）：16-28.

[3]Keim D A，Mansmann F，Schneidewind J，et al..Monitoring Network Traffic with Radial Traffic Analyzer[C].IEEE Symposium.Visual Analytics Science and Technology，2006：123-128.

[4]Lakkaraju K，Yurcik W，Lee AJ.NVisionIP：Netflow Visualizations of System State for Security Situational Awareness[C].ACM Workshop Visualization and Data Mining for Computer Security，2004：65-72.

[5]Cappers B C M，Wijk J J V.SNAPS：Semantic Network traffic Analysis through Projection and Selection[C].IEEE Workshop Visualization for Computer Security，2015：1-8.

[6]Ball R，Fink G A，North C.Home-Centric Visualization of Network Traffic for Security Administration[C].ACM Workshop Visualization and Data Mining for Computer Security，2004：55-64.

[7]Xiao L，Gerth J，Hanrahan P.Enhancing Visual Analysis of Network Traffic Using a Knowledge Representation[C].IEEE Symp.Visual Analytics Science and Technology，2006：107-114.

[8]Mansmann F，Keim D，North S，et al.Visual analysis of network traffic for resource planning，interactive monitoring，and interpretation of security threats[J].IEEE transactions on visualization and computer graphics，2007，13（6）：1105-1112.

[9]Sharafaldin I，Lashkari A H，Ghorbani A A.Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization[C].The 4th International Conference on Information Systems Security and Privacy，2018：108-116.

作者簡介：張軒，博士研究生，工程師，研究方向：物聯網。