大數據可視化與可視分析

盧弘杰

摘要：以當前我們對人腦思維和認知的了解，抽象思維與形象思維是我們聯系一切事物的根本。在計算機技術日益成熟的今天，大數據可視化是當代最為熱門的話題之一，隨著大數據時代的到來，大數據可視化技術與可視分析已逐漸成為科學發現與創新的重要方式。如何滿足用戶的應用需求，如何通過探索、研究和設計新的技術去引領人們的應用意識，是每一位從事相關內容研究工作人員需要深刻思考的問題。本文將對大數據可視化與可視分析進行論述。

關鍵詞：計算機技術;大數據;可視化

中圖分類號：TP311? ? 文獻標識碼：A

文章編號：1009-3044（2021）08-0027-03

1 數據可視化簡述

關于數據可視化的定義有很多，通常我們在大數據分析應用中所提到的可視化是指，利用包括圖像和人機交互等在內的計算機技術，將已被采集的和需要被模擬的數據映射為更加直觀的、滿足人們需要的圖形和圖像。所以我們認為，“可視化”就是將人們感興趣的信息數據轉化為更加便于人們欣賞的圖式化過程。顯然更加側重人對數據、信息和知識自上而下的加工處理過程。相對于繁雜的數據，圖表不僅能更加簡潔地表述信息，還適用于大量信息的描繪，即對大量數據的承載。這也是數據可視化成為大數據分析工具不可或缺的功能模塊的主要原因。

數據可視化包含三個分支，科學可視化、信息可視化和可視分析，其中可視分析是本文主要所討論的一個分支?？梢暦治鍪请S著人工智能的興起而出現的一個新學科，它被定義為由可視交互界面為基礎的分析推理科學，將圖形學、數據挖掘、人機交互等技術融合在一起，形成人腦智能和機器智能優勢互補和相互提升。

2 大數據可視化分析方法

2.1原位交互分析技術

所謂原位交互分析是指，對那些存在于內存的大量數據進行可視化分析。運用此項技術對數據進行分析的主要原因在于，當面對體量非常龐大的數據時，特別是PB量級以上的數據，將數據存入磁盤后再進行分析是極為不合適的，這會大幅度增加I/O的開銷，而在數據還在內存時就進行可視化分析，則有助于我們實現數據使用與磁盤讀取比例的最大化。但在應用此項技術進行數據可視化分析時也容易出現一些問題，比如由人機交互減少而引起流程中斷和因硬件執行單元不能高效共享處理器而導致的流程中斷。

2.2大數據存儲技術

大數據存儲技術是在云服務的之后出現的，它主要是為解決云服務無法解決的問題而存在的，比如對EB量級的超大規模數據應用。大型企業之所以會癡迷于新技術的研發與應用，主要與數據的存儲成本有關，起碼到目前為止，私有集群中的硬盤存儲成本還明顯低于每千兆字節的云存儲成本。而另一方面，基于云端數據庫的數據傳輸始終會受到網絡帶寬的制約，這也就進一步堅定了人們應用大數據技術實現數據可視化的信念。

2.3可視化分析算法

在大數據可視化算法方面，我們不僅要考慮可視化數據的規模，還需要注意到視覺感知的高效算法，比如增加和創新視覺表現方式和與用戶交互的方法。同時，為了滿足使用者的喜好與需求，可視化還必須需要高度的輸出適應性，以實現自動學習算法與需要的有機結合，這會在一定程度上增加控制參數搜索空間，在降低探索難度和減少數據分析成本的同時，也減少了搜索的時間。

2.4不確定性的量化

一般情況下，為滿足數據分析的實時性要求，我們會在數據分析任務中引入數據亞采樣，但這也增加更多不確定性，并且隨著數據規模的不斷擴大，直接處理整個數據集的能力也將受到很大限制。所以，對不確定性因素和元素的量化已成為科學工程領域里所要研究的重要問題之一?？梢暬夹g可以為用戶提供更加直觀的不確定性因素視圖，使用戶能夠更加直觀地去了解已存在的這些“不確定性”，增加了用戶選擇正確參數的概率，降低了誤導性結果產生的概率。

2.5并行計算

并行計算針對可視計算需要占用大量時間所提出的一種概念，它有助于我們實現數據分析的實時交互。并行計算的實現，有效減少了整個體系結構中單個核心所占有的內存量，提升了系統內的數據移動效率。但需要指出的是，若想充分發揮并行計算的優勢，最大限度實現它所具有的功能，需要我們重新去設計可視化分析算法，重設計數據模型，必要時，還需要引入具有很強創新性的視覺表現手法和用戶交互手段。

2.6用戶界面與交互設計

隨著大數據可視化技術的不斷發展和應用，那些缺少最后可擴展性的可視化分析算法設計理念逐漸被淘汰掉了，與之相對應的，那些復雜算法和不易輸出簡明結果的算法也不再被用戶使用，取而代之的是高度人性化的人際交互設計理念。因此在大數據的可視化分析中，用戶界面與交互設計成為當前人們所研究的重點，新的理念設計需要考慮的問題有：用戶驅動的數據簡化、可擴展性與多級層次、異構數據融合、交互查詢中的數據概要與分流、表示證據和不確定性、時變特征分析、設計與工程開發等。

3大數據可視化分析案例

大數據網絡安全的可視化設計：

在白環境蟲圖可視化分析設計中，雖然數據量大大增加了，但用戶的理解程度卻提高了。用蟲圖對數據進行可視化分析的主要目的是監測訪問內網核心服務器的異常流量，整體的圖形結構將圍繞內網資產和訪問關系這兩個核心點來展開布局（如圖1）。

根據以往的經驗，帶有關系的數據一般使用和弦圖和力導向布局圖。最初我們采用的是和弦圖，圓點內部是主機，用戶要通過3個維度去尋找事件的關聯。通過測試發現，用戶很難理解，因此選擇了力導向布局圖（蟲圖）。圖1中的第一個層級所展示的是全局關系，第二個層級是通過對IP或端口的鉆取進一步展現相關性。

在優化圖形環節，我們對去多地方都做了進一步調整，比如考慮用戶對圖形元素疏密程度的適應性，只將TOP N展示出來;元素風格與界面風格保持一致;IP名稱超長時所省略處理;在交互方面，通過單擊鉆取到單個端口和IP的信息;鼠標滑過時相關信息高亮展示，這樣既能讓畫面更加炫酷，又能讓人方便地識別。

在檢測環節，通過調研，用戶對企業內部的流向非常清楚，視覺導向清晰，鉆取信息方便，色彩、動效等細節的優化幫助用戶快速定位問題，提升了安全運維效率。

4 大數據可視化所面臨的挑戰

隨著大數據可視化技術的不斷成熟，人們對它的使用也越來越廣泛，過程中自然也就會產生一系列問題。

1） 視覺噪聲

相關性極強的數據無法被分離成獨立的對象來顯示。

2） 信息丟失

在減少可視數據集的過程中，經常會丟失很多信息。

3） 大型圖像感知

數據可視化不僅受限于設備的長度比及分辨率，也受限于現實世界的感受。

4） 高速圖像變換

大數據可視化帶給用戶的感受是直觀的，但過于快速的圖像變換則會導致用戶無法對數據強度的變化做出反應。

5） 高性能要求

在靜態可視化中，設備性能優勢體現的不算明顯，因此我們常常會忽略掉它們對可視化效果的影響，但在動態可視化中，對性能的要求就會比較高，一旦滿足不了動態可視化的要求，或者無法呈現出較高質量的效果，那么設備缺陷就會暴露無遺。

除上述內容外，可感知交互的擴展性也是大數據可視化面臨的重要挑戰，在大規模數據庫中查詢數據，會有很大概率產生高延遲，從而降低交互率。在多方面因素的限制下，人機互動下的大數據可視化將是未來可預見的重要挑戰之一。

5大數據可視化技術的發展方向

5.1 可視化技術聯系數據挖掘

表面上看，大數據可視化與數據挖掘相類似，甚至會讓人產生一種錯覺，即可視化技術就是數據挖掘，理由是，數學可視分析和數據挖掘的目標都是從數據中獲取信息。但事實上，它們所應用的手段是完全不一樣的。數據挖掘是利用計算機將那些隱藏的數據知識挖掘出來給予用戶，而數據可視化分析則是將復雜、不易觀察的數據轉換成易于理解的圖形符號，更傾向于探索性地分析數據。兩者的相似點是我們推進可視化技術聯系數據挖掘的基礎，不同點則是我們進行整合研究的主要動力。

5.2 可視化技術聯系人機交互

我們在研究計算機技術時，主要實現的內容之一就是用戶與數據的交互，其目的是要使用戶更好地掌控數據。從當前各個科技分支發展的方向和應用情況看，我們還無法真正做到完全掌控數據，所以，當我們在發展可視化技術時，在人機交互層面上取得重要突破，自然也就成為可視化研究的一個重要方向。

5.3 可視化技術聯系大規模、高緯度、非結構化數據

大數據時代下，大規模和高緯度數據層出不窮，而且它們又多是非結構化的，將這樣的數據用可視化形式完美地展現出來，其難度可想而知。所以，當我們在這樣一個較為復雜的時代環境下發展可視化技術時，就必須想辦法建立與大規模、高緯度、非結構化數據的聯系，這也就成為我們進行可視化技術研究的一個重要方向。

6 結束語

大數據可視化與可視分析是一項較為復雜的研究課題，雖然它所表現出的直接效果看上去很簡單，但在技術的研究設計上既需要工作人員站在用戶的視角，盡可能滿足人們的視覺需求，又要時刻注意技術之間的相互作用與聯系。隨著計算機技術的不斷發展與人們需求的日益提高，我們大數據可視化技術還需要進行更進一步的探究，要做到用新的創意和技術去引領用戶，而不是僅僅滿足于迎合用戶的實際需求。

參考文獻：

[1] 陳鐳，劉玉，楊琴.高校實驗室大數據可視化平臺研究[J].計算機時代，2020（11）：43-46.

[2] 羅浩，汪鵬，趙浩宇.基于醫療大數據的可視化分析與應用[J].中國醫療設備，2020，35（11）：122-124，128.

[3] 陽建中，陳慧蓉，姜愉，等.基于大數據的坭興陶產品可視化方案選擇[J].信息技術與信息化，2020（10）：250-252.

[4] 李躍勇.大數據分析方法與關鍵技術研究[J].產業創新研究，2020（20）：36-37.

[5] 沈雅.常用的大數據可視化分析工具[J].計算機與網絡，2020，46（20）：39.

[6] 李鴻奎，程昭龍，周蕾，等.智能變電站設備管控大數據分析系統研究[J].機械與電子，2020，38（10）：72-76，80.

[7] 楊春波，凌松.基于大數據框架的智能電網分析和可視化應用[J].電子器件，2020，43（5）：1004-1009.

[8] 李天輝.基于python的數據分析可視化研究與實現[J].電子測試，2020（20）：78-79.

【通聯編輯：聞翔軍】