面向異構數據的態勢感知系統研究

楊金峰 侯景嚴 王松

摘 要：隨著互聯網的飛速發展，企業建立了諸多信息管理系統，其數據產生量也爆炸式增長。合理利用各類系統的異構數據挖掘潛在信息，對助力企業決策者確立企業發展方向及計劃具有重要意義。為此，文章針對企業內部已有信息系統數據分散、基本結構不一致的異構狀態，依托“態勢感知”思想，借助數據可視化分析方法和圖形化展示手段建立面向異構數據的態勢感知系統，有助于挖掘歷史數據的價值以及提升企業決策者態勢感知的支持度。

關鍵詞：異構數據，大數據，決策支持

中圖法分類號：TP311文獻標識碼：A

１ 引言

隨著時間的推移，計算機科學與技術發展日新月異，許多科研企業搭上了數字化、智能化的快車，構建了一連串輔助辦公的核心業務軟件系統，如人力資源管理軟件、固定資產管理軟件、供應商管理軟件、測試管理軟件等。經過時間的積累，諸多系統產生了大量的應用數據，企業逐漸進入大數據時代。數據的積累可以通過數據本身為系統提供反查依據，也可以通過數據挖掘、數據分析等信息化手段得到潛在的數據或關聯關系，為企業中、高領導層提供做出決策的態勢感知支持，進而對系統的建設和使用做出正相關反饋［１］ 。但企業內部建立的系統不是一天、一次性建成的，導致在企業辦公應用系統中形成了不同編程語言、不同操作系統、不同硬件架構，不同數據庫的系統集群［２］ 。不同的系統產生了大量的密集型多來源異構數據，影響了企業統一視圖的建設，將此類異構的數據進行整合并建設精細化、集成化的態勢感知系統顯得尤為重要。

本文針對多來源的異構數據在企業態勢感知系統中的應用，提出通過異構數據的整合，將其應用于態勢感知系統，并建立一系列指標供決策者在決策前感知發展態勢。

２ 相關理論

２．１ 異構數據整合

異構數據顧名思義是指基本結構不同的數據庫數據，是由多個擁有獨立、完整的ＤＢＭＳ 數據庫數據組成的集合。異構數據的異構性主要體現在異構的計算機體系結構、異構的操作系統、異構的數據格式、異構的數據存儲地點以及異構的數據存儲邏輯模型。本文的數據整合主要由異構的數據格式和異構的存儲邏輯模型構成。數據格式存在多樣性，包括關系型數據庫和非關系型數據庫；存儲邏輯模型主要在不同業務邏輯中存儲和維護相同意義的數據。異構數據整合的目的是實現不同層次結構的數據庫數據資源的共享和集成。其關鍵在于組織基礎數據，并借助不同的工具和簡單的邏輯整合，生成具有統一對外接口的數據倉庫資源。數據整合的步驟如圖１ 所示，包括數據抽取、數據清洗、數據轉換等步驟，最終形成數據倉庫，為后續環節提供統一化的數據支撐。

數據抽取的概念是將上層需要的數據從下層源中按照一定規則進行提取。當前現有數據抽取的技術手段有全量和增量２ 種抽取方式。第一種全量的方式類似于數據的遷移和復制，它對下層源中所有數據進行原封不動的抽取。而第二種增量的方式則是對比上次抽取時的狀態，只抽取有變化的部分。這種方式最重要的環節是如何捕捉源的變化。在確保結果準確率和性能最優化的前提下，其主要方法有觸發器方式、時間戳方式、日志記錄方式等。

異構數據最終生成數據倉庫并對外提供統一化接口的關鍵一步是數據清洗和轉換，具體操作為通過檢查數據有效性和一致性，對缺失值進行處理。其主要處理方法有部分數據丟棄法、缺失數據補全法、真值轉換法、不處理等?？筛鶕搭^數據庫表以及字段的特性來選擇方法對其進行處理。而數據轉換則是因為異構的原因而引入，主要解決各源頭系統中對某一特定事物表述方式不同的問題。如Ａ 系統將性別表示為男、女，而Ｂ 系統則表示為Ｆ，Ｍ，此時應根據數據倉庫的標準對源頭系統的數據做轉換，達到最終一致的效果。

２．２ 態勢感知與決策

態勢感知是指能全局地發現周圍的發展狀態和趨勢，它是基于環境且動態的。此概念最早出現在軍事研究中，包含感知、理解和預測３ 個方面。態勢感知數據系統則以大數據為基礎，從全局視角出發，發現潛在問題，監測業務發展，反饋決策效果。態勢感知數據系統所處地位高于綜合信息管理系統。它融合多種處理方法和分析算法，對結構化、半結構化和非結構化的數據進行分析處理，并充分利用多樣的可視化組件圖形對處理的結果進行展示，最終為企業決策者態勢感知提供有力支持。系統對應態勢感知概念中的３ 個層次為：數據管理層、數據分析層、數據展示層。具體態勢感知系統結構如圖２ 所示。數據管理層是該系統的基礎模塊，主要功能是對異構數據進行整合，完成異構數據的抽取、清洗和轉換，最終形成可對上層模塊提供統一化接口的存儲管理倉庫。數據分析層是態勢感知系統的關鍵，主要通過各類數據處理方法和數據分析算法對業務數據進行全方位的統計分析，得到可供展示的半成品態勢感知數據。展示層對態勢感知數據進行多維度的展示，通過多樣化的圖表（如柱形圖、環圖、雷達圖等）準確清晰地表示數據，并依靠各業務系統設立的角色對展示權限進行約束。

態勢感知數據系統可以快速連接現有系統數據，有效分析數據潛在問題與趨勢，幫助各角色人員對企業發展態勢進行準確感知，并在此基礎上做出決策，以供執行層業務人員修正業務內存在的問題。

３ 系統設計

３．１ 系統頂層架構

本系統通過對企業決策支持的現狀和業務需求進行分析，并結合企業內部在用的信息化綜合管理系統，采用自底向上的模式，其具體分為３ 個層次，包括數據管理層、數據分析層和數據展示層。實現態勢感知數據系統的思路為：首先在數據管理層對企業內部建立的大量業務系統產生的異構數據進行整合，經過一系列的清洗及轉換，形成可供分析使用的數據倉庫；然后分析企業內態勢感知指標體系，并提出供決策使用的指標以及結合數據處理方法和數據分析算法得到的待展示數據；最后選擇適用于展示數據的可視化組件并形成圖形化界面，給予各層次決策者不同的數據權限、展示權限，從而為其決策提供充分依據。面向異構數據的態勢感知系統架構如圖３ 所示。

３．２ 數據管理模塊

數據管理模塊主要管理來自各獨立系統的異構數據，并對數據分析模塊提供輸出。其主要處理同構化的異構數據并對中間結果進行抽取清洗和轉換，最終生成可供上級分析模塊使用的數據倉庫。數據抽取主要針對當前已經建立的一系列應用系統，目前企業內系統數據庫均為諸如ＭｙＳＱＬ，Ｏｒａｃｌｅ，ＳＱＬ Ｓｅｒｖｅｒ的關系型數據庫，直接通過ＪＤＢＣ 接口連接即可。各數據庫數據鏈接后，還需要對管理的數據做進一步的清洗和轉換。具體操作包括數據庫數據列命名、數據行重復值刪除、缺失值處理、異常值處理，也包括數據重排序和數據的一致化處理。該模塊是態勢感知數據系統的基礎，因此對數據的安全性和保密性提出高要求尤為重要。數據安全性主要參考源系統的業務權限，對用戶建立角色并保證對特定用戶角色開放特定數據權限。

３．３ 數據分析模塊

數據分析模塊主要分為２ 部分：一是按照業務需求確立態勢感知的指標體系，二是根據確立的指標體系并結合數據處理方法和數據分析算法對數據倉庫中的數據進行分析處理得到的待展示結果。指標體系需求確立數據領域與用戶，數據領域劃分為戰略規劃、科研管理、生產管理、人力管理、財務管理、采購管理、質量管理等。用戶分為決策層（高層）、管理層（中層）、執行層（基層）。其中，決策層指標體系關注戰略目標、監控運營盈虧等綜合性指標；管理層指標體系關注目標計劃完成狀況、分析發現的問題；執行層主要細化到各自負責的業務執行狀況，關注具體業務指標。數據處理方法主要涵蓋數據關聯、匯總和合并，而數據分析算法則比較多樣，包含回歸、分類、聚類等，最終得到以領域劃分，以角色控制的待展示數據。

３．４ 可視化模塊

可視化模塊輸入為數據分析的結果，選擇適用于該數據結構的可視化圖形進行繪制，得到最終結果并與門戶系統集成，供用戶使用?？梢暬枨罂煞譃橐韵拢?個方面：數據變化趨勢、數據統計分布、潛在數據分析。而開發平臺上對應可視化前端組件非常豐富，具體有：柱線組合圖、環圖、矩形樹圖、漏斗圖、氣泡圖。因此可根據展示數據類型按需選擇可視化圖表設計成果，最終發布成果到企業門戶系統供各層人員查看并感知發展態勢。

４ 系統實現

基于上文中態勢數據感知系統的理論模型和企業現有信息管理，結合系統頂層設計和模塊詳細設計，構建了面向異構數據的態勢感知系統。首先整理企業現有綜合管理系統，包括人力管理、生產及科研管理、財務與薪酬管理等系統，并統一管理和標準化各系統數據源，而后對這些異構數據進行整合。其次進行業務調研、需求梳理，形成業務板塊并建立一套符合單位現狀和業務現狀的態勢感知指標體系，覆蓋戰略規劃、科研管理、生產管理、人力管理、財務管理、采購管理等１０ 余個模塊，建立１００ 余個需求指標。最終使用以折線圖、柱形圖、環形圖為代表的可視化圖形進行繪制，綜合生成態勢感知結果。如圖４ 所示，針對企業內部全年計劃完成情況分布，提取綜合計劃管理系統數據并生成環形圖，以展示相關業務的態勢，點擊環形圖也可展示各部分組成數據全貌，給予決策者詳細的參考。如圖５ 所示，針對企業內部員工基本信息，提取人力資源管理系統數據并生成員工年齡分布柱狀圖，以展示員工各年齡階段分布。決策者可以由此了解企業員工整體年齡分布是否符合正態分布，并據此對新員工招聘年齡和企業崗位任職等抉擇性信息作出調整。

５ 結束語

在大數據環境下，數據增長飛速。合理利用數據已成為日常業務的重要工作。態勢感知系統可以將業務系統數據進行整合，挖掘潛在數據并利用可視化工具對其進行更加直觀、美化的展示。因此，本文基于企業內各業務系統，并面向異構數據研究建立本地化的態勢感知數據系統，以豐富的圖表形式展現了企業內部業務現狀和發展趨勢；利用大量隱藏、有價值的業務數據整合異構信息系統數據，以豐富的圖表直觀表達了數據分布和企業重要發展態勢，從而為各層員工傳遞信息并為其作出有效決策提供數據支持。

參考文獻：

［１］ 程龍軍．面向大數據的指揮決策系統模型研究［Ｊ］．山西電子技術，２０１５（１）：８５?８７．

［２］ 楊明亮．基于數據抽取的決策支持系統研究與實現［Ｊ］．數字技術與應用，２０１８，３６（３）：４７?４８．

作者簡介：

楊金峰（１９９６—），碩士，助理工程師，研究方向：軟件設計開發及數據庫應用。

王松（１９８９—），碩士，高級工程師，研究方向：軟件開發及數據分析（通信作者）。