數據質量成為大數據應用的“攔路虎”

IT界正在被云計算、社交計算和移動計算這三個相關聯、且百年一遇的技術趨勢而重塑，這些大趨勢正在改變數據世界，刺激數據爆炸式增長——更大數量、更廣泛的數據種類、更高速度和更多商業價值。數據是企業數據中心的重要資產，獲取并維護高質量數據，對高效的IT和業務運營至關重要。

數據量越來越大，有價值的信息獲取難度就越大。獲取不到有用的信息，就不能繼而進行數據挖掘和數據分析。但有許多因素會導致這些“數據資產”的貶值，比如數據的冗余和重復導致信息的不可識別、不可信，信息時效性不強，精確度不夠；結構或非結構數據整合有困難；人員變動引發的影響；數據標準不統一，相關規范不完善造成對數據理解的不充分等等。

在BI （Business Intelligence，商業智能）時代，很多企業進行了巨大的BI項目投入，但依然不能逃脫項目失敗的慘痛教訓，其最根本的原因，就是用于商業智能分析的數據源頭不能提供高質量的數據。那么在大數據時代到來之時，如何從海量數據中獲取高質量的信息則成為大數據應用成敗的關鍵因素之一。數據質量管理擁有一個完整的生態鏈，而數據集成以及整合是提高數據質量的第一道關鍵手段。

獲取源數據后，需要根據使用的人員需求以及技術能力，定義數據質量的規格要求。因此，針對不同行業、業務和技術，數據質量的規格要求也是不一樣的，例如，已經廣泛用于制造企業的元數據標準就是有針對性的行業數據質量規格標準。

我們以統一集成監控為例，來說明數據集成與整合的基本方法?；萜招乱淮偪刂行牡募善脚_邏輯架構包括四個層面，自下而上分別為：監控采集層、數據集成層、業務應用層和信息展示層。

監控采集層：使用監控、采集、感知等技術對IT系統、資源及環境對象進行信息采集；

數據集成層：主要包括對底層監控采集的數據進行集成和整合，包含了監控數據集成、集中告警、KPI（關鍵績效指標）及數據分析模型、流程管理及報表管理等；

業務應用層：在數據集成和整合后，可以提供不同的解決方案應用；

信息展示層：提供人機交互的統一門戶，除了提供安全控制以外，為不同類型角色和不同訪問手段提供不同的視圖。

在這四個層面中，數據集成層完成了“集成與整合”的功能，其中 “監控數據集成”完成了對不同類型監控數據的格式轉換和集成，“資產及配置模型”以及“KPI及數據分析模型”完成了第一道數據整合的工作。

總而言之，數據的整合和優化是一個任重而道遠的過程，數據質量管理是一個綜合的治理過程，不能只通過簡單的技術手段解決，需要從企業的高度加以重視，才能在大數據世界里博采眾長，搶占先機。