數據中臺建設對企業數據貫通的技術探究

張昊

摘要：隨著電網企業各部門信息化、數字化的高速發展，沉淀了豐富的全域數據資源，但系統間數據未有效貫通、共享公用，企業在數據價值挖掘、數據對業務支撐、拓展新興業務等方面有強烈需求。本文針對提出了基于大數據和數據湖技術建立企業數據中臺，統一企業數據標準和存儲處理，并對外提供數據高效服務，最終實現企業數據驅動決策。

關鍵詞：數據湖;貼源數據層;數據集市層;數據服務

目前來說，電力企業在市場營銷、財務管控、物資管理、工程建設等業務領域都已實現了數字化管理，企業內部沉淀數據日益增多，系統之間的交互與協同更加復雜與頻繁[1]。為提高企業內部、外部數據打通和業務流程協同，需建立一個高效的企業集成平臺，為企業管理數據資產并提供數據服務。

1基于數據湖的建設概要

1.1建設的必要性

企業要實現產品全生命周期數據貫通，必須通過全量數據匯聚、治理、數據共享業務能力沉淀、數據服務構建以及數據開放，要實現上述功能，企業可通過數據湖技術完成建立企業數據中臺，并以建立的數據中臺構建企業的數據共享服務平臺[2]。

1.2建設思路

1.2.1建設原則

（1）統一的數據資源與數據架構。系統設計采用統一的軟硬件大數據基礎架構設計，保障三個統一：統一資源、統一存儲、統一運維;通過統一的架構設計使數據應用更聚焦于業務，提高數據利用率，避免重復的數據基礎設施建設。通過構建以服務為中心的數據集成架構，提供數據抽取、數據清洗、數據集成等服務，以滿足現在及未來的業務要求。（2）統一數據源的接入與數據貼源層的管理。統一連接、統一配置，為ERP、PMS、MDM、SG186、OA等業務系統提供統一的接入標準，規范數據接入過程，保障數據質量。（3）面向業務的數據開發與服務能力。面向業務的數據開發模式，給應用更大的靈活性，減少業務之間的隔離性;在基礎設施與統一數據層的基礎上，加速應用開發過程，提供數據服務能力。

1.3數據服務建設

1.3.1數據集成

基于數據湖的數據中臺實現數據貫通，包括數據集成、數據治理、數據中臺、數據服務平臺等軟件平臺是技術支撐與承載，而真正要實現數據貫通還需要通過對數據標準的梳理、數據的集成、基于數據標準的清洗、數據服務的構建以及服務目錄的開放與管控等一系列的建設內容。

1.3.2數據湖建設

數據湖平臺接入數據包括業務數據、采集數據、設備數據等，數據經過數據落地區和操作加工區，對數據進行全面的清洗、加工、轉換和建模，最終形成組織、人員、財務、物資等數據的整合區，并對數據通過標簽計算、關系計算以及模型構建，形成物資、設備、財務、人員等的關聯模型，形成一個有機銜接的整體，針對前端業務二次細分構建出不同業務方向的主題庫，支撐各種業務分析業務。主要包括以下幾步：（1）確定數據源。（2）數據接入。（3）貼源數據層（ODS）。（4）數據明細層（DWD）。（5）數據匯總層（DWS）。（6）數據集市層。（7）數據模型。（8）數據治理。（9）數據任務。

2 基于數據湖的數據服務與共享

基于數據湖共享平臺的企業信息數據是公司生產、經營、運行、管理等數據的大集中，具有全面性、完整性，為了保障數據在與其他系統流通過程的安全、及時，數據共享服務支撐平臺提供以接口的方式對外進行數據服務，根據業務應用場景的不同提供不同的服務方式，可以分為共享服務、直接服務和場景服務。每種服務的方式對數據封裝的要求不同，需要底層平臺具備數據開發能力，如算法挖掘、多類型任務開發等，數據開發完成后，需要服務封裝，如服務開發、注冊、管理、統計分析等，具備數據開發及服務封裝全面、有效的支撐各種數據服務。

3 數據中臺建設后作用

數據中臺建立后，企業將數據作為生產資料轉化為數據生產力[3]。在全球數據化時代，企業只有了解用戶，在數據支撐的條件下不斷創新，打破數據孤島，才能在日益激烈的競爭中長期保持優勢。

3.1 洞察客戶的觀念和行為

在以客戶為中心的時代，客戶的觀念和行為正在從根本上改變企業的經營方式以及企業與客戶的互動方式。數據中臺建設的核心目標就是以客戶為中心的持續規?；瘎撔?，而數據中臺的出現，將會極大提升數據的應用能力，將海量數據轉化為高質量數據資產，為企業提供更深層的客戶洞察，從而為客戶提供更具個性化和智能化的產品和服務。

3.2 為企業管理模式的創新提供數據基礎

只有依托數據和算法，將由海量數據提煉的洞察轉化為行動，才能推動大規模的管理創新。數據中臺在通過算法將洞察直接轉化為行動、實現管理創新方面的能力，令人矚目。同時，在快速構建服務能力、加快管理創新、提升業務適配等方面，數據中臺也將會發揮重要的作用。

3.3 打破數據孤島

面對紛繁復雜而又分散割裂的海量數據，數據中臺的突出作用和意義在于能充分利用內外部數據，打破數據孤島的現狀，打造持續增值的數據資產，在此基礎上，能夠降低使用數據服務的門檻，繁榮數據服務的生態，實現數據“越用越多” 的價值閉環，確保競爭優勢。這些服務跟企業的業務有較強的關聯性，是這個企業獨有且能復用的，它是企業業務和數據的沉淀，不僅能降低重復建設、減少煙囪式協作的成本，也是差異化競爭優勢的所在。

結束語

數據中臺的主要功能是統一標準和口徑后對數據進行存儲和處理，使企業能夠提供更高效的服務?？傊?，建立數據中臺的目標是節約企業成本，實現精細化運營，最終實現數據驅動決策。

參考文獻

[1]李信鵬， 劉威， 楊智萍，等. 電網企業數據中臺方案研究[J]. 電力信息與通信技術， 2020（2）：1-8.

[2]李志， 費曉璐， 郭振. 基于數據中臺的電力企業數據資產管理方法研究[J]. 電力信息與通信技術， 2020（7）.