企業通用基礎數據管理技術研究及方案設計

李燕 譚廣洪 林健光

（中車廣東軌道交通車輛有限公司 廣東省江門市 529000）

1 企業數據管理現狀分析及存在問題

伴隨先進生產技術的不斷發展，大多企業逐漸重視信息技術在生產運營中的支撐作用，信息系統數量日益增多。一般企業均具備如人力資源系統、OA 系統、ERP 系統、采購及客戶服務等系統。受專業性影響，許多系統各由不同供應商實施，系統間的數據信息會出現格式不統一、數據重復等現象，主要的問題表現如下：

1.1 基礎數據多系統管理，系統間數據標準不統一

同一項數據信息在不同系統中具有不同數據結構，比如在OA 系統和人力資源系統中均存在人員信息，但兩個系統對相同信息可能采用不同的編號規則、關聯項目等。導致系統間沒有統一的數據格式標準，極易造成基礎數據混亂，難以滿足企業高效精準管理的需要，給企業的運營效率和管理水平均造成了一定的提升障礙。

1.2 系統集成缺乏統一接口標準和平臺

對于基礎主數據的分散存儲，使得系統集成均采用點對點接入方式，實現集成的雙方系統需要明確知道對方的底層數據結構，導致系統接口集成、維護工作變得非常艱難。同時系統間分散的集成方式難以明確各自系統責任，集成接口開發工作容易出現相互推諉。

1.3 企業內部的基礎數據完整統一和共享存在難度

企業中的系統由不同的供應商實施建設，基礎數據難以同步更新，容易形成信息孤島，不利于企業基礎數據的共享和互通。統計和匯總基礎數據的時候難度增加，對于數據的計算和分析、企業精準決策均形成一定阻礙。

2 企業通用基礎數據管理系統建設的必要性

面對企業在基礎數據管理中存在的上述問題，建立通用基礎數據系統在業務和系統層面都是非常必要的。

（1）通過搭建統一的數據管理、運營、接口平臺，為企業中的各應用系統統一了基礎數據視圖，實現基礎信息格式的標準化。

（2）通過收斂企業業務系統中的運營數據，可以更進一步進行整合分析，提升基礎數據質量，為企業經營分析提供統計、監控和考核等精確化報表工具。

（3）企業核心系統提供了標準化的數據接口，有效減少系統之間獨立接口的重復性，標準化的接口模式降低了開發技術的復雜程度，提高系統集成的效率與質量。

（4）在基礎數據收斂過程中，可以同時完成“數據品質校驗”和“數據標準統一”兩項數據質量管控工作，進而保障企業基礎數據的一致性、完整性、正確性。

3 方案設計

3.1 設計方案構想

結合上述分析，企業在基礎數據管理工作中應當實現三方面統一：統一數據模型、統一數據標準、統一數據視圖。打破各業務系統間的數據壁壘，通過建立“通用基礎數據系統”來履行“數據中心”的管理職責，通過“統一匯總、授權使用”的方式實現企業基礎數據的共享互通。

3.1.1 統一數據模型

搭建符合企業經營管理業務實際的數據結構模型，標準化各信息系統之間數據邏輯模型并實現統一。企業在不斷新建或升級系統的過程中，各新建或升級系統的數據模型務必向“通用基礎數據系統”中已存在的標準化數據模型靠攏。標準化的數據模型是企業各個信息系統及自動化設備之間交互的基礎范式，通過數據模型的標準化統一，可以有效減少信息系統及自動化設備之間復雜的轉換，提高系統、設備、接口的運行效率。

3.1.2 統一數據標準

企業應建立標準的基礎數據目錄和通用字段編碼，接入的源頭系統中的數據模型應當依據“通用基礎數據系統”中標準化的數據目錄編碼，經過數據格式調整后進入“通用基礎數據系統”中存儲，從而實現企業基礎數據的標準化管理與統一存儲管理。

3.1.3 統一數據視圖

對于企業中所存儲的基礎信息數據，應當同時建立統一的數據視圖，使的企業中無論是生產制造，還是綜合管理、財務管理等各個業務層面的用戶在獲取基礎數據時，雖然展示的數據屬性因權限和業務范圍而不同，但實際得到的數據信息屬性視圖保持一致。

3.1.4 建立統一的企業基礎數據采集和應用接口

在實施企業基礎數據統一管理工作時，應注意建立統一的基礎數據采集和應用接口，一方面應根據不同業務的實際需要，定義數據采集標準指標，同時通過集成接口技術對各信息系統實施數據采集。

同時建立基礎數據應用接口，面向各集成方系統的實際需求，提供經過企業審批并通過后的數據指標。進一步提高企業總體應用系統的數據使用率和數據支撐能力，為企業經營生產提供真實有效的數據支撐。

3.1.5 建立企業通用基礎數據的綜合應用功能

通過對企業采集的基礎數據信息按照結構化的標準目錄進行清洗和加工，對用戶組和使用人員設定不同的操作權限以授權操作、查詢和分析數據。同時系統應支持報表的靈活設計，并且系統應建立數據計算機制功能，可以為各業務層面的用戶提供滿足實際業務需求的報表和視圖，進而為企業的經營管理等業務提供支持。綜合應用的功能設計包含“查詢應用”、“報表應用”、“計算應用”三項。

3.1.6 基礎數據實現質量管控

通過建立基礎數據的統一模型，計算應用機制、授權使用、以及統一采集和應用接口等，在企業基礎數據的收斂過程中逐步實現數據質量管控的目標。

“通用基礎數據系統”搭建過程中，應根據規則對系統所存儲的數據在數據統一性、數據完整性、數值正確性等方面進行校驗，形成數據校驗結果并通過接口回傳至源業務系統中。同時建立企業基礎數據管控的業務流程引擎，流程化逐級審批的方式對數據質量進行監督和管控，達到數據質量逐步提升的目標。

3.2 總體設計

所有的企業基礎數據歸集到“通用基礎數據系統”，通過數據清洗、數據轉換、數據質量管理等環節處理，各數據指標包括經營類數據指標、生產類數據指標、質量類數據指標等通過數據中臺的數據交換層，經過使用申請、使用審批等程序，最終面向上層企業各業務系統實時數據共享互通，方便企業各業務系統實時推送和調用，同時通過安全保障體系對于調用的過程進行監督和質量管控。

數據中臺的建設工作中，通過對企業業務數據及企業各信息系統實施標準化整合，在數據資源層對數據進行統一的接入、管理、處理、發布，并通過數據圖譜技術建立各種數據資源的關聯關系，生成分析結論和判定結果，為企業的業務開展提供有效的數據支撐，為企業各業務系統提供數據及其產品的標準化統一管理、接入、存貯、共享、訪問和決策支持等服務。

各種企業內部業務系統數據、外部自動化設備數據先歸集到數據源層，加以統一化、實時化、標準化、安全化等標準操作后存儲起來形成數據湖層，數據湖對于原始數據進行處理和體系化歸類，轉化為數據資產，數據資產層包括數據倉、指標、標簽、主數據等；最后將沉淀的可復用的數據資產提供給數據應用層，提供BI 應用、AI 應用、數據產品應用。

3.3 功能設計

3.3.1 數據采集

支持接口集成的方式從各數據屬主系統中采集數據，同時支持Excle、數據庫導入的形式進行手工數據采集。對于采集后的數據應當按照標準進行數據整合、校驗、計算，統一數據模型。

3.3.2 數據推送、導出

支持接口集成的方式向各業務系統中推送數據，同時支持Excle、數據庫導出的形式進行手工數據推送。對于推送的數據應當按照標準統一數據模型。

3.3.3 數據計算

按照設定好的業務規則進行部分屬性數據計算，保障數據模型的統一。面向各種報表、視圖的需求，可通過計算后實現。數據計算功能應提供可配置的維護界面，不需進行程序代碼的變更。

3.3.4 數據維護

具備可視化的數據維護界面，包含增加、修改、變更等功能，同時支持數據批量維護。數據的維護可劃分業務范圍后授權不同單位維護所管理的基礎數據。數據維護應實現審批流程管理。

3.3.5 數據查詢

具備可視化的數據查詢界面，同時支持數據批量查詢和導出。數據的查詢可劃分業務范圍后授權不同單位查詢所管理的基礎數據。數據查詢應實現審批流程管理。

3.3.6 報表及視圖

提供固定和動態兩種形式的報表。固定報表提供維度和指標固定的統計結果展示，通過即時生成的模式滿足高實時性要求。動態報表在后臺通過作業的方式提前自動生成，在需要時立即展現結果，適用于實時性要求不高的報表，以節約系統性能和資源開銷。

具備報表工具，報表和視圖應提供可配置的維護界面，不需進行程序代碼的變更。

3.3.7 權限及角色管理

可劃分業務范圍后授權不同單位不同的操作權限。應具備系統角色和權限管理功能，提供可配置的維護界面。授權對象包括基礎數據、系統角色、系統用戶，如數據使用授權，用戶操作授權、報表和視圖的展現授權等。

3.3.8 流程管理

對于接口以外的數據變更、增刪等維護操作，以及數據導出等操作，提供可以靈活配置的審批流程。流程的變更工作應當不需要進行程序代碼的變更，可以通過流程配置的方式由系統管理員配置各個流程審批環節以及權限處理、權限控制和業務處理方法。

3.3.9 標準化管理

建立標準的基礎數據目錄和字段代碼，標準的審批流程、權限管理。企業的基礎數據依據標準化的數據目錄進行編碼，之后傳輸至“通用基礎數據系統”中存儲，從而實現企業基礎數據的標準化與統一存儲。

3.4 接入數據指標

在企業建設通用基礎數據管理相關系統平臺時，應充分合理的設計接入系統中的數據指標。接入數據的指標范圍不宜過大，避免數據漫無邊界造成系統計算資源的浪費。數據指標庫的建立應當充分參考企業現有的經營生產活動數據，通過內部價值鏈體系的梳理、整合，根據企業的發展目標確定建立每個數據指標的標準化基本屬性和維度屬性。

企業建立基礎數據指標可以從經營、市場、生產、質量、安全、人員六大領域出發制定。

3.4.1 經營類數據指標

主要來源于企業的ERP 系統、財務系統等，如企業的營業收入數據、年度財務預算、月完成比例數據、凈利潤、毛利潤、利潤率、銷售，管理，研發等相關指標數據。

3.4.2 生產類數據指標

主要來源于企業的MES 系統、ERP 系統、供應鏈系統等，如生產計劃數據、計劃完成率數據、產品產量數據、自動化設備連線數據、物料定額數據、物料配送數據等。生產類數據指標的有效管理和展示，可以為企業提供生產車間更為直觀的生產線運行狀態，配合工藝流程圖、動畫、3D 建模等形式來表達，后續可通過系統間的集成以及數字孿生技術將分析的指標數據與生產線設備聯動展示。

3.4.3 質量類數據指標

來源于企業CRM 客戶關系管理系統中的產品運行質量數據，以及來源于企業QMS 系統中的質量檢驗數據、供應商來料質量數據等。包括產品一次性交檢合格數據、產品故障數據、供應商產品合格率等數據。質量類數據通過企業通用基礎數據系統的歸集后，可以用于企業設置相應的KPI 指標，從因質量問題產生的效率或成本損失來設置KPI 指標，通過不同的維度，對企業產品的質量進行評估。

3.4.4 市場類、安全類、人員類數據指標

市場類、安全類、人員類數據指標主要來源于企業的人力資源系統、流程管理類系統、客戶關系管理系統等。包含如市場訂單數據，回款數據、項目進度數據、環境安全監測數據、人員信息數據等。

4 關鍵技術研究

4.1 數據結構設計

目前在用的主流數據庫類型有SQL Server、Oracle、HANA 等，HANA 適用于ERP 等大規模、計算復雜的系統，Oracle 雖然性能較好，但成本費用高?？紤]到運算對象為“基礎數據”范圍，對計算復雜度和數據吞吐量的要求不是特別高，因此建議采用易用性更好的SQL Server 數據庫。

接入“通用基礎數據系統”數據應當經過充分的需求分析和評估，接入后建立統一的數據模型。對于接入系統的評估主要考慮接口方式，對于集成數據的評估，應統一數據結構標準，并評估數據量和增長速度。如圖1 所示。

圖1：數據結構及數據歸集設計圖

4.2 運行資源架構設計

如圖2 所示“通用基礎數據系統”設備包括中心數據庫服務器、應用服務器。整體運行環境涉及用戶客戶端、其他業務系統服務器、交換機等網絡設備。系統 “中心數據庫服務器”管理所有的基礎數據，對數據進行存儲和計算，“應用服務器”自動通過局域網網絡連接提供系統功能，同時進行數據的“請求”和“返回”。

圖2：系統運行資源架構圖

4.3 接口標準

由于“通用基礎數據管理系統”需要與企業眾多的業務系統進行接口集成，同時面向各業務系統進行數據采集和傳輸，因此“通用基礎數據管理系統”對于接口標準的要求標準較高。系統開發要求同時支持Web API、RFC、中間庫三種標準接口方式。同時系統接口開發人員應掌握上述三種接口的開發技術。對于接入的業務系統，優先采用Web API 方式進行開發集成。

4.4 數據備份方式

系統的備份應提供手動和自動兩種方式，備份內容包括基礎數據、業務應用、接口、操作日志等內容。應備份所有中心數據庫數據和應用服務器中的數據，并通過配置參數，對備份計劃進行管理，配合服務器Windows 計劃任務，自動執行數據備份。

在未來的規劃中，“通用基礎數據管理系統”應該接入專用的備份存儲系統，確保企業數據的安全性。同時備份的數據應可提取系統應用環境，以便在硬件損毀的情況下恢復“通用基礎數據管理系統”。

4.5 移動端應用

作為企業通用基礎數據管理系統的升華，企業可以適時開發移動端應用。移動端應用的業務范圍呈現的數據建議是企業領導最關注的數據，或者是企業職能部門最關鍵的核心數據，可以通過移動端的展示，用戶直觀的掌握數據重點、形勢走向，以便及時做出精準判斷，有效決策。通過實時圖形化展示業務指標數據，能夠直觀地監測企業運營情況，并對異常關鍵指標預警和挖掘分析，實現決策分析無處不在的實時動態管理，為企業管理人員和各級領導提供及時準確的信息獲取和溝通渠道。

5 總結

數字經濟時代，數據資源已經成為企業的核心資源和核心競爭力，各類企業信息化建設的重心正從 IT（信息技術）向DT（數據技術）轉化。企業對于業務數據的要求逐步提高，也給大數據應用管理技術提供了展現能力的平臺。本文通過對于通用基礎數據集成系統方案的設計以及關健技術研究，期望能夠為企業建設實現跨地域、跨部門、跨系統的信息資源共享與交換提供思路，發揮數據的價值，支撐企業的發展。