冶金礦山數據治理及管控平臺建設實踐

牛石柱 牛睿港

（1.太原鋼鐵（集團）有限公司礦業分公司；2.沈陽東碩信息技術有限公司）

目前，我國礦山智能化建設整體處于初級階段，礦山智能化發展仍不平衡、不充分，絕大多數礦山企業原有子系統分散建設、兼容性差，礦山基礎數據編碼不統一，設備廠商接口與協議不開放，導致系統集成難度大，在企業生產、設備、經營、安全、管理數據中形成了“數據壁壘”和“信息煙囪”［1］，難以實現真正的數據融合共享和智能化應用，制約了礦山智能化建設的高質量發展。因此，本文結合太鋼礦山數據治理與數據管控平臺升級改造實踐，討論數據治理的工作要點及其數據管控基礎平臺建設的基本方法與思路，以期為礦山從綜合自動化向智能礦山過渡提供有益借鑒。

1 冶金礦山數據治理的基本需求

智能化冶金礦山數據具有數據規模大且分散、數據類型多樣、采集及處理速度快、數據價值密度低等一般大數據的特征，另外還具有數據時序性強、數據關聯性強等特征［2］。數據治理主要有以下幾個方面。

（1）實現對數據進行統一采集和存儲，打破信息交互壁壘，匯聚融合多源數據，促進數據跨系統、跨領域流動，最終達到數據賦能給各個業務板塊，以提升業務的運營效率和精細化管理能力。

（2）對低質量數據進行數據清洗與標準化處理，提升數據質量和規范性，實現數據采集的準確性、及時性、全面性，滿足應用分析過程中的要求［3］。

（3）進行統一的數據標準和信息資源規劃，規范和指導各應用系統的數據存儲與應用［4］，形成標準的數據資產并提供數據的標準共享服務，防止數據和信息未經授權或不恰當地被使用，確保數據和信息資產的有效利用和價值最大化。

（4）通過深入了解礦山的信息需求，不斷提高數據和信息質量，加強礦山數據的分析應用能力，最終形成智能化應用。

2 冶金礦山數據治理主要方法

冶金礦山數據治理的重點是解決智能礦山建設過程中的信息孤島問題，實現數據共享和業務協同［5］。數據治理項目實施的成功與否，主要取決于項目本身的復雜度以及項目管理人員的把控能力，項目實施時需認真做好項目規劃，摸清需求、背景、可投入資源等，最好具體到業務、數據、技術等層面。重點應做好管理體系建設、系統能力建設與應用能力建設。

2.1 數據治理管理體系建設

數據治理平臺是基礎，管理是保障。數據治理管理體系包括數據管理組織、數據管理流程及配套的數據管理制度等。

（1）數據管理組織由數據治理領導組與數據治理推進組組成，領導組由企業高層組成，主要負責確定管理目標，決策數據管理的制度、流程、職責等核心問題；推進組由數據管理中心、專項數據管理組和專家團隊構成，負責落實管控，指導使用數據的單位和部門實施推進項目。

（2）數據管理流程包括數據生命周期管理流程、數據標準管理流程、數據質量管理流程等。

（3）數據管理制度包括數據管理工作的程序、章程及考核方法，是進行數據管理活動的行為規范和準則。

2.2 數據治理系統能力建設

通過技術手段搭建數據治理平臺，為數據治理工作提供高效的運營支撐，實現企業數據資產的統一管控，應重點做好以下幾個方面。

（1）數據采集、轉換包括數據源管理、批處理作業配置、流處理作業配置、任務管理等。

（2）建立承載數據的底盤（數據湖、數據倉庫設計）。

數據首先根據存儲特性，分類為結構化數據和非結構化數據。結構化數據即行數據，存儲在數據庫里，可用二維表結構來邏輯表達實現的數據，如CRM、MES 等業務系統的數據，這類數據是大部分市面上的企業留存的數據資產，是最可能進行數據治理的數據資產。非結構化數據一般是無法形成規則的數據，如網頁、合同、音頻和視頻，不方便用數據庫二維邏輯表來表現的數據，這部分數據會通過OCR技術和RPA 技術提取核心數據，做成結構化數據進行。

數據根據存儲屬性劃分后，就會通過ETL 進入到數據準備層ODS層。

數據準備層ODS 層（Operation Data Store）也稱為貼源層，數據源中的數據經過抽取、轉換、加載，也就是ETL 過程之后進入本層。該層的主要功能有3個，ODS 是后面數據倉庫層的準備區，為DWD 層提供原始數據，減少對業務系統的影響。

數據倉庫層DW 從上到下又可分為數據細節層DWD、數據中間層DWM、數據服務層DWS 3 層。數據細節層DWD（Data Warehouse Details）是業務層和數據倉庫的隔離層，保持和ODS 層一樣的數據顆粒度；該層主要對ODS 數據層做一些數據的清洗和規范化的操作，如去除空數據、臟數據、離群值等。數據中間層DWM（Data Warehouse Middle）是在DWD層數據的基礎上，對數據做一些輕微的聚合操作，生成一些列的中間結果表，提升公共指標的復用性，減少重復加工的工作。數據服務層DWS（Data Warehouse Service）是基于DWM 層上的基礎數據，整合匯總成分析某一個主題域的數據服務層，用于提供后續的業務查詢、OLAP分析、數據分發等。

（3）主數據與參考數據的建立。

主數據（Master Data）指的是企業中多個系統中都存在的，現實世界中存在的數據，通常用于建立與事務數據的關聯關系來進行多維度的分析使用，其特性是跨多個領域和表的共同數據，要求同源多用和重點進行數據內容的校驗，如部門基礎數據、人員基礎數據、供應商基礎數據等。一般這些基礎數據都是由不同的部門來進行維護的。在實際項目中，主數據表是會有時間維度的影響因子存在，所以建立主數據時，需要按月份進行增量追加模式。

參考數據（Reference Data）是對業務數據的企業定義的分類或是計算統計規則，是實現業務規則的核心數據，根據企業生產環節的實際狀況設定和調整。在實際項目中需要跟業務線更近的部門去維護該部分工作，可以通過現場調研或下發調查問卷收集整理業務特點，提煉出業務數據治理規則。

（4）數據治理。數據治理的核心是對元數據進行管理。數據治理主要通過對元數據的管理建立起可提供一致的、可識別的主數據對象來支持整個企業的業務需求。

元數據（Metadata）是關于數據的組織、數據域及其關系的信息，它包含有關如何、何時、由誰收集特定數據以及數據格式的信息，如數據的名稱、屬性、分類、字段信息、大小、標簽等。根據內容的不同，元數據又分為業務元數據和技術元數據。業務元數據包括定義主題域、最小顆粒度、字段含義、來源說明，技術元數據包括定義數據庫、數據表名、數據字段。

冶金礦山的元數據可以按照礦石流、業務流為主線進行定義，例如通過定義元數據的基礎屬性（時間、地點、位置、主體等，也稱維度），然后匯聚數據按照元數據進行歸納提煉，形成面向礦石流的關鍵節點（探、掘、采、運、提、選、售）的底層數據。通過定義元數據的業務環節（計劃、調度、驗收、統計、核算）與管理主題（人、財、物、地質資源），形成面向業務流的底層數據，在數據存儲時也要考慮必要存儲內容、更新周期、檢索方式等因素。

（5）數據安全管理，聚焦于數據安全管理理念，實現數據脫敏。對敏感數據按規則進行脫敏變形，避免敏感數據泄露；同時數據脫敏后保持了原有數據的一致性和業務關聯性，應用于開發或測試環境、數據交換、數據分析、數據共享等場景。

（6）報告數據。報告數據是通過領域模型，進行建立和梳理指標庫，來支持不同部門的視角需求，提高數據安全性和數據規范，以及統一數據規格和數據說明。報告數據就是給非IT人員使用的數據集。

數據治理的管理體系架構見圖1。

2.3 數據治理應用能力建設

數據治理應用能力建設主要指需求范圍的管控。需求管理會貫穿至項目整個生命周期，每個需求的變化或調整都會對項目的整體進度或發展產生影響。通過對數據的挖掘分析，能更好的構建相應需求的數據服務和數據應用。

（1）數據服務。數據服務是為了隔離具體的數據利用業務和數據資產，形成標準的數據資產并提供數據的標準共享服務［5］，通過數據接口API 對外提供數據服務，實現數據發布、數據分享、數據交換等核心功能。

（2）數據應用。在數據治理基礎上場景化的數據應用，主要有數據資產報表、客戶定制業務報表、智能化應用等，如通過圖表、大屏等可視化方式將數據進行分析展示以及數據挖掘等應用。

3 太鋼礦山數據治理與協同管控平臺建設

3.1 建設項目背景

太鋼礦業生產、設備管理業務的信息化管理基礎已經具備，但報表數據很多都是手工錄入，信息化系統互聯互通不夠，落地數據、數據孤島現象明顯，對采、選、公輔現場信息的獲取掌握不全不準，與自動化融合不深，沒有實現通過信息化對現場精準管理。需要建立一套由基礎自動化實時數據轉化為生產管控所需關系型數據的協同機制，通過數據應用達到礦石流和數據流“兩流”結合的效果，提升企業管控礦山生產和經營過程的能力，從而實現礦山的精益化管理。

3.2 系統建設方案

生產過程數據治理與協同平臺按照“開源、降耗、節能、增效”的原則，利用Xln3Pla、數據存儲技術、時序數據轉儲技術、數據通信技術等信息技術，集數據填報、數據處理、數據可視化、信息發布、平臺管理、知識管理等功能為一體，以經營管控系統和生產過程控制系統數據為源頭，根據中國寶武大數據標準規范，將數據進行加工處理，建立標準統一的數據模型，實現跨系統數據共享和數據資源整合。通過采礦、選礦、能源公輔等礦山生產經營管控應用的建設，提升基礎自動化、生產集控的數據接入、統計分析能力，滿足礦山與太鋼礦業總部的信息化管控系統數據交互，多角度洞察業務，輔助數據智能決策。生產過程數據治理與協同管控平臺架構見圖2。

（1）技術平臺架構?；赬ln3plat 為企業提供了一種具有前瞻性的技術解決方案，可以幫助其快速構建高性能、高可用、可擴展的分布式應用系統。iPlat4J V6 作為后端開發框架，具有分布式、微服務、云計算等特性，可支持大規模并發請求，提供高可用性和高性能的數據處理能力。Vue 作為前端開發框架，則具有易于開發、便于整合等特點，可輕松實現頁面之間的跳轉和數據傳遞。通過將iPlat4J V6 和Vue 相結合，企業可實現業務的快速開發和部署，同時提高開發效率和代碼質量。

DB2數據庫采用了傳統的分布式關系型數據庫架構，可支持大規模的并發訪問。iHDB 是一種基于內存的實時數據庫，可實時地處理實時數據。因此，在iHDB 中，數據庫的架構可能與DB2不同，需要針對實時數據的特點進行特殊處理，通過IHDB 提供的功能強大的二次開發接口技術，采用接入JAVA 軟件開發套件（SDK），在iPlat4J V6 開發環境開發應用服務，實現實時數據轉儲至關系型數據庫（DB2）。

（2）數據的匯聚與處理。數據匯聚包括數據采集和數據存儲2 個流程［4］。數據匯聚是數據協同平臺建設的第一個環節，其主要目的是打破數據的物理孤島，形成統一的數據匯聚中心，為后續數據資產價值挖掘提供原始數據，以支撐協同管理平臺對數據獲取的穩定性和管理的便捷性，形成數據的高度集中管理。

現場設備運行和生產相關的結構化數據通過建立各種通訊將全廠邊緣數據源上傳至關系型數據庫，礦山建立統一的數據存儲與管理平臺后，通過對元數據的管理建立起可提供一致的、可識別的主數據對象來支持整個企業的業務需求，規范數據由細節層到綜合層的集成路徑，為智能礦山中的數據逐級匯總、決策支持、生產運營分析等智能化管理主題提供支持。

非結構化數據，如視頻數據入庫后，運用視頻、圖像等處理技術對原始數據進行初步清洗，再將清洗后的數據交由運算服務器進行特征提取、身份識別、周界識別檢測和人員行為分析等處理。融合事件日志、行為日志等結構化數據，進行數據深度挖掘分析。在融合數據的基礎上快速建立個體、群體的常模，模型初始化完成后，模型能夠實現自主學習功能，進而實現快速甄別違章行為等，并做出管理決策要求，完成智能監護的閉環流程。

數據存儲按照貼源數據層、公共數據層和應用數據層3層邏輯數據架構進行數據處理，使得來自不同業務系統的數據在進入統一數據存儲平臺后，能形成一定的標準性和一致性。

（3）數據的標準化服務。圍繞公司業務戰略，對數據進行組織融合與建模治理，為礦山生態圈內的各類業務場景提供敏捷高效的數據服務，過程中持續不斷地沉淀標準化數據服務能力和數據資產運營能力，實現“數據服務業務、洞察業務、驅動業務”。通過統一的設計和逐步推進，逐漸理清企業數據資產，形成資產目錄，并通過數據接口API 對外提供數據服務，讓企業清楚掌握數據從哪里來，經過了如何處理，形成了哪些數據資產，被哪些應用調用。

（4）數據的智能化應用。從各個作業區、生產管理部門的不同崗位，實現班組、車間、廠部級的生產或業務報表，替代現場的原始紙質化報表，實現數據不落地。

通過綜合展示大屏，直觀展現生產實績數據、生產關鍵指標數據過程管控等內容，便于現場管控中心人員統一、便捷管理。以六個主題（生產、設備、安全、環保、能源、計量檢化驗），一個集中（組織機構）為核心，突顯了易于理解，提高可視性，突出重點，提高效率，簡化復雜數據，輔助決策，更好的數據比較使人們更容易理解數據的優勢，讓人更加明白可視化的價值所在。

建立一個智能化、多功能、全天候的動態視頻智能識別系統，做到視頻機器視覺識別與工業控制相結合，既能實現對人員行為的識別，也能實現對礦山環境及物品（設備）狀態等的識別，達到安全、節能的目標。

利用生產數據協同平臺的移動端APP 實現了“數據隨身帶，指標掌握在手中”，解決管理層的后顧之憂，提高業務運營效率。

4 結 論

（1）我國礦山智能化發展目前仍處于起步階段，還存在各信息化系統互聯互通不夠、數據質量低、數據治理體系缺乏、數據賦能不夠充分等問題，需要運用先進的數據治理理念和數據安全管理思維，建立統一的數據治理及管控平臺，應用數據治理的3個能力建設理念，結合冶金礦山數據治理的基本需求，提高數據治理能力，形成標準化的數據資產。

（2）在智能礦山建設上，要充分發揮大數據技術的價值，優化算法，提升算力，通過數據的集成，利用信息化手段進行數據分析，深入挖掘內在聯系，以此推動管理變革，提升管理水平，實現技術與管理的融合。