構建能源物資數據資源共享云平臺

范海虹

摘? ?要： 數據是各行業實現數字化、網絡化、智能化發展的關鍵要素。為了提升能源物資物流效率，增強能源物資數據的互聯互通，利用數據即服務（DaaS）技術，打造了能源物資數據資源共享云平臺。在流程設計上，基于能源物資采購環節數據，進行商品比價、篩選，采購流程全閉環管理，交易數據全量化統計，實現實時數據同步，提升采購效率;在架構部署上，采用共享API云平臺，與電商企業采購平臺和應用場景有機結合，深度分析和挖掘數據。建立了能源物資大數據監測系統平臺，通過用戶行為分析等手段，按照用戶需求，實現指標采集和數據挖掘。數據即服務技術的應用，使得能源物資及物流數據價值得以充分挖掘，充分利用了能源物資企業的IT運營效果，提升了管理效益，具有廣泛的應用前景。

關鍵詞： 數據即服務（DaaS）;能源物資;資源共享;數據挖掘;云平臺

引言

當前，隨著工業互聯網、人工智能、云計算等技術的廣泛普及與應用，數據成為工業企業實現數字化、網絡化、智能化發展的關鍵要素。產業數字化、數字產業化，加快數據中心等新型基礎設施建設，是現代工業企業創新發展的基石。

近些年，大數據挖掘在能源、交通、通信等領域[1-4]的研究與應用越來越廣泛。例如，我國某能源物資企業的物流系統不斷完善，先后打造了以“招投標管理系統”、“詢比價采購系統”和“國家能源e購網上商城”為核心的三大電子商務關鍵平臺，并通過大數據挖掘技術的應用，取得了很好的成效。

為了給能源物資物流領域賦予新動能，還應進一步增強能源物資數據的互聯互通，打破信息孤島。本文利用數據即服務（Data as a Service，DaaS）技術，打造能源物資數據資源共享云平臺，構建一套全新的智慧物資物流電子商務系統。

1? 數據即服務（DaaS）的發展背景與技術原理

1.1? 數據資源

數據資源是信息化建設的基礎，是信息系統的價值所在，數據的采集、處理、共享與開放已經成為數字產業的抓手。對數據資源的利用方式已歷經兩個階段：第一階段，業務單元數據利用計算機存取，這類電子化的數據通常僅被個人或單一系統使用;第二階段，互聯網和工業物聯網在部門或行業逐步整合了各類業務信息系統，數據開始在部門內或行業垂直領域內實現流動共享。目前，第三階段，即跨領域、跨平臺的數據共享、開放、融合的階段已經來臨。

1.2? 數據共享與開放面臨的問題

1.2.1? 數據共享接口標準化工作不深入

在C/S、B/S等具有三層體系架構的應用系統中，數據層存儲數據的值及其基本語法，業務層和表現層蘊含數據的語義和語用。由于后期需要進行系統二次開發和實現數據共享，其一是從開發者角度，必須完整理解和掌握系統，避免出現文檔源碼缺失、開發團隊缺位、第三方軟件公司不配合等問題;其二是從管理者角度，必須全面評估安全風險，要考慮數據的一致性和及時性、數據訪問權限的安全性等;其三是從系統相關者角度，要考慮的問題會更多，如系統架構、流程、性能、穩定性，需要的人員、時間、成本和利益得失等，但現實中無法面面俱到。因此，對數據共享接口提供者而言，難以同時滿足以上各方的要求，也無法列明和預計所有可能的數據接口。

1.2.2? 數據開放開發成本巨大

對于傳統信息系統而言，數據開放協調難度大，需要取得相關各系統的完整技術文檔，方可開始開發。開發技術復雜，開發速度慢，而且參與開發的人員數量也比較多?？梢?，應用傳統技術實現數據開放互聯，開發工作量巨大、難度極高，見效比較緩慢。

1.3? 數據即服務技術原理與特點

針對數據共享接口復雜、數據開放開發成本巨大，導致數據資源無法得到充分利用的問題，數據即服務技術應運而生，其通過數據資源的集中化管理，實現數據利用效能提升等目標。

數據即服務技術是指與數據相關的任何服務，如數據聚合、數據質量管理、數據清洗等，都能夠在集中處置中實現，只是體現為不同的工程模式、行為模式、組織模式。通過各種模型、方法和平臺，將數據提供給不同的系統和用戶，而無需再考慮這些數據來自哪些數據源[5]。數據即服務技術原理如圖1所示。

數據即服務技術是面向大數據的數據開采技術，其以創新的體系結構和模型，將數據以服務的形式開放出來，進行精細化管理并提供給各種場景使用。這種服務在系統中對應著具有獨立語義的數據單元，用戶可自由組裝并調用所需要的數據，重建出業務信息系統的數據，快速實時挖掘出有用的數據，形成多源數據共享池，為數據開放、融合與增值創新提供高效的平臺支撐。

數據即服務技術可將互聯網/局域網中的各種IT資源（業務信息系統、文檔、數據庫等）中蘊含的數據和服務以API（Application Programming Interface，應用程序接口）的形式進行供給、管理和增值處理。這一創新的開發方式，一是復雜性極低，對源系統的風險接近零;二是無需協調源系統開發者，大幅提升效率與進度;三是數據讀寫與源系統完全一致，保證數據一致性和安全性。

2 能源物資數據資源共享云平臺的實現

本章分析數據即服務技術實用化的手段，并將其應用于能源物資數據資源共享云平臺建設。通過數據即服務技術，整合企業內外部API服務資源，為公司內部及能源生態圈的上下游企業提供服務、按需調度資源[6]提供了一套全新的技術解決方案。

2.1? 需求與機會分析

構建能源物資數據資源共享云平臺，要解決以下問題：

一是要解決采購成本高的問題。能源物資采購人員無法對所有產品都精通了解，不能及時并且精準地掌握能源物資產品的成本，造成價格虛高。

二是要解決采購效率低的問題。每次采購都需要在眾多能源物資供應商中進行比較，甚至需要與眾多供應商溝通協調，影響采購效率。

三是要有效應對市場行情變化。能源物資采購人員有時不能及時并且精準地掌握能源物資產品的市場行情，無法保障采購效果。

四是要解決采購過程監管不力的問題。能源物資采購應以實現能源物資供應的“高效、規范、質優、價宜”為目標，就需要具有很好的過程化監管，但現實中這種監管手段難以有效實現。

2.2? 平臺流程設計

基于數據即服務技術建立的能源物資數據資源共享云平臺，是一種一站式、多電商、云服務的企業級采購云平臺，旨在重點解決企業在開展能源物資集中采購中遇到的問題，發揮集中采購效益最大化，實現能源物資采購數據資源共享。平臺流程設計如圖2所示，其從采購環節的申請審批出發，突破傳統思維，借助新技術及資源整合優勢，在多個電商企業采購平臺進行商品實時比價、篩選，實現數據同步，提升效率。此外，采購流程全閉環，實現價格體系分析和內部管控分析，對采購總額、采購總數以及成本節省等情況進行全量化統計，選擇品質最好、服務最優、價格最低的能源物資產品。

該平臺的流程設計還實現了同一類型商品在各大電商平臺的精確定位，并基于價格的自動計算，篩選最低價格的電商產品，并予以突出顯示。同時，系統會列出每個商品的個人版價格，并形成對比，避免在多個電商采購平臺間頻繁切換比價。這種設計使得采購省時省力，既避免了電商價格欺瞞，也避免了采購人員的繁重比價工作，更提升了上級公司的信任度。

2.3? 平臺架構部署

基于數據即服務技術的平臺架構采用共享API云平臺，可以打通各家企業電商平臺數據，顛覆傳統的數據開采技術，有機融合電商數據，深度分析和挖掘數據。

平臺架構部署如圖3所示。在這一平臺架構部署下，采購平臺、API云平臺和應用場景有機結合，以創新的體系結構，重建業務系統的數據接口，快速實時挖掘出系統數據，形成多源數據共享池，為數據開放融合與增值創新提供高效的平臺支撐。平臺架構為分層結構，包括數據層、應用層和表現層。電商企業采購平臺作為數據層，主要存放源業務系統數據庫，以提供真實有效的業務數據;共享API云平臺作為應用層，是對業務處理進行實用化評價的核心，實現指標數據計算、規則統計、問題數據處理等功能;應用場景作為表現層，負責為用戶設計操作方式和UI展示，其由多個功能模塊組成，包括采購數據分析挖掘、物資申請或審批、比價與支付功能，并在后臺進行用戶日志獲取、業務運行監測、實時日志分析、指標統計和展示、報警和審計等功能。

3? 能源物資大數據監測系統平臺設計

能源物資大數據監測系統平臺是能源物資數據資源共享云平臺的重要組成部分，其設計圍繞電子商務平臺實用化監測來展開，按照用戶需求實現指標采集和數據挖掘。該平臺基于API技術，從應用模塊外部入手，采用主動探測方式，監測應用模塊功能表現的變化。

3.1? 總體架構設計

（1）業務系統：采用流量旁路技術，實現流量復制轉發，并采用Agent（代理）技術，主動采集業務系統運行信息，探測應用模塊可訪問性;

（2）數據收集：通過API捕獲分析這一核心技術，建立API映射規則，實現系統監測和報警，并對系統狀況進行智能分析;

（3）系統展示：對業務指標進行多維度分析與展現，并展示系統健康度分析和問題診斷結果。

能源物資大數據監測系統平臺總體架構如圖4所示。

3.2? 平臺功能設計

3.2.1? 用戶行為分析

（1）用戶行為數據采集指標

① 用戶停留時長、同時在線人數;

② 用戶訪問的具體操作時間;

③ 用戶訪問具體模塊或業務的次數;

④ 用戶業務操作時長;

⑤ 其他。

（2）采購員行為分析要點

① 采購員工作量分析，可分析采購員的工作投入情況，橫向分析同類采購員的工作投入差異;

② 采購員工作時段分析，分析采購員工作壓力的高峰期，調整人員投入和工作安排;

③ 采購員工作效率分析，通過對同類人員操作相同業務的不同時間周期，反映人員的工作效率情況;

④ 采購員業務熟練度分析，通過對同一采購員在不同時間段操作的分析，展現業務的熟練度，對新采購員效果明顯。

3.2.2? 應用模塊分析

（1）應用模塊數據采集指標

① 應用模塊用戶訪問次數，可以按照累計訪問次數和日/月訪問次數分別統計;

② 應用模塊單次訪問平均時間;

③ 應用模塊錯誤情況;

④ 自動巡檢異常告警情況。

（2）應用模塊數據分析要點

① 應用模塊使用頻度分析，用于分析系統核心功能的使用情況，評估應用核心功能的價值，為后期的投入提供參考依據;

② 應用模塊的使用時長統計，用于分析業務功能的復雜情況，便于后期的優化改進;

③ 應用模塊的使用時段，用于分析系統的壓力情況，結合資源占用情況可提供系統部署調整的數據支撐;

④ 應用模塊健康情況分析，通過錯誤的頻度及重要度的分析，提供后期整改或優化的數據參考。

3.3.3? 業務流程分析

（1）業務單據流轉數據采集指標

① 單據發起數量;

② 單據流轉時長;

③ 單據類型及名稱;

④ 單據流轉過程中的人員信息;

⑤ 其他。

（2）業務流程數據分析要點

① 不同類型業務單據數量統計，通過對不同業務總量的對比，體現業務的重要度和關注點;

② 相同類型業務單據數量統計分析，通過對同類業務不同時間區間的數量變化，分析業務流程使用的高峰低谷情況;

③ 同一單據的流轉過程分析，通過對業務單據流轉節點的業務數量分析，得到業務處理的擠壓或滯留等問題，可以關注重點并作出及時處理;

④ 業務流程使用時間段分析，通過對整體業務時間段的分析，得到業務過程的復雜情況，便于后期的業務優化及人員安排;

⑤ 業務流程用戶訪問量及并發量分析，分析系統處理壓力和人員工作壓力情況。

能源物資大數據監測系統平臺部分功能示例如圖5所示，如采購數量最多的商品、采購總金額等。

4? 應用效果評估

4.1? 降低了企業IT運營成本，提升了社會效益和管理效益

隨著數字化轉型的進一步推進，能源物資企業對IT運營的需求和管理模式也在發生變化。在激烈的市場競爭環境下，企業不斷整合資源，尋求以更低的成本獲取更高的效益的工作模式。由于在降低企業IT成本、提升企業IT運營效率等方面的顯著優勢，數據即服務技術受到越來越多企業的青睞[7]。

數據即服務技術已經發展得越來越成熟，越來越被企業用戶所接受。利用數據即服務技術，將會對提高服務質量、增強用戶體驗和降低自身服務成本產生重要影響。實現的企業級多電商能源物資數據資源共享電子商務云平臺，有效利用現有數據，使采購更加規范透明，使監管手段更加方便有效，最大程度地節約采購成本，為市場策略的制定提供了依據，從而提高了企業的風險控制能力、經營決策能力以及競爭能力。在管理效益方面，可以加強采購監管能力，實現業務創新，提升采購體驗;在經濟效益方面，可以提升采購配送效率，節約采購成本;在社會效益方面，可以促進業務數據聚合，建立信息決策可靠數據基礎，產生行業示范效應。

4.2? 實現了橫向協同，數據價值得以充分挖掘

通過數據即服務技術構建的能源物資數據資源共享云平臺，打破了信息孤島，消除了對系統源碼、數據庫表、后臺權限、原開發團隊等的依賴，形成了聚合型管理系統，實現了數據、功能與第三方系統的高效互操作。在應用層監測方面，為系統優化、數據交互共享、系統互聯互通、大數據監測、信息安全和輔助決策提供了有力支撐。后續還可以建立應用行為優化支持系統、應用層信息安全審計系統和實用化應用輔助決策系統等，進一步挖掘數據價值。

4.3? 推動了縱向業務創新，企業獲得了可持續發展能力

數據即服務技術，一是能夠實現B/S架構系統的移動端快速遷移，二是能夠實現API接口的平臺化管理。以上優勢從縱向上為業務創新提供了高效的復用支持，使得云端大數據業務應用實現了前后端分離，形成了可衍生的前端新型業務應用模式。企業獲得了可持續發展能力，可隨時滿足業務系統快速上線的需求，提升企業創新速度和效率。

5? 結束語

本文利用數據即服務技術，為能源物資企業打造了數據資源共享云平臺，尤其是構建了能源物資大數據監測系統平臺，形成了一套全新的智慧物資物流電子商務系統。數據即服務技術的引進，使得數據價值得以充分挖掘，降低了能源物資企業的IT運營成本，提升了社會效益和管理效益。

業務需求帶動技術進步，技術進步推動業務創新。不局限于能源物資物流領域，數據即服務技術在其他工業與信息化融合領域也將有廣泛的應用前景。

參考文獻

[1] 王雷， 張祎. 基于大數據挖掘的國防交通建設研究[J]. 工業技術創新， 2018， 5（4）： 99-105.

[2] 戴新建. 基于大數據挖掘的廣播電視客戶價值分析[J]. 科技視界， 2019（34）： 229， 250.

[3] 王家海， 郝保偉. 基于深度學習的工業領域數據挖掘方法及應用[J]. 數字技術與應用， 2019， 37（11）： 52-53， 55.

[4] 楊紅偉. 應用信息化和智能化提升智慧工程建設的項目管理[J]. 工業技術創新， 2019， 6（3）： 107-110.

[5] https：//wiki.mbalib.com/wiki/DaaS [EB/OL].

[6] 中國互聯網協會. 中國互聯網發展報告[R]. 2019.

[7] 謝靜. DaaS幫助企業推進數字化轉型[N]. 人民郵電， 2019-04-16（6）.