基于地鐵機電系統故障統計的大數據分析應用

李兆君

摘 要：針對大數據的5V特點、技術特征，采用大數據常用的處理軟件，對大數據常用工具、基本面和應用領域進行全面闡述，從而充分挖掘大數據的重要價值，同時基于地鐵機電系統故障統計的大數據分析應用為案例，為用戶提供大數據價值挖掘方向和探索目標，并對大數據發展方向進行預測。

關鍵詞：大數據 5V 技術特征 常用軟件 常用工具 應用領域 地鐵機電 故障統計 分析應用 發展方向

Abstract： According to 5v characteristics， technical features of large data， USES the commonly used data processing software， tools， fundamentals and application fields， which are used in large data comprehensively expounded， so as to fully explore the important values of big data， at the same time based on the mechanical and electrical system failure statistics of big data analysis application as a case， to provide users with large data value direction of mining and exploration target， and the trend of the development of big data to make predictions.

Key words： Big data，5V，Technical features，Commonly used software，Commonly used tools，Application field，Subway mechanical and electrical， Fault statistics， Analysis and application， Development direction.

0引言

大數據（big data，mega data）或稱巨量資料，是指需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據的5V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值密度）、Veracity（真實性）。從技術上看，大數據與云計算密不可分，必須采用分布式計算架構[1]。它的特色在于對海量數據的挖掘，依托云計算的分布式數據庫、云存儲、分布式處理和虛擬化技術。大數據并不在“大”，而在于“有用”的價值含量、挖掘成本比數量更為重要。如何利用這些大規模數據是成為贏得競爭的關鍵。

1大數據的特點、技術特征、價值

1.1大數據5V特點的五個層面

1）數據體量大：從TB級別，躍升到PB級別；

2）數據類型多：網絡日志、視頻、圖片、地理位置信息等等；

3）價值密度低：以視頻為例，連續不間斷監控過程中，可能有用的數據僅有一兩秒；

4）處理速度快：秒定律。

1.2大數據結構技術特征

以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術，包括大規模并行處理（MPP）數據庫、數據挖掘電網，分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。

1.3大數據最核心的價值

在于對于海量數據進行存儲和分析，大數據的“廉價、迅速、優化”這三方面的綜合成本是最優的。如圖1，大數據價值鏈。

1）利用大數據對消費者精準營銷；

2）利用大數據做企業服務轉型[2]；

3）面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值；

4）及時解析故障、問題和缺陷的根源，有目標性改進修程，指導備件采購與倉儲，規劃人力資源、預算方向。

2大數據常用處理軟件及工具

2.1常用軟件

有Hadoop、HPCC（High Performance Computing and Communications高性能計算與通信）、Storm、Apache Drill、RapidMiner、Pentaho BI[3]。

1）Hadoop

Hadoop是一個能夠對大量數據進行分布式處理的軟件框架，是以可靠、高效、可伸縮的方式進行處理的。主要有6個優點：高可靠性，按位存儲和處理數據的能力大；高擴展性，在計算機集簇間分配數據并完成計算任務，集簇可以擴展到數以千計的節點中；高效性，能夠在節點之間動態地移動數據，并保證各個節點的動態平衡，處理速度快；高容錯性，能夠自動保存多個數據副本，并且自動重新分配失敗的任務；可伸縮性，能夠處理 PB 級數據；低成本性，可依賴于社區服務器。

Hadoop可以使用其他語言編寫，比如 C++，帶有用 Java 語言編寫的框架，在 Linux平臺上運行是非常理想的。

2）HPCC

HPCC是美國總統科學戰略項目，主要由五部分組成：高性能計算機系統（HPCS）、先進軟件技術與算法（ASTA）、國家科研與教育網格（NREN）、基本研究與人類資源（BRHR）、信息基礎結構技術和應用（IITA ）。

3）Storm

Storm是分布式、容錯、實時計算且自由、開源軟件系統，特點是可擴展、容錯、易操作和設置，應用領域包括實時分析、在線機器學習、不停頓的計算、分布式RPC（遠過程調用協議，一種通過網絡從遠程計算機程序上請求服務），使用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等。

4）Apache Drill

Apache Drill有助于Hadoop用戶實現更快查詢海量數據集，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等，Drill所屬的API接口和靈活強大的體系架構，支持廣泛的數據源、數據格式和查詢語言。

5）RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

6） Pentaho BI

Pentaho BI 平臺以流程為中心的，面向解決方案（Solution）的框架。構建于服務器、引擎和組件的基礎之上，提供了系統的J2EE 服務器、安全、portal、工作流、規則引擎、圖表、協作、內容管理、數據集成、分析和建模功能。

2.2常用工具

1）用于展現分析的前端開源工具有JasperSoft，Pentaho， Spagobi， Openi， Birt等。

2）用于展現分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos， BO， Microsoft Power BI， Oracle，Microstrategy，QlikView、 Tableau ，國內的有BDP，國云數據（大數據魔鏡），思邁特，FineBI等。

3）折疊數據倉庫有Teradata AsterData， EMC GreenPlum， HP Vertica 等。

4）折疊數據集市有QlikView、 Tableau 、Style Intelligence等。

3大數據分析的基本面和應用領域[4]

3.1大數據分析的6個主要基本面

1）可視化分析AV（Analytic Visualizations），可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。

2）數據挖掘算法DMA（Data Mining Algorithms），數據挖掘就是給機器看的，集群、分割、孤立點分析，以及算法可深入數據內部挖掘價值[1]。

3）預測性分析能力PAC（Predictive Analytic Capabilities），預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。

4）語義引擎SE（Semantic Engines），用工具去解析，提取，分析多樣性、非結構化數據。語義引擎需要被設計成能夠從"文檔"中智能提取信息。

5）數據質量和管理DQM（Data Quality and Management），數據質量和數據管理是一些管理方面的最佳實踐。通過標準化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。

6）數據存儲倉庫DSW （Data Storage Warehouse） [5]，是為便于多維分析和多角度展示數據，按特定模式進行存儲所建立起來的關系型數據庫。

3.2應用領域

主要應用領域體現在9個領域：改善我們的生活；優化業務流程；理解客戶、滿足客戶服務需求；搜集社交方面的數據、瀏覽器的日志、分析出文本和傳感器的數據，建立數據模型進行預測；跟蹤各項成績；提高醫療和研發；金融交易；改善城市；改善安全和執法；優化機器和設備性能，還可以讓積極和設備在應用上更加智能化和自主化。

4 基于故障統計的大數據分析應用實例

在物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數據來源或者承載的方式。大數據不僅在建設中應用，也應用在智能化運營，比如通過跟蹤空調、照明系統等積累下來的超大量數據，找到節能方向，制訂節能方案?，F以地鐵機電系統在運維過程中應用舉例。

4.1計劃統計

4.1.1計劃兌現率

按照五級修程制定工作計劃，并實時統計工作計劃兌現率，如圖2，月度計劃申報統計表。

4.1.2人力資源分布統計

1）按能力層次

制訂重點作業監控管理監督辦法，把故障分為三類，檢修作業分為一～四級，每級分別由對應層級的人員監控，如下表1，重點作業監控表：

A-直接影響行車、公共安全、運能及大面積客服質量的故障

B-間接影響并降低行車、運能、大面積客運質量的，但尚不能構成安全隱患的故障

C-除以上以外的故障

表1.重點作業監控表

2）按專業劃分

根據作業項目，確定專業維修項目參與人員專業范圍，配合專業范圍，同時為提高年度檢修計劃的合理性，針對地鐵設備系統接口多、配合多的特點，對關聯多的施工作業進行計劃資源、空間資源，時間資源進行融合、聯合、整合和集中等四種作業類型，以系統專業為主控、以主要專業為主控的原則進行融、聯、整、集合作業。既提高效率、減少配合頻次，又減少人員、節約時間。

3）按作業內容

根據作業內容，確定專業維修人員技能、持證、數量要求，配合人員技能、持證、數量要求。也可以圍繞工作、員工職業生涯，制定培訓方案、培訓要求、培訓周期，同時確定教師、教材、教具等，進行專業化、系統性培訓。

4）按時間分布

根據作業計劃安排，確定合理排班表。同時也圍繞工作、員工職業素質要求，制定招聘方案、招聘計劃、招聘專業、招聘數量等，指導招聘工作有序開展。

4.2故障統計分析

1）故障數量分布統計分析

通過調度運維管理平臺實時統計故障，基于大數據統計的故障數量和故障處理率統計，如圖3，故障數量統計及修復率。

2）故障專業分布統計分析

基于大數據統計的故障分布，可以按專業數量分布，如圖4. 故障專業分布圖

3）故障等級系統分析

基于大數據統計的故障分布，可以按故障重要性等級進行劃分，如圖5. 故障等級分布圖。

再選擇一條線路的一個專業進行詳細分析，如FAS專業，按時間、車站、模塊分別進行分析。分別如下圖6-8，系統故障統計及修復率折線圖、車站級設備故障統計折線圖、子系統/模塊故障統計圖。

1）FAS系統故障統計及修復率折線圖

2）車站級設備故障統計折線圖

按車站統計，如圖7. FAS專業車站級設備故障統計折線圖。

3）子系統/模塊故障統計圖

按模塊故障統計，如圖8.FAS專業子系統/模塊故障統計圖。

5 小結

綜上所述，基于地鐵機電系統故障統計的大數據分析應用，可以對人力資源的研究應用，即人員招聘、培訓、取證、排班、考勤等有針對性管理；對修程修制的研究應用，即預防性計劃修、預防性狀態修、故障修，故障容忍度，設備可靠度，智能化巡檢內容、標準及頻次；對計劃編排的研究應用，即五級修程層級、頻率、內容、標準、資源配置及調度，是否采用均衡修，如何平均分配，配合專業的安排等；對故障分析的研究應用，即故障類型，從人、機、料、法、環來分析故障原因，找到故障薄弱點，拿出解決措施；對資源整合的研究應用，即人員整合、時間整合、作業整合、空間整合，對檢修計劃進行合理地融合、聯合、整合和集中檢修，提高工作效率，提高資源利用率；對物資采購的研究應用，即根據修程用耗材、故障用備件，確定采購物資品名、規格型號、數量、質量等要求，同時對采購周期、儲運條件，提出備件采購計劃、方案以及確定合理倉儲紅線；對預算資金的研究應用，即對采購金額、發生時間、發生部門，以及供應鏈、儲運、質保、保險等進行有效管理；對維保模式的研究應用，即是采用自主、委外、聯合方式維保，專業性、優缺點對比，時機、效果分析；對效能分析的研究應用，即以“五心”服務為考評[6]，規劃為設計、設計為建設、建設為運營，土建為設備、設備為行車、行車為客運、客運為乘客、職能為業務、業務為生產、生產為一線的管理理念。

同時，大數據未來的七大趨勢：傳感器無處不在、數據服務隨時可用、大數據浪潮席卷各行各業、數據資產權及立法引發激辯、人工智能全面滲透人類生活、社會關系面臨全面變革、人類文明進入全新紀元。

參考文獻：

[1] 大數據究竟是什么？一篇文章讓你認識并讀懂大數據，中國大數據，2013-11-4， [2014-1-12]

[2] 李克強的“大數據觀” 鳳凰網 ， 2015-2-17 ，[2016-5-6]

[3] 大數據處理分析的六大最好工具 ， 云創存儲，[2014-4-23]

[4] 大數據分析與處理方法介紹 ，中國互聯網數據咨詢中心 ， 2014-06-30

[5] BIM數據倉庫構建和BIM數據分析應用 ，中國大數據， 2016-06-25

[6] 《打造“五心”服務品牌鑄 就城市服務新標桿》，陳華、羅斌，合肥城市軌道交通有限公司，第十六屆全國交通企業管理現代化創新成果，中國交通行業管理協會，2017.12 北京。