水文監測中大數據技術的軟件應用分析

王 爽

（河南省南陽水文水資源勘測局，河南 南陽 473000）

引言

近幾年的發展中，國家建設逐漸加大了投入力度，數據信息技術得到了發展，水利行業受到信息化的影響，開始形成信息化綜合體系，將大數據軟件應用在水利中，促進了水利工程管理的效率，利用新型的數據處理模式，改善著水利信息建設的水平，推動了水利行業進步，保證水利基礎設施建設更加完善，逐漸朝著智能化的方向發展。

一、水利大數據的特點

信息技術在發展，遙感設備、傳感網等技術形式出現在社會中，對于水利行業而言，整體的數據采集水平在提升，可以獲取到更加廣泛的數據信息。通過觀察這些信息，可以看出它們的特點繁多，主要體現出多源異構的形式，而且分布比較廣。結合數據的類型，包含了大規模的實時檢測信息，主要來自于物聯網設備，比如，水文氣象信息、水位流量變化信息、生態水質等，也有一些基礎信息，比如，河流信息、水利工程信息，這些信息屬于檔案化形式，還有一其他行業的有關于水的信息等。在這些數據中可以看出，并不完全是單獨的，它們之間存在著繁雜的關系，體現在業務和邏輯方面，如氣候數據發生波動時，帶動水資源量產生變化，影響空間分布情況，還會影響水利工程，不利于水資源的合理分配。觀察數據格式，水利數據規模比較大，不但包含原來的結構形式的數據，還會涉及到圖品形式、語音形式、視頻形式等，這些屬于非結構形式的數據，致使當前的技術不能良好的處理這些異構數據。從價值密度層面看，當前物聯網設備發展迅速，遙感技術也獲得了廣泛應用，在信息感知方面展現了強大的效果，衍生了巨大的信息量，然而，觀察信息的價值密度，可以看出水平并不高。結合時效性這一特點，對于某些水利數據，像洪澇這些緊急發生的情況，需要第一時間預警，高效的處理信息，所以，需要引進大數據技術，保證數據整體處理水平更高。應用水利大數據分析的方式，可以跨越行業，也可以跨越部門，利用多個角度去分析數據，有效應對隨機、大規模的數據，保證水利工作有序推進。

二、基于大數據，研究其分析框架及關鍵技術

應用大數據處理平臺時，主要利用的是Hadoop，然后可以借助MapReduce，跨越計算機集群設備，高效的傳輸數據，可以整體的提升數據的運算水平。借助水利大數據分析處理方式，發揮Hadoop 的功能，通過它的分布形式文件系統，將過往的監測數據存儲起來，還可以存儲視頻、圖片等形式，對于這些非結構形式的數據，還有那些半結構形式的數據，需要合理的執行處理過程，展現MapReduce 的作用，對于過往監測形成的數據，執行批量計算和處理，通過監測得到的數據，它可以提供分析挖掘作用，同時也可以利用模型計算[1]。在水利多項業務中，涉及到大量數據，需要實時處理這些內容，比如，雨水情況、水資源情況執行監控形成的數據，確保這些數據可以準確獲取，才能保證應急事件第一時間得到處理，從而進行下一步的決策。為了保證數據應用及時，通過水利數據中心，完善其架構，添加Storm 計算框架，Hadoop 比較適用于處理離線的數據，而這一數據框架與其不同，它的數據源可以是更新狀態下的，也就是說，如果獲取到一條數據，就會及時的處理一條。借助Storm，可以不限制次數的處理數據流，可以隨時處理Hadoop 的批量任務，推動專業模型計算工作。

1．數據采集

進行水利大數據分析時，首先，應該針對于來自于不同源頭的異構數據，展開統一集中處理，可以將采集數據上報處理，也可以和其他系統有關，采集其系統的節點數據，另外包括處于其他領域的交換數據。對采集數據上報，主要是便于隨時監測數據，接入方式比較靈活，可以借助設備，實行直連的方式，也可以利用現場服務器，應用它的轉發形式；對于其他系統的節點數據，主要是處于水利業務范圍里，具備已經建立完成的應用系統，業務數據分為定時接入以及不定時接入的形式；其他領域的交換數據，主要是其他行業和水利有著一定的聯系，從而產生有關的數據，例如，國土數據信息、氣象數據信息等，憑借已經定義完善的接口，保證接入到位，或者是定義完善的連接形式，實行接入處理。

2．數據存儲

通過水利大數據分析的架構，不僅連接了多層面的數據庫數據，還促進了數據庫數據和分布形式的文件系統有效接觸，為水利大數據的存儲帶來支撐作用。將大數據技術合理引進，促進了水利數據處理的效果，在監測過程中，應該體現實時的特點，同時應具有自己的結構，增進它和業務處置數據的聯系，合理的應用關系型數據庫達到存儲的效果，對于那些屬于半結構形式和非結構形式的數據，例如，以往的監測數據、圖像數據等，可以存儲在Hadoop分布形式的文件系統中，關于這兩種存儲方式，它們不是單獨存在的，可以借助數據軸達到轉換的效果，也可以利用裝載工具，實現彼此補充的功效。對于水利大數據，在建設數據庫的階段中，利用BI 元數據庫形式，有選擇的存儲數據，主要是那些半結構形式、非結構形式的數據，存儲它們的描述和定義內容，應用元數據技術進行定義處理并對元數據進行集中管理，保證系統的實用性更高。

3．數據處理分析

水利大數據分析，主要是依據應用需求，有針對性的處理和分析數據，需要利用并行計算方式，或者是利用云計算體系，憑借其中的數據挖掘技術、機器學習技術等，展開細化分析。在Hadoop 中，存儲著大量的水利數據，接下來可以利用MapReduce，進行數據分析和計算。MapReduce 的功能強大，主要是基于大型的大數據集，實行分解處理，得到多個獨立的小數據段，將其分發到多個節點處，利用較短的時間展開并行計算，緩解了單機處理的弊端，提升了計算性能。利用Hadoop 的存儲功能，再結合MapReduce 的計算能力，形成了一套數據庫的處理機制，對于大量的半結構形式數據，通過映射處理為表，自動的進行數據處理。憑借Hadoop 的Hive 給予的接口，可以減少作業中的難度。在水利數據中，還存在著實時監測數據，它需要實時計算處理并顯示出來，通過Storm，對數據庫進行處理和更新，利用較短的時間計算大規模的監測數據，體現著實時性的作用，便于預警處理、及時展示監測的數據。

4．數據應用

水利數據規模比較大，涉及到的范圍比較廣，可以結合需要構建通用性的服務內容，也可以建立定制形式的服務，例如，利用水利工程安全監測體系、評價系統、維護工具等，發揮這些安全管理應用內容的作用，沿著水資源多項目標進行優化處理，如，預防洪水方面、發電方面、航運方面、農業方面等。通過分析用戶數據，深度挖掘業務有關數據，憑借智能化的特點，獲取用戶興趣比較濃的數據指標。

5．與原始的水利數據分析方法對比

傳統的水力數據分析技術較為落后，與當前的社會發展不匹配。例如，在某水利工程企業中，由于其發展時間較長，企業的跨度較大。因此，其見證了近幾十年來水利工程在水利數據分析方法上的革新。在過去，該企業使用傳統的調查取樣法，該方法在進行水利數據分析時，不僅效率慢，人工量大，而且所調查的數據經常出現不準的情況。其采用抽樣調查的過程與組織形式較為傳統，一般情況下，該企業開展抽樣調查是以部門組織的形式開展的，對于部門人員數量有較大的要求，因此，需要一定的工作人員來補充，協助部門展開數據調查。在工作效率上還有待提高，在水利數據的抽樣調查中，由于工作量較大，部門成員在及工作中難免出現工作效率低下的狀況。同時，在技術手段上遲遲得不到創新，對于部門成員的工作積極性也難以有效的提高。另外，在傳統的水利數據調查中，進行數據分析的角度較為單一，對于事件的進展難以進行有效的預測，這都受限于當時的技術條件，與水利工程的發展思維[2]。

而當下在進行水利工程數據分析時，該企業早在大數據剛剛興起的時期，對未來企業發展作出判斷。通過對數據分析與處理相關技術與手段的開發應用，逐漸在水利工程的發展上拔得頭籌。首先，在技術手段上，該企業為實現節省大量的人力資源，主動進行自動化、信息化的建設。將一些能用智能機器替代人工操作的環節進行優化，有效的解決人工操作所帶來的不確定性。例如，在數據監測環節，使用大數據進行檢測能有效避免人工出錯。進而在水利工程數據分析中，部門的組織形式得到了持續的優化，對一些需要跨部門，跨企業之間的數據交流節省了工作時間，提高了工作的效率。同時，水利大數據平臺建設，對于多角度分析數據與未來走勢有著非常深遠的意義。避免了過去因部門之間很難進行及時有效的溝通，導致出現數據處理出錯的局面。另外，在大數據時代，計算機程序的計算相較于傳統的數據計算成本較低，而且隨著信息時代不斷發展，越來越多的先進技術得到創新，計算能力與計算軟件也在不斷發展。

三、大數據分析的軟件實現

1．水質自動監測信息

大數據時代下，水利工程水質的檢測是保護水資源安全的重要手段。傳統的水質檢測工作較為復雜，對于人工需求量較大，同時技術手段相較匱乏。導致在水質監測中對信息收集不全，很難真實客觀的反映出真實的水質狀況。另外，在傳統的水質安全監測中，對于自動化技術的使用較少，因此，效率較低。例如，在我國某大型水質監測站中，通過近幾年大數據技術在水利工程中的應用，水質監測與信息的收集上有較大的優勢。同時，該水質監測站的工作人員也較少，使用的設備較為先進。一般情況下，只有較少的幾名工作人員輪崗，而監測機器則是通過水質監測機器進行全天的水質狀況信息收集。在收集水質信息中，主要包括以下幾點，第一，水質的酸堿度，溶解氧的行亮、高錳酸鉀指數等。同時，對于水質中的化學元素含量進行監測[3]。

2．MapReduce 計算模型分析

為充分了解水質情況，某水質監測站通過建立MapReduce 計算模型來實現對水質數據信息的收集與分析。這是一套較為完善的水質監測大數據平臺，為水質監測站的工作創造了較為便利的條件。同時，該計算模型在進行數據分析與儲存上有較大的優勢。MapReduce 計算模型的運行主要包括兩個階段，第一，對水質中歷年來的數據信息進行統計，并記錄保存。在數據統計階段，該計算模型自動將數據進行分組，并將內容分組儲存。第二，在水質信息數據進行分組記錄與保存后，進行下一步操作，將詳細信息進行聚合操作，并根據水質監測站的需要進行相關的內容輸出。在MapReduce 計算模型平臺中，對于數據的處理過程較為復雜，首先將記錄的數據進行函數處理。在該階段，一般是由計算機系統內部進行自動處理。其次，在數據處理的中間階段，會針對任務的數量進行相應的減少，進而實現在MapReduce 計算模型平臺中的數據分片，提升了數據的應用率，結合數據結構的存儲要求，為多結構數據帶來解決路徑。

3．數據準備

在水質監測站數據準備階段，首先，對水質數據相關內容進行詳細的分析，在處理輸出后對其進行文本上的保存。保存的原則則是每個行為保存一條的形式，在該數據庫中主要儲存了25 條相關的水質類型，對于水質類型的豐富起到至關重要的作用。同時，在進行數據處理時，還是運用較為規范式的處理方法，這對水質監測站數據處理的真實性就有極強的現實意義。隨后水質監測站針對數據文件進行分片處理，在分片處理中，對原則標準的要求，會根據不同的水質類型信息進行適當的調整。在分片數據的參數上，也有較為明顯的不同，但都是要將其進行規范化處理，使用函數關系將其進行轉化，并使用Map 數據局技術將其輸出。最終，將分片數據Map 中間結果的數值進行全部的輸出[4]。

4．結果分析

在水質分析數據來源中，需要將近年來當地所有的水質監測站的數據進行收集。并進行結果分析，該水質監測站將近幾年的數據進行收集，并與分析得出的數據結果進行對比研究[5]。其會采用一噸的水量進行水質狀況的分析，而數據對比的時間一般會用近三年的數據進行對比。另外，在進行大數據平臺建設時，相關領域會主動求變，在分析程序的運行時，將數據儲存作為其發展的目的。該水質監測站在數據的處理與儲存上進行管理方式的創新，使得水利大數據在應用上，逐漸與其它技術進行融合，例如，智能機器算法領域，數據融合技術等。為后續在水利大數據相關軟件的開發應用上實現突破。

結語

在大數據技術的支持下，促進水利數據得到高效采集，方便展開數據管理工作，推動水利行業迅速發展。在水利數據的分析處理過程加入大數據技術，可以精準的獲取到所需的數據信息，提升數據的應用率，達到數據結構的存儲要求，為多結構數據提供解決路徑，突破了原來的擱置問題，利用新型的方式，提升了數據處理的效率。