浙江省地面氣象分鐘數據監控傳輸方案設計與實現*

徐 寧 魯奕岑 吳書成 魏 爽 劉熔熔 王麗吉

(浙江省氣象信息網絡中心,浙江 杭州 310000)

1 現狀分析

2019年6月,地面氣象觀測自動化改革試運行,地面、高空、輻射、酸雨標準格式(BUFR)數據作為業務數據開始傳輸。2020年4月,觀測自動化改革調整為正式業務運行[1-7]。隨著氣象現代化的不斷發展,氣象資料數據量爆發式增長,分鐘數據傳輸間隔由5 min升級為1 min,數據量級由KB增加到MB,數據量激增影響了傳輸穩定性。具體傳輸內容與模式如表1所示。

表1 國家氣象站傳輸內容與模式

省級服務器異常、網絡傳輸異常、臺站采集器異常,都容易導致數據無法正常入庫,而臺站在傳輸一次數據后無法再次自動補傳,使得MDOS數據庫中經常出現小時數據缺報、分鐘數據空白等數據入庫問題,數據的丟失直接影響了省級數據庫的完整率和可用率[7-12]。地面氣象觀測自動化后,臺站觀測業務主要轉為設備維護維修,儀器檢測標校,值守班人員無法及時發現數據未入庫問題,人工應急干預的時效性降低,同時集中的人工補傳會導致傳輸壓力過大,服務器超負荷工作出現死機、癱瘓等不良后果,影響實時業務的運行和該節點業務應用，因此要求建立對省級數據庫的實時監控和缺測數據的自動補傳[12-15]。

該軟件基于MDOS和ISOS系統,實時監控MDOS數據庫,對出現的空白、缺報等沒有入庫現象的小時、分鐘報文進行逐時自動補傳,保證了數據傳輸的唯一性,提高了及時率和可用率,同時減少了臺站人員的工作量。

2 國內氣象BUFR數據格式和傳輸流程

2.1 國內地面觀測要素BUFR報文格式說明

國內地面小時、分鐘BUFR格式參照了世界氣象組織(WMO)和國際通用氣象數據格式標準,研制了適應國內自動站觀測業務的數據表示模板。2018年6月26日,中國氣象局發布了《地面氣象觀測數據BUFR編碼行業標準》，其具有自描述性、表格驅動特性、可擴展性、可壓縮性等特點,編碼數據由指示段、標識段、數據描述段、數據段和結束段構成,具體要素描述符對應數據編碼值詳見表2[16]:

表2 國內地面小時、分鐘BUFR要素描述

2.2 數據傳輸流程

國家級地面氣象站觀測數據采集傳輸,其流程包括:

(1)地面觀測設備自動化采集并生成數據,臺站ISOS軟件采集生成數據,通過BUFR格式和新長Z文件以消息的傳輸方式上傳至省氣象信息中心。經在線快速質控后,實時將觀測數據及質量控制碼上傳至國家級數據庫。省級、國家級通過CTS2.0將質控后的數據實時處理入庫,并進行分析處理、產品加工等,供本節點業務應用。

(2)狀態數據傳輸。各個臺站按照要求實時自動上傳自動觀測設備的運行狀態和設備信息至省級、國家級天擎存儲,并提供應用服務。

3 設計與實現

3.1 技術路線

采用BUFR格式傳輸后,數據量呈指數級增長,影響了數據傳輸的穩定性,在主、客觀因素的影響下,臺站經常出現數據異常、傳輸異常、數據丟失導致數據上傳省級數據庫時出現空白、缺報、遲報等現象。省級服務器異常,導致數據不能及時存儲,而ISOS系統無法重新生成已發送的報文,嚴重影響了數據傳輸的及時率和可用率。為解決上述問題,通過解析BUFR數據格式、臺站上傳數據流程及原理，分析數據丟失原因，從業務實際出發設計了地面氣象站BUFR數據監控自動補傳軟件,技術路線流程圖如圖1所示。

圖1 技術路線流程圖

該軟件在氣象臺站觀測業務機上安裝,對臺站端到省級服務器端的數據傳輸實現實時監控,逐時對數據進行一致性、完整性、異常性、邏輯性4個方面檢查,發現數據異常、缺測、空白等問題。利用BUFR數據特點、傳輸模塊進行自動補傳、補入數據庫等操作處理,實現數據及時有效穩定的傳輸、減少數據的丟失。

3.1.1 數據一致性處理

軟件在整點后5 min,對省級數據庫端和臺站BUFR當前整點數據進行掃描,檢查整點數據、60 min數據、BUFR報文中數據一致性,若不一致,以臺站端BUFR報文為準,修改整點和60 min數據。

3.1.2 數據完整性處理

軟件在當前時次50 min時,掃描省級數據庫端,生成缺測、空白時次的站號及具體時間文件,同時掃描BUFR報文存放目錄。

若未找到對應的缺測時間段的BURF報文,則判斷為未生成報文,自動獲取從采集器下載的數據,并傳輸。

若找到對應的缺測時間段的BURF報文,則判斷為未傳輸報文,進行自動補傳。

若找到對應的缺測時間段的BURF報文,對BURF報文進行解析,發現全要素缺測,重新從采集器獲取報文后再進行解析,查看是否為全要素缺測,若全為缺測,則判斷該時次采集器有故障,報文缺測。若BURF報文有數據,則重新上傳。

若找到對應的缺測時間段的BURF報文,對BURF報文進行解析,發現某要素缺測或多個要素缺測,重新從采集器獲取文件再進行解析,查看是否為該要素缺測,若仍缺測,則按照地面氣象觀測規范[17]進行處理,若BURF報文有數據,則直接獲取,寫入數據庫。

3.1.3 數據異常性處理

軟件在整點后5 min,對上傳數據庫端和臺站BUFR當前整點數據進行掃描,查看數據是否有異常,如雪深異常、地溫異常等。

3.1.4 數據邏輯性處理

軟件在整點后5 min,對上傳數據庫端和臺站BUFR當前整點數據進行掃描,查看要素之間的邏輯性,如降水量與天氣現象有無矛盾等。

3.2 程序實現

地面氣象站BUFR數據監控自動補傳軟件采用PYTHON語言設計開發,共2個模塊,一個是參數模塊,需配置臺站級數據庫文件目錄即AWZ*.db所在目錄(例如:E:ISOSdataset浙江58457DataBase),BUFR備份文件傳輸目錄(例如:D:ISOSinSendsendbak)以及該站站號,設置定時觸發該軟件。另一個是查看模塊,通過設置需查看時段,可以檢查是否補傳成功,查詢補傳日志或手動上傳需補發報文。圖2為地面氣象站BUFR數據監控自動補傳軟件。

圖2 地面氣象站BUFR數據監控自動補傳軟件

通過對國內地面氣象小時、分鐘觀測要素BUFR報文進行解析，實現地面氣象要素二進制報文可視化,便于臺站觀測員對BUFR報文內容進行檢查。該軟件利用MDOS系統存儲和ISOS系統采集和傳輸模塊,建立臺站與省級逐時相互監控驗證機制,有效做到臺站與省級數據庫中數據的一致性和完整性,同時設計了人工檢查和人工干預補傳功能,以便觀測員進行補查、人工補傳操作。

3.3 試驗與分析

MDOS系統“數據查詢與質疑”頁面因主、客觀原因頻繁出現數據空白、丟失現象,導致省級數據庫中數據缺測、不完整的情況,以杭州氣象站(58457)為例,觀測時間為2021年3月15日,觀測要素為氣溫,其中15時14分至15時25分(北京時)分鐘數據為空白,如圖3所示。

圖3 杭州站MDOS系統頁面出現空白數據

軟件界面直接顯示“補傳數據開始時間”和“補傳數據結束時間”,對臺站和省級數據庫中數據進行4個方面檢查后,發現數據異常,進行自動補傳。觀測員人工在點擊“查看MDOS分鐘數據”選項時,軟件對省級數據庫進行重新掃描查看數據是否完整。在查看分鐘數據顯示界面中,補傳BUFR分鐘數據有“補傳”標記,顯示所補傳觀測要素,以便臺站觀測員確認補傳數據量及要素是否完整如圖4所示,第一行標記顯示被查詢的站號、時間段、要素的名稱,其中第一列標記為“原有”的為MDOS正常上傳的報文,標記為“補發”的為自動補傳的報文。因臺站數較多,若查詢的操作較多,可能導致查詢過長,故軟件設置查看該站分鐘補傳日志最近補傳的300條記錄。

圖4 15時14分至25分(北京時)杭州站分鐘補傳數據

所有補傳數據時間與站點信息將記錄在補傳數據庫中,以便省級、該站查看分鐘補傳日志,例如導出示例杭州氣象站,區站號為58457,觀測時間(世界時)為2021年7月28日04時34—46分補傳日志記錄,如表3所示。

表3 數據庫記錄中補傳時間與補傳記錄

目前該軟件已推廣至全省75個國家自動氣象站,統計2021年11月10個國家自動氣象站可用率(圖5)可知，使用自動補傳軟件后,11月的數據可用率有明顯的提高,其中臨安和建德國家氣象站在11月利用此軟件補傳后,可用率達到了100%,自動站儀器維護、維修等客觀原因導致采集器端不能進行數據采集,則該時段數據無法獲取,仍為缺測,如長興國家氣象站在11月3日09時36分至10時02分更換溫度傳感器,其期間分鐘、小時數據缺測。

圖5 11月10個國家自動氣象站可用率

4 結 語

地面氣象站BUFR數據監控自動補傳軟件,能夠有效地解決浙江省內臺站端故障、省級服務器和數據庫異?；驍祿鬏敭惓?、采集器仍有“數據丟失”等問題,同時彌補了觀測端監控手段的不足。該軟件方便臺站觀測員對實時數據傳輸進行監控,并逐時對省級數據庫進行掃描，完成了臺站端到省級數據端自動判斷、自動補傳的功能,提高了臺站應急處置時間和臺站地面業務的質量,減少了缺報、漏報的次數,同時保證了臺站級與省級數據庫數據的一致性,提高了數據的可用率和完整性,為該節點其他氣象產品提供更完整的數據支撐。

地面氣象站BUFR數據監控自動補傳軟件不能對采集端設備進行監控。自國內地面氣象觀測自動化改革以來,臺站觀測業務逐漸由觀測轉為儀器維護、維修和數據分析。今后將進一步分析ISOS系統采集模塊,實現對臺站采集器各個要素設備的工作狀態的實時監控功能,完善軟件功能。