?

數值預報AI氣象大模型國際發展動態研究

2024-04-25 11:05黃小猛林巖鑾熊巍李佳皓潘建成周勇
大氣科學學報 2024年1期
關鍵詞:天氣預報分辨率氣象

黃小猛 林巖鑾 熊巍 李佳皓 潘建成 周勇

摘要 數值預報是研究地球系統的重要工具,有助于加深科學家對大氣、海洋、氣候和環境等復雜系統之間相互作用和變化過程的理解,在防災減災、氣候變化和環境治理等方面發揮著不可或缺的作用。隨著模式復雜度和分辨率的提高,傳統數值模式在氣候變化研究和氣候預測方面取得了迅速的進展,但也面臨一些挑戰,需要得到數據同化、集合耦合、高性能計算和不確定性分析等多方面的支持。而近年來,“AI+氣象”的交叉研究在氣象領域引起了廣泛關注?;诙喾N深度學習架構的人工智能大模型,依托強大的計算資源和海量的數據進行訓練,能夠以新的科學范式進行高效數值預報。氣象大模型不斷涌現,一些科技公司如華為、英偉達、DeepMind、谷歌、微軟等,以及國內外高校如清華大學、復旦大學、密歇根大學、萊斯大學等發布了多個涵蓋臨近預報、短時預報、中期預報和延伸期預報等不同領域的氣象大模型。這標志著人工智能與氣象領域的交叉融合已經達到新的高度。盡管氣象大模型在現階段取得了較大突破,但其發展仍然面臨弱可解釋性、泛化能力不足、極端事件預報強度偏低、智能預報結果過平滑、深度學習框架能力需要拓展等諸多挑戰。

關鍵詞數值預報;地球系統模式;深度學習;氣象大模型

作為國家防災減災的重要保障,數值預報技術正在迅速發展。一方面,傳統的物理天氣氣候模式正在快速發展,并逐步過渡到地球系統模式。另一方面,人工智能大模型在天氣預報領域取得了突飛猛進的進展,呈現出一種互相追趕的態勢。本文將總結國際和國內在傳統數值預報模式和氣象大模型兩方面的最新進展,并展望未來的發展。

1 地球系統模式

地球系統數值預報是當今世界公認最為重要的地球系統研究工具,是開展防災減災、氣候變化和環境治理等科學研究不可缺少的手段?;诘厍蛳到y框架下的無縫隙多尺度天氣氣候一體化預報技術是數值預報的核心攻關任務(Brunet et al.,2015;Ruti et al.,2020;Ren et al.,2023)。地球系統模式由氣候系統模式發展而來,是氣候系統模式在深度和廣度上的拓展。傳統的氣候系統模式主要包含大氣、陸面、海洋、冰凍圈(海冰和冰蓋)等分量模式,主要用于模擬和理解過去、現在和未來氣候背景下氣候系統各個圈層相互作用的物理規律,包括重大天氣和氣候災害的預測和機理研究,全球能量和水分循環、海洋環流和海冰演變等(王斌等,2008;王會軍等,2014)。氣候系統模式構成了地球系統模式的基本框架,后者在氣候系統模式基礎上擴展了大氣化學、生物地球化學和人類活動影響等過程以及以上過程之間的相互作用(Randall et al.,2019)。歐美發達國家已開啟以地球系統模式為目標的下一代數值模式研發。隨著科學技術的發展,對大氣、海洋、地質和生態等各個分系統的研究不斷深入,越來越傾向于將地球系統作為一個有機整體進行研究。

全球各模式中心的氣候系統模式和地球系統模式基本都參與了最近一次的CMIP6(Eyring et al.,2016)。參與CMIP6的模式有兩個特點:一是大氣和海洋模式的分辨率明顯提高,大氣模式的最高水平分辨率達到了全球25 km,海洋模式達到10 km。二是更多的、更復雜的地球系統模式參與其中,考慮的過程更為復雜,以包含碳氮循環過程的地球系統模式為主,許多模式實現了大氣化學過程的雙向耦合,包含了與冰蓋和多年凍土的耦合作用。參與CMIP6的近60個模式中,命名為地球系統模式(Earth System Model,ESM)的模式超過40個。這些模式包含了氣溶膠、大氣化學、陸冰、陸面和海洋生化過程的一個或多個分量。

1.1 發展現狀

這里簡要總結IPCC AR6 報告(IPCC,2021)之后全球天氣氣候及地球系統模式的發展現狀和趨勢。整體來看,傳統的天氣氣候模型正在快速發展,向包含海洋、海冰、生物地球化學和大氣化學過程在內的地球系統模式邁進(Zhou et al.,2020)。同時,越來越多的應用開始采用地球系統模式進行天氣、氣候及生態預測。在這個過程中,出現了以下幾個趨勢:

1)模式的復雜度和包含的分量模式和過程越來越多

針對不同的社會和科學需求,地球系統模式包含的分量模式和過程越來越多,同時復雜度也在不斷增加(Bonan and Doney,2018)。具體包括冰蓋模型的開發以促進海平面變化的預測,陸面生態的模擬(如糧食產量預測),大氣污染的預測、碳氮循環,以及古氣候模擬(研究氣候敏感度、非線性和轉折點等氣候突變事件)。另外,水和食物安全、生態脆弱性、土地利用變化,以及野火、沙塵暴等重要的氣候事件的預測也需要模型不斷加入新的過程和分量來滿足和提高相關方面的能力。

2)天氣氣候一體化融合發展

目前數值模式發展的國際主流趨勢是通過構建一體化模式實現無縫隙模擬預報功能,以同時滿足不同時間和空間尺度的天氣-氣候預報預測的需求,可適用于數值天氣預報、季節預報和氣候模擬,預報時間從幾天到幾百年不等。同一個模式可應用于不同尺度的預測,其中物理參數化采用尺度自適應的方式,實現不同尺度適配的物理過程。未來5~10 a,涵蓋天氣和氣候的無縫隙預測有望得到蓬勃發展,這要求模式的研發打破天氣和氣候之間的壁壘。另外一個趨勢是利用ESM開展天氣預報和氣候預測的計劃開始進入各大模式中心(Delworth et al.,2020)。目前,利用ESM開展天氣預報仍處于研發階段。例如,歐洲中期天氣預報中心(European Centre for Medium-Range Weather Forecasts,ECMWF)計劃研制用于天氣預報的地球系統模式,考慮到陸面生態、大氣化學等過程和氣候模式的耦合。這要求所需的ESM須具備必要的復雜程度,以體現盡可能多的地球系統圈層之間的相互作用,同時在計算效率上保持可控性。

基于地球系統模式的預測系統研發包括多個方面,例如構建相應的數據同化系統以獲得對地球系統當前狀態的最佳估計;對地球系統的綜合觀測,包括衛星觀測,這有助于對地球系統過程的認識并改善其模擬性能。此外,在次季節-季節預報方面的相關研究也正在蓬勃發展,具體包括對平流層、土壤水分、植被、積雪、海冰和氣溶膠等模式分量的研發,以不斷提高預報水平。

3)模式分辨率得以快速提高

地球系統模式的水平和垂直分辨率正在快速提高。除了全球整體分辨率的提升,采用變分辨率非結構網格的方法使得區域高分辨率模擬成為可能。垂直方向分辨率的增加有助于中層大氣的模擬,包括對平流層極渦、準兩年震蕩等現象的模擬(Wu et al.,2019)。同時,提高邊界層垂直分辨率可以改善對邊界層水汽、溫度和云的模擬。高分辨率是中期天氣預報應用的發展趨勢,它將顯著提高模式對云和降水等過程的解析度,并減少對參數化方案的依賴。簡化物理過程也能夠顯著減少模式的計算量,從而實現高分辨率和較低參數化程度的結合,這將成為未來中期預報領域的主要模式配置形式。

許多模式中心計劃開展3~5 km甚至更高分辨率的全球大氣模式,海洋模式的分辨率也將達到中尺度渦或次中尺度渦的分辨率(1 km),例如歐盟的Destination Earth計劃(https://destination-earth.eu/)。DYAMOND計劃(Stevens et al.,2019)吸引了全球多個高分辨率大氣模式的參與。提高分辨率對傳統的物理參數化方案提出了挑戰,例如,傳統的積云對流參數化方案通常適用于100 km以上的氣候模式,隨著分辨率的提高,這些方案的尺度自適應問題需要得到妥善的考慮(Li et al.,2022;Wang,2022)。

4)數值模式和人工智能相互結合和促進

人工智能的快速發展給地球系統模式的發展提供了新的機會,例如人工智能已經在模式參數化研發(邊界層、對流、云;海洋里的垂直混合、中尺度渦和次中尺度渦參數化、海氣通量參數化、氣冰通量計算)、過程理解、參數估計、模式優化、模式模擬后處理和誤差訂正、空氣質量預測、可預報性研究等方面得到廣泛應用(Rasp et al.,2018;Reichstein et al.,2019;Han et al.,2020;Mooers et al.,2021;Wang et al.,2022)。加州理工學院牽頭的CliMA計劃利用人工智能結合海量的觀測和高分辨率模擬數據建立新的氣候系統模式,已經在多方面取得進展(https://clima.caltech.edu)。

5)社會經濟模型的發展和耦合

社會經濟模型主要指綜合評估模型(IAM),主要描述人類社會活動通過溫室氣體排放對地球系統,特別是全球氣候變化的影響(Sokolov et al.,2018)。傳統上綜合評估模型更多的是一個經濟模型和氣候政策模型。由于各種假定和參數,綜合評估模型具有很大的不確定性,如何量化和減小其不確定性是一個重要的發展方向。另外,由于氣候和環境變化也會對社會經濟活動和人類福祉產生巨大影響,但這部分由于缺乏綜合評估模型和地球系統模式的耦合而無法進行模擬。當前的一個趨勢就是綜合評估模型和地球系統模式的有機耦合,但這存在大量的困難和挑戰(Yang et al.,2015)。其中一個原因是一個是物理模型,而另外一個是社會經濟模型,之間要溝通耦合的變量不一樣。另外,這兩類模型的構建形式差異巨大,包括計算機語言和框架,當然最主要的還是我們對他們之間的緊密聯系和影響的認識和量化都存在不足。當前主要的還是綜合評估模型提供未來溫室氣體和污染物的排放預估,作為地球系統模式的輸入,因此是單向的一種聯系。未來要把地球系統模式預估的天氣氣候變化影響反饋給綜合評估模型,確定氣候變化對社會經濟的影響,形成一個閉環(Calvin and Bond-Lamberty,2018)。

1.2 傳統數值模式展望

傳統數值模式在氣候變化研究和氣候預測方面發展迅速,并面臨一些挑戰。這些模式主要關注系統對外部強迫的響應和長期變化,與數值預報的重點有所不同。數值預報更專注于系統在給定初始狀態下的短期演變,因此需要考慮同化問題,即將觀測數據與模型結果相結合以提高預測準確性。在次季節-季節到年際和年代際預測中,需要考慮地球系統不同組分之間的相互作用和耦合同化。例如,次季節-季節預測需要考慮陸地表面和上層海洋的同化,而年際和年代際預測需要考慮海洋、海冰和大氣、陸地的耦合同化(Zhou et al.,2023)。

隨著模式復雜度和分辨率的提高,地球系統模式的發展面臨著新的挑戰,需要得到數據同化、集合耦合、高性能計算和不確定性分析等多方面的支持,高效的并行計算技術、強大的在線分析系統和標準化分析評估軟件的不斷發展將為模式發展提供重要的技術支撐。

人工智能大模型在天氣預報領域已經取得了顯著進展,并在未來有望為氣候預測和氣候變化研究帶來新的思路和進展。將數據驅動的智能模型與物理模型有機結合,發揮各自的優勢,有助于推動數值預報取得突破性進展(Reichstein et al.,2019)。這是一個值得關注和探索的問題,可以為氣候預測和氣候變化研究帶來更多的創新和進步。

2 氣象大模型

近年來,“AI+氣象”的交叉研究在氣象領域引起了廣泛關注。人工智能大模型基于多種深度學習架構,并依托強大的計算資源和海量的數據(Rasp et al.,2020)進行訓練,能夠以新的科學范式進行獨立于傳統數值預報模式的氣象預測(Nguyen et al.,2023)。目前,基于深度學習的氣象大模型(Large Weather Model,LWM)取得了顯著進步,例如FourCastNet(Pathak et al.,2022)、GraphCast(Lam et al.,2023)、NowcastNet(Zhang et al.,2023)、盤古天氣(Bi et al.,2023)、風烏(Chen K et al.,2023)、伏羲(Chen L et al.,2023)等,在提高預報精度和加速預測推理過程等方面展現出顯著優勢和巨大潛力。

2.1 發展現狀

1)臨近預報(NowcastNet)

2023年7月,清華大學軟件學院與國家氣象中心、國家氣象信息中心聯合提出了名為NowcastNet的極端降水臨近預報大模型。該模型的提出填補了氣象大模型在強降水、暴風雨、暴雪、冰雹等極端降水天氣預報領域的不足(Ravuri et al.,2021)。NowcastNet能夠將降水臨近預報的時效從現有的幾十分鐘延長至3 h(Ashesh et al.,2022),空間分辨率為20 km,時間分辨率為10 min,為解決3 h內降水臨近預報科學難題提供了新方法新工具。

NowcastNet在數據驅動的基礎上引入了物理約束,通過神經演變算子實現了降水物理過程的端到端建模。模型以中尺度演變網格預測結果為條件,通過概率生成模型對公里尺度降水過程進行精細捕捉。NowcastNet采用近六年的觀測資料作為訓練基礎,探索了一種融合數據驅動與物理驅動的“科學學習”新范式。經過62位氣象預報專家的檢驗評估,NowcastNet在國際同類方法中處于領先地位,具有重要的學術意義和實際應用價值。其相關研究成果已在《Nature》正式發表,并已在國家氣象中心短臨預報平臺(SWAN 3.0)部署上線。

2)短時預報(MetNet系列)

MetNet(Snderby et al.,2020)、MetNet-2(Espeholt et al.,2022)、MetNet-3(Andrychowicz et al.,2023)是谷歌分別于2020、2021、2023年相繼推出的深度學習天氣預報模型,是谷歌公司針對人工智能在氣象領域應用的重要探索。

MetNet基于深度神經網絡架構,通過學習大量氣象觀測數據來捕捉天氣系統的復雜演變過程(Agrawal et al.,2019;Ravuri et al.,2021)。MetNet能夠以1 km的空間分辨率和2 min的時間分辨率生成準確的8 h降水預報。MetNet-2是MetNet的升級版,在MetNet的基礎上進一步改進和擴展了模型的功能,采用了更大規模的數據集進行訓練(Ko et al.,2022),能夠以1 km的空間分辨率和2 min的時間分辨率進行12 h的降水預測,提高了模型的性能和準確性,預報結果優于集合數值天氣預報模型(High-Resolution Ensemble Forecast,HREF)。MetNet-3在前面的基礎上進一步提高,可以從密集和稀疏的數據站點數據中學習,提前24 h預測降水、風、溫度和露點。因其強大的預報性能,目前已在google天氣等方面業務運行。然而,MetNet系列作為深度學習與氣象領域融合應用的一次嘗試,采用的是純數據驅動的訓練策略和推理方式,在物理約束和可解釋性方面仍然具有較大的探索空間。

3)中期預報(FourCastNet、盤古天氣)

2022年2月,英偉達聯合勞倫斯伯克利國家實驗室、密歇根大學安娜堡分校、萊斯大學等機構提出了一種名為FourCastNet的預測模型(Pathak et al.,2022),該模型基于自適應傅立葉神經網絡(Adaptive Fourier Neural Operators,AFNO)(Guibas et al.,2021)。FourCastNet能夠在2 s內實現一周時間尺度的高分辨率(0.25°)天氣預報,預報內容包括溫度、濕度、大氣水蒸氣、降水和風速等。值得關注的是,FourCastNet的預報速度相比ECMWF的高分辨率綜合預報系統(Integrated Forecast Systems,IFS)提升了45 000倍。

FourCastNet結合了傅里葉神經算子(Fourier Neural Operator,FNO)(Wen et al.,2022)在Navier-Stokes方程上的分辨率無關性表現,將算子學習(Kovachki et al.,2021)從理論研究推向了大規模業務天氣預報應用。該模型通過降低計算復雜度,使得在大尺度變量上的預測結果與歐洲中期天氣預報中心的IFS相當,在小尺度變量上則優于IFS。FourCastNet采用了“預訓練+微調”的范式,只需要少量參數就可以實現端到端的下游任務預報。

FourCastNet在AI天氣預報領域實現了前所未有的準確性,成為深度學習在氣象預測領域應用的先驅代表,彌補了傳統數值天氣預報模式計算復雜和推理速度慢等不足之處。

2022年11月,華為云計算團隊提出了一種名為盤古天氣大模型(Bi et al.,2023)的預測模型,它基于3D Earth-specific Transformer結構,能夠進行預報時效為1 h到7 d的高精度(0.25°)天氣預報。該模型通過純數據驅動的深度學習方法替代了傳統數值模式中的動力核心和參數化方案,在預報精度上超過了傳統數值模式,并且計算速度提升了10 000倍。

盤古天氣大模型采用了3D Swin Transformer(Liu et al.,2021)作為骨干網絡,以初始大氣狀態作為輸入,并輸出與初始狀態結構相同的未來大氣狀態,并支持極端天氣預報和成員集合預報等各種下游任務。同時使用層次化時域聚合策略來減少預報的迭代次數,從而減少迭代誤差。2023年7月,盤古天氣大模型在《Nature》雜志上正式發表,標志著氣象大模型在預報性能方面取得了重要突破,為未來的天氣預報研究和應用提供了有益的參考。

4)延伸期預報(GraphCast、風烏、伏羲、AI-GOMS)

2022年12月,DeepMind和谷歌研究團隊聯合推出基于圖神經網絡的自回歸天氣預報模型GraphCast(Lam et al.,2023),將原始經緯度網格的輸入數據映射到多網格上的學習特征中(Keisler,2022)。它可以在空間分辨率為0.25°的經緯度網格上,每隔6 h對5個地表變量和6個大氣變量進行10 d的預報,每個變量在37個垂直壓力水平上,大致相當于赤道25 km×25 km的分辨率。

GraphCast可以在60 s內預測未來10 d內的天氣,而且準確率很高,在252個變量中,有99.2%超過了現有最準確的深度學習天氣預報模型;在2 760個變量中,有90%超過了歐洲中期天氣預報中心的高精度預報結果。GraphCast是首個能夠產生高保真度、預報時效為10 d的深度學習天氣預報模型,與業界領先的數值天氣預報模式相比,具有更高的預報精度和計算速度。2023年11月,GraphCast在權威科學期刊《Science》上發表,進一步揭示了人工智能在氣象領域的應用價值。

2023年4月,上海人工智能實驗室聯合中國科學技術大學、上海交通大學、南京信息工程大學、中國科學院大氣物理研究所和上海市氣象局提出風烏氣象預報大模型(Chen K et al.,2023),在30 s內即可生成未來10 d全球高精度(0.25°)預報結果。

風烏將大氣變量之間的相互影響看作是多任務學習問題,采用多模態神經網絡和多任務自動均衡權重來解決多種大氣變量表征和相互影響的問題。為了優化多步預測結果,風烏使用緩存回放策略,在訓練階段通過收集和重用中間預測結果來計算多時間步的自回歸累積誤差。相比于GraphCast通過添加自回歸階段的方式,緩存回放策略節省計算成本和提升長期自回歸訓練效率。風烏使用多模態、多任務方法和緩存回放策略來解決天氣預報問題,首次將全球天氣預報的有效性提高到10.75 d,具有較高的業務應用價值。

2023年6月,復旦大學人工智能創新與產業研究院聯合大氣與海洋科學系推出了45億參數量的伏羲氣象大模型(Chen L et al.,2023),進行未來15 d的全球高精度(0.25°)預報。

伏羲基于U-Transformer(Li et al.,2023)結構,并通過構建級聯模型,對多個模式進行微調,同時伏羲使用多時間步損失函數使得多個迭代時間步的誤差最小化,從而減少預測誤差的累積,提高長期預測的性能。伏羲首次將深度學習天氣預報時效提升到15 d,在時間分辨率為6 h、空間分辨率為0.25°的10 d預報中表現優于歐洲中期天氣預報中心的確定性預報(High-resolution Forecast,HRES),在15 d的預報中表現與歐洲中期天氣預報中心集合預報的集合平均(Ensemble Mean,EM)相當。

2023年8月,清華大學地球系統科學系提出了一個人工智能驅動的全球海洋建模系統AI-GOMS,在0.25°空間分辨率和1 d時間分辨率下對15個深度層的全球海洋基本變量進行了30 d的最佳預測,能夠用于準確和高效的全球海洋日常預測。

AI-GOMS(Xiong et al.,2023)由一個基于傅立葉的編碼自回歸模型(Masked Autoencoder,MAE)結構(He et al.,2022)的預訓練模型和一個輕量的微調模型組成,使用人工智能方法實現端到端的替代模型,可以脫離數值模式獨立運行。其中微調模型分為區域降尺度、(波浪)解碼和(生物化學)耦合三種不同結構,適用于解決全球海洋模擬中的各種類型的科學任務。AI-GOMS解決了當前的數值海洋建模非線性不穩定性、計算量大、重用效率低、耦合成本高等問題,是全球首個數據驅動的全球海洋建模系統。

2.2 氣象大模型展望

現階段,氣象大模型取得了較大突破,但其發展仍然面臨較多挑戰,尚有一系列核心問題需要重點關注。

1)可解釋性問題

氣象大模型的可解釋性是未來研究的重點。深度學習模型通常是“黑盒”模型,難以解釋其物理意義及決策過程,難以對預報結果提供氣象領域所需的可解釋依據?,F階段,氣象大模型缺乏足夠的數學理論分析,針對可解釋性的神經網絡架構和相應的數學分析工具仍然具有較大的探索空間。需要探索通過核方法等一系列數學方法,進一步揭示氣象大模型神經網絡求解偏微分方程組的誤差和訓練動力學。探索理論驅動和數據驅動融合的新科學范式,通過物理模式與深度學習的結合,在氣象大模型中引入物理約束,研究模型的可解釋性和物理原理,是未來氣象大模型發展需要重點關注的科學問題。

2)泛化與遷移挑戰

訓練完成的氣象大模型能夠以較低的成本實現遷移外推,例如FourCastNet模型比傳統數值預報系統IFS快45 000倍,計算能耗可降低近萬倍。然而,大規模氣象大模型的訓練過程需要龐大的計算資源,FourCastNet模型需要使用海量的再分析資料ERA5驅動訓練,計算成本方面相較于傳統數值模式并無明顯優勢,氣象大模型的業務化應用應當進一步考慮泛化能力和遷移成本的問題。普遍近似原理表明,神經網絡具備準確逼近任意非線性連續算子和非線性連續泛函的能力,因此,氣象大模型將朝著泛化能力更強的算子學習領域發展,在Banach空間對參數空間和解算子進行逼近。

3)過平滑問題

現階段,氣象大模型對極端事件的預測能力仍有待提高,以FourCastNet、盤古天氣等為代表的氣象大模型已經在多種下游任務中實現了較好的預報效果,但普遍缺乏對極端降水事件的預報能力。氣象大模型雖然擅長對非線性系統進行建模,但統計模型存在固有的小樣本過平滑問題,預報結果對數據的依賴較大,在極端事件的預測領域仍然存在較大不足。因此,從優化訓練數據集和改進深度學習網絡架構等層面探索過平滑問題的解決思路,通過數據增強、集成學習、超參數調優等方法對氣象大模型進行優化,是填補氣象大模型極端事件預報空白的重要研究領域。

4)深度學習框架問題

大氣和海洋模式通常是基于Fortran語言編寫的,如給區域氣象預報提供支持的天氣預報模式(Weather Research and Forecasting Model,WRF)(Skamarock et al.,2008)、使用混合網格的海洋模式(Hybrid Coordinate Ocean Model,HYCOM)和被廣泛使用的地球系統模式(Community Earth System Model,CESM)(Hurrell et al.,2013)等。然而,這種科學計算越來越多地結合了深度學習的進步和處理大量數據的能力(Innes et al.,2019),構成氣象大模型底層的主流機器學習庫,如Tensorflow和Pytorch以Python語言為基礎。因此,氣象大模型與傳統數值模式的融合需要解決Fortran語言和Python語言的雙向耦合問題(Curcic,2019;Ott et al.,2020;Mu et al.,2023),同時也要保證神經網絡架構能夠在氣象預報過程中保持穩定性。

現今的主流計算框架通常只考慮并優化了一階導數的計算,然而,海洋大氣問題常常需要計算高階導數,例如涉及Navier-Stokes方程中的對流項等情況?,F階段的深度學習框架為了獲得二階甚至更高階導數,只能通過嵌套多次一階導數的計算方式來實現,導致了計算資源和時間的顯著增加。如果在現有的自動微分框架的基礎上實現類似于Hessian矩陣等方法的二階或高階導數計算,將大幅提高氣象大模型的計算效率,遠超過嵌套實現多次自動微分的方式。此外,自然界中的規律有時候也需要被建模成分數階偏微分方程或者涉及微分-積分方程等形式,例如大氣輻射傳輸方程中存在包含積分項的方程。然而,現有的深度學習框架對于分數階導數和積分的支持相對較低,限制了其在涉及這些問題時的應用。

5)與其他新興信息技術融合

現階段,氣象大模型的推廣應用及與其他前沿信息技術的融合尚有待提升。推動人工智能與云計算、分布式數據庫、數據挖掘等前沿信息技術的全面融合,綜合運用各項信息技術提高氣象大模型的業務化水平,是推動氣象大模型實際推廣應用的重要基礎。同時,推動氣象大模型與數字孿生、量子計算等新興前沿技術的交叉融合,探索更廣泛的應用領域,是進一步拓展氣象大模型應用空間的值得探索的研究方向。

6)人工智能驅動的數值預報科研新范式

至今,數值預報科技仍沿著“從物理原理和基本公式出發,進行天氣氣候變化機理分析,選取并收集所需數據,經加工處理得出預報結果”的傳統路徑發展。人工智能驅動的科學研究(AI for Science,AI4S)新范式的出現(王飛躍和繆青海,2023),為數值預報科技發展開辟了新路徑,即:從自然環境和社會經濟大數據出發,經人工智能算法處理得到預報結果,然后反向分析輸入輸出數據因果關系,尋找隱藏于數據背后的天氣氣候變化機理。

3 總結和討論

新興信息技術的快速發展一定程度上補充和顛覆了傳統數值模式的技術路線,使得地球系統模式的應用場景不斷拓展。數值預報與人工智能的交叉融合是地球系統模式研究的前沿熱點和重要方向。氣象大模型能夠發揮海量數據優勢,通過挖掘數據中的潛在物理規律來建立預測模型輸入和輸出的映射關系,在預測準確性、時效性和計算速度等方面已經初步呈現出巨大潛力。在準確性上,除極端天氣等個別領域外,氣象大模型的預報準確性已經媲美或超越了傳統數值模式,同時,隨著人工智能大模型架構的不斷改進和訓練策略的發展,其預報精度正穩步提升;在時效性上,人工智能大模型憑借深度神經網絡的強大泛化能力,在同分辨率條件下的預測能力遠超傳統數值模式;在計算速度方面,人工智能大模型相比傳統數值模式極大提高了推理運算速度,逐漸擺脫了傳統數值模式計算時間較長的限制。人工智能大模型的快速涌現和業務化應用具有劃時代的意義,一定程度上解決了傳統數值預報領域面臨的難題,標志著“AI+預報”時代一次新的飛躍,為未來的地球系統預測范式提供了新思路。

數值預報的發展與計算技術、存儲技術、觀測技術等息息相關,其應用領域需要與多學科交叉融合。未來,推動數值預報與人工智能、量子計算、數字孿生等新興信息技術的進一步融通,基于不同的學科需求和社會需要探索更為復雜精細的分量模式,在地球系統整體研究視角下推進數值預報與多學科的交叉協同,是數值預報研究的重要科學問題。

參考文獻(References)

Agrawal S,Barrington L,Bromberg C,et al.,2019.Machine learning for precipitation nowcasting from radar images[EB/OL].[2023-11-27].http://arxiv.org/abs/1912.12132.pdf.

Andrychowicz M,Espeholt L,Li D,et al.,2023.Deep learning for day forecasts from sparse observations[EB/OL].[2023-11-27].http://arxiv.org/abs/2306.06079.pdf.

Ashesh A,Chang C T,Chen B F,et al.,2022.Accurate and clear quantitative precipitation nowcasting based on a deep learning model with consecutive attention and rain-map discrimination[J].Artif Intell Earth Syst,1(3):e210005.doi:10.1175/AIES-D-21-0005.1.

Bi K F,Xie L X,Zhang H H,et al.,2023.Accurate medium-range global weather forecasting with 3D neural networks[J].Nature,619(7970):533-538.doi:10.1038/s41586-023-06185-3.

Bonan G B,Doney S C,2018.Climate,ecosystems,and planetary futures:the challenge to predict life in Earth system models[J].Science,359(6375):eaam8328.doi:10.1126/science.aam8328.

Brunet G,Jones S,Ruti P M,2015.Seamless prediction of the earth system:from minutes to months[M].Geneva,Switzerland:World Meteorological Organization:483.

Calvin K,Bond-Lamberty B,2018.Integrated human-earth system modeling:state of the science and future directions[J].Environ Res Lett,13(6):063006.doi:10.1088/1748-9326/aac642.

Chen K,Han T,Gong J C,et al.,2023.FengWu:pushing the skillful global medium-range weather forecast beyond 10 days lead[EB/OL].[2023-11-27].http://arxiv.org/abs/2304.02948.pdf.

Chen L,Zhong X H,Zhang F,et al.,2023.FuXi:a cascade machine learning forecasting system for 15-day global weather forecast[EB/OL].[2023-11-27].http://arxiv.org/abs/2306.12873.pdf.

Curcic M,2019.A parallel Fortran framework for neural networks and deep learning[J].SIGPLAN Fortran Forum,38(1):4-21.doi:10.1145/3323057.3323059.

Delworth T L,Cooke W F,Adcroft A,et al.,2020.SPEAR:the next generation GFDL modeling system for seasonal to multidecadal prediction and projection[J].J Adv Model Earth Syst,12(3):e2019MS001895.doi:10.1029/2019ms001895.

Espeholt L,Agrawal S,Snderby C,et al.,2022.Deep learning for twelve hour precipitation forecasts[J].Nat Commun,13(1):5145.doi:10.1038/s41467-022-32483-x.

Eyring V,Bony S,Meehl G A,et al.,2016.Overview of the Coupled Model Intercomparison Project Phase 6 (CMIP6) experimental design and organization[J].Geosci Model Dev,9(5):1937-1958.doi:10.5194/gmd-9-1937-2016.

Guibas J,Mardani M,Li Z Y,et al.,2021.Adaptive Fourier neural operators:efficient token mixers for transformers[EB/OL].[2023-11-27].http://arxiv.org/abs/2111.13587.pdf.

Han Y L,Zhang G J,Huang X M,et al.,2020.A moist physics parameterization based on deep learning[J].J Adv Model Earth Syst,12(9):e2020MS002076.doi:10.1029/2020ms002076.

He K M,Chen X L,Xie S N,et al.,2022.Masked autoencoders are scalable vision learners[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).New Orleans,LA,USA,IEEE:15979-15988.doi:10.1109/CVPR52688.2022.01553.

Hurrell J W,Holland M M,Gent P R,et al.,2013.The community earth system model:a framework for collaborative research[J].Bull Amer Meteor Soc,94(9):1339-1360.doi:10.1175/bams-d-12-00121.1.

Innes M,Edelman A,Fischer K,et al.,2019.A differentiable programming system to bridge machine learning and scientific computing[EB/OL].[2023-11-27].http://arxiv.org/abs/1907.07587.pdf.

IPCC,2021.Climate change 2021:the physical science basis[R].Cambridge,United Kingdom and New York,NY,USA:Cambridge University Press:2087-2138.doi:10.1017/9781009157896.

Keisler R,2022.Forecasting global weather with graph neural networks[EB/OL].[2023-11-27].http://arxiv.org/abs/2202.07575.pdf.

Ko J,Lee K,Hwang H,et al.,2022.Effective training strategies for deep-learning-based precipitation nowcasting and estimation[J].Comput Geosci,161:105072.doi:10.1016/j.cageo.2022.105072.

Kovachki N,Li Z Y,Liu B,et al.,2021.Neural operator:learning maps between function spaces[EB/OL].[2023-11-27].http://arxiv.org/abs/2108.08481.pdf.

Lam R,Sanchez-Gonzalez A,Willson M,et al.,2023.Learning skillful medium-range global weather forecasting[J].Science:eadi2336.doi:10.1126/science.adi2336.

Li X H,Zhang Y,Peng X D,et al.,2022.Improved climate simulation by using a double-plume convection scheme in a global model[J].JGR Atmospheres,127(11):e2021JD036069.doi:10.1029/2021jd036069.

Li Y,Sun Y,Wang W W,et al.,2023.U-shaped transformer with frequency-band aware attention for speech enhancement[J].IEEE/ACM Trans Audio Speech Lang Process,31:1511-1521.doi:10.1109/TASLP.2023.3265839.

Liu Z,Lin Y,Cao Y,et al.,2021.Swin Transformer:hierarchical Vision Transformer using Shifted Windows[C/OL]//IEEE/CVF International Conference on Computer Vision (ICCV).Montreal,QC,Canada:IEEE:9992-10002.[2023-12-05].https://ieeexplore.ieee.org/document/9710580/.

Mu B,Chen L,Yuan S J,et al.,2023.A radiative transfer deep learning model coupled into WRF with a generic fortran torch adaptor[J].Front Earth Sci,11:1149566.doi:10.3389/feart.2023.1149566.

Mooers G,Pritchard M,Beucler T,et al.,2021.Assessing the potential of deep learning for emulating cloud superparameterization in climate models with real geography boundary conditions[J].J Adv Model Earth Syst,13(5):e2020MS002385.doi:10.1029/2020MS002385.

Nguyen T,Brandstetter J,Kapoor A,et al.,2023.ClimaX:a foundation model for weather and climate[EB/OL].[2023-11-27].http://arxiv.org/abs/2301.10343.pdf.

Ott J,Pritchard M,Best N,et al.,2020.A fortran-keras deep learning bridge for scientific computing[J].Sci Program,2020:8888811.doi:10.1155/2020/8888811.

Pathak J,Subramanian S,Harrington P,et al.,2022.FourCastNet:a global data-driven high-resolution weather model using adaptive fourier neural operators[EB/OL].[2023-11-27].http://arxiv.org/abs/2202.11214.pdf.

Randall D A,Bitz C M,Danabasoglu G,et al.,2019.100 years of earth system model development[J].Meteorol Monogr,59:12.1-12.66.doi:10.1175/amsmonographs-d-18-0018.1.

Rasp S,Dueben P D,Scher S,et al.,2020.WeatherBench:a benchmark data set for data-driven weather forecasting[J].J Adv Model Earth Syst,12(11):e2020MS002203.doi:10.1029/2020ms002203.

Rasp S,Pritchard M S,Gentine P,2018.Deep learning to represent subgrid processes in climate models[J].Proc Natl Acad Sci USA,115(39):9684-9689.doi:10.1073/pnas.1810286115.

Ravuri S,Lenc K,Willson M,et al.,2021.Skilful precipitation nowcasting using deep generative models of radar[J].Nature,597(7878):672-677.doi:10.1038/s41586-021-03854-z.

Reichstein M,Camps-Valls G,Stevens B,et al.,2019.Deep learning and process understanding for data-driven Earth system science[J].Nature,566(7743):195-204.doi:10.1038/s41586-019-0912-1.

Ren H L,Bao Q,Zhou C G,et al.,2023.Seamless prediction in China:a review[J].Adv Atmos Sci,40(8):1501-1520.doi:10.1007/s00376-023-2335-z.

Ruti P M,Tarasova O,Keller J H,et al.,2020.Advancing research for seamless earth system prediction[J].Bull Amer Meteor Soc,101(1):E23-E35.doi:10.1175/bams-d-17-0302.1.

Skamarock W C,Klemp J B,Dudhia J,et al.,2008.A description of the advanced research WRF version 3[J].NCAR technical note,475:113.doi:10.5065/D68S4MVH.

Sokolov A,Kicklighter D,Schlosser A,et al.,2018.Description and evaluation of the MIT Earth System Model (MESM)[J].J Adv Model Earth Syst,10(8):1759-1789.doi:10.1029/2018ms001277.

Snderby C K,Espeholt L,Heek J,et al.,2020.MetNet:a neural weather model for precipitation forecasting[EB/OL].[2023-11-27].http://arxiv.org/abs/2003.12140.pdf.

Stevens B,Satoh M,Auger L,et al.,2019.DYAMOND:the dynamics of the atmospheric general circulation modeled on non-hydrostatic domains[J].Prog Earth Planet Sci,6(1):61.doi:10.1186/s40645-019-0304-z.[LinkOut]

王斌,周天軍,俞永強,等,2008.地球系統模式發展展望[J].氣象學報,66(6):857-869. Wang B,Zhou T J,Yu Y Q,et al.,2008.A perspective on earth system model development[J].Acta Meteorol Sin,66(6):857-869.doi:10.3321/j.issn:0577-6619.2008.06.002.(in Chinese).

王會軍,朱江,浦一芬,2014.地球系統科學模擬有關重大問題[J].中國科學:物理學 力學 天文學,44(10):1116-1126. Wang H J,Zhu J,Pu Y F,2014.The earth system simulation[J].Sci Sin Phys Mech Astron,44(10):1116-1126.doi:10.1360/SSPMA2014-00155.(in Chinese).

王飛躍,繆青海,2023.人工智能驅動的科學研究新范式:從AI4S到智能科學[J].中國科學院院刊,38(4):536-540. Wang F Y,Miao Q H,2023.Novel paradigm for AI-driven scientific research:from AI4S to intelligent science[J].Bull Chin Acad Sci,38(4):536-540.doi:10.16418/j.issn.1000-3045.20230406002.(in Chinese).

Wang W,2022.Forecasting convection with a “scale-aware” tiedtke cumulus parameterization scheme at kilometer scales[J].Wea Forecasting,37(8):1491-1507.doi:10.1175/waf-d-21-0179.1.

Wang X,Han Y L,Xue W,et al.,2022.Stable climate simulations using a realistic general circulation model with neural network parameterizations for atmospheric moist physics and radiation processes[J].Geosci Model Dev,15(9):3923-3940.doi:10.5194/gmd-15-3923-2022.

Wen G G,Li Z Y,Azizzadenesheli K,et al.,2022.U-FNO:an enhanced Fourier neural operator-based deep-learning model for multiphase flow[J].Adv Water Resour,163:104180.doi:10.1016/j.advwatres.2022.104180.

Wu T W,Lu Y X,Fang Y J,et al.,2019.The Beijing Climate Center Climate System Model (BCC-CSM):the main progress from CMIP5 to CMIP6[J].Geosci Model Dev,12(4):1573-1600.doi:10.5194/gmd-12-1573-2019.

Xiong W,Xiang Y F,Wu H,et al.,2023.AI-GOMS:large AI-driven global ocean modeling system[EB/OL].[2023-11-27].http://arxiv.org/abs/2308.03152.pdf.

Yang S L,Dong W J,Chou J M,et al.,2015.A brief introduction to BNU-HESM1.0 and its earth surface temperature simulations[J].Adv Atmos Sci,32(12):1683-1688.doi:10.1007/s00376-015-5050-6.

Zhang Y C,Long M S,Chen K Y,et al.,2023.Skilful nowcasting of extreme precipitation with NowcastNet[J].Nature,619(7970):526-532.doi:10.1038/s41586-023-06184-4.

Zhou T J,Chen Z M,Zou L W,et al.,2020.Development of climate and earth system models in China:past achievements and new CMIP6 results[J].J Meteor Res,34(1):1-19.doi:10.1007/s13351-020-9164-0.

Zhou W,Li J X,Yan Z X,et al.,2023.Progress and future prospects of decadal prediction and data assimilation:a review[J].Atmos Ocean Sci Lett:100441.doi:10.1016/j.aosl.2023.100441.

·ARTICLE·

Research on international developments of AI large meteorological models in numerical forecasting

HUANG Xiaomeng1,LIN Yanluan1,XIONG Wei1,LI Jiahao1,PAN Jiancheng2,ZHOU Yong3

1Department of Earth System Science,Tsinghua University,Beijing 100084,China;

2School of Computer Science and Technology,Zhejiang University of Technology,Hangzhou 310023,China;

3Meteorological Development and Planning Institute,China Meteorological Administration,Beijing 100081,China

Abstract Earth System Models (ESM) are powerful tools for studying the earth system and play an indispensable role in conducting scientific research on disaster prevention and mitigation,climate change,and environmental governance.Traditional weather and climate models rapidly evolve towards ESM,including ocean,sea ice,biogeochemical,and atmospheric chemical processes.At the same time,an increasing number of applications are adopting ESM for weather,climate,and ecological prediction.The current international mainstream trend in developing numerical models is to achieve seamless simulation and prediction by constructing integrated models,simultaneously meeting the needs of weather-climate forecasts and predictions at varying temporal and spatial scales.With improved model complexity and resolution,traditional numerical weather models have rapidly progressed in climate change research and climate prediction.However,challenges remain regarding data assimilation,ensemble coupling,high-performance computing,and uncertainty analysis and evaluation.The combination of artificial intelligence (AI) and meteorology has recently attracted tremendous attention.Based on various deep learning architectures,deep learning models can be trained using powerful computing resources and massive data for weather forecasts in a new scientific paradigm independent of traditional numerical weather models.Some technology companies,such as Huawei,NVIDIA,DeepMind,Google,Microsoft,etc.,as well as domestic and international universities such as Tsinghua University,Fudan University,the University of Michigan,Rice University,etc.,have released several Large Weather Models (LWMs) covering from nowcasting,short-term forecast to medium-term forecast,and even extended-period forecast.For instance,FourCastNet,GraphCast,NowcastNet,Pangu Weather,Fengwu,Fuxi,etc.,show significant advantages and great potential in improving forecast accuracy and accelerating the forecast inference process.For accuracy,except in areas like extreme weather,LWMs have matched or even surpassed that of traditional numerical models.Moreover,with continuous development of deep learning methods,their forecasting precision is steadily increasing.For timeliness,LWMs,leveraging deep neural networks' powerful generalization capabilities,far exceed traditional numerical models' predictive abilities under the same resolution conditions.For computational speed,LWMs have significantly increased inference computation speed compared to traditional numerical models,gradually reduced the enormous computation times required by traditional numerical models.The emergence of LWMs signifies that the cross-fertilization between AI and meteorological fields has reached a new horizon.Although these LWMs have made significant breakthroughs at this stage,their development still faces many challenges,such as the interpretability problem,the generalization and migration challenge,and the over-smoothing problem.The advancement of numerical weather prediction is closely tied to developments in computational and data storage technology,as well as observational techniques.Its application requires interdisciplinary integration,combining insights from various scientific fields.A critical scientific challenge in this field is to foster a more profound integration of numerical weather prediction with emerging information technologies such as artificial intelligence,quantum computing,and digital twins.This challenge also involves tailoring complex and refined component models to meet diverse disciplinary demands and societal needs.Advancing numerical weather prediction within the broader context of earth system science requires a concerted effort to promote cross-disciplinary collaboration,addressing vital scientific questions at the intersection of multiple fields.

Keywords numerical forecasting;Earth System Models;deep learning;large weather models

doi:10.13878/j.cnki.dqkxxb.20231201001

(責任編輯:張福穎)

猜你喜歡
天氣預報分辨率氣象
氣象樹
《內蒙古氣象》征稿簡則
EM算法的參數分辨率
原生VS最大那些混淆視聽的“分辨率”概念
測不準的天氣預報
天氣預報的前世今生
大國氣象
美麗的氣象奇觀
基于深度特征學習的圖像超分辨率重建
一種改進的基于邊緣加強超分辨率算法
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合