?

數據管理系統發展趨勢與挑戰

2023-09-21 08:47韓銀俊HANYinjun牛家浩NIUJiahao屠要峰TUYaofeng
中興通訊技術 2023年4期
關鍵詞:數據管理架構管理系統

韓銀俊/HAN Yinjun,牛家浩/NIU Jiahao,屠要峰/TU Yaofeng

(1. 中興通訊股份有限公司,中國 深圳 518057;2. 移動網絡和移動多媒體技術國家重點實驗室,中國 深圳 518055 )

數據作為新型生產要素,對傳統生產方式變革具有重大影響,要構建以數據為關鍵要素的數字經濟。數據、算法、算力是數字經濟時代核心的3個要素。其中,數據具有可共享、可復制、可無限供給等特征,是推動數字經濟發展的關鍵生產要素,已上升到國家戰略高度。

隨著應用需求的發展,數據管理系統也在不斷完善,每10 年會出現一次比較大的技術變革,產品形態不斷繁榮發展——從20 世紀60 年代的文件系統、數據庫、數據倉庫、數據湖發展到現在的湖倉一體,產業規模也在持續擴大。數據管理系統如今已在各個行業得到廣泛應用,成為數字經濟不可或缺的通用基礎設施。

隨著信息技術的高速發展和數據量的迅速膨脹,大規模、高性能的新型數據管理系統不斷涌現。云基礎設施的逐漸成熟以及企業用戶需求的推動,使得云原生數據管理系統近年來蓬勃發展,催生出各類基于云架構的數據管理服務。人工智能(AI)技術和數據管理技術相輔相成:AI技術越來越多地應用在數據管理系統的計算、存儲和運維等方面,數據管理系統為AI 訓練和推理提供高效的數據服務。異構處理器、新型存儲和網絡技術的快速發展,正在改變數據管理系統依賴的底層環境,給數據管理與分析技術的發展帶來新的機遇與挑戰。湖倉一體為用戶提供的數據管理平臺不僅具有數據倉庫的結構化和治理優點,還擁有數據湖的擴展性和機器學習的便利性。數據要素的可信流通使得數據安全成為熱點。如何保證數據的安全和隱私成為數據管理系統的關鍵訴求。

1 數據管理技術的迭代變遷

數據管理是計算機科學中一個非常重要的領域,涉及大量的技術創新和研究成果。該領域共獲得5 次計算機圖靈獎,并衍生出網狀層次數據庫、關系數據庫、數據倉庫、NoSQL(指非關系型數據庫)、NewSQL(指新型關系型數據庫)、數據湖、湖倉一體等面向不同場景、具有多種形態的數據管理系統。如圖1所示,以應用需求變更為主線,數據管理系統的發展歷程分為信息化初期、互聯網時代、云計算時代3個階段。

▲圖1 數據管理技術的迭代變遷

在信息化初期階段,數據管理系統主要針對少量、結構化數據進行管理。第1 代數據管理系統是網狀層次數據庫。網狀層次數據庫很好地解決了數據集中和共享問題,但是在易用性、數據獨立性和抽象方面仍有很大欠缺[1]。1970 年,IBM 提出數據關系模型的概念[2]。關系模型把現實世界抽象為二維表,借助關系代數的集合運算和關系運算,具有強大的查詢表達能力,有力地支撐了信息化初期的數據管理需求。因此,關系模型迅速取代了層次模型和網狀模型,成為數據庫事實標準。早期的關系數據庫主要面向實時交易,支持多并發、快速增刪改查。這類應用被稱為聯機事務處理(OLTP)[3]。20 世紀90 年代中期,以MySQL、PostgreSQL 為代表的OLTP開源數據庫迅猛發展。早期MySQL抓住了開源LAMP(指Linux-Apache-MySQL-PHP)架構的先機,在互聯網的快速發展中獲得廣泛應用。近年來,由于擁有更強大的技術先進性和更友好的開源協議,PostgreSQL發展勢頭強勁。隨著累積的歷史數據越來越多,如何讓這些數據發揮更大的作用是一個亟待解決的問題。1991年B. INMON提出了數據倉庫建設方法。1993 年E. F. CODD 提出聯機分析處理(OLAP)[4]的概念,以便滿足決策支持、報表展示以及多維數據查詢的需求。

20 世紀90 年代,隨著互聯網的快速發展,數據量急劇增加。嚴格的事務一致性要求制約了關系數據庫的系統擴展能力,使得低成本的彈性擴展成為數據庫的首要需求。在此背景下,以Google 為代表的互聯網公司開發了NoSQL 數據庫,在犧牲數據庫的事務特性和某些結構化查詢語言(SQL)功能的前提下獲得了較強的可擴展性。NoSQL 泛指非關系型數據庫,不同的NoSQL 數據庫有不同查詢語言,難以統一應用程序接口,不具備結構化查詢功能。為了解決這些問題,NewSQL[5]數據庫被提出。NewSQL 是各種新的可擴展和高性能數據庫的簡稱,這類數據庫在具有高可擴展性的同時,又保留了傳統關系數據庫的原子性、一致性、隔離性、持久性(ACID)等特性。由于互聯網的高速發展,數據越來越多,數據類型也越來越豐富,傳統數據庫存不下、無法建模、無法及時入庫等問題逐漸凸顯。在此背景下,Google 相繼提出GFS[6]、MapReduce[7]和Bigtable[8],開啟了大數據時代。2006年開源生態Hadoop[9]的誕生,改變了企業對數據的存儲、處理和分析的過程,加速了大數據的發展,帶來了行業變革。

隨著云計算的發展,數據形式及應用場景變得更加多樣化。數據管理系統需要基于云計算基礎設施提供更加靈活、高效、可靠、安全的解決方案。云原生數據管理是基于云計算架構而設計和構建的,充分利用云基礎設施的能力,具備彈性伸縮、多租戶、分布式部署等特性,滿足多源異構的大規模數據處理需求。實時推薦、即時決策等場景提出了海量數據聯機處理與實時分析的需求。實時數據倉庫和流式計算 引 擎 (Storm[10]、 Spark Streaming[11]、Flink[12]) 等 應 運而生,可滿足一些實時性要求高的場景。Hadoop 因生態復雜、事務支持能力弱、交付及運維成本高,無法替代核心數倉,逐漸形成了自身特殊的定位——數據湖(Data Lake)。數據湖[13]是一種數據存儲方法,即在系統或存儲庫中以自然格式存儲數據的方法,通常是企業中全量數據的單一存儲,可提供各類報表、數據可視化、高級分析和機器學習等服務。數據湖提供了更為完善的數據管理能力,但仍無法滿足用戶在性能、事務等方面的要求。2020年Databricks提出了Lakehouse 和面向湖倉一體的體系架構[14]。Lakehouse 是由Data Lakes 與Data Warehouses 組合而成的一種新的數據架構,目的是打破數據湖與數據倉庫割裂的關系,結合數據倉庫企業級能力與數據湖的靈活性,同時滿足商業智能(BI)與AI 兩類場景需求。湖倉一體要在數據處理方面實現數據湖和數據倉庫的互通,是數據一體化思想的體現。隨著數據要素的流通和發展,湖倉一體將被賦予更多的含義和價值。

由數據管理技術60 多年的迭代變遷歷程可以看出,計算模式的改變和應用需求的變化,對數據管理系統形態的發展起到了至關重要的作用,數據管理技術和架構也隨之不斷迭代更新。在負載特征方面,針對不同業務場景的數據管理系統不斷涌現,包括聯機事務處理(OLTP)、聯機分析處理(OLAP)、混合事務分析處理(HTAP),以及面向流批計算和湖倉融合的數據處理;在數據模式方面,數據模型從關系型向非關系型拓展,包括鍵值、文檔、圖、列族和時序等;在系統架構方面,傳統單機數據庫通過主從復制的方式滿足數據庫的可用性,而分布式和多主架構則進一步滿足數據管理容量和性能的需求。此外,云計算和AI 的普及,使得數據管理更具彈性和智能。

2 數據管理的關鍵技術及挑戰

近年來,云原生、AI、新型硬件、安全隱私以及大模型等技術迅速發展,為數據管理系統的創新帶來機遇和挑戰[15]。利用新型交叉學科技術構建的新一代數據管理基礎設施正在興起。

2.1 云原生數據管理

隨著云基礎設施的逐漸成熟以及企業用戶需求的推動,云原生數據管理近年來得到了蓬勃發展,催生出各類基于云架構的數據管理服務。目前云數據庫包含數據庫云服務和云原生數據庫兩大類。數據庫云服務主要采用云托管的形式,即云服務商將數據庫看作一種部署到云平臺的普通軟件,在架構層面沒有質變,無法充分復用云平臺的強大能力,存在計算存儲緊耦合、數據存儲冗余、同步延時嚴重等問題。云原生數據庫則是為云架構而原生設計的數據庫。Amazon Aurora[16]和Snowflake[17]分別是云原生OLTP 數據庫和云原生OLAP數據庫的全球引領者。云原生數據庫采用計算存儲分離的架構,遵循“日志即數據”的原則,計算層能夠自動實現讀寫分離,擴縮容過程對上層透明,存儲層采用分布式高可用存儲系統,該架構實現了獨立的計算節點彈性伸縮和存儲節點彈性擴縮容,進而提升了數據庫性價比。

通過存儲與計算分離,云原生數據庫很好地解決了數據庫云服務的高可靠、高可用和高可擴展性問題,但還存在諸多挑戰:首先,存儲和計算分離帶來存儲和計算之間訪問時延的開銷;其次,當前云原生數據庫基本都只支持一寫多讀,不能實現多節點寫,造成了寫擴展性受限,特別是不能支持對寫需求大的應用;此外,當前云原生數據庫往往是針對一種負載類型設計的,對于HTAP的混合負載數據庫缺乏有效的支持。

為了應對上述挑戰,中興通訊基于電信云基礎設施(TCF)研發了云原生數據庫EBASE-C 和云原生數據倉庫EBASE-A。EBASE-C 采用存儲與計算分離架構,利用全局事務處理模塊,將多個節點讀寫的事務ID 的分配和事務并發控制進行統一協調處理,支持基于多節點的讀寫功能,提升了數據庫的讀寫擴展性;引入全局緩存,通過高性能的網絡把各個節點的共享緩沖池連成一個整體,并對外提供高效、一致的緩存服務,減少了網絡數據傳輸;在計算節點之間僅同步Redo Log相關的元數據信息,降低了節點間的復制延遲。EBASE-A 在計算層引入向量化加速引擎,利用指令集的原生加速實現高效OLAP 查詢,借助算子下推能力將SQL 操作下推到存儲層中,在存儲層過濾掉不必要的數據,減少了計算節點和存儲節點之間數據傳輸的開銷;在存儲層采用行列混合的存儲方式,支持數據壓縮,有效支持了HTAP混合負載的訪問;利用統一元數據架構,提供統一數據資產視圖,管理全局事務和全局對象,打破了數據湖與數據倉庫之間的界限,實現了湖倉一體化實時分析。

Serverless 是云原生數據管理的下一個階段,通過隱藏服務器,提供突出的彈性伸縮和按需服務能力,兼容處理各種類型的負載,實現更細粒度、更精準的資源調度。

2.2 智能化數據管理

傳統的數據管理系統在大規模服務、性能調優和運維管理等方面面臨很多挑戰。AI 技術因其強大的學習、推理、規劃能力,為數據管理提供了新的發展機遇。AI 賦能的數據管理技術得到了廣泛關注。

以AI4DB 為代表的智能化數據管理將AI 技術應用到數據管理領域,提供自檢測、自配置、自調優、自診斷、自愈、自安全和自組裝等功能。從AI 與數據管理系統的作用關系看,AI4DB 分為外置AI 優化和內置AI 優化。其中,外置AI 優化主要充當數據庫管理員(DBA)的角色,對數據庫進行調優和診斷,包括參數配置、參數調優、SQL 改寫、索引推薦、根因分析等;內置AI 優化則包括基數估計、查詢優化和學習型索引等?;鶖倒烙嬍菙祿芾硐到y查詢優化的一大核心問題,更精確的基數估計能夠幫助優化器選擇更優的查詢計劃。AI 驅動的學習型基數估計方法將基數估計作為回歸問題,該類方法收集具有真實基數(作為標簽的查詢池),提取查詢特征并將它們編碼為向量,隨后訓練模型并將查詢映射到基數。在推理時,查詢被編碼為特征向量,通過輸入回歸模型得出基數估計結果。由AI 驅動的學習型查詢優化器受到研究者的廣泛關注。Neo[18]是第一個學習型查詢優化器,通過強化學習方法生成延遲最低的執行計劃。這類優化器能夠以更少的代價取得更好的性能。麻省理工學院首次提出學習型索引[19]概念,使用機器學習模型替代傳統的索引結構。學習型索引可以大幅降低傳統索引的空間代價,提高查詢性能。

中興通訊-北京大學聯合實驗室圍繞智能化數據管理進行創新和實踐,研發了智能化數據管理模塊DBRobot,如圖2所示。

▲圖2 中興智能化數據管理模塊DBRobot

DBRobot 包括外置智能優化和內核智能優化兩大功能。外置智能優化實現了業務無感一鍵式診斷優化,包括智能監控、智能診斷、智能優化和數據庫(DB)大模型4個部分。其中,智能監控模塊采集日志和參數等多維指標,進行趨勢預測和異常檢測,對發現的異常及時告警;智能診斷模塊通過細粒度性能診斷、異常分析和多指標關聯分析等手段實現慢SQL診斷、系統亞健康診斷和系統故障診斷,識別問題根因;智能優化模塊針對問題根因通過智能參數調優、索引智能推薦、SQL 智能重寫等技術,排除診斷出的故障;DB 大模型模塊利用大語言模型的上下文學習和思維鏈能力實現數據庫的智能問答、智能運維和Text-To-SQL等功能。

內核智能優化聚焦AI4DB和DB4AI兩個方向。在AI4DB方向,EBASE 實現了基于AI 的查詢優化器LOGER[20]。LOGER 使用深度強化學習方法,在搜索過程中對部分查詢計劃進行評價,并生成完整的查詢計劃。在DB4AI方向,引入支持向量計算的訓練算子,可實現庫內數據訓練和訓練模型的存儲;引入模型調用接口,使庫內數據能夠在查詢后進行推理分析。

ChatGPT 引發的大模型浪潮,催生了向量數據的存儲、檢索需求。傳統的數據庫索引結構難以有效地處理向量之間的相似度搜索和鄰近性查詢。向量數據庫應運而生。向量數據庫的核心思想是:將向量和對應的標識符存儲在數據庫中,并構建索引以加速相似度搜索,滿足如圖像檢索、推薦系統、人臉識別和語義搜索等應用的需求。中興通訊向量數據庫EBASE-Vector 能夠高效地解決向量相似度檢索和高密度向量聚類等問題,支持拍字節(PB)級向量數據的管理,通過與大模型技術和LangChain 生態的融合,在高效存儲和檢索向量數據的同時,使得AI 應用開發更加高效便捷。中興通訊EBASE 在大模型與數據管理融合領域持續創新,發布了業界領先的數據庫大模型Nebula-EBASE。該模型具備Text-To-SQL、智能問答和智能運維等能力。

近幾年,AI 技術被廣泛應用在數據管理領域中??傮w上講,AI 在智能運維和系統管理方面的應用較為成熟,但在系統內核的智能化和DB4AI方面還需要不斷探索。

2.3 新型硬件適配

數據管理系統在基礎硬件和上層軟件之間起到“承上啟下”的作用,向上支撐上層應用,向下發揮硬件算力作用。以高性能處理器和硬件加速器、非易失內存(NVM)和遠程直接內存訪問(RDMA)高性能網絡為代表的新硬件技術,正在改變傳統的數據管理系統的底層載體支撐。數據管理系統將向異構計算架構、混合存儲環境和高性能互聯網絡逐步演進[21]。在存儲層面,按字節存取的持久內存(PMEM)在提供更高的事務吞吐量的同時,也引入了一致性挑戰。如何針對PMEM的特性管理設計高效的索引結構是一個關鍵問題。在網絡層面,RDMA極大降低了主機間數據傳輸的時延,有效改善了分布式系統的運行環境。但由于RDMA在內存之間直接訪問,系統設計需要重新考慮如何有效管理和分配內存資源,對事務一致性也提出了更高的要求。在計算層面,眾核高性能處理器和各類硬件加速器,例如圖形處理器(GPU)、現場可編程門陣列(FPGA)等,已被廣泛用于加速處理數據。在系統設計時需要重新優化計算模型,以充分利用異構處理器的并行計算能力,面臨著任務劃分、資源調度、數據分發和算法優化等方面的挑戰。

中興通訊EBASE 圍繞新型硬件技術和軟硬協同進行創新研發。在PMEM 適配方面,EBASE 繞過原有的文件系統內核輸入輸出(IO)層,直接對PMEM 進行操作,實現了PMEM原生的日志機制和存儲引擎。針對PMEM跨非統一內存訪問(NUMA)帶來的數據訪問性能下降問題,EBASE實現了NUMA感知的數據訪問機制,能夠將同一個NUMA節點內的中央處理器(CPU) 和PMEM 設備進行綁定,確保了數據訪問的局部性。EBASE 利用PMEM 大容量來擴大內存空間,基于DRAM/PMEM 兩級內存的緩沖區,實現熱度感知的高速緩沖,提高系統查詢處理的性能。在異構處理器加速方面,EBASE采用與CPU協作的加速器方式,將Join、Agg、Scan 等算子或算子組合卸載到異構處理器FPGA 設備上,與CPU 協同完成查詢語句的執行。如圖3 所示,異構加速架構通過加速擴展層實現異構算子路徑注冊、異構算子調用、數據傳輸等功能,由查詢優化器自動選擇最優的物理計劃,無須上層業務干預,實現了異構加速與數據管理系統的無縫集成。

▲圖3 異構加速架構示意圖

新的硬件還在不斷發展演進,以CXL[22]為代表的高速總線協議將有效提升處理器和設備之間的內存互聯互通的效率,將帶來更大的內存擴展空間。如何對此進行軟件層面的優化和適配,是數據管理系統后續的改進方向。

2.4 湖倉融合的數據一體化

湖倉一體是新的概念,目前并沒有統一且成熟的定義。各大廠商均對湖倉一體進行探索和實踐。有些廠商基于數據湖架構對數據倉庫進行能力擴展,通過在開放文件存儲格式之上構建一套表格式Table Format 和元數據管理系統,使數據湖具備ACID事務能力,并提高了數據管理水平,如開源系 統Apache Iceberg[23]、Apache Hudi[24]、DeltaLake[25]。有 些廠商推出的方案基于數據倉庫向數據湖能力擴展,通過各種連接器以外部表的方式訪問數據湖底層存儲系統中的數據,多采用存算分離的架構來完善自身的調度、計算、存儲功能,擴展自身的能力,使自身形成一個數據處理平臺。相關的技術方向往往更注重實時高并發場景應用和非結構化數據治理。

湖倉一體在成本和性能上還不足以與傳統成熟的大數據存儲解決方案競爭,成熟的產品和系統較少。在海量存儲上搭建能夠保證ACID的高性能湖倉一體架構仍然是主要挑戰。在湖倉存儲層,隨著文件數量大幅增長,數據湖存儲Hadoop分布式文件系統(HDFS)的NameNode節點遇到了元數據容量瓶頸,這限制了湖倉存儲能力。同時,大集群的NameNode 啟動速度非常緩慢,其全局鎖處理機制大大限制了并發訪問能力。湖倉元數據和計算層面臨著ACID事務性能提升、高效并發更新及寫入、海量元數據管理、查詢優化等方面的挑戰[26-28]。

湖倉一體不僅僅在數據處理上將數據湖和數據倉庫互相打通,還實現了數據一體化。通過整合大數據、數據倉庫、AI 等技術,中興通訊研發了新一代面向湖倉融合的數據管理系統DAIP。DAIP 兼顧性能和成本效率,通過以表格式Table Format 為代表的新技術,將數據湖和數據倉庫功能融合,實現一體化存儲,形成一套基于統一元數據的數據服務系統;結合云原生技術,采用存算分離架構,提供統一開放的存儲接口;對接多樣的計算引擎,實現存儲和計算靈活部署,實現資源按需使用。DAIP 能夠有效簡化企業的數據基礎設施架構,讓數據管理的靈活性與成長性得到了統一。DAIP 架構如圖4 所示,其中虛線內功能模塊表示中興通訊自主研發的功能或者在開源基礎上實現的增強功能。

▲圖4 新一代面向湖倉融合的數據管理系統架構圖

DAIP 基于自研大容量分布式元數據持久化技術,突破了原生NameNode 元數據全內存架構的限制,縱向擴展了單NameNode節點的元數據容量。目前,單個NameNode可支持的文件數量達到百億以上,與原生聯邦橫向擴展架構兼容。二者疊加可滿足千億級文件存儲的需求,有效應對大容量湖倉存儲挑戰。在流處理場景下應用不斷向數據湖表中數據插入數據或者進行merge、update 等操作時,會產生大量的小文件。過多的小文件會導致計算引擎的查詢過程變慢,并且會引起系統擴展性和穩定性問題。DAIP 研發了數據湖治理功能,支持壓縮合并表文件、物理老化和孤兒文件清理等,實現了自動數據布局和優化,以保持文件訪問最佳性能,將查詢運行時間和占用存儲容量減少了10%以上。圍繞大規模元數據管理及查詢優化技術進行創新和實踐,DAIP 構建了一個面向湖倉融合的低成本索引系統,為湖倉不同計算引擎提供統一計算加速能力。通過將元數據管理與數據管理同等看待,以分布式方式管理和處理元數據,該系統可以存儲非常豐富的元數據并擴展到非常大的表,可同時嵌入到多個計算引擎中,結合查詢優化技術允許各個計算引擎直接跳過無關文件,以提升實時數據分析及查詢效率。

湖倉一體技術仍在不斷迭代發展。中興通訊新一代面向湖倉融合的數據管理系統將以提升用戶體驗為目標,為湖倉提供更大的容量、更快的速度、更好的穩定性,并構建智能數倉、流式數倉等外圍生態,在數字經濟建設中發揮更重要的作用。

2.5 數據要素可信流通

數據作為新型生產要素,是數字化、智能化的基礎,已快速融入生產、分配、流通、消費和服務等各環節。如何保證不同場景下數據要素安全可信流通,構建數據治理新體系,是工業界與學術界研究的熱點問題。

隱私計算[29]是涵蓋眾多學科的交叉融合技術,目前主流的隱私計算技術主要分為三大方向:1)以多方安全計算為代表并基于密碼學的隱私計算技術;2)AI與隱私保護融合而衍生的技術;3)以可信執行環境為代表并基于可信硬件的隱私計算技術。借助隱私計算機制,在技術層面可通過隱私計算技術,從數據采集、存儲、協作等方面提升數據安全和隱私保護水平,保護數據全生命周期的安全,將數據所有權與使用權分離,使計算過程中不發生數據所有權的轉移,從而實現“數據可用不可見”,為數據要素安全可信流通提供有力支撐。如何保證數據不受惡意篡改是數據維護中關乎數據安全的基礎性問題。隨著數據規模的不斷增長和云服務的逐漸普及,傳統防篡改機制難以適應在復雜環境下對大規模數據的保護要求。如何構建高效的數據防篡改機制,如何在不可信環境下保護數據安全,都是亟待解決的問題。不可篡改性、去中心化、可追溯性等特性保證了區塊鏈能在不可信環境中構建可信的計算環境。

中興通訊結合自身在區塊鏈和隱私計算領域的多年深耕與積淀,提出數據要素可信流通1+2+3+N架構[30],成功實現了兩者的融合部署應用,如圖5所示。

▲圖5 中興通訊數據要素可信流通平臺“1+2+3+N”架構

隱私計算技術能解決區塊鏈的擴展和隱私保護問題,區塊鏈技術也能使得隱私計算技術更加安全、更加可信賴。通過兩者結合,中興通訊進一步拓展了各個垂直行業應用的場景,實現了數據在存儲、流通和計算過程中端到端的安全和可審計,為數據要素可靠、安全、合規和高效流通奠定了扎實技術基礎。

3 數據管理技術發展展望

回顧數據管理60 年的發展歷程,計算模式和應用需求的變化對數據管理系統形態產生了重要影響,推動了數據管理架構和技術迭代更新。近年來,全球數據管理新技術蓬勃發展,但仍然存在兩個亟待解決的問題:1)數據規模高速增長,計算處理能力依然是主要瓶頸;2)數據雖上升為生產要素,但數據價值釋放不充分。

全球數據量的持續高速增長,“碳達峰、碳中和”目標的提出,都要求數據域技術棧必須走低碳高效、可持續發展的路線。因此,高能效數據管理技術是可持續發展的關鍵。云數據管理系統具有資源共享、節能高效的特點,將是未來數據管理的主要基礎形態。數據管理與處理的成本成為重要考量因素。數據管理系統的設計理念從傳統的“擴展性優先”向“以性能優先”轉變。智能化數據管理、近數處理、新型硬件驅動等新興管理和處理方法,成為性能優先設計的重要技術手段。GPU、FPGA、深度學習處理器(DPU)等專用加速器從專用領域走向通用計算,對數據管理技術產生重要影響,特別是在高維數據分析和大規模非結構化數據處理方面。近年來,不少國家在云數據管理的基礎上開始探索國家范圍內的一體化高能效數據管理。中國提出了算力網絡的概念并制定相關國際標準,正式啟動“東數西算”工程。由于算力和數據要素的大規模調度與流通,如何在云數據管理基礎上進行云、邊、端以及多云之間數據和計算的協同,實現全國一體化的高能效數據管理,形成低碳發展新格局,成為未來數據管理的主要方向。

在海量數據和豐富應用場景的驅動下,更多的數據技術和應用創新將全面落地。數據采集、數據治理、數據流通、數據開發利用、數據安全保護等各方面將協同推進。數據要素規?;a業集群和規范化產業生態將逐步形成。數據要素的價值將得到充分挖掘和釋放,從而進一步促進數字經濟和實體經濟深度融合,助力數字經濟高質量可持續發展。中興通訊將持續致力于新型數據管理系統的研發,協同推動數據一體化、新硬件加速、智能化數據管理等新技術的快速商用落地,實現橫向跨域拉通和智能敏捷賦能,繁榮生態合作,助力客戶在數字經濟時代建立可持續的競爭優勢。

猜你喜歡
數據管理架構管理系統
基于FPGA的RNN硬件加速架構
企業級BOM數據管理概要
基于James的院內郵件管理系統的實現
定制化汽車制造的數據管理分析
海洋環境數據管理優化與實踐
功能架構在電子電氣架構開發中的應用和實踐
CTCS-2級報文數據管理需求分析和實現
基于LED聯動顯示的違停管理系統
LSN DCI EVPN VxLAN組網架構研究及實現
海盾壓載水管理系統
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合