基于云計算的人工智能AIaaS 云服務平臺研究

苑學賀，楊永艷，龐帆，張宏偉

（北京中電普華信息技術有限公司，北京 100107）

隨著人工智能技術的發展，AI 智能服務及其產品在各行業和領域中應用越發普及。對于如電力公司這類大型企業，由于安全性及專業性考慮，無法采用開放的互聯網AI 平臺、服務及產品。提出在主流云平臺Kubernetes(后文簡稱K8S)容器框架基礎上，導入先進的OpenVINO?Model Server 組件套件，構建企業級的人工智能云服務平臺，充分利用云平臺良好的可擴展能力，為企業用戶提供用戶體驗更高的AI 服務及產品。研究成果以某省電力公司為研究對象，對企業現有AI 建設現狀及應用情況開展調研；對人工智能服務平臺進行規劃設計，并提出相關設計；對該平臺關鍵技術進行了相關研究及論證，并通過測試驗證了其先進性。

1 應用及技術現狀調研

人工智能技術及其相關產品在各行業及各領域近幾年陸續展開了較好的研究和應用，已取得不俗的建設成效。以某省電力公司為例，經文章作者實地調研，自2019 年至今，公司遵照《國家電網公司人工智能專項規劃》開展了企業級人工智能建設，并已建成系列AI 應用系統或平臺，已建成的人工智能平臺包括不限于人工智能推理平臺、語音服務平臺、人臉識別平臺等，支撐的應用主要包含五方面：1）完成通用卡證、通用票據和通用文字識別等通用OCR 的部署實施，支撐了財務部和后勤部的通用專用發票識別、加油小票識別和車輛表盤自動識別；2）圖像識別方面，完成絕緣子模型和反違章模型部署，具備了支撐設備部輸電線路絕緣子識別和安檢部七類反違章識別能力；3）在智能語音方面，語音服務平臺已完成在線聽寫、在線轉寫等八類語音引擎，錄音轉寫和語義理解模型的部署，支撐了調控中心的智能客服建設；4）人臉識別方面，已完成1∶1、1∶N等人臉識別算法和模型部署，支撐了后勤門禁刷臉認證，消費人臉認證等智能后勤業務使用；5）在流程機器人方面，通過RPA+AI 建設，實現了業務流程簡化、電子化、可配置化，起到了基層減負的作用，支撐了各市/區縣公司的用電檢查數據統計和財務智能對賬等業務開展[1]。

但由于建設廠家不同，技術路線差異等原因，各專業人工智能算法模型采用不同的AI 技術框架構建，模型的技術標準、管理規范、模型的存儲和運行環境等各不相同，已建成的人工智能推理平臺、語音服務平臺、人臉識別平臺只能通過接口的方式提供服務，無法直觀的進行功能展示，用戶體驗較差[2]。讓人工智能更緊密的結合業務發展，進一步提升用戶體驗，為用戶提供更高效的人工智能服務能力，滿足日益增長的業務需求，是該電力公司亟需開展的重點工作。同時，各人工智能平臺由各自承建團隊研發建設、運行維護，對不同模型及數據難以集約化管理，導致建設和運維成本較高[3]。由此提出有必要建設人工智能服務平臺，通過云服務方式提供各類即席AI 服務發布、對各自模型和算法進行規劃化、集約化管理，加深用戶對AI 產品的認知和可信度，賦能業務發展。

隨著云計算、云平臺的技術發展，為上述問題提供了較好的技術解決方案。越來越多互聯網廠家采用云技術提供各自AI 服務和產品，將云作為人工智能在各行業落地部署及應用發布的重要載體已成為主流趨勢[4]。AIaaS（AI as a Service）人工智能云服務平臺是目前主流的人工智能平臺的服務方式，類似于WordPress 中的博客有很多在線的插件，用戶可以根據自己的需要免費或者付費的方式下載并安裝自己需要的插件。國內常見的互聯網公司如：阿里云、華為云、騰訊云、百度云皆有自己的人工智能服務平臺。文獻[5]介紹了IBM 公司在Cloud-AI 服務云上部署并發布了Watson Studio、Watson Machine Learning、及其他AI 服務，其中Watson Studio 用于構建和培訓AI 模型，準備數據和對數據執行分析；Watson Machine Learning 用于幫助數據研究員和開發人員共同努力，加速部署流程，并將AI 集成到應用程序中。文獻[6]介紹了亞馬遜公司提供的人工智能云服務平臺，集成部署了Amazon Comprehend、Amazon Forecast、Amazon Len、Amazon Personalize 等AI 組件，通過AI 云發布提供的AI 服務包括圖像和視頻分析、自然語言、個性化建議、虛擬助手、智能預測等。

然而，上述互聯網的AI 云服務AIaaS 平臺及其AI 服務產品大都是成熟的普適性的商用套件，難以滿足企業級用戶實際的應用及業務發展需要。同時，由于安全性、數據私密性考慮，大型國企難以直接應用互聯網的商用AIaaS 平臺及其產品[7]。鑒于云計算的本源是虛擬化技術，容器技術是云虛擬化較好的實現方法，具有對CPU、內存等系統資源占用少、啟動快、可擴展性強等優點，通過容器化技術將數據處理、AI 智能算法和模型部署在容器中，能夠較好地支撐各業務AI 應用管理、部署和服務[8]。由此，提出采用開源的K8S 容器化技術，并導入集成OpenVINO ?Model Server 組件套件，搭建企業級AIaaS 人工智能云服務平臺，實現AI 模型和算法快速部署、集約化管理和共享發布。

2 平臺規劃及架構設計

2.1 總體架構

基于上述調研情況，提出的AIaaS 平臺需整合多種現有的主流機器學習計算框架，支持模型從數據集選擇、模型創建、訓練及發布的全流程一站式管理，構建面向電力企業業務領域的算法庫、模型庫及數據樣本庫[9]。如圖1 所示，總體架構由基礎能力資源層、人工智能服務平臺層、人工智能應用層三層構成：基礎能力資源層為企業信息化建設提供所需的計算、存儲、網絡等IDC 基礎資源；人工智能服務平臺層為人工智能服務、運維、運營提供所需的能力組件及功能模塊；人工智能應用層聚集AI 企業業務及其應用，從人工智能服務平臺層調用所需的AI 產品或服務[10]。文章重點關注人工智能服務平臺層的構建。

圖1 總體架構設計圖

2.2 功能架構

AIaaS 平臺功能架構如圖2 所示，總體規劃包括數據管理、模型開發、平臺服務、運營管理、運維管理、安全管理六大功能模塊集。

圖2 功能架構設計圖

功能模塊設計說明如下：

1）數據管理，通過從數據中臺接入視頻、圖像、語音、文本等多類型業務數據，提供數據預處理、數據標注、數據存儲以用于模型訓練數據準備，并形成企業級樣本庫；

2）模型開發，實現模型的構建、訓練、迭代、發布，主要包括模型創建、模型訓練、模型驗證評價、算法模型庫管理、模型發布；

3）平臺服務，面向用戶或各類業務系統提供統一的機器學習、計算機視覺、自然語言處理、知識圖譜、智能語音等應用服務或接口服務；

4）運營管理，向運營人員提供服務管理、服務商店、應用管理、接口管理等運營管理功能；

5）運維管理，向運維人員提供配置管理、資源管理、作業管理、日志管理、監控告警、角色管理等運行維護功能；

6）安全管理，解決平臺提供服務的過程中產生的諸如身份鑒別、訪問控制和數據隱私保護等安全問題，支持對訪問的終端及客戶端進行認證及操作日志安全審計等功能。

2.3 業務架構

文中規劃的AIaaS 平臺具備兩大能力：1）模型和算法的集約化納管、部署，以減少部署和運維成本；2）服務和產品的發布，提高用戶體驗水平。業務架構如圖3 所示，為支撐人工智能業務開展，AIaaS 平臺具備三大業務能力，具體包括即席服務、能力介紹和案例推廣。

圖3 業務架構設計圖

業務架構設計說明如下：

1）即席服務：作為統一的人工智能體驗中心，通過人工智能即席服務，實現服務在線展示和在線試用能力，提供統一直觀的人工智能體驗；

2）能力介紹：作為統一的能力展示中心，實現人工智能圖像、語音、RPA 等模型能力在線展示，用戶可以查看相關模型能力，并根據應用需求進行查詢，幫助用戶實現人工智能技術場景；

3）案列推廣：作為統一的方案分享中心，對已有的人工智能成功案列和場景進行歸納總結，統一發布到應用案例，供用戶進行查看，幫助用戶學習和使用相似案例。

即席服務業務按服務對象分為業務類即席服務和公共類即席服務。對電力業務專屬性強的AI 服務歸屬于業務類即席服務，如視頻質量監測、安全生產智能監控、智能信訪、智能審計、輸電線路智能監拍等；其他公共類的即席服務包括人臉識別、通用文字識別、通用票據識別、通用卡證識別、出行類文字識別、語音識別等。

2.4 技術架構

為支撐AIaaS 平臺建設，如圖4 所示，提出了平臺技術架構圖，其由平臺層、模型層、展現層、應用層構成。

圖4 技術架構設計圖

技術架構設計說明如下：

1）平臺層可預置諸多開源模型及算法，如通用文字識別、人臉識別、語音語義等；

2）模型層主要是基于模型庫，為第三方供應商提供模型統一管理、邏輯隔離的能力；

3）展現層基于平臺和模型層內的行業算法，提供如資源視圖、可視化作業、智能檢索等能力；

4）應用層主要依托于底層的人工智能能力，構筑人工智能創新類應用。

3 關鍵技術研究

3.1 Kubernetes（K8S）容器化框架

云計算的核心本質是虛擬化技術，AIaaS 以云平臺為載體的進行構建。K8S 是基于容器的集群管理平臺，能高效管理更多的虛擬化節點，更適合構建大型企業級企業平臺，其架構如圖5 所示。

圖5 K8S架構示意圖

Master 作為主節點負責多個業務節點Node 的調度管理。Node 作為工作節點，負責具體業務的處理，包含Pod、Service、Volume、Namespace、Lable 等組件。Master 作為主節點，管理并控制了多個Node 節點；在Node 節點上，Pod 組件作為被管理的最小單元，可部署多個Docker 容器，類似邏輯主機，每個Pod 分配單獨的IP 地址，可視為單獨的Linux 主機進行系統部署應用[11]。

3.2 K8S導入集成OpenVINO?Model Server

OpenVINO?Model Server 是英特爾公司推出的面向人工智能的組件套件，可基于英特爾架構的強大算力，便捷、高效地完成AI 模型部署。組件架構設計如圖6 所示，為支持AI 服務更好地發布和調用，設計了兩種標準API 接口gRPC、REST，可供用戶在本地或遠程不同場景下調用，被調用的AI 服務及其模型被部署在容器內的OpenVINO?Model Server 框架內[12]。服務中的系統調度器接收到工作任務后，會把其分配給推理引擎，推理引擎一方面，會根據不同的基礎設施組件，如可擴展處理器、服務器GPU、現場可編程門陣列（Field Programmable Gate Array，FPGA）等，調用其相對應的設備優化插件；另一方面，則會把經過模型優化器優化轉換的中間表示文件（Intermediate Representation，IR）與設備優化插件相結合，從而在容器中提供高性能推理服務，并在不同架構硬件基礎設施上都能發揮出更高效能[13]。

圖6 OpenVINO?Model Server 架構圖

在高性能開源K8S 容器平臺上導入并集成OpenVINO ?Model Server 組件設計方案如圖7 所示。在基礎設施架構層，充分利舊現有的計算、存儲與網絡產品，構建數據中心基礎設施架構，為用戶及其AI 服務提供強大的計算、存儲和數據傳輸能力；K8S 虛擬化層具備節點管理和調度能力，可充分利用基礎設施的資源能力，并具備較好的可擴展性；AI服務層面向用戶，提供客戶多樣化場景的AI 服務調用，滿足AIaaS 平臺即席服務、能力介紹、案列推廣等業務場景和用戶需求[14]。

圖7 技術方案設計圖

提出的方案設計具備以下優勢：1）實現了模型便捷部署和快速推理，較大降低了運維成本；2）通過容器鏡像部署方式，避免了部署環境及框架約束，提高了橫向擴展能力；3）標準化的API 調用訪問能力滿足了遠端及近端多場景的調用需求，提高了AI 服務能力。

4 案例及測試

以輸電線路缺陷視覺智能檢測場景為例，可通過監拍裝置或無人機應用AI 模型對線路及桿塔缺陷進行智能分析檢測[15]?；贏IaaS 平臺，工作流程包括數據采集、模型訓練及模型推理階段。當完成模型輸出后，即完成了模型的部署和案例發布；用戶可通過即席服務進行服務調用，通過輸入現場采集的圖片，并選擇模型進行調用及推理，最后輸出缺陷識別結果。依據模型對海量圖像、視頻內容實施檢測的推理過程，是該服務輸出高效生產力的關鍵環節[16]。同類技術如TensorFlow、PyTorch等，其模型部署工具通常只與某個單一框架綁定，限制了方案可用性和擴展性。

為驗證AIaaS 平臺框架的實際表現，對其在輸電線路缺陷智能檢測場景中的應用與TensorFlow 進行了對比測試檢驗，測試方案如下：1）測試場景：輸電線路缺陷智能識別；2）深度學習模型：MobileNetV2(BS=1)；3）測試組：K8S+OpenVINO?Model Serve21.1版本；對比組：TensorFlow Serving2.3.0 版本；4）測試標準：用戶并發數量。

測試結果如圖8 所示，TensorFlow 框架支持的并發用戶數為10個，而K8S+OpenVINO?Model Server框架為34個，同時并發客戶端的延時小于28 ms。

圖8 驗證測試結果圖

實驗結果表明，采用K8S+OpenVINO ?Model Server 框架構建的AIaaS 平臺框架具備同類計算框架具備更好的性能，完全滿足實際生產業務的應用需求。

5 結論

隨著人工智能結合生產業務的應用推廣，將滿足不同場景的AI 模型進行集約化部署管理，并提供用戶高質量的用戶體驗，是人工智能云服務的必要趨勢。針對人工智能云服務平臺進行了業務和技術調研，進行了業務規劃和架構設計，并提出了一種通過將OpenVINO?Model Server 組件導入集成到K8S容器的框架設計，構建了易部署、易維護的企業級AIaaS 云服務平臺，具備擴展性強、服務能力好等特點。經測試驗證，其平臺性能高于同類技術框架，具備較好的技術先進性和推廣性。后續將結合企業的安全性需要，從混合云角度考慮如何將外部的數據和模型進行有效管理，從而提高其共建共享能力。