云控遠程駕駛系統的設計與實現

高洪偉　呂貴林　陳濤　韓爽　隋聰

【摘要】為了加速自動駕駛商業化落地，為自動駕駛汽車提供遠程控制能力，提出一種融合5G通信網絡、云控平臺、視頻監控等多項技術的遠程遙控駕駛系統，車輛可以通過云平臺與遠端用戶連接，將車輛的速度、擋位、位置、胎壓等信息實時發送到系統，駕駛員可通過系統實時監測車輛的狀態信息，進行綜合決策，實現遠程控制車輛行駛，可以為高等級自動駕駛的商業落地提供安全冗余和有力保障。主要研究分析了基于5G通信技術的遠程駕駛系統的總體架構和基于系統各部分的架構設計方案。通過實車測試，驗證了云控遠程駕駛系統的性能，以及系統實際應用的可行性與先進性。

關鍵詞：5G網絡；遠程駕駛；云控；視頻監控

中圖分類號：TP273? ?文獻標志碼：A? DOI： 10.19822/j.cnki.1671-6329.20220165

Design and Implementation of Cloud-Controlled Remote Driving System

Gao Hongwei， Lü Guilin， Chen Tao， Han Shuang， Sui Cong

（Global R&D Center， China FAW Corporation Limited， Changchun 130013）

【Abstract】 In order to accelerate the large-scale commercialization of autonomous driving system and provide the remote control capability for autonomous vehicles， this paper proposes a remote driving system by integrating 5G communication network， cloud control platform， video monitoring and other technologies. The vehicle can connect with remote users through the cloud platform， and send the vehicle speed， gear， position， tire pressure and other information to the system in real time. Drivers can monitor the vehicle status information in real time through the system so as to make comprehensive decisions， and realize remote driving. It can provide safety redundancy and strong guarantee for the commercial landing of advanced automatic driving. The framework of the remote driving system based on 5G technology and the architectural design based on each part of the system are analyzed in this paper. Through the real vehicle test， the performance of the cloud-control remote driving system and its feasibility and superiority in application are verified.

Key words： 5G network， Remote driving， Cloud monitoring， Video monitoring

縮略語

IoT Hub? Internet of Things Hub

API? Application Programming Interface

GNSS? Global Navigation Satellite System

CAN? ? Controller Area Network

GPS? Global Positioning System

CPE Customer Premise Equipment

TSF Tencent Service Framework

IMU? ? ? Inertial Measurement Unit

SAAS Software as a Service

PAAS Platform as a Service

IAAS Infrastructure as a Service

CI Continuous Integration

CD Continuous Delivery

0 引言

在智能交通領域，5G通信技術以其高性能、低時延和高容量等優勢，為智能交通系統提供了技術支撐，為實現自動駕駛奠定了基礎[1，2]。當前，由于技術限制和制造成本高，自動駕駛技術仍處于L3級別，即有條件的自動駕駛。在這一背景下，車聯網成為解決自動駕駛技術和安全難題的有效途徑[3]。然而，目前自動駕駛技術仍不成熟，為了彌補技術不足，遠程駕駛技術備受關注[4]。遠程駕駛技術是非常精確的遠程操作，有著廣泛的應用前景。該項技術使得車輛在惡劣環境、危險工作區域（如煤礦、錫礦等地區以及人類無法到達的地方），可以通過遠程駕駛實現危險品以及礦區車輛運輸[5]。為了提高駕駛安全性，通過無線通信網絡連接遠端車輛，并在遠程駕駛平臺通過采集駕駛模擬器的控制信號下發至車輛，進行遠程駕駛[6]。同時，該技術如果能夠投入到物流行業及共享汽車領域，未來調度車輛的成本也將大幅降低[7]。因此，對5G遠程駕駛技術進行研究有著非常重要的現實意義。目前，大多數遠程駕駛技術仍受到場景的限制，通?；谠O計的模擬駕駛艙來實現。文獻[8]、文獻[9]通過設計模擬駕駛艙成功實現了遠程駕駛車輛。張凱[9]將遠程駕駛技術應用到自動化集裝箱碼頭，拓展了該項技術在物流領域的應用。王遠淵[10]專注研究智能船舶的遠程駕駛技術，分析了遠程駕駛在海運行業的技術前景。

本文聚焦智能網聯汽車中的遠程駕駛技術，通過將車輛的狀態信息實時發送到遠程駕駛平臺，實現對車輛的遠程監測和操作。嘗試將遠程駕駛技術的控制媒介從傳統的駕駛模擬艙轉變為更為日?；皖l繁使用的移動應用程序（APP）。這一設計降低遠程駕駛的成本，并擺脫了以往對特定場景的依賴，為遠程駕駛技術的推廣和應用提供了可行案例。

1 遠程駕駛系統架構設計

對于遠程駕駛而言，為了保證安全性和可靠性，系統需要具備以下4個特點。

（1）低時延：視頻傳輸時延和車輛控制信息傳輸時延應盡可能低，讓駕駛員能實時觀察到車輛周圍環境，同時在駕駛員做出操作時，車輛能夠實時響應。

（2）合適的控制信息發送頻率：信息發送頻率直接影響到遠程駕駛的駕駛體驗和安全性。過快的發送頻率會導致網絡擁塞，過慢的發送頻率會導致車輛反饋不及時，操作有明顯的滯后感。

（3）穩定性：數據傳輸過程中的丟包問題會導致汽車控制指令失序和控制不當[11]。因此，遠程駕駛在數據傳輸過程中，可以對報文增加時間戳和任務編號等輔助信息，確保車內指令按順序執行。

（4）清晰且流暢的視頻畫面：遠程駕駛過程中，駕駛員只能通過視頻信息判斷車輛周圍環境，視頻卡頓或者不清晰會增加駕駛員的反應時間，增大事故發生的可能性。

遠程駕駛目前仍采用遠程駕駛艙的形式[11]（圖1）?？紤]到以往的遠程駕駛會受到駕駛艙的限制，不能隨時隨地進行遠程操作，本文采用手機APP作為遠程控制系統的載體。

本文設計的遠程駕駛系統主要包含4部分：車端、手機端、云端、通信網絡，具體架構如圖2所示。

遠程駕駛系統分為用戶端、云端和設備端。用戶端為用戶直接使用的遠程駕駛平臺（手機APP），包括視頻監控、車況顯示、最大速度控制、擋位和駐車控制、車輛橫向控制和縱向控制功能。云端分為應用層、業務服務層、設備接入層和通信鏈路。云端和設備端、用戶端的通信鏈路主要分為3種。

（1）長連接物聯網通信網關（Internet of Things Hub， IoT Hub）：其主要應用于設備端和云端之間傳輸車況和故障信息，以及用戶端向云端發送控車指令。

（2）短連接應用程序編程接口（Application Programming Interface， API）：其主要應用于用戶端調用云端對外暴露的API接口，如車況請求接口、視頻請求接口。

（3）長鏈接協議：用于云端和設備端使用消息隊列（Rabbit Message Queue， RabbitMQ）傳輸視頻數據。RabbitMQ是由Erlang語言開發，基于高級消息隊列協議（Advanced Message Queuing Protocol， AMQP）實現的消息隊列。設備端即本系統中的車端，其中全球導航衛星系統（Global Navigation Satellite System， GNSS）天線和定位裝置用于提供車輛定位信息，5G客戶前置設備（Customer Premise Equipment， CPE）作為通信單元，攝像頭用于提供車輛周身的視頻信息，車內部件和網關與車內控制器局域網絡（Controller Area Network， CAN）總線相連，用于提供車輛在行駛過程中的車況信息和故障信息，計算單元用于數據處理。

1.1 車端系統架構設計

1.1.1 車端硬件架構

基于5G通信技術的遠程駕駛系統的車端硬件架構基于車內計算單元實現，其主要分為4個模塊：視頻模塊、通信模塊、信息處理模塊和定位模塊，車端整體硬件架構如圖3所示。

其中，視頻處理模塊采集車輛前方、后方和左右后視攝像頭的視頻流，通過通信模塊推流到視頻服務器；通信模塊為車端的硬件設備提供5G通信網絡服務；信息處理模塊根據車輛CAN總線協議，提取報文經解析后通過通信模塊發送，同時接收遠程駕駛平臺下發的控制指令，封裝為總線報文，下行傳輸控制車輛；車輛定位模塊，通過慣性導航設備和GNSS天線采集車輛的GPS值和航向角，再通過通信模塊發送到云平臺。

1.1.2 車端軟件架構

本系統車端軟件架構功能主要分為視頻采集、發送車端數據、接收云平臺數據執行3部分。車端軟件架構如圖4所示。

視頻模塊從攝像頭采集原始視頻流，使用OpenCV對視頻進行編碼，最后壓縮成Base64編碼推流到視頻服務器。車云之間通過IoT Hub進行通信，使用消息隊列遙測傳輸協議（Message Queuing Telemetry Transport， MQTT）傳輸JSON字符串，數據傳輸分為數據上行和數據下行，數據上行傳輸部分從解析車輛CAN總線數據開始，到封裝成固定格式的JSON字符串，最后通過5G通信網絡傳輸到遠程駕駛平臺[13]，車輛上傳的消息所包含字段見表1。數據下行傳輸部分包括車端接收遠程駕駛平臺控制指令、解析指令、計算單元下發指令，執行控車[14]，車輛接收到的消息所包含具體字段見表2。

1.2 遠程駕駛平臺（手機APP）架構設計

在本系統中，開發手機APP來實現遠程駕駛平臺，主要工作包含APP前端界面設計和后端應用服務開發2部分，APP界面設計如圖5所示，主要包含以下9部分。

（1）最大速度選擇按鈕：可以實現對車輛最大速度的設置，可以實現不同速度下的車輛控制。

（2）退出：退出遠程駕駛頁面，并結束控車。

（3）拍照：拍攝車端前后左右攝像頭當前圖像，并上傳到云平臺進行存儲。

（4）轉向盤：實現車輛橫向控制。

（5）前進、后退：實現車輛縱向控制。

（6）緊急制動：以設定的最大減速度實現減速制動。

（7）車速和擋位：顯示車輛當前車速和擋位信息。

（8）遙控開始：表示啟動遠程遙控功能。

（9）左右+前后視角：顯示車輛左右視角和前后視角，其中，前后視角根據擋位狀態自動切換。

APP后端應用服務主要包括接收車端上行傳輸的數據包、解析車端數據包、拉取視頻流、轉發數據包至界面程序、采集用戶操作信號、發送控制指令至車端等功能。

1.3 云平臺架構設計

云平臺滿足遠程駕駛平臺（手機APP）和車端遠距離通信的要求，應該具備以下基礎功能：APP和車端的信息交互；記錄車輛遙控過程中的車況、故障；管理車輛上傳和APP拉取的視頻流。

本系統的云平臺分為業務服務層、基礎平臺層、基礎設施層，云平臺架構（圖6）?；A設施層包含服務器、網絡、安全、業務監控等?；A平臺層包含設備接入網關、數據庫、組件庫和微服務平臺（Tencent Service Framework， TSF）框架。業務服務層基于先進的微服務架構開發，各微服務業務解耦。

1.3.1 APP后臺

APP后臺在網關（GateWay）類中開放接口，接收手機APP發送的遠程請求，包括遠程打開/關閉視頻、查詢車況、打開/關閉遙控駕駛的功能。APP后臺將接收到的JSON消息進行解析，填充VideoRequest，VehicleStatusRequest，RemoteDrivingRequest，CloseRemoteDriving實體類數據。同時將視頻請求通過聲明式服務調用（Feign）發送給視頻處理服務，將啟動/關閉遠程駕駛請求發送給遠程駕駛服務。

1.3.2 視頻處理

視頻處理服務主要實現請求/關閉視頻流和拍照的功能，根據VideoType字段判斷對哪個視頻流進行操作，根據ServiceType字段判斷對視頻流進行何種操作。將接收到的請求通過Feign轉發給遠程控制服務，將消息實時發送給車端或者APP端。其中，若收到關閉視頻的請求，除了轉發請求外，還需要對相應的視頻流進行主動關閉。

1.3.3 遠程駕駛服務

遠程駕駛服務主要實現2個功能：

（1）接收車輛故障信息，在接收到車輛故障信息后，將信息轉發給遠程控制服務。

（2）開啟/關閉遠程駕駛，若接收到開啟/關閉遠程駕駛請求，則發送控制指令給遠程控制服務。

1.3.4 數據上行

在IoT Hub上配置Kafka消息隊列，數據上行服務作為消費者，使用MsgConsumer類來循環讀取消息隊列中數據，對數據進行Base64解碼，使用JSON消息格式解析數據，并將解析后的數據根據消息類型，使用MsgProducer類將不同的消息發送到對應的Kafka 主題（Topic）中。

1.3.5 數據下行

數據下行服務使用MsgConsumer類消費Kafka數據，根據Type字段區分接收消息是發送給車端還是APP端。根據不同的消息讀取對應的IoT Hub配置信息，利用配置信息生成hmac-sha1簽名，將簽名和發送信息進行拼接，完成鑒權，最后通過Post請求發送給IoT Hub。

1.3.6 車輛狀態機

車輛狀態機服務使用VehUpStreamReceiver接收數據上行分發到Kafka中的車況信息，然后根據Vin字段寫入到對應車輛的Redis中間件中。同時通過StatusMachineController類提供查詢車況的功能，返回數據庫內當前車輛的車況信息。

1.3.7 遠程控制

遠程控制主要實現遠程發送控車指令和視頻請求的功能，供上層微服務調用，同時對指令消息發送頻率進行控制，控制上層服務不能短時間內發送大量消息，以防Kafka消息隊列堵塞，或者超過IoT Hub的最大消息頻率。在接收到上層微服務發送的請求后，使用MsgProducer類對消息進行封裝，送入Kafka對應的Topic中。

1.3.8 事件監聽消息分發

事件監聽消息分發使用KafkaReceiver類從Kafka中讀取對應Topic的故障信息，將故障信息進行記錄并通過RemoteDrivingNoticeFeign類將故障信息發送到遠程駕駛服務和APP后臺服務。

1.3.9 車輛狀態機

車輛狀態機用于接收車況信息，根據車架號對不同車輛的車況信息進行持久化存儲，支撐遠程駕駛平臺獲取車輛實時狀態數據，也可以對車輛行駛狀況進行還原和異常情況分析。車輛狀態機數據庫設計見表3。

2 遠程駕駛系統驗證

2.1 試驗系統搭建

2.1.1 車端系統搭建

車端硬件設備組成包括攝像頭、計算單元、5G 客戶終端設備（Customer Premise Equipment， CPE）和定位設備等，具體設備部署如圖7所示。

在本系統設計中，車端前保險杠部署了環視相機，用于拍攝車輛正前方景象；在車端左右后視鏡下和車輛正后方部署了三路攝像頭，用來模擬車輛后視鏡畫面，提供車后畫面；車輛經過改裝，車內設備采用12 V電壓供電，工控機需要將電壓轉為24 V進行供電。

在車端部署了慣導設備，慣導設備是車輛定位的核心設備，包括慣性測量單元（Inertial Measurement Unit，IMU）和GNSS[15]。根據性能需求，選擇了戴世IFS2000，設備支持多星座多頻段定位，能夠自主識別衛星數據的定位方差和速度方差，再結合設備標定參數值決定是否融合衛星定位數據。其內置算法支持從CAN總線直接讀取輪速和擋位信號并進行濾波融合，且在沒有GNSS的情況下依然能夠持久地進行運動測量和輸出高精度的定位數據。

車端計算單元使用研華工控機宸曜Nuvo-8240GC，5G通信網絡由華為5G CPE提供，該設備內置5G/LTE主集天線，插入5G SIM卡后可提供5G網絡，車端攝像頭視頻流可直接通過CPE提供的5G網絡推流到視頻服務器。

2.1.2 云平臺系統搭建

云平臺采用容器部署方式，部署在TSF微服務平臺，使用MySQL、Redis等數據庫和中間件。云端部署架構見圖8。

2.2 實車驗證

2.2.1 視頻模塊驗證

在5G網絡條件下使用客戶端對視頻進行拉取，對視頻性能進行定量分析。選取PC和安卓手機2個設備作為客戶端，對視頻進行拉取，PC端測試網絡為百兆網絡，安卓手機測試網絡為5G，試驗的視頻流分辨率為720和1 080。針對以上試驗環境，試驗視頻傳輸所需帶寬、網絡波動和視頻延時的性能。其中，網絡波動采用1 min內視頻每秒傳輸數據量的極值差和平均值的比值來衡量，具體測試數據見表4。

2.2.2 遠程控車模塊測試

將APP和車端用同一個對時服務器（Network Time Protocol，NTP）進行時間校準，APP下發控車指令時帶上當前時間戳，將車端接收到指令后與當前時間戳的差值作為延遲值。針對3個指令進行試驗，分別為制動指令、擋位指令和基礎控車指令（車輛前進后退）指令，試驗結果見圖9～圖11。因為在實際操作過程中，擋位和制動指令的發送頻率要遠低于基礎控車指令，因此對于制動和擋位指令在不同時間段試驗15次，對于基礎控車指令，在不同時間段試驗100次。每條控制指令的平均延遲，最大延遲和最低延遲見表5。結合試驗結果和實際體驗發現，此時延遲在低速情況下滿足遠程駕駛的延遲要求。

2.3 試驗結果分析

低視頻延遲在遠程駕駛中至關重要。視頻延遲相當于延后了駕駛員看到周圍環境的時間，增加了駕駛員做出反應的時間。就視頻傳輸方案而言，對比王銳松等[12]采用的視頻傳輸方案，其傳輸時延在187.74～567.48 ms，本文提出的視頻傳輸方案在分辨率為720和1 080的下傳輸延遲均可以達到100 ms以內，大大減少了視頻延遲。此外，由于存在視覺暫留現象[16]，視神經對物體的印象卻不會立即消失，而是要延續0.1～0.4 s的時間，這就需要保證視頻刷新率至少為10幀/s，本文中的視頻刷新率均為24幀/s，且支持分辨率為720和1 080，保證視頻清晰度。

車輛控制延遲和控制頻率影響車輛響應時間和駕駛員的駕駛體驗。本系統中控制頻率為50 Hz，操作過程中沒有明顯的滯后感，且車輛控制的平均時延在80 ms以內，考慮到網絡波動問題，假設延遲為100 ms。結合文獻[17]，以制動的反應時間為例，無事故駕駛員的平均制動反應時間為0.377 s，出事故的駕駛員平均制動反應時間為0.393 s，故假設駕駛員的制動反應為0.4 s。將視頻延時，控車指令傳輸延時和駕駛員反映時間考慮在內，駕駛員的制動反應時間約為0.6 s。鄭彬雙[18]指出自動駕駛車輛制動減速度處于－2～0 m/s2時，自動駕駛汽車的駕駛舒適度更高、更安全。因此在本系統中，車輛設置制動減速度為－1 m/s2，考慮不同車速，理想條件下車輛應保持的安全距離見表6（高速情況下制動距離過大，不適合進行遠程駕駛，故不列出）。

綜上可知，遠程駕駛視頻傳輸應滿足刷新率至少為10幀/s，分辨率為720。同時在網絡通暢、無丟包的情況下，應該在不同的車速下保持不同的安全距離。鑒于車輛的制動距離與信息傳輸延遲、車速呈正相關這一特點，在網絡延遲較大的情況下，應保持更大的安全距離。除此以外，為了應對網絡丟包等極端情況，車輛應配備應急程序，實時監控網絡環境，在網絡環境不佳或存在碰撞風險時，采取緊急制動。

3 結束語

汽車自動駕駛技術一直不斷發展、不斷進步，在這個領域內有很多企業持續加大研發力度，而遠程駕駛技術作為自動駕駛的關鍵技術之一，可以更好地輔助自動駕駛技術的發展。因此，遠程駕駛系統的開發對于自動駕駛汽車有著重要意義。

（1）視頻模塊部分，在整個系統的數據傳輸中，由于視頻需要較高的分辨率，視頻傳輸對帶寬的要求很高，可以通過應用基于深度學習框架的端到端的視頻壓縮技術，提高壓縮效率。

（2）車輛攝像頭所采集到的視頻存在視野盲區和圖像畸變，視頻傳輸和APP控車也存在一定的延遲，這些都會導致遠程駕駛員錯誤判斷當前車輛周圍環境，做出錯誤的決策，因此車輛需要緊急避障功能，在駕駛員遠程操作失誤時，能緊急應對危險情況。

參 考 文 獻

[1] 劉津晶. 5G車聯網不僅為自動駕駛而生[N]. 中國電子報， 2020-01-07（8）.

[2] 商立昌， 趙懷黨， 王健宇. 物聯網環境背景下的 5G 通信技術應用研究[J]. 電子通信與計算機科學， 2023， 5（1）： 111-113.

[3] EL MADANI S， MOTAHHIR S， EL GHZIZAL A. Internet of Vehicles： Concept， Process， Security Aspects and Solutions[J]. Multimedia Tools and Applications， 2022， 81（12）： 16563-16587.

[4] WISEMAN Y. Autonomous Vehicles[M]//Research Anthology on Cross-disciplinary Designs and Applications of Automation. Pennsylvania： IGI Global， 2022： 878-889.

[5] 隋聰. 基于 V2X 的碰撞預警提示與遠程駕駛系統的設計與實現[D]. 長春：吉林大學， 2021.

[6] AMADOR O， ARAMRATTANA M， VINEL A. A Survey on Remote Operation of Road Vehicles[J]. IEEE Access， 2022， 10： 130135-130154.

[7] HAN W， MA J Y， LIU H. Application of the Internet of Vehicles in Logistics Management System[C]//Proceedings of 2019 2nd International Conference on Computer Science and Advanced Materials， 2019.

[8] 楊良義， 鄧長禎， 劉飛洋. 面向 5G 遠程自動駕駛的 CPSS 控制系統研究[J]. 重慶理工大學學報 （自然科學）， 2022， 36（2）： 20-27.

[9] 張凱，王學謙，張煜，等.自動化集裝箱碼頭遠程駕駛控制系統設計[J]. 起重運輸機械， 2022（6）： 65-68+72.

[10] 王遠淵， 劉佳侖， 馬楓， 等. 智能船舶遠程駕駛控制技術研究現狀與趨勢[J]. 中國艦船研究， 2021， 16（1）： 14.

[11] 朱陳偉， 鄭佳， 關寧. 基于5G網絡的車輛遠程駕駛場景研究[J]. 汽車制造業， 2021（5）： 15-18.

[12] 王銳松， 吳曉東. 面向遠程駕駛的數據通訊交互時延分析[J]. 電子技術與軟件工程， 2021（22）： 22-25.

[13] 吳敏捷. 基于CAN總線的車輛遠程監控系統硬件設計[J]. 機電產品開發與創新， 2010， 23（6）： 109-111.

[14] JIAN Y M. Design and Production of Bluetooth Remote Control Smart Car[C]//Proceedings of 2020 5th International Conference on Mechatronics， Control and Electronic Engineering， 2020.

[15] 寧予， 張智清， 劉明春. 基于慣導系統的智能汽車定位技術應用[J]. 智能網聯汽車， 2020（5）： 88-91.

[16] 王立文， 王劍薇. 視覺暫留[J]. 中國科技教育， 2019（2）： 52-53.

[17] 劉志強， 趙艷萍， 汪彭. 道路交通安全工程[M]. 北京： 高等教育出版社， 2012.

[18] 鄭彬雙. 無人駕駛車輛制動過程瀝青路面抗滑特性及感應需求研究[D]. 南京： 東南大學， 2021.

（責任編輯 明慧）

【作者簡介】

高洪偉（1982—），男，中國第一汽車股份有限公司研發總院，高級工程師，研究方向為智能網聯汽車技術。

E-mail：gaohongwei@faw.com.cn

呂貴林（1980—），男，中國第一汽車股份有限公司研發總院，高級工程師，研究方向為智能網聯汽車技術。

E-mail：lvguilin@faw.com.cn

陳濤（1984—），男，中國第一汽車股份有限公司研發總院，高級工程師，研究方向為智能網聯汽車技術。

E-mail：chentao5@faw.com.cn

韓爽（1991—），女，中國第一汽車股份有限公司研發總院，工程師，研究方向為智能網聯汽車技術。

E-mail：hanshuang@faw.com.cn

隋聰（1993—），男，中國第一汽車股份有限公司研發總院，工程師，研究方向為智能網聯汽車技術。

E-mail：suicong3@faw.com.cn