立體沉浸式遠程體控機器人系統

王金金 阿迪思 白雪 王欽 熊沁茹

摘 要：項目利用立體沉浸技術和體感控制技術，創新性地將虛擬現實技術應用于監測控制領域，提出遠程三維立體沉浸式智能體感控制概念與技術路線。利用電子雙目攝像頭和虛擬現實技術的顯示設備構建三維立體沉浸式監控環境;利用搭載在頭部和手臂的姿態傳感器、單片機和無線收發模塊構建體感控制部分，方便觀察者自由選擇觀察方向與視角，交互性、動作性和自主性較強。立體沉浸式體控機器人能夠實現遠程沉浸式操作，并結合輪式、履帶式等移動機器人或航拍機器人，以更直觀、自由的體感控制方式完成各類特定任務，使機器人工作更加安全、可靠和高效。文中提出了立體沉浸式遠程體感智能控制器的設計方案，將其應用到輪式移動機械臂的遠程立體沉浸式體感控制中，完成了原理樣機的測試與分析。

關鍵詞：沉浸式系統;體感控制;虛擬現實;人機交互

1 概 述

1.1 項目背景及意義

2011年日本核電站發生了特大核泄漏事故后，核電站內的核燃料暴露在外并持續高溫亟待冷卻，而高危環境下的救援搶險工作以及高污染環境的質量監測工作會對人體產生潛在危害，甚至威脅到人身安全。為避免此種情況造成的傷害，可采用智能機器人代替人工進行操作，既可以保證救援人員的生命安全，還可以通過控制精度保證機器人工作的可靠性、高效性和適用性。遠程體感控制機器人集人機交互、沉浸式監測與體感控制于一體，可實現遠程沉浸式操控，更加直觀、自由、安全、可靠、高效。

1.2 國內外研究現狀

沉浸式虛擬現實（immersiveVR）技術能為參與者提供完全沉浸的體驗，使用戶有置身于虛擬世界的感覺。其中，遠程自主式智能控制系統具有遠程控制、無需人工現場監控、代替人進行一些智能操作的特點;虛擬現實技術則利用頭盔顯示器將用戶的視覺、聽覺封閉起來，產生虛擬視覺;與此同時，讓參與者對系統主機下達操作命令，頭、手、眼均有相應的頭部跟蹤器、手部跟蹤器、眼睛視向跟蹤器的追蹤，使系統具有實時性。

日本原子能研究學會在1999年東海燃料處理設施發生核事故后研制了坦克式機器人，它高1.5 m，重500 kg。這款機器人每分鐘大約移動40 m，可以在距控制器1.1 km的距離范圍內操作，如圖1（a）所示。

2013年，千葉工業大學公開了水陸兩用核電站機器人“櫻花2號”，如圖1（b）所示。該新型機器人可以在廢墟上自由行走，且可通過遠程控制，使手臂進行和人相同的復雜動作。具有極強的抗輻射和防水功能，主要用于廢料清理。

2001年，美國iRobot公司研制出了Packbots，2008年推出最新軍用機器人產品Warrior， 如圖2所示。這兩款機器人都配有攝像機，把實時視頻流傳送給操作人員，操作人員使用游戲桿式的控制器操作機器人。其無線范圍超600 m，能夠繞過瓦礫，爬上臺階，下落1.8 m到混凝土上，即使完全浸入水中仍能工作。Warrior 710甚至能夠背著Packbots通過窗戶進入建筑物內部。

2017年2月22日，在國家旅業頭腦風暴大會上，國家旅游局信息中心、任我游（廈門）科技發展有限公司以及HTCVive攜手發布了“中國VR旅游云數據服務平臺”，如圖3所示。

1.3 設計要求及思路

遠程體控機器系統最大的困難在于準確捕捉使用者的姿態信息，根據使用者的姿態計算出控制器執行的動作。同時，如何通過無線方式將雙目攝像頭捕捉的大量圖像信息回傳到頭盔內的顯示屏至關重要。

立體沉浸式遠程體控機器人系統應滿足3D視覺效果好、立體感形成及畫面實時傳輸性好、遠距離無線數據鏈路通信、機械控制動作性強、能耗低等要求。

2 體感控制系統

2.1 機械臂的控制

2.1.1 姿態數據采集

為使立體沉浸式體感控制機器系統具備更好的人機交互性、自由性，在立體環境的基礎上設計了姿態數據采集與傳輸系統來完成和實現人機交互的相關功能，進一步增強沉浸式效果與體驗。系統主要由姿態傳感器、微處理器（MCU）、電源模塊和數據傳輸模塊等組成，可實現對人體頭部和手臂姿態的數據采集和數據傳輸。

（1）姿態傳感器

本系統選擇MPU6050模塊檢測人體頭部和手臂的姿態角度變化。MPU6050芯片內部集成有姿態傳感器、數字濾波、溫度傳感器、16位ADC及可擴展數字運動處理器（DMP）等。其中姿態傳感器選用慣性式姿態傳感器，包含三軸陀螺儀和三軸加速度計，可分別測量出運動的角速度和線加速度，經A/D轉換，濾波和數據融合處理便可得到反映真實機體狀態的姿態角。陀螺儀和加速度傳感器測量范圍可控，陀螺儀測量范圍為±2 000°/s，±1 000°/s，±500°/s，±250°/s;加速度計測量范圍為±16g，±8g，±4g，±2g。本項目中陀螺儀通過軟件將其測量范圍控制在相應范圍內。

MPU6050模塊通過波特率為9 600 b/s的串口完成所有設備寄存器與MCU的通信，并完成采集三軸加速度、三軸角速度的任務。

（2）微處理器（MCU）

微處理器采用具有低功耗、高性能以及更好兼容性等優點的樹莓派（RaspberryPi核心處理器為ARM），主要負責數據調試、控制機械臂和電子雙目轉動及姿態解算相關運算。

（3）驅動舵機

本項目使用TBSN-K15舵機，該舵機具有耐燒、穩定、虛位小、控制角度大等特點。

2.1.2 系統軟件設計

姿態數據采集與傳輸系統程序主要實現采集人體姿態數據、原始數據調試、姿態數據融合傳輸等功能，其控制流程如圖4所示。

采集人體姿態數據即采集人體運動過程中三軸加速度和角速度數據;姿態數據融合即選擇合適的融合方法處理采集到的人體姿態數據，以得到所需的姿態角;數據傳輸即將融合后的姿態數據通過數據線傳輸給控制電子雙目系統的MCU處理器。

2.1.3 數據采集與調試

利用MPU6050模塊采集的只是三軸加速度和三軸角速度的原始數據，姿態傳感器所要獲取的人體頭部和手臂姿態角的變化需經過數據融合處理才能得到。為保證姿態角的精確度和可靠性，需要對采集到的原始數據進行進一步調試與分析。MPU6050角度測試如圖5所示。

加速度計或陀螺儀輸出的原始數據都存在固有缺陷：當模塊處于變速運動狀態時，加速度計的輸出并非重力加速度，而是重力加速度和其自身加速度的矢量和。陀螺儀通過對角速度積分得到姿態角，隨著時間的推移，姿態角的誤差越來越大，所以單一的加速度計或陀螺儀都無法獲得正確的姿態角，需進行數據融合。

2.1.4 數據處理與集成

MPU6050模塊作為系統的數據獲取和感知部分，能夠準確、實時地獲得使用者的姿態角度。目前MEMS陀螺儀的精度不高，難以得到相對真實的姿態角度。為獲得準確性較高且可靠的姿態角度，必須對MEMS陀螺儀的隨機誤差進行補償，解決噪聲干擾與姿態最優估計問題，從而獲取最優姿態角度。

考慮到互補濾波算法雖然階次越高融合效果越好，但遲滯性顯著，從實時性和融合效果角度來看，Kalman濾波收斂速度和濾波效果平衡得較好，因此本系統采用卡爾曼濾波對來自加速度計和陀螺儀的信號進行融合。

集成芯片具有體積小、響應快、數據輸出穩定準確等優點，能夠及時、迅速地輸出當前姿態信息，精度高，濾波效果如圖6所示，MPU6050集成芯片如圖7所示。

集成芯片與單片機經串口通信，MPU6050輸出的原始數據經內部集成的姿態解算器和卡爾曼濾波算法后可直接輸出穩定、實時的姿態信息至MCU，MCU經數據線傳輸數據至控制電子雙目系統的MCU，該MCU可根據角度值輸出不同的指令，對電子雙目的轉動進行控制，最終帶給用戶沉浸式體感控制體驗。

集成后的芯片可安裝于頭盔式虛擬現實顯示設備和傳感器手套上，用于檢測和采集使用者的姿態角度信息。

2.1.5 體控機械臂其他方案

現有的沉浸式機器人多采用低延遲、高效率控制方式。由于近年來光學姿態采集器的發展，人們可以徒手遠程操控機械臂的運動。LeapMotion控制流程如圖8所示。

Leap的優勢在于軟件，由于使用了紅外LED+灰階camera，成本較低;僅處理手部3D信息，相較于Kinect需要生成全身的skeleton、復雜的depth信息，Leap的運行效率較高，對處理圖形的DSP要求較低。

此外，LeapMotion不受光線影響，即使在夜晚，同樣可以靈敏捕捉操作者的手部姿態。同時，用戶無需培訓即可方便地操縱機械臂。系統光學體控系統構件如圖9所示。

2.2 電子雙目控制

遠程體控機器人系統的最大特點是人與電子媒介終端的交互性好、操作性強，用戶可通過肢體動作控制電子雙目調節視野范圍。本控制系統主要由傳感環節與執行機構構成，其中傳感環節由姿態傳感器感知、獲取人體頭部運動信息并將該信息傳輸至單片機進行處理，單片機根據不同的姿態信號發送相關指令至執行機構，控制電子雙目做出相應的運動，實現具有人機交互性的體感控制。

2.2.1 控制系統設計

利用攝像機云臺作為執行機構對攝像機進行水平和垂直的移動和控制。攝像機云臺是一種安裝在攝像機支撐物上的工作平臺，用于攝像機與支撐物之間的連接，在云臺水平、垂直運動的同時，攜同攝像機做相同的運動。目前國內的云臺控制技術系統成熟，在云臺上安裝攝像頭后可調整攝像機水平和俯仰角度，同理，可通過控制機械臂轉動的舵機實現對機械臂的控制。

本系統樣機階段，攝像頭和機械臂將安裝在舵機之上。舵機是一種伺服馬達，其本身具有體積小、靈敏度高、可控性強等特點，可在微機電系統中作為基本的輸出執行機構，其簡單的控制和輸出使得單片機系統容易與之接口。舵機接收單片機發送的脈沖信號，轉過相應角度，實現對攝像頭位置的調整。舵機云臺將固定于智能小車上，智能小車作為電子雙目控制系統的載體，可程控各方向的啟停，調整設備的運動方向，完成探測任務。

2.2.2 舵機控制方式

舵機適用于角度需要不斷變化并保持的控制系統，如圖10所示。工作原理：控制信號由接收機通道進入信號調制芯片，獲得直流偏置電壓，其內部有一基準電路，產生周期為20 ms、寬度為1.5 ms的基準信號，將獲得的直流偏置電壓與電位器電壓比較，獲得電壓差輸出。最后，電壓差的正負輸出至電機驅動芯片決定電機的正反轉。當電機轉速一定時，通過級聯減速齒輪帶動電位器旋轉，使得電壓差為0 V，電機停止轉動。

舵機的控制信號是利用占空比變化改變舵機位置的PWM信號?？刹捎脝纹瑱C作為舵機的控制單元，使PWM信號的脈沖寬度實現微秒級變化，從而提高舵機的轉角精度。單片機完成控制算法后將計算結果轉化為PWM信號輸出至舵機。單片機系統是一個數字系統，其控制信號的變化依靠硬件計數，受外界干擾較小，工作可靠。

2.2.3 體感控制終端系統

為使電子雙目能夠進行水平和垂直運動，讓使用者擁有更好的體驗，本產品的人機交互功能選擇二自由度云臺對舵機進行控制。RB-150MG輕量型云臺是最新一代全金屬齒、大扭矩、大轉角范圍的機器人專用伺服舵機，性價比高，定位精準，可以在水平和垂直方向做二自由度運動，安裝攝像頭后可實現圖像反饋監控、識別定位追蹤。

RB-150MG云臺通過在正立的舵機上放置一個多功能舵機支架，實現電子雙目的水平運動;在該支架上安裝一個橫向放置的舵機，并將U型支架一側與該舵機相連，一側通過杯士軸承與多功能舵機支架結合，實現電子雙目的垂直運動，RB-150MG云臺如圖11所示。

采用9軸慣性姿態傳感器采集傳感器安放位置處的三個軸，即三個方向的角度數據，取其中代表水平方向、豎直俯仰方向范圍為-90°～+90°的兩個軸的數據模擬頭部運動，此數據經匹配后用無線方式來控制范圍為0°～180°的舵機實現相應轉動，由此實現頭部的體感控制。

2.3 遠程控制數據傳輸

2.3.1 傳感器數據的無線傳輸

體感控制系統通過采集人體頭部姿態信息及手臂姿態信息來控制機器人的攝像頭云臺及機械手的運動。通過nRF24L01單片無線收發器芯片實現100 m以內的無線傳輸。在機器人控制端及用戶體驗端分別接入無線模塊配合Arduino完成數據的交換傳輸，延時0.5 s，實時性好。

系統工作在2.4～2.5 GHz的ISM頻段，由頻率發生器、增強型“SchockBurst”模式控制器、功率放大器、晶體振蕩器等組成。輸出功率頻道選擇和協議設置可通過SPI接口進行。

nRF241擁有極低的電流消耗，當工作在發射模式下發射功率為0 dBm時電流消耗為11.3 mA ，接收模式時為12.3 mA，掉電模式和待機模式下電流消耗更低;數據包每次可傳輸1～32 B的數據;數據傳輸速率為2 Mb/s;寬電壓工作范圍為1.9～3.6 V，輸入引腳可承受5 V輸入電壓，適應各種芯片的輸出電壓，簡單易接。

2.3.2 無線通信距離的拓展

體感控制的真正意義在于其通信距離的遠程化，在保障控制精度的前提下，盡可能擴展傳輸距離以提高機器人的可用性?，F階段，環境基礎設施完善，可借助局域網訪問互聯網，實現兩局域網子機間的信息交換，方便快捷。

使用云端服務器登錄遠程控制管理臺即可控制服務器，實現功能。如果可以保證帶寬，由視覺傳感器采集的視頻信息也可以通過服務器訪問顯示。

3 立體沉浸式系統

沉浸式視頻即交互式立體視頻，是最接近人類視覺方式的三維視覺感知技術。其基本原理是使用兩個或多個攝像機從不同角度同一時間拍攝的視頻，來產生一個全面的3D數字視頻，運用計算機視覺和計算機圖形學為交互式視頻和電視觀察者提供一個“虛擬攝像機”，使觀察者可以自由選擇觀察方向和視角。立體沉浸式視頻增加了場景的深度信息，增強了現實感。

構建立體沉浸式的圖像環境需要電子雙目圖像采集系統、頭戴式虛擬現實顯示設備、姿態傳感器、控制系統等，如圖12所示。其中電子雙目圖像采集系統與虛擬現實設備共同構建立體環境，姿態傳感器配合控制系統實現體感控制。

圖像采集系統由電子雙目完成對場景的捕捉與圖像獲取，用兩臺攝像機模擬人的雙眼對景物進行拍攝，捕捉場景畫面并實時傳輸現場圖像，兩臺攝像機并列放置得到左、右兩幅具有視差的圖像，最后對該圖像進行融合處理或通過3D設備觀測圖像。

沉浸式顯示借助頭盔式虛擬現實顯示設備，使兩幅具有視差的圖像分別映入人的左右眼，人的大腦感知圖像視察信息，產生立體感。虛擬現實頭盔透鏡具有放大作用，使圖像充滿使用者的整個視界，從而使用戶產生強烈的沉浸感。在頭戴設備上加入姿態傳感器感知使用者的姿態信息來控制電子雙目的移動，由此構成強交互性、高自由度視點的沉浸式視頻體驗和智能體感控制系統。

3.1 圖像采集模塊

捕獲場景的空間信息并形成立體圖像是立體沉浸式環境構建的前提，要產生立體影像，單臺攝像機無法完成，所以本系統采用兩個同時工作的攝像頭，實時傳輸兩幅具有視差的圖像，反映空間場景、位置等信息。再通過頭戴觀測設備，使左右眼分別觀測到兩幅圖像，人的大腦對這兩幅圖像進行處理后，根據兩幅圖像的差異判斷物體與雙眼的距離等信息，在人的大腦中產生立體效果。電子雙目圖像采集如圖13所示。

常用的雙目立體視覺成像模型有平行雙目成像模型和匯聚雙目成像模型兩種，均應用兩個單目攝像頭取景。所得兩幅有視差的圖片在大腦中疊加融合處理，構成有深度立體效果的畫面。綜合人眼獲取圖像的運作方式，匯聚雙目成像模型更符合人眼的視覺習慣。在不考慮畸變和其他外界因素等情況下，雙目攝像系統可達到與人眼相似的立體成像效果。

兩個目標攝像機與三維模型的位置關系、兩個目標攝像機之間的距離、會聚角變化值等是影響立體效果的重要因素。為使電子雙目與人眼取景模型更貼合，僅研究主要影響因素，對研究模型作出假設：兩個攝像機的鏡頭完全相同，即聚焦值、白平衡、光圈值等參數相同;兩攝像機視野和目標距離均相同，即攝像機和目標左右對稱;攝像機觀測距離在一定范圍內，暫不考慮攝像機自動變焦和視角變化等問題;攝像機鏡頭中心和目標點在同一平面內，避免產生垂直視差;在工作過程中兩個攝像頭相對位置不變，成角固定;場景光線正常，所得圖像對符合要求。

3.2 圖像無線傳輸模塊

3.2.1 視頻圖像無線回傳

選擇路由器形成局域網的方式傳送圖像，如圖14所示。

3.2.2 OpenWrt系統

利用OpenWrt系統進行圖像無線傳輸的流程如圖15所示。

3.3 構建3D立體環境

3.3.1 虛擬現實設備

虛擬現實技術由計算機硬件、軟件及各種傳感器構成三維信息的虛擬環境，在虛擬現實環境中可直接實現虛擬場景中的實物交互。從本質上看，虛擬現實技術是一種先進的人機交互技術，其追求的技術目標是盡量使用戶與電腦虛擬環境進行自然式交互。

場景顯示方式及設備是虛擬現實系統中人機交互的基本組成部分，按照顯示方式分為頭盔式顯示、投影式、手持式和自由立體顯示方式等，本系統采用頭戴式設備進行研究與改造。

由于虛擬現實設備需要高精度傳感器、高清顯示屏和強大的計算能力等高端技術，因此大部分虛擬現實產品均基于個人電腦。本系統使用備受關注的基于手機的虛擬現實環境頭戴設備，如圖16所示。該設備將手機作為顯示器，通過分屏軟件及設備使電子雙目攝像頭捕捉的兩幅圖像分別呈現于手機顯示屏的左、右半屏，通過頭戴設備觀測，圖像映入人的大腦后經處理產生立體沉浸感。頭戴設備上將安裝陀螺儀姿態傳感器芯片，監測頭部運動形態，完成相應的人機交互，實現立體沉浸式體感控制。

本系統所用頭盔式顯示設備為Cardboard，Cardboard是款簡單的3D眼鏡，將手機安裝于設備前方作為顯示器，在該設備上安裝相應的陀螺儀姿態傳感器并連接至單片機，配合相應軟件控制即可實現沉浸式體感控制：陀螺儀傳感器芯片可實時檢測使用者頭部的位置和方向，并將信息傳輸至單片機，單片機根據使用者頭部位置和方向信息計算出人體當前姿態，從而控制攝像頭移動到相應位置，顯示當前視點下的場景，人體視點與電子雙目的同步性和交互性讓使用者產生強烈的沉浸感。該方案的優點在于Cardboard價格低廉，通用性好且便攜。

3.3.2 圖像分屏顯示

圖像通過無線方式傳輸到PC機后，通過登錄兩個網頁分別呈現電子雙目采集的圖像，如圖17所示。使用Splashtop可將畫面投射到手機顯示屏上進行同步顯示。在使用頭盔式顯示設備觀測前，需要在手機上手動將兩幅圖像調整到中間位置。經過多次測試，利用此方法可以得到延遲少、效果較好的圖像顯示，基本滿足同步性、畫質及立體的要求。

4 實驗樣機

4.1 硬件系統

4.1.1 可穿戴部分

系統可穿戴部分主要由傳感器手套、頭盔式虛擬現實設備組成。

傳感器手套需要搭載不同數量的MEMS陀螺儀加速度傳感器模塊、無線發送模塊、供電裝備（傳感器供電和無線發送模塊供電電壓為+3.3 V）。為保證每一個關節的運動都被捕捉到，需要精準地設計傳感器的分布位置，確定其運動的初始位置等。

頭盔式虛擬現實設備包括MEMS陀螺儀加速度傳感器模塊、頭盔框架、透鏡、無線發送模塊、顯示器搭載臺、供電裝備。在頭戴設備上加入姿態傳感器感知使用者的姿態信息來控制電子雙目的移動，就構成了強交互性、高自由度視點的沉浸式視頻體驗和智能體感控制系統。

4.1.2 機器人部分

硬件組成包括搭載小車模塊、雙目攝像頭和舵機云臺、機械臂仿生模塊。

小車模塊：小車上裝配有32路舵機控制板、樹莓派、電平轉換裝置、直流電機、鋰電池（舵機供電電壓+5 V）等。小車可以遙控操作，搭載一定質量物品（不高于5 kg）。

雙目攝像頭和舵機云臺：人的兩只眼睛在觀看物體時，雙眼的觀看角度略有差異，這種細微差距通過視神經傳輸到大腦中樞系統，大腦對其進行辨析處理，從而產生物體遠近錯落的景象，實現立體效果。

機械臂仿生模塊：固定在小車底盤的機械臂模塊由無線接收裝置、舵機控制器、舵機組成，與人體的手臂稍有不同的是，機械臂的關節有四個自由度，不包含上臂和肩關節，即通過肘關節、下臂、手掌完成操作。

4.2 樣機測試

對系統的機械臂控制、VR立體沉浸模塊及系統整體運行狀態進行測試。

（1） 機械臂控制測試

機械控制的動作性強，舵機控制精度達0.74°，控制端具有較高的自由度和靈活度，能夠與使用者的姿態動作保持一致和同步。同時使用者姿態信息的采集和捕捉要靈敏且快速，執行機構（機械臂等）慣性小，能夠快速準確響應。能耗低，可持續工作4 h。

（2）VR立體沉浸模塊測試

將移動機器人上的雙目視覺傳感器的視頻信號通過無線網絡傳輸到由手機構成的虛擬現實設備上，實驗結果表明，系統具有較好的3D視覺效果，立體感的形成及畫面的實時傳輸性較好，延遲約為0.5 s，本次設計可滿足500 m無線通信。

（3）樣機綜合測試

操作人員利用立體沉浸式系統控制移動機械臂完成貨物的搬運，基本滿足了項目的設計要求。

5 總結與展望

本項目在分析國內外相關技術研究現狀的基礎上，基于體感控制和虛擬現實技術，提出了立體沉浸式遠程體感智能控制器的設計方案，將其應用到了輪式移動機械臂的遠程立體沉浸式體感控制中，并對原理樣機進行了相關測試，系統具有通信距離遠、自由度高、延時小等優點。未來將進一步提升系統的遠程信息傳輸能力，使其能夠更好地適應惡劣的野外環境。