基于工業AR虛擬仿真的卷包裝備人機交互應用

沈 毅,周 睿,李 誠,吳 罡

(湖南中煙工業有限責任公司長沙卷煙廠,湖南 長沙 410007)

1 引言

《中國制造2025-重點領域技術路線圖》將AR增強現實、可穿戴式裝備等技術應用,列為智能制造核心領域的關鍵任務之一。工信部在“十四五”專項規劃中,將VR/AR終端的研發及產品化,作為加強推動5G/XR等關鍵技術應用的重要抓手,進一步引導企業創新發展。近年來,湖南某工業公司持續推動制造技術向數字化轉型,增強核心競爭力。該公司長沙廠面向生產一線人機協作難題,開展增強現實AR、虛擬仿真等前沿創新技術的試點驗證。該廠結合易地技改規劃建設的先行先試工作,研發出該公司第一款工業AR APP,搭建了面向煙機設備管理與運維的移動化、跨平臺和多功能應用,取得了AR技術在卷煙工業生產領域應用場景的交互式體驗,能夠緩解從業人員老齡化、運行成本增長,以及通過傳統的技術方法改進難以獲得過去正常的效率增長與效益挖掘等癥狀。

本文以卷包車間某中速硬盒包裝機設備示例,通過虛擬仿真設備的運行狀態和零部件運維,感知模型的虛擬裝配,打破設備常態管理的思維和流程,在人機設計上引導用戶自然領悟到用法,實現多人同步多終端協作的人機交互協調,搭載于安卓觸控平板電腦、穿戴式智能眼鏡的AR app,提升工廠生產制造流程的有效作業。

2 定義

增強現實技術(Augmented Reality Technique,AR),是在虛擬現實基礎上發展起來的新技術,通過計算機系統提供的信息增加用戶對現實世界感知的技術,并將計算機生成的虛擬物體、場景或系統提示信息疊加到真實場景中,實現對現實世界的增強[1]。這種技術將計算機生成的圖形與用戶在真實物理世界獲取的視覺信息組合在一起。

工業自動化領域將增強現實、混合現實等適用在工業制造及其運營環境的技術應用統一稱為“工業AR”,工業AR是工業智能領域的一個前沿研究分支,其落地是工業制造業IoT的運用方式,其特征是人工智能技術的發展趨勢[2]。

人機交互(Human-Computer Interaction,HCI)[3],是一門研究系統與用戶之間的交互關系的學問。自然人機交互技術是人機交互技術的一個主要研究方向,研究人和計算機之間如何用自然的方式進行交互,包括人到計算機和計算機到人的兩部分信息交換,是人工智能領域的一種外圍技術,分類包括語音交互、體態語言交互、視覺交互等。用戶通過人機交互界面的設計實現系統交流和操作。

人機環境系統工程(MMESE),是研究在人、裝備和環境系統之間,實現最優匹配的一個領域,涉及到信息的輸入、處理、輸出和控制,以及反饋,人機環境系統的整體設計,及其優化等方面的研究,研究的目的,是整個系統的高效、安全、健康和敏捷等[4]。

3 案例分析和問題提出

2022年,美國發布關鍵和新興技術“CET清單”將“人機界面技術”主要定義為AR、VR和人機合作。2021年,歐盟委員會發布《面向未來的100項重大創新突破》報告,提出歐洲的AR專業應用是交互式手冊,為操作機器的人提供現場指導。2020年,加拿大卡爾加里大學、Adobe Research和美國科羅拉多大學博爾德分校的研究團隊,開發了一種實現交互式動態草圖的新技術,生成響應性草圖、圖形和可視化效果的增強現實界面。2021年,寶武鋼鐵借助與亮風臺AR智能運維系統,實現關聯設備的數字信息可視化、精準遠程協作與高效過程記錄管理,完成基于“作業現場”的信息交互能力提升。2021年,華菱湘鋼通過亮風臺AR眼鏡以及AR協作平臺HiLeia的凍屏、實時標注,克服疫情影響,與中德奧三地專家進行遠程無障礙溝通協作,實現跨國遠程裝配。但國內目前缺乏在工業AR人機交互領域的關鍵技術創新,以及跨平臺生態的覆蓋難以落地等問題。本文通過調研工業AR技術的研發運用實例,分析人機交互適應性情況與制造業應用場景,期望有助于卷包設備的一線技術人員,解決技術應用過程中所診斷出的問題,幫助技術人員傳遞和沉淀工作場所的知識經驗。

4 基于工業AR的卷包裝備智能交互虛擬仿真系統

AR可通過多種不同方式來影響到實際使用者,最重要的是考慮滿足企業的真實需求。人機交互技術在本例中除了傳統的基本交互和圖形交互外,主要是語音交互、體感交互及視覺(腦機一體)交互等技術,對交互技術的研究,與工業人工智能的系統進步關聯密切。

工業AR 系統規劃目標,是確保參與虛擬仿真和增強現實系統研究的人、設備、物料和環境正常運轉,員工上機操作,拉通場地、設備和人員、數據的循環,拉通公司MES、ERP系統正式對接,通過智能穿戴(計算機)[5]器材,采用語音、圖號、數據推送等輸入,發揮移動式便攜的作用,對照設備零部件的“三維幾何模型”空間數據信息,實現長沙廠設備零部件貨位和庫存的查詢功能,發揮遠程“虛擬機臺”的領用零部件功能。

開發協同裝配[6],實現多維信息的交互操作,打通,獲得零部件管理的業務渠道多人同步多終端協作的作業協調,由于設備多維信息資源與人員經驗技巧利用率偏低,流程制造業存在著資源與能源利用率偏低、輔導信息失真等痛點,需要定制化功能解決運維的痛點。設備零部件通過PC端進入ERP系統申報,通過有線網絡在固定工房現場操作,檢索庫存數據需要備件圖號,查詢平面圖紙耗時耗力。對于工廠如何選擇AR技術路徑、如何部署AR應用方式、如何保障AR數據支持等,提出技術方案的設計、實施路徑的選點和技術驗證的示范。

4.1 系統分析

該廠聚焦的AR技術應用場景,主要集中在包裝機設備生產與運行保障的“原理、裝配、培訓、實操、維修”等輔助工序,以及卷包車間面向其裝備零部件的產品生命周期的虛擬化仿真研究。本文中的人機交互實質上是人透過AR輔助工具與設備的程序化之間的融合互通,也是“人機環境系統工程”研究方向的一個重要分支。針對煙機的輔助維修和煙機的日常操作為任務核心進行研發

本文實例創新性的研發了一套基于煙草工業場景化維修輔助的多終端APP系統,通過安卓平板、手機、穿戴式眼鏡,實現了WEB、平板、AR、VR眼鏡等多渠道展示及交互操作,工業AR APP主要包含智能維修、AR巡檢、虛擬維修、VR操作等核心模塊,系統設計步驟分析如下:

第一步:將現實世界中的生產設備數字化為3D模型后,對基于物理設備和設備信息現狀的運行、管理、維護和操作方式實現系統化的升維,為進一步實現空間虛擬環境和真實工作場景的疊加及智能調用奠定基礎[7]。

第二步:完成安卓端平板、眼鏡端智能眼鏡的二種OS載體和交互介質的端對端APP功能開發,實現AR/VR/MR的智能化應用場景。

第三步:對接MES、ERP生產/管理系統的協議接口,實現“AR/VR/MR”在生產制造的智能輔助,完成數字化和信息化的打通,并形成遠程專家、經驗庫等智能應用的應用對接。

采用Vuforia AR SDK+Uinty3d的技術路線實現一個完整的AR App產品,工業AR APP從零部件拆裝上升到了系統總成應用,從AR/VR場景下的零部件輔助拆卸完善到拆裝,實現了基于HoloLens智能眼鏡的輔助生產維修過程指導、平板基于煙機的切片化智能掃描識別,語音交互、遠程專家、虛擬產線、設備維修過程的多種輔助(視頻、圖紙、說明書)工具支持,摸索了點檢、隨手拍、知識庫、經驗庫、生產數據的MES系統接口等多項功能。AR多功能端到端,2D/3D零部件的模型構建實現了基于增強現實系統的AR App安卓平板系統輔助、基于車間一線員工培訓、設備維護和遠程輔助、智能語音等煙機設備AR操作指南等整體效果。本文實例涉及的工業AR技術輔助多功能場景應用。

4.2 仿真建模

設備仿真建模,首先是零部件模型庫開發:包括總成及零部件建模,并定義各零部件以及實現零部件之間的關聯邏輯;其次是模型優化任務:包括零部件模型的優化、動畫和特效制作。面向仿真設備零部件的認知流程,首先是零部件參數庫:實現零部件參數庫,建立健全相關的模型名稱、零部件模型參數關系、功能內容等相關信息,以便業務數據調取識別。其次是零部件認知界面與交互:彈出界面的布局設計與交互設計。

本文“中速機機型模型及關鍵零部件”的建模,基于雙目視覺的三維重建技術[10],針對圖像與環境的人眼視物,通過視差來獲取被測物體的深度信息,繼而實現三維重建,即利用雙目相機拍攝的圖像,將目標在圖像上的二維像素坐標轉化為三維世界坐標。雙目三維重建的工作流程主要包含4步,即雙目標定、圖像校正、立體匹配和三維重建,立體匹配是關鍵步驟[11]。

建模難點:制作襯托氛圍的模型引導用戶獲得高逼真和身臨其境的實踐感覺;模型設計需配合程序開發在Unity引擎實現動畫的制作;模型設計完成以后需要研制匹配模型的VR手勢。

4.3 關鍵技術

4.3.1 核心技術

利用物理模型、運行日志、故障記錄、傳感器更新等數據,集成多物理量、多尺度、多概率的仿真過程,在虛擬空間中完成映射,促進反映設備相對運行過程中各零部件的維護實現過程,從而完成虛擬仿真的數字孿生[8]。

多機協同的集群化交互與控制技術,具備遠程操控端的功能,實施人機交互裝置遠程遙控,完成任務指派和監控,通過APP實施任務指派和監控,應用移動用戶端的AR APP設計。AR APP關鍵技術實現流程圖,如圖1所示。

圖1 安卓觸控平板系統依據圖號查廠家源圖的對照交互UI設計

圖1 AR APP關鍵技術實現流程圖

4.3.2 技術應用

新一代空間定位技術減少虛擬定位識別位置的偏移量,使虛擬坐標和虛擬物體的設定更為精確,因此日常的巡檢工作,也可以通過AR技術來實現。管理人員事先在后臺設置觸發內容,再用AR眼鏡實地部署觸發點,工作人員再戴上AR眼鏡,到達觸發點就可以隨時可以進行巡檢工作。對于巡檢結果的日常收集也變得更為簡單,出現問題可自行解決,系統也能提供解決方案,如果無法解決可以申請遠程技術支持或者通報給更高級的維修人員。

本文實例基于工業AR技術的虛擬仿真應用設計,如表1所示。

表1 基于工業AR技術的虛擬仿真多功能人機交互應用一覽表[9]

核心技術應用包括四個主要功能點:

1)設備結構零部件的拆裝

①運行展示:展示部件的運行流程效果。

②零部件拆卸裝配:展示零部件拆卸裝配的順序以及位置。

③零部件相關聯資料:提供原生產廠標準資料。

2)設備故障智能診斷

①通過AR掃描提供定制化分析與故障解決方案。

②通過MR眼鏡與Android平板終端引導每一個維修步驟。

3)智能管控

①系統功能語音快速調用。

②數據資料語音快速調用。

4)備件領料

系統打通ERP數據庫,開發備件領料查詢功能,將傳統的進入辦公室備件領料查詢查詢的方式或紙質備件領料查詢方式變為移動設備備件領料查詢方式。

用戶手持移動終端,隨時隨地完成備件領料查詢。并且改進傳統備件編號查找對應零部件的查詢方式,增加2類新的查詢方式:

1)用該機械的任一備件編號查找整張圖紙,通過圖紙可以獲取該機械的所有備件編號;

2)構建三維仿真機械模型,直接點擊選擇零部件的三維模型可以直接查找對應零部件信息。

本文實例支持一線員工即時應用圖號查存檔圖紙的移動端設計,如圖1所示。

4.3.3 交互場景

AR識別虛擬零部件模型,通過Unity編程。用戶可以通過手指“拖拉拽”觸控屏幕或眼鏡觀察視野中的相應部分,和模型產生敏捷、精細的交互操作。通過手勢指令、手指滑動、語音指令等交互信息的輸入,實現模型的各類動作包括旋轉、左右、伸縮和翻轉等。

多平臺開發:Android端適應Android平臺,Hololens端適應Hololens2平臺,開發專用于Android、Hololens系統的插件以及交互設計;

設備零部件認知:零部件認知界面與交互,輸出界面的彈出布局設計與交互設計。

虛擬機臺交互手勢:A旋轉,單指朝上下左右四個方位滑動控制虛擬機臺旋轉。B平移,單指按下虛擬機臺中心點進行拖拽移動虛擬機臺。C縮放,雙指向內滑動縮小虛擬機臺,雙指向外滑動放大虛擬機臺。本文實例所研發的人機操作模型檢索功能,如圖2所示。

圖2 包裝機人機交互操作的模型虛擬仿真認識功能

AR技術應用的實例化,在人與虛擬空間、物理世界之間,員工通過手柄、遙控器、外附手套到體感設備,輸入手勢、語音、眼神等信號,透過AR APP功能應用的集合,實現在卷包車間現場的虛實操控、工控網的數據交互融合,零部件領料設計如圖3、圖4所示。

圖3 零部件領料檢索功能流程

圖4 零部件領料檢索功能設計框架圖

5 系統驗證與測評

2020年至今,長沙某廠AR APP系統上線迭代更新,經過二年的試運行,該系統的各個模塊應用進行了試運行測試及操作反饋。通過虛擬仿真和人機系統工程新技術的運用,革新工廠設備、工裝、工具等傳統的操作維護辦法,鼓勵設備技術人員學習創新,改良維修維護的運行管理機制,設備的虛擬裝配得到高質量檢驗[12],實現狀態深度感知、設備保養合理的超前預測維護,提高了學習技能的效率,間接提升了制造的生產效率和產品質量。

從車間一線人員體驗運用的直觀效果來看,主要針對①圖紙查詢工作量;②業務辦理的人工移動成本;③計算機的操作成本,包括備件查詢,標簽搜索等,減少了工作時間的消耗,提升了作業效率。增強2維/3維可視化資源的設計制作能力,創建生產線與設備線配套的崗位新員工培訓的移動式智能頭盔輔助系統。

6 收益

卷煙行業專家評價,認為該系統整體增強了公司在行業內2維/3維可視化資源的設計制作能力,對于湖南中煙工業技術創新數字化轉型所需求的新技術、新方法和新路徑,提供了預研方案和論證試點。長沙廠一線技術人員調查反饋,該系統促進了生產一線技師的操作反饋能力,可協助車間卷包工序提高人機協同的工作效率。

長沙某廠基于工業AR的卷包設備人機交互仿真系統的實施,為長沙易地技改項目規劃的智能制造規劃方案,提供了基于工業APP技術應用的探索,獲得了寶貴的研發經驗以及轉化知識,輸出了以“虛擬仿真技術融合卷接包裝備運維管理的多功能數字應用[13]”、“以混合現實技術研發穿戴式雙目智能眼鏡的多維一體化感知”、“以虛擬現實技術開發GDX2包裝機設備操作訓練流程及VR可視化教程”等課題軟成果和崗位人才。