人工智能大模型在工業機器人領域的規劃及探索

彭先濤，王鵬

（1.浙江恒逸集團有限公司，浙江 杭州 313200；2.浙江大學—恒逸全球未來先進技術研究院，浙江 杭州 313200）

1 引言

工業機器人已經成為工業生產中常見的、必不可少的重要設備之一，為工業的發展帶來了極大的便利。由于工業場景眾多，需求多樣，為滿足實際業務場景的需求，工業機器人在現場的形式由傳統的機械臂，逐步演變為定制化的AGV、龍門桁架機器人、AGV 上搭載機械臂等多種形式。隨著新一代信息技術的賦能，工業機器人上搭載工業相機（面陣相機、線掃相機、3D 相機等）、智能溫度傳感器、高靈敏度麥克風等傳感器可解決更加復雜的需求，從而大幅提升工業機器人的利用率，產生更多的實際價值。

人工智能的主要應用為將訓練好的推理/檢測模型進行部署，對實時傳輸的圖像等數據進行處理，根據輸出結果執行下一步的動作；該方式在固定場景中占有絕對優勢。工業機器人在運動過程中，若采集到其他異常數據，在模型未經訓練的情況下，該異常不會被識別到，存在一定的隱患。人工智能大模型的出現，在提升檢測的精度的同時，賦予了工業機器人更多的能力，對于制造業朝著智能制造的方向發展有很大的促進作用。

2 人工智能大模型在工業機器人方面的規劃

工業機器人應用較多的企業已具備良好的數字化基礎[1]，結合實際需求，對人工智能大模型在工業機器人領域的應用進行整體設計規劃。

2.1 工業機器人層

部署在現場的工業機器人，目前有各種形式，如多關節機械臂、多自由度桁架機器人、搭載輕載機械臂的AGV 等，以滿足各種作業需求。在工業機器人上搭載高清攝像頭，實現抓取精確定位、偏差糾正、缺陷檢測和尺寸測量等功能，是成熟且常見的解決方案；也可在工業機器人上搭載熱成像儀、光譜儀、氣體分析儀和麥克風等，采集不同場景的數據，充分發揮工業機器人的能力。

工業機器人在我國的應用面較廣，涵蓋流程、離散制造業的多個場景，非標定制化工業機器人在國產化方面具備較為明顯的優勢，定制化程度、靈活度高，但也存在一定的挑戰，如：整體長周期穩定運行，MTBF（Mean Time Between Failure，平均無故障工作時間）提升；控制器、高精度電機等核心部件國產替換；大規模調度系統工業軟件國產化；多關節高端機器人國產化突破等。

2.2 通信接口層

通信接口是工業現場的基礎需求，其穩定性是第一位。該層的應用設計水平差距較大，需對工業網絡、辦公網絡進行統一規劃，建立相應的安全措施，確保網絡的穩定。常見的應用效果較好的方案為：工業網絡采用工業級交換機（如西門子、菲尼克斯等工業品牌的網管型交換機）組件光纖環網，辦公網絡采用商用交換機（如H3C、華為等品牌）組件IT 網絡，二者之間采用防火墻防護。

工業機器人、相機等傳感器通信協議眾多，該層需確保數據傳輸的準確性、時效性，可考慮利用5G 傳輸圖片、視頻等大尺寸數據[2]，其他協議交互檢測結果、指令等數據。對于流程行業，采用RTU、5G 等無線通信技術是較為實用穩妥的方案。通信接口的穩定性要兼顧高并發、可擴展性、兼容性等。涉及到跨公司、跨平臺間的數據傳輸時，可考慮構建工業互聯網平臺，加入區塊鏈、量子通信等技術以增強通信的安全性。

2.3 模型層

隨著計算機視覺、人工智能等的發展，為模型層提供了較為完整的理論，學者在此也做了諸多理論、應用的研究[3]。模型層應用的關鍵步驟為搜集數據、處理數據、模型訓練和部署模型，其核心是通過訓練出的模型解決生產過程中“不變”的需求（因生產過程相對穩定重復，對產品、設備等的檢測需求相對固定），如各種缺陷檢測模型、測量模型、預測模型等，最終應用的模型是AI解決復雜問題的能力、產生價值的體現。對常用的幾種模型進行簡介如下。

（1）CV 模型 現場涉及圖像、視頻類的檢測/識別均為計算機視覺識別類，采用CV 模型是可靠、成熟的解決方案。在工業現場實際應用中，需要在檢測準確性、節拍、穩定性和性價比等方面進行綜合考慮，確保AI 通過工程項目順利落地、穩定運行，才能產生價值。如尺寸偏大、結構復雜的工業產品需進行外觀缺陷檢測，理想的方案是對該產品抓取至空中進行全方位無死角的拍攝與檢測，實際運行時有兩個較大的風險點：節拍較慢，會影響生產；動設備損耗大、故障率高、運行成本高。根據經驗，最優工程解決方案為采用靜設備設計，對產品確實拍攝不到的部位的缺陷進行評估，若缺陷發生概率低、影響較小，可以不予考慮，否則需對工藝、設備、管理等進行改進，降低缺陷頻發的情況。

對于只檢測有無缺陷的場景，可采用傳統算法，如灰度識別、SVM（Support Vector Machine，支持向量機）、SIFT（Scale-Invariant Feature Transform，尺度不變特征變換）、HOG（Histogram of Oriented Gradient，方向梯度直方圖）、ORB（Oriented FAST and Rotated BRIEF，快速特征點提取和描述）和LBP（Local Binary Patterns，局部二值模式）等，以節約算力和投資。對于需要標注出缺陷位置、缺陷種類、根據缺陷嚴重程度區分等級等的復雜任務，采用CNN 神經網絡算法是最優的解決方案[4]，如YOLO、VGG、ResNet、AlexNet 和RevNet 等。先采集樣本，再將處理后的樣本（標注缺陷，加標簽）通過算法模型進行訓練，模型達到預設的檢測精度后部署該模型使用。

通過框架使用相關算法模型進行訓練時，訓練過程目前來說還是黑匣子（即難以解釋），樣本的質量、數量對最終的檢測模型影響很大。在工程應用中，增加實際樣本（來源于生產實際，非人為制造的樣本；標注質量要高）數量可顯著提升模型的訓練結果。為使得算法按照預期效果輸出推理模型，學者做了諸多工作，其中構建損失函數是較為常見且工程上較易實現的，如Berkan Demirel 等提出新的元調損失函數，使得檢測結果有了顯著提升。在工程應用中，結合實際情況設計損失函數會取得較好的效果。

（2）機器人預測模型 采集并獲取到工業機器人的運行作業數據，如動作時長、負載量、電流、電壓、運行軌跡、電池電量和充放電狀態等，采用Transformer 或GNN 等訓練預測模型[5]，對工業機器人的維護狀態、故障等進行預測，實現工業機器人的全生命周期管理，合理規劃工業機器人及其備件的使用，避免帶病運行，提升工業機器人的使用壽命與效率。

（3）機器人調度模型 結合排產任務、在機任務等生產數據對需要作業任務進行預測，根據機器人的執行任務情況、本身狀態、任務優先級、動作距離等數據，對機器人的工作任務、AGV 調度等進行預排，將工業機器人與生產狀況進行實時匹配，使得工業機器人的能力得以充分發揮、提升機器人的利用率，并能提升機器人在應用時的靈活性、智能化。

2.4 大模型層

以ChatGPT 為代表人工智能大模型帶動了一系列通用人工智能（Artificial General Intelligence，AGI）技術的迅速發展，AGI 已經掀起新一輪信息技術革命，成為一種先進的生產力[6]。人工智能大模型的快速發展也引起了工業界的關注，本文基于大模型相關的理論基礎與發展趨勢提出了其對工業機器發展的影響[7]，以期為人工智能大模型在工業中落地貢獻力量。

大模型在工業中的核心是解決“變”——由于工業的復雜性，生產過程中會出現一些異常情況，如復雜設備的突發故障、產品異常等，需要有效的手段對這些“變數”進行及時的處理，保證生產各項活動的安全平穩進行，實現降本增效。大模型層通過各個場景的數據持續訓練，提升模型的檢測能力，構建基于數據更進一步的應用場景，發揮數據的價值。人工智能大模型在工業領域的應用探索處于初步階段，為數據驅動式，但可以預見，未來其發展會從行業龍頭企業率先開始，充分利用其積累的豐富場景的豐富數據，從單個場景大模型為突破點，實現行業大模型的全面發展。

（1）CV 大模型 計算機視覺（Computer Vision，CV）、大規模機器學習[8]為工業機器人朝著更加智能化方向發展提供了理論支撐，結合AI 技術、通過機器人搭載的傳感器采集的數據（如機器人運動過程中可采集較為全面的場景的圖片、視頻數據），可探索工業行業機器視覺的應用。對于工業行業CV 大模型，核心內容有兩點：數據的獲取、數據標注的質量、高效的訓練。

對于CV 大模型的圖像分類/識別任務，若依賴人工標注，恐難以滿足訓練數據的要求，SA（Segment Anything）的提出為CV 大模型的實現提供了較為可靠的技術手段。

（2）知識大模型 工業現場場景眾多，工業機器人是其中的一環，涉及的關系型數據、非關系型數據眾多，數據蘊含的價值較大。將工業現場的各種維度的數據建立聯系，構建工業知識大模型，充分發揮數據的價值，讓數據來源于業務、反哺于業務，是一項有意義且有挑戰的工程，知識圖譜的發展為工業知識大模型的發展提供了理論與技術實現方法。

通過知識圖譜可建立深層次的關系，構建企業的工業知識體系，將企業內人員、工藝、設備、備品備件、物資、物流等相關數據與資源進行整合關聯，通過一個點能夠提供直接聯的、潛在關聯的信息與知識，提升企業生產經營效率[9]。

（3）LLM 大模型 ChatGPT 將人工智能對通用自然語言任務的理解與生成能力提升到新的高度[10]，大量相關工作推動了LLM 大模型的發展，其理論、應用較為健全。在工業行業中，有了足夠的數據基礎與應用后，可以實現類似ChatGPT 的場景功能，能迅速提煉關鍵點、完成報表分析等常規作業。在LLM 大模型的使用時，為確保每次生成語句的真實性，如Amos Azaria[11]等利用LLM 的隱藏層激活來確定語句的真實性。

2.5 數據處理

工業現場存在一定的復雜性、隨機性與不確定性，會導致現場的圖片、聲音等存在背景噪聲，在訓練前需要對數據進行預處理以確保訓練結果，為了避免復雜結構的數據造成“維度災難”，可先通過主成分分析（Principal Component Analysis，PCA）、等距映射、局部線性嵌入（Locally Linear Embedding，LLE）等方法對數據進行降維處理，確保模型能提取到有效特征。在人工智能大模型訓練時，對于某些場景可能會存在少樣本甚至零樣本的情況，該部分的研究有助于完善工業大模型。

2.6 IT 系統層

IT 系統支撐了企業各業務的運行，如OA、SCM、SRM、MES、EAM 與自動化設備配套集成的信息系統等，結合企業實際需求進行規劃建設。IT 系統建設是一項龐大、復雜的工程，存在項目周期長、項目成功率低、上線后使用率低等現場，實施時需以滿足業務需求為核心，對業務深入分析、考慮業務增量發展趨勢、系統性能余量、數據庫設計能力和系統融合擴展能力等進行較為全面的考慮與分析設計，確保項目能順利落地運行。

IT 系統是與企業的相關的業務需求緊密結合，定制化程度較高。隨著大模型的發展，未來，通過prompt 輸入詳細的業務需求，大模型自動創建數據庫、自動編程實現功能、自動部署IT 系統等，大幅降低IT 系統實施的復雜度，更好的助力企業數字化轉型。

2.7 大數據層

數據來源于生產經營各環節，通過大數據的應用既能實時掌握生產經營的情況，又能對生產經營的異常情況及時的分析與指導改進等。目前大數據的應用水平也存在較大的差異，自動化、信息化、數字化方面建設建好的企業，已構建自身的數據平臺并對大數據進行了應用。數據來源于生產經營各環節，通過大數據的應用既能實時掌握生產經營的情況，又能對生產經營的異常情況進行及時預測、反饋與指導。

3 總結與展望

隨著工業數字化、智能化的建設，工業機器人、智能傳感器等的應用廣度、集成深度上升，工業行業的數據維度、數據量均在增加，為工業行業大模型的發展構建了基礎。本文對人工智能大模型在工業機器人的應用提出了可落地的架構，但由于其涉及的技術細節較多，其落地應用還有一段路要走。隨著業務發展的需求、技術發展的助力，人工智能大模型將為制造業轉型升級提供重要的技術手段。

人工智能大模型在工業機器人的發展方向為工業機器人自身將集成模型算法、芯片等，提升自身性能、可靠性和易用性；通過千億或萬億級別的參數預訓練模型，將語言理解、視覺感知、控制等多任務統一建模，提高機器人的語言理解和自主決策能力；結合視覺聽覺觸覺等多種感知方式，通過多模態學習和感知，實現對作業環境的多模態理解與融合；通過強化學習、遷移學習等算法使機器人在運行中持續學習和優化，使其能在不同任務和環境中快速適應與遷移，提高機器人的自適應和智能化水平，實現無縫人機協同安全作業。未來人工智能大模型在工業機器人的應用將朝著更加智能化、自適應、多模態、易用性和強穩定性等方向發展，不斷進步，助力國產高端的突破，實現更加廣泛和深入的應用。隨著工業數字化的推進，在國家政策、市場需求等的推動下，相信我國在工業機器人軟硬件方面一定會逐步突破。各種形態的工業機器人在未來會朝著穩定性高、使用便捷、智能化程度高等方向發展。