面向倉庫貨架的商品智能揀選機器人設計

張金燕，吳蓬勃，王拓，王帆

面向倉庫貨架的商品智能揀選機器人設計

張金燕1，吳蓬勃2,3*，王拓2，王帆4

（1.河北工程技術學院 網絡與通信學院，石家莊 050091；2.石家莊郵電職業技術學院 智能工程系，石家莊 050021；3.河北省高?？爝f智能技術與裝備應用技術研發中心，石家莊 050021； 4.石家莊郵電職業技術學院 速遞物流系，石家莊 050021）

為降低倉儲揀選作業的勞動強度、提高揀選準確率，設計一款可代替人工揀貨的揀選機器人?；赑addlePaddle的PP-ShiTu圖像識別系統，實現貨架商品的精確識別和種類的快速更新；針對低成本機械臂的視覺抓取問題，提出基于“無標定3D視覺+AGV運動控制”的貨架商品抓取引導方法；采用二維碼自主導航和智能升降系統實現了貨架商品的搬運和立體抓取。實驗證明，所設計的揀選機器人實現了貨架商品的精確抓取和搬運，測試準確率達到了92.25%?；谠摲椒嫿ǖ闹悄軖x機器人，可以完成倉庫貨架商品的揀選和搬運。

倉庫；貨架；揀選；機械臂視覺抓取

近年來，隨著互聯網技術的飛速發展和移動通訊設備的普及，電子商務得到了快速的發展，物流則為商品在時空上的轉移提供了有效途徑[1-3]。電子商務的主要流程包括客戶下單、信息傳遞、倉儲配送、送達貨物和確認收貨等幾個環節。其中，倉儲配送作為最關鍵的一個環節，其商品的配送時效和準確性直接決定了電商的資金流轉速度[1]。倉儲配送作業主要包括收貨、補貨、揀選和包裝出貨等幾個環節[4]。其中，揀選作業占用了大量人力，揀選的準確率則直接影響到電子商務的全流程。目前，揀選作業主要依靠大量人力完成，揀選人員體力消耗大，揀選效率低、出錯率高等問題一直是困擾企業發展的難題。

隨著人工智能技術的快速發展[5-6]和機械臂智能化水平的不斷提高[7-8]，針對倉儲環境的機械臂抓取技術逐漸成為研究熱點。鐘曉東[9]面向倉儲物流場景研制了移動機械臂抓取系統，實現了移動機械臂的二維碼導航、待抓取目標的AprilTag標簽識別、基于ROS的機械臂運動規劃和避障。陳月月[4]面向倉儲貨架的補貨環節，研制了基于ROS的機械臂補貨系統，基于數字孿生技術實現了機械臂的運動規劃，提出了使用譜聚類篩選數據的方法，進一步提高了機械臂與相機的手眼標定精度。楊剛剛[10]在移動貨架周轉箱的智能識別和抓取方向開展了相關研究，使用激光雷達進行貨架定位，使用RGB-D相機估計周轉箱姿態，使用機械臂實現了周轉箱的抓取。

本文面向倉庫貨架揀選場景，研制可在立體空間識別、抓取和搬運貨架商品的揀選機器人?；谏疃葘W習目標檢測技術實現貨架商品的識別和商品種類的快速更新；基于無標定視覺引導技術實現機械臂對貨架商品的抓??；通過二維碼自主導航和智能升降系統實現貨架商品的搬運和立體抓取。

1 系統設計

系統組成如圖1所示，主要包括AGV行走單元、升降單元、上位機視覺抓取單元和調度服務器4個部分。

AGV行走單元用于實現機器人的移動控制，包括MCU主控、用于避障的激光雷達、用于行走的雙路伺服電機、用于導航的二維碼傳感器、用于航向糾偏的IMU航向角傳感器，以及電池電量監測模塊、藍牙模塊和上位機通信模塊。AGV行走單元既可以通過藍牙手動遙控，也可以通過上位機進行自動控制。

升降單元用于實現機械臂的高度調整，以適應不同的貨架層高。該單元主要包括MCU主控、升降伺服電機、激光測距模塊、按鍵與限位開關等。升降單元既可通過按鍵進行升降控制，也可通過上位機進行自動控制。

上位機視覺抓取單元用于實現貨架商品的智能識別與抓取。該單元主要包括機械臂、3D相機和上位機NVIDIA Jetson AGX（以下簡稱AGX）。其中，AGX為整個機器人系統的主控，可以與AGV行走和升降單元通信，可以進行商品識別和控制機械臂抓取。

圖1 系統組成框圖

2 基于PP-ShiTu的貨架商品識別

本揀選機器人主要面向電商倉儲，主要識別銷量較大的瓶狀、袋狀和箱狀商品。其中，瓶狀商品數量多，種類更新頻繁，采用圖像識別種類；袋狀、箱狀商品，體積較大，數量較少，依據類別擺放到相應的庫位箱中，通過二維碼進行識別。本部分主要論述瓶狀商品的圖像識別。

本部分基于PaddlePaddle輕量級圖像識別系統PP-ShiTu[11]完成貨架瓶狀商品的識別和種類更新。傳統圖像識別網絡在更新識別種類時，需要再次采集大量圖片，進行模型再訓練，耗費大量的人力、物力和時間，造成商品種類更新速度慢。而PP-ShiTu系統則克服了以上缺點，不僅對硬件要求低，還實現了商品種類的快速更新。

PP-ShiTu系統主要包括主體檢測、特征提取和向量檢索3個模塊，如圖2所示。主體檢測模塊主要實現圖像中前景對象的目標檢測，該部分采用了更加適合移動端場景的PP-PicoDet模型。PP-PicoDet是基于PaddleDetection的目標檢測模型，它以飛槳輕量級CPU網絡（PaddlePaddle Lightweight CPU Network，PP-LCNet）[12]為骨干，實現了識別精度和速度的平衡，同時降低了GPU帶來的系統成本的增加。特征提取模塊使用度量學習方法來學習圖像特征，采用加性角度間隔損失函數（Additive Angular Margin Loss，ArcMargin Loss）[13]、統一深度相互學習（Unified-Deep Mutual Learning，U-DML）損失函數和特性損失函數對度量學習進行評價。同時采用經過優化的深度哈希算法——基于穩定分布的深度監督哈希算法（Deep Supervised Hashing Based on Stable Distribution，DSHSD）[14]得到目標的二進制特征。在保證檢索精度的同時，極大地降低了圖像特征庫的存儲空間。采用Faiss作為向量搜索模塊，使得該系統可以在Windows、Linux和MacOS多個系統上運行，提高了模型的通用性。PP-ShiTu基于已有圖像的特征庫，實現以圖搜圖，即：將圖像庫中的圖像進行特征提取并放入特征庫，實時捕獲的圖像通過主體檢測、特征提取后，通過向量檢索，查找最接近的圖像特征，并將相應的圖像標簽作為識別結果。

圖2 PP-ShiTu框架[11]

PP-ShiTu系統商品識別種類的更新主要包括以下3個步驟：

1）準備新的數據和標簽。將采集的商品圖片（如圖3所示）保存到圖像庫目錄gallery。將新增圖像的路徑和標簽添加到圖像庫信息文件gallery_update。

1、內部牽制階段。該階段主要目的在于以職務分離和賬目核對的措施實現企業賬目和財務核算的清晰、準確，達成整個企業之間、各成員之間的牽制和稽核關系。內部控制源于早期企業規模較小，財務核算體系不健全，導致員工挪用、盜用公司財產等不法行為出現，為更好地保護公司的財產安全，以崗位相互監督的內部監督機制應運而生。

2）更新圖像特征索引庫index_update。

3）基于新索引庫index_update進行圖像識別。為提高數據采集效率和系統識別精度，本系統研制了商品數據采集與識別平臺（如圖4a所示），可以實現不同角度、不同光照下的圖像采集和識別。平臺底部為步進電機控制的360°旋轉平臺，旋轉平臺上面放置商品；可通過頂部和側面相機采集商品圖像（如圖4b～c所示）；頂部的光源亮度可調；左側的計算機完成整個系統的控制、圖像采集和識別。

圖3 采集的商品圖像

基于深度學習的fine-tune（微調）策略，如果所要識別的商品與預訓練模型訓練集中商品具有高度的相似性，則系統只需采集較少的數據，就可達到較好的識別效果；如果出現較大的差異，則需采集更多的圖像數據，并進行重新訓練?；谏唐穲D像采集與識別平臺的數據采集、訓練流程，如圖5所示。

圖4 商品圖像采集與識別平臺

圖5 商品數據采集與識別流程

1）第1階段，圖像采集共計循環次，每次采集張圖片（本系統設定=10，=10），每個循環完成后，都將更新圖像特征索引庫，進行識別評估，計算置信度的均值；如果置信度均值大于設定閾值，則將更新后的圖像特征索引庫部署到揀選機器人，商品種類更新完成，否則，進行下一個循環的數據采集；如果采集循環次數達到次，則認定為與訓練數據集商品差異較大的商品，進入第2階段。

2）第2階段，需采集更多的圖片，將數據送到服務器進行模型訓練和置信度評估，直至到達設定置信度閾值，結束數據采集；最后，將訓練好的模型部署到揀選機器人。

3 貨架商品的機械臂抓取

3.1 貨架商品抓取引導方法

目前，視覺抓取系統的主要研究方向有：手眼標定方法、特征提取方法和基于深度學習的方法[15]。手眼標定法技術比較成熟，主要有：9點標定法、Tsai-Lenz[16]方法等。其中，9點標定法僅適用于2D場景的手眼標定；Tsai-Lenz方法廣泛應用于3D場景的機械臂手眼標定，可以實現機械臂末端和相機的手眼關系標定（即求解出相機坐標與機械臂坐標的轉換矩陣）。Tsai-Lenz方法的標定數據包括到達標定板時機械臂末端的坐標和姿態角（四元數或者歐拉角）、標定板在相機坐標系下的坐標和姿態角。該方法應用的前提是機械臂能夠讀取機械臂末端的位姿，這就導致很多低成本的機械臂因無法獲取末端位姿而不能使用該方法。特征提取方法要求目標有特定的形狀、顏色等特征，適應性較差，應用場景相對固定。深度學習方法通過采集大量機械臂抓取的圖像來訓練卷積神經網絡，實現機械臂在空間運動的預測[15]。該方法具有較強的魯棒性，可以用于復雜的工作環境，但是如果環境發生變化，則需重新采集圖像進行訓練，不適用于移動機器人抓取的場景。

該揀選機器人基于無標定3D視覺引導技術，結合AGV底盤運動控制，實現了機械臂對貨架商品的抓取。不再計算機械臂末端和相機的手眼轉換矩陣，而是通過AGV和機械臂的運動控制，使得AGV與貨架平行、機械臂坐標軸與3D相機三維坐標軸平行，進而通過“3D相機測距+AGV前后運動控制”引導機械臂抓取商品。該方法既可降低系統成本，又具有良好的普適性。貨架與揀選機器人相對位置關系如圖6所示。

本系統設定：用于二維碼導航的DM（DataMatrix，矩陣式二維條碼）地標的D軸與貨架平行。揀選機器人的AGV底盤依據DM定位停車，并通過二維碼導航傳感器獲取AGV底盤與DM地標的相對位置關系，結合AGV底盤的伺服輪轂電機，調整機器人姿態，使其與DM的D方向坐標水平，從而保證揀選機器人與貨架平行，為商品抓取做好準備。

圖6 貨架與揀選機器人相對位置關系

機械臂的R軸正方向為抓取的初始姿態，機械臂末端的3D相機D435i通過PP-ShiTu系統獲取待抓取商品A3的像素坐標，結合D435i相關參數、機械臂與相機的相關位置計算出機械臂坐標系中心R到商品A3在方向的距離A。揀選機器人控制AGV底盤向D方向行走距離A。D435i再次進行圖像識別并獲取三維坐標?？刂茩C械臂抓取商品并將商品搬運到車載儲物箱。

貨架商品抓取策略如圖7所示。揀選機器人行走至商品所在貨架的二維碼地標位置；車載機械臂攜帶末端3D相機D435i進入遠場觀察姿態；D435i相機在大視野范圍進行商品識別，獲取商品中心位置圖像坐標，結合D435i相機內參，計算出商品中心在相機坐標系下的物理坐標A、A和A。若A不小于設定閾值，則控制揀選機器人行走距離A，再次進行圖像識別并獲取三維坐標；若A值小于設定閾值，則控制機械臂完成商品的抓取和搬運。由于AGV底盤采用了高精度伺服電機，使得行走距離A誤差可控制在±5 mm以內；結合抓取裝置的吸盤直徑尺寸（40 mm），使得本系統可適應50 mm以上寬度商品的抓取。

圖7 貨架商品機械臂抓取策略

3.2 貨架商品抓取裝置

本揀選機器人主要抓取瓶狀、袋狀和箱狀商品。商品外包裝以塑料或紙板為主，表面較平坦，多為不漏氣材質，商品間隙較小。經過試驗驗證（如圖8a所示），夾爪抓取不可行，因以本系統采用吸盤完成貨架商品的抓取。

為實現商品的可靠抓取，經大量實驗測試，本系統采用了“大流量氣泵+邏輯閥+多波紋吸盤”的方式。系統采用了40 L/min的大流量微型氣泵，在提供大吸力的同時，具備了較低的空間占用率，更加適宜車載環境。在多真空吸盤環境下，存在部分吸盤未吸著而產生漏氣的情況，在吸盤和氣管間添加邏輯閥，可以抑制真空壓力的降低，確保正常吸附商品。采用的波紋式真空吸盤可以適配商品的多種姿態，確?？煽孔ト?。

對于瓶狀商品，由于質量較小，采取單個波紋吸盤或者雙波紋吸盤+邏輯閥的方式進行抓?。ㄈ鐖D8b所示）。其中圓柱狀商品表面不平整，需采用雙吸盤方式，確?？煽孔ト?。對于袋狀、箱狀商品，表面氣密性一般、面積較大、質量偏大，采用多個波紋吸盤+邏輯閥方式進行吸?。ㄈ鐖D8c～d所示）。

當有多個吸盤時，可根據式（1）計算真空吸盤的直徑（單位為mm）。

式中：為真空壓力，kPa；為真空吸盤吸附力；為吸盤數量；為安全系數，吸盤水平吸附物體時，>1/4，吸盤垂直吸附物體時，>1/8。

本系統采用的機械臂最大負載為3 kg，除去末端連接裝置的質量，最大負載為2.7 kg，相應的=26.46 N。對袋狀和箱狀商品需水平吸附，瓶狀商品需垂直吸附，這里設置安全系數=1/6，真空壓力=?85 kPa，吸盤數量=3，根據計算公式可得波紋吸盤的直徑為30 mm?？紤]到一定的冗余，抓取裝置選擇3個40 mm直徑的波紋吸盤。圖8e顯示了可抓取商品的最大質量為2.708 5 kg。

4 貨架商品的搬運與立體抓取系統

揀選機器人的AGV行走單元硬件組成如圖9a所示，該單元采用STM32F103RET6作為主控芯片；通過RS485總線分別連接激光雷達、二維碼導航傳感器、航向角傳感器、雙路伺服電機控制器和電池電量監測單元；通過串口連接AGX或者通過藍牙串口模塊連接手機。手機端通過App控制AGV行走單元，實現設備的手動控制。AGX作為整個揀選機器人系統的主控，可根據系統需要自主控制AGV行走單元的行走和啟停。AGV行走單元軟件部分基于國產開源嵌入式實時操作系統RT-Thread進行設計，創建了二維碼導航與糾偏、雷達避障、上位機指令處理等多個線程，實現了揀選機器人的自主導航。

圖9 AGV行走單元硬件結構

圖9b為第一代AGV行走單元實物圖?？紤]到倉儲環境中主要是貨架、紙箱、行人等非吸光、非透光障礙物，系統采用了鐳神M10P單線TOF（Time of Flight）激光雷達對周圍障礙物進行探測。M10P掃描頻率為12 Hz，角度分辨率為0.22°，每一幀有70個點的數據，每圈共計輸出24幀數據。STM32通過中斷方式實時接收數據，并發送到RT-Thread相應線程進行避障處理。此外，STM32通過航向角傳感器修正AGV行走中的角度偏差，通過二維碼導航傳感器在二維碼地標位置修正AGV行走中的累計誤差，提高AGV行走單元的魯棒性。

揀選機器人的升降單元用于將機械臂升降到商品所在的貨架層，其硬件組成如圖10所示。通過STM32可控制升降伺服電機的啟停；結合激光測距模塊可實時獲取升降單元的高度；限位開關用于確保升降系統的安全運行；可通過手動按鍵、AGX自主決策方式控制升降單元的高度。

圖10 升降單元硬件組成框

5 系統測試

揀選機器人系統實物如圖11a所示。在地面粘貼有導航二維碼，二維碼讀碼器和航向角傳感器位于機器人底盤后側（安裝位置，參見圖9b）；機器人底盤前面為2個全向輪，后面為2個伺服輪轂驅動輪；機器人底盤前部安裝有用于避障的激光雷達，底盤上側為儲物箱；系統控制器固定在升降支架上；升降臺上部安裝有機械臂；機械臂末端有3D相機和夾具。

揀選機器人對貨架商品的揀選流程，如圖11b所示。

1）倉庫調度服務器將揀選作業單（商品所在貨架對應的二維碼編號、商品所在貨架層號、商品信息等）分別下發給各揀選機器人。

2）揀選機器人根據揀選作業單，結合商品位置與自身位置信息進行路徑規劃，計算出最優路徑。

3）揀選機器人開始在倉庫各個貨架間行走、揀選商品；行走過程中，遇到障礙物能夠進行躲避，遇到其他揀選機器人，能夠進行避讓。

4）揀選機器人到達目標貨架時，通過AGV行走單元調整揀選機器人姿態，確保揀選機器人與貨架平行；根據貨架所在層高，控制升降機構運動到相應層；機械臂進入抓取初始姿態，使得商品處于3D相機的視野范圍內，如圖12a所示。

5）機械臂末端的3D相機進行商品識別，獲取商品三維位置信息（如圖12b所示），并根據相對位置信息控制AGV行走單元進行前后微調；機械臂在視覺引導下進行商品抓?。ㄈ鐖D12c所示），并將其放入車載儲物箱，即完成一件商品的揀選。如此循環，直至完成作業單上所有商品的揀選。最后，揀選機器人行走到訂單打包處，將揀選商品交付下一個流程。

圖11 揀選機器人實物與作業流程

圖12 揀選機器人揀選作業過程

為測試揀選機器人的揀選性能，在貨架的不同位置擺放了20個類別的商品，進行抓取搬運測試，完成20個類別商品的識別、抓取和搬運為一個循環，共進行了20個循環共計400次的商品抓取測試，測試成功次數為369次，成功率為92.25%。其中，出現抓取失敗的原因，主要有：待抓取商品未進入相機視野范圍；由于待抓取商品表面不平整，造成吸盤無法吸取商品；待抓取商品位于貨架內側，造成抓取距離超出了機械臂的運動范圍。以上問題可以通過優化機械臂觀察視角、更換更加合適的吸盤、調整地標二維碼到貨架距離等措施加以改進。

在測試中，商品識別與揀選的時效統計數據如表1所示。揀選機器人到達目標貨架位置并升降到相應貨架層后，機械臂從初始態進入抓取狀態耗時3 s，商品識別與定位耗時2～10 s。當商品恰好位于相機視野中心位置時，耗時最短；當商品偏離相機視野中心位置時，需進行AGV前后運動，然后再次進行商品識別，耗時會相應增加。根據商品到機械臂的距離遠近，商品抓取耗時在3～5 s，商品被搬運放置到儲物箱耗時為5 s。需要說明的是：為提高抓取成功率，機械臂運動速度設置為最高速度的50%，因此系統耗時會有所增加。

表1 商品識別與揀選時效

Tab.1 Time of commodity recognition and picking

6 結語

本文面向倉儲揀選場景，設計了一款可代替人工的揀選機器人。通過PP-ShiTu圖像識別系統，成功實現了對貨架商品的準確辨識和商品種類的快速更新。在應對低成本機械臂的視覺抓取方面，提出了一種基于“無標定3D視覺+AGV運動控制”的貨架商品抓取引導方法。同時，利用二維碼自主導航和智能升降系統，實現了對貨架商品的搬運和立體抓取。

有一些問題也值得進一步研究，例如：貨架料框中無序堆放商品的抓取、系統的容錯機制等，可進一步提高揀選機器人的普適性和可靠性。

[1] 吳浩弘, 劉焯輝, 郭家志. 電子商務環境下物流倉儲及配送模式的研究[J]. 中國物流與采購, 2022(17): 116-118.

WU H H, LIU Z H, GUO J Z. Research on Logistics Warehousing and Distribution Mode in Electronic Commerce Environment[J]. China Logistics and Procurement, 2022, 654(17): 116-118.

[2] 宋顏群, 胡浩然. 跨境電商改革對試驗區企業出口的影響及作用機制研究[J]. 現代財經(天津財經大學學報), 2022, 42(4): 20-35.

SONG Y Q, HU H R. Research on the Impact and Mechanism of Cross-Border E-Commerce Reform on the Export of Enterprises in the Pilot Zone[J]. Modern Finance and Economics (Journal of Tianjin University of Finance and Economics), 2022, 42(4): 20-35.

[3] 段晶晶. 淺談刷單行為的經濟法規制[J]. 江西電力職業技術學院學報, 2021, 34(11): 149-150.

DUAN J J. On the Regulation of Economic Law on the Behavior of Brushing Bills[J]. Journal of Jiangxi Vocational and Technical College of Electricity, 2021, 34(11): 149-150.

[4] 陳月月. 基于倉儲貨架的ROS機械臂補貨系統的設計與實現[D]. 武漢: 華中科技大學, 2021: 6-7.

CHEN Y Y. Design and Implementation of Replenishment System of ROS Robot Arm Based on Storage Shelves[D]. Wuhan: Huazhong University of Science & Technology, 2021: 6-7.

[5] 吳蓬勃, 張金燕, 王帆, 等. 快遞暴力分揀行為視覺識別系統[J]. 包裝工程, 2021, 42(15): 245-252.

WU P B, ZHANG J Y, WANG F, et al. Visual Recognition System of Violent Sorting Behavior in Express Delivery[J]. Packaging Engineering, 2021, 42(15): 245-252.

[6] ZHANG J M, XIE Z P, SUN J, et al. A Cascaded R-CNN with Multiscale Attention and Imbalanced Samples for Traffic Sign Detection[J]. IEEE Access, 2020, 8: 29742-29754.

[7] GOOGLE LLC. Deep Reinforcement Learning for Robotic Manipulation: America, EP3784451A1[P]. 2021-03-03.

[8] 李茂捷. 基于強化學習和元學習的機械臂抓取方法研究[D]. 南京: 南京郵電大學, 2022: 1-14.

LI M J. Research on Manipulator Grasping Method Based on Reinforcement Learning and Meta-Learning[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2022: 1-14.

[9] 鐘曉東. 面向倉儲物流的移動機械臂抓取作業研究[D]. 濟南: 山東大學, 2021: 1-8.

ZHONG X D. Research on Grab Operation of Mobile Manipulator Oriented to Warehouse Logistics[D]. Jinan: Shandong University, 2021: 1-8.

[10] 楊剛剛. 面向移動貨架周轉箱的識別和抓取系統研究[D]. 上海: 上海交通大學, 2020: 2-10.

YANG G G. Research on Recognition and Grasping of Turnover Box in Mobile Shelf[D]. Shanghai: Shanghai Jiao Tong University, 2020: 2-10.

[11] WEI S, GUO R, CUI C, et al. PP-ShiTu: A Practical Lightweight Image Recognition System [J]. arXiv:2111.00775, 2023: 1-8.

[12] CUI C, GAO T, WEI S, et al. PP-LCNet: A Lightweight CPU Convolutional Neural Network[J]. arXiv.2109.15099, 2023, 9: 1-8.

[13] DENG J, GUO J, YANG J, et al. ArcFace: Additive Angular Margin Loss for Deep Face Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 99: 1-11.

[14] WU L, LING H, LI P, et al. Deep Supervised Hashing Based on Stable Distribution[J]. IEEE Access, 2019, 7(1): 36489-36499.

[15] LEVINE S, PASTOR P, KRIZHEVSKY A, et al. Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection[J]. International Journal of Robotics Research, 2016, 37(4/5): 421-436.

[16] TSAI R Y, LENZ R K. A New Technique for Fully Autonomous and Efficient 3D Robotics Hand/Eye Calibration[J]. IEEE Transactions on Robotics & Automation, 1989, 5(3): 345-358.

Design of Intelligent Goods Picking Robot for Warehouse Shelves

ZHANG Jinyan1, WU Pengbo2,3*, WANG Tuo2, WANG Fan4

(1. School of Network and Communication, Hebei University of Engineering Science, Shijiazhuang 050091, China; 2. a. Department of Intelligent Engineering, b. Department of Express and Logistics, Shijiazhuang Posts & Telecommunications Technical College, Shijiazhuang 050021, China; 3. Hebei University Express Intelligent Technology and Equipment Application Technology Research and Development Center, Shijiazhuang 050021, China)

The work aims to design a picking robot that can replace manual picking, in order to reduce the labor intensity of warehouse picking operations and improve the accuracy of picking. Based on PaddlePaddle's PP-ShiTu image recognition system, accurate identification of goods on shelves and rapid updating of categories were achieved. A method of "uncalibrated 3D vision+AGV motion control" was proposed for guiding shelf product grabbing to solve the visual grasping problem of low-cost robotic arms. The use of two-dimensional code autonomous navigation and intelligent lifting system realized the handling and three-dimensional grasping of goods on shelves. The experiment proved that the designed picking robot achieved accurate picking and handling of goods on shelves, with a test accuracy of 92.25%. The intelligent picking robot constructed based on this method can complete the picking and handling of goods on the shelves of the warehouse.

warehouse; goods shelves; picking; robotic arm visual grasping

TP391.0

A

1001-3563(2024)05-0230-10

10.19554/j.cnki.1001-3563.2024.05.028

2023-04-04

河北省教育廳科學研究項目資助（ZC2024133）