一種基于OCR技術在評價機器人軌跡可行性的應用

許郭樑

摘要：本文設計一套自動化獲取機器人關節信息內容的光學識別（Optical Character Recognition）方法。該方法用于快速評估機器人軌跡在現場應用的可行性，該軌跡主要應用于藍光拍照式測量系統。首先對每張包含機器人關節信息圖片做預處理，分離RGB圖層，對圖層進行二值化，采用LANCZOS方法進行圖像的插值處理，使用Tesseract的搜索算法對圖像內容進行識別，獲取機器人各軸信息。通過評估OCR結果的，識別出錯概率小于3%，可以滿足使用要求。結論：基于Tesseract的識別工具獲取機器人關節信息，免去目視檢查軌跡和人工判斷各軸姿態是否合理的工作內容，機器人工程師執行檢查程序后執行機器人程序，即可將機器人各軸數據轉化成結構化的數據報告，提高檢查機器人軌跡可用性的效率，有利于后續進行更進一步的數據處理。

Abstract： Technology of OCR apply to Automatic grabbing the information of robot joints， it plays a role to check validation of the robot path quickly which could widely use in BLS（Blue light system）. First step， pre-process is going to focus on image-processing which contains split of RGB image， Binarization， and resize by LANCZOS algorithm. Using Tesseract as OCR Tools recognize the values of joints from each image. The error rate of this method is less 3%， which could meet the needs. Conclusion The OCR based on the Tesseract can avoid the trouble of manually checking and validating the robot path and convert the image of joints into structured data files. Improve the efficiency of generation OLP （Off Line Program） report and deeply dig the data to get further information.

關鍵詞：Python語言;圖文識別;OCR

Key words： python;recognition technology;OCR

0 ?引言

隨著工業關節機器人應用愈加廣泛，現場調試機器人軌跡的工作也隨之增加。OLP（Off Line Program）機器人離線軌跡的制作，檢查和評價工作的質量將越來越多的影響到現場工程的質量。OLP通常在虛擬工位里完成制作，通過檢查后交付現場使用。本文將討論一種利用圖像識別技術（OCR）從虛擬工位內獲取機器人位姿信息的方法，并在獲取后進行數據檢查，找出OLP內不符合標準的位姿。通常不符合標準的位姿會造成機器人運動帶來的干涉和設備損壞，該標準需要結合機器人末端執行器，工具的運動范圍限制和機器人管線包限制等綜合制定而成。本文選取了藍光測量工位內機器人作為采集軸數據的對象。OCR工具選擇Tesseract作為OCR引擎，識別單張圖片時間小于0.5秒，識別工作不依賴網絡，在本地電腦上完成，識別率成功率大于97%，實時捕捉機器人在虛擬工位內運行時的各個關節值并記錄?？梢杂行Т嫒斯つ恳暀z查OLP，提升OLP檢查的效率同時降低現場調試機器人軌跡的時間。

1 ?圖像的預處理

對于圖像進行RGB分層，二值化，插值放大處理（LANCZOS算法）。為了保證字符識別的效果，在識別之前對圖像進行預處理，排除圖像中的干擾因素以提高圖像的質量，為后續字符識別提高一個良好的基礎。[1]對圖像進行預處理，有利用快速執行字符識別，其中采用模板匹配法進行識別滿足本文應用場景。模板匹配是依靠輸入與樣本的相似性實現，這種算法對二值化的圖像識別速度快，但是圖像噪聲影響較大。在數字圖像處理中，二值化方法通過選取適當的閾值對圖像進行分割，從而突出圖像中的某些特征。[2]考慮到本次識別的數值和字符為帶正負號的兩位小數數字，且字體形式固定，使用Tesseract圖像識別引擎，可以很好的滿足圖像識別要求。采用Python語言和標準庫PIL（Python Imaging Library）執行圖像預處理。

單幅圖像內包含一個機器人位姿信息，有6軸機器人各軸角度和2各外部軸角度組成，總共8個數字，見圖1。

使用PIL庫對圖像執行如（表1）操作：

2 ?字符識別

Tesseract-OCR是一個開源的OCR識別引擎，最初由HP實驗室開發，后來貢獻給開源軟件，目前由谷歌進行代碼維護和更新[3]。Tesseract采用命令行交互方式，使用Python的pytesseract庫與Tesseract交互，pytesseract.image_to_string的方法將實時捕捉的圖像進行預處理并傳遞給Tesseract執行識別（見圖1）。在藍光測量工位中選取四種測量零件的機器人軌跡進行識別錯誤率測試，相關錯誤率見表2，該方式錯誤率可以接受。

3 ?評價機器人姿態

通過圖像識別后的每個姿態中各個軸數據，評價機器人軌跡是否滿足現場使用條件。已藍光測量工位為例，制定機器人姿態的評價條件，考慮到機器人各軸軟極限限制和管線包現場工況條件等因素，結合虛擬仿真工位和現場實際工位狀態，綜合以上信息確定評價條件。見表3。標記出不符和判斷條件的機器人姿態，生成報告后修改標注出的機器人姿態。

4 ?結論

A利用OCR技術可以快速高效的識別出機器人關節數據，取代人工目視檢測機器人OLP在仿真環境內的狀態，提高交付現場OLP的質量。

B因為機器人各關節數據間隔小于1秒且變化連續，容易將識別錯誤的數據自動剔除，3%的識別錯誤率可以接受。個別識別錯誤情況，可以人工干預校對。

注：本文涉及到的應用功能的開發，離不開以下公司同事的協助和支持。劉明完成制定機器人姿態的判定工作。李正平制作評估機器人姿態工具。通過以上兩位同事的共同努力完成相關標準和工具的開發，再次表示感謝！

參考文獻：

[1]萬松.基于Tesseract-OCR的名片識別系統的研究與實現.廣州：華南理工大學，2014.

[2]郭佳.一種光照不均勻圖像的二值化方法.武漢科技大學信息科學與工程學院 湖北 武漢 430081.

[3]鄔滿.基于跳變檢測和Tesseract的機打發票識別算法.南寧市界圍工程咨詢有限公司 中圖分類號：TP3 文獻標識碼：A 文章編號：1003-9767（2015）18-043-03.

[4]張淙悅，等.基于Tesseract的醫學化驗單內容識別技術.北京：生物醫學工程，2019，38（3）：283-289.