基于機器視覺的物體識別分揀裝置研究?

景 卓 陳超波 曹 凱 高申昊 趙 楠

（西安工業大學電子信息工程學院 西安 710021）

1 引言

隨著計算機圖像處理速度的不斷提升、圖像捕捉器件性能的不斷提高以及成本的不斷降低，機器視覺技術已經逐漸地應用于社會上各個工業生產領域，并已成為工業自動化生產過程中的一個重要組成部分［1～2］。

將機器視覺技術與工業自動化控制系統相結合，通對過圖像的識別和物體抓取動作的實現，很大程度提高了生產過程的靈活性和適應能力，極大地提高了工業生產速度，并且降低了人工雇傭成本，優化了自動化生產過程解決方案的現代化實現，在國內外獲得廣泛的應用。例如，文獻［3］提出一種基于機器視覺的玻璃瓶質量在線檢測系統，實現在高速灌裝過程中在線檢測的要求。文獻［4］研發一種基于3D視覺的焊接機器人，利用機器視覺技術實現機器人三維焊接任務的路徑規劃。文獻［5］通過攝像機與光學傳感器采集傳送帶上經過的兩種工件圖像，經過二值化處理后，進行輪廓特征提取，標記圖像中的圓形度與顏色等信息，與計算機中所建立的工件信息進行對比，達到零件分選的目的。

本文面向生產線上的不合格零件的識別分揀需求，基于開源計算機視覺庫OpenCV，釆用概率霍夫線變換、霍夫圓變換算法提取圖像邊緣線段特征信息，對邊緣圖像通過輪廓分析處理，得到多個單一的連續輪廓，并對得到的每一條連續輪廓進行擬合；并且研究出一種評價輪廓與所擬合正方形誤差的計算方法，以次誤差為準則實現非正方形特征的剔除。最后基于ARM9開發平臺搭建了模擬自動分揀裝置，在該裝置上能夠模擬物體分揀系統，實現圖像的采集、處理、殘次物體分揀等功能，提高系統的靈活性和實用性。

2 模擬分揀裝置硬件搭建

本文所提出的模擬分揀裝置的硬件組成如圖1所示，主要由傳送帶系統、機器視覺系統和運動控制系統三大模塊組成。

傳送帶為系統中工件的放置機構，主要由傳動電機與同步輪、傳送帶、支架三大部分組成。傳送帶速度的大小會影響所采集到圖像的清晰度，因此選用變頻可調速電機控制傳送帶上物體傳輸速度。

機器視覺系統是分揀系統的核心單元，主要由圖像采集攝像機、LED光源、光電傳感器、視覺處理軟件等組成。通過相機對傳送帶上的工件進行圖像采集，處理器對采集到的圖像進行處理，處理過程主要有：圖像預處理、物體輪廓的提取、識別等。圖像處理結果將為分揀機構提供分揀與否等信息。

圖1 基于機器視覺的物體識別分揀裝置

運動控制系統通過對圖像處理結果的分析來控制分揀機構的運動，一方面保證傳送帶系統的穩定運行，另一方面控制分揀機構工作，啟動電機帶動推送桿將目標工件精確移動。系統工作流程如圖2所示。

圖2 系統工作流程

3 目標圖像獲取

3.1 攝像機的選型方法

通過對攝像機視野、圖像分辨率、空間分辨率、快門速度等重要描述參數的確定，決定工業攝像機的具體選型［6］。攝像機的視野主要由所需要識別產品中的最大尺寸決定，經測量實驗工件模型的最大尺寸為：30mm×30mm，考慮到視野內的空白將攝像機的視野確定為60mm×60mm。

圖像分辨率和空間分辨率的關系如式（1）所示［2～3］：

式中：Sf為視覺系統所需識別最小特征的尺寸（m）；Nf為算法識別該特征所需像素的數量。

由式（1）和式（2）可以推導出攝像機的圖像分辨率，計算方法［7］如式（3）所示：

式中：FOV為攝像機的視野范圍（m）；Rs為攝像機采集的空間分辨率（m/pixel）；Rc為攝像機采集的圖像分辨率（pixel）。

攝像機的空間分辨率由檢測精度決定，空間分辨率的計算方法如式（2）：

其中，Rs與所采用的圖像處理算法的精度有直接的聯系。如上文所設，已知攝像機的視野為60mm×60mm。根據式（3）可計算出攝像機的圖像分辨率為240×240像素。因此其分辨像素達到240×240即可滿足要求，本文選用目前工業生產所使用的性價比最高的低分辨率的攝相機，其分辨率為640×800像素，滿足精確檢測的要求。

3.2 像機的標定方法

機器視覺即通過拍攝的二維圖像認知所處的三維環境，并從中獲取所需的信息進行加工處理，識別具體目標工件。從攝像機拍攝的二維圖像轉換到具體的三維空間環境幾何模型的過程就是攝像機的標定。其目的在于將3D空間坐標系統轉換為2D立體圖像坐標系統［8］。本文采用了OpenCV算法庫提供的攝像機標定算法，其具體的推導如下。

攝像機坐標系與世界坐標系（空間3D坐標系）的關系如式（4）所示：

其中，矩陣R是所選攝像機的正交旋轉矩陣，T是世界坐標系中坐標原點在攝像機坐標系中的位置表示形式。［wXwYwZ 1］T和［XcYcZc1］T分別表示空間的點在兩個坐標系下的向量。R和T的具體大小由攝像機內部結構工藝程度決定。

將攝像機坐標系（Oc，Xc，Yc，Zc）透視投影到針孔攝像機模型中，得到理想的成像坐標系中物理坐標（Xu，Yu），如式（5）：

其中：f為攝像機的焦距。由理想坐標系（Xu，Yu）到實際的成像坐標系（Xd，Yd）之間的轉換關系為

式中：k1，k2為徑向畸變系數；p1，p2為切向畸變系數。

實際的（Od，Xd，Yd）成像平面坐標與攝像機圖像坐標系（o，u，v）的線性轉換關系［9］如下式：

式中，（cx，cy）為基準坐標，一般位于圖像中心位置，Δx和Δy分別為相鄰像素在水平方向和垂直方向上的距離（mm/pixel），fx和fy是單位為單個像素的焦距。聯合以上公式可得具體的表達式為

其中，s表示比例因子。由此建立了三維世界坐標系與二維成像坐標系之間的一種對應關系。

4 圖像處理算法

4.1 圖像預處理

圖像預處理的主要目的是消除圖像中無用的信息，提取有用的真實信息，增強有關信息的可檢測性，最大程度地簡化圖像數據，方便進行下一步的圖像信息提取，從而改進Hough變換線段提取、工件匹配與識別的可靠性［10］。

首先將攝像頭采集到的YUV格式的圖像轉換到RGB格式，具體換算公式［11］如式（10）所示：

式中，Y，U，V分別表示攝像頭采集圖像的灰度值，色彩和飽和度。

利用OpenCV視覺算法庫中的cvcolor（）函數，將上面處理得到RGB圖像轉換成后面圖像處理所需要的8位灰度圖像，使用自適應閾值化Adaptive Threshold（）函數對轉換后的灰度圖進行自適應二值化處理，清除圖像中的無用信息，方便進行下一步的輪廓提取與圖形擬合處理。

4.2 輪廓提取與圖形擬合算法

圖像預處理后，需對圖像進行特征提取與識別。本系統使用的工件形狀分為正方體、長方體、六棱柱、圓柱和不規則形狀。對于圓柱型工件，由于不存在任何角點，可以利用Hough圓變換［12～13］進行精確識別。

對其他幾種多邊體的輪廓識別，通過概率霍夫線變換檢測［14～16］進行線段提取后，線段個數過多，對工件的具體對比識別造成很大的干擾。因此，在設計中提出一種評價輪廓與所擬合工件形狀誤差的計算方法以次誤差為準則實現非正方形特征的剔除。首先使用概率霍夫線變換檢測直線，當直線個數大于兩條時，選擇一條直線作為角度計算的基點，分別與檢測到的其他直線進行角度測定，通過角度識別可以將所識別的工件分為四類，即可通過進一步的判斷與變換運算識別圖像輪廓與工件之間的對應關系。具體的算法流程如圖3所示。

本模塊用到的函數來源于OpenCV視覺算法庫函數封裝而來。主要用到的函數有：

imread（）：將圖片讀進內存中，參量為圖片的絕對地址；

cvcolor（）：將讀入的RGB圖像轉換為8位灰度圖格式；

HoughPLines（）：概率霍夫線變換，將檢測到的直線在圖片上用不同顏色的直線表示；

RightAngleDetect（）：將霍夫變換得到的直線進行運算，判斷圖像中是否有直角存在；

HexPrismDetect（）：檢測霍夫變換得到的直線兩兩之間是否存在120°夾角；

圖3 輪廓提取與圖形擬合算法流程圖

CubeDetect（）：判斷經過直角檢測函數后圖像中圖形是正方形還是長方形；

CylinderDetect（）：霍夫圓變換，將檢測到的圓形與其圓心在圖片上用不同顏色的圓圈和點表示。

5 實驗結果

基于現實生產中的工作環境，在實驗室搭建了一個模擬真實生產環境的場景。如圖4所示，選用iTOP-4412開發板為實驗開發平臺，放置一條模擬的傳送帶，傳送帶上擺放形狀、大小各不相同目標物體。攝像機、光源和分揀機構位于傳送帶的豎直上方，攝像機與分揀機構之間有一定的空間距離，傳送帶在正常工作時運送物體向右運動。

圖4 視覺控制系統以及工作場景

圖5 視覺系統識別顯示界面

目標圖像識別結果顯示界面如圖5所示，圖像顯示區域分為左邊的視頻圖像實時顯示部分以及右邊圖像處理結果的顯示部分；識別結果顯示區域用來統計各種形狀物體和不合格品的數目，最后一個條目flag用來顯示當前經過攝像頭區域的物體是否為合格品；按鈕控制區域用來控制系統的開始，計數的清零，補光燈的開關和界面的退出。

6 結語

本文詳細介紹了基于機器視覺的物體分揀識別裝置的硬件搭建以及分揀中所使用的主要圖像處理算法，在運用Hough直線檢測和Hough圓變換方法的基礎上，提出一種用于評價輪廓與所擬合工件形狀誤差的計算方法，有效解決了對于多種形狀不一的目標物體的辨識問題，提高了物體識別效率。同時搭建了模擬實驗平臺，實驗結果證明，對于多個形狀不一的物體，所提出的識別方法能夠準確識別，識別響應速度快，進一步驗證了所設計系統辨識計算方法的可行性，具有一定的研究和應用價值。