基于視覺膠囊藥板檢測系統的關鍵技術應用

于玲 杜向軍

1.天津輕工職業技術學院；2.天津工業大學

藥品安全一直是人們非常關心的問題，且藥品的質量檢測也是藥品生產過程中的重要環節，從而可以保證藥品的安全生產與使用。同時，藥品的外觀檢測也是重要環節之一，由于藥品的需求量大，質量檢測要求很高，人力檢測具有不確定性，缺乏準確度。因此，采用機器視覺技術應用于藥品的外觀檢測既克服人工檢測的弊端，又提高了其準確度與工作效率，同時也能降低企業的成本，是藥品檢測發展的趨勢。而隨著藥品檢測標準的提高，以及膠囊藥物越來越大的檢測量，傳統的人工檢法已經難以滿足膠囊生產廠家的需求。使用計算機視覺檢測技術來代替人工已經是一種趨勢，機器視覺作為一種無損、非接觸式的檢測手段，能在提高膠囊生產效率的同時，保證膠囊的整體質量。

本文提出基于機器視覺的膠囊板缺陷檢測系統，是由光源模塊、攝像頭采集模塊、輸送帶檢測模塊、計算機處理模塊、輸出控制以及報警顯示等模塊組成。采用了攝像頭視頻采集，對視頻文件進行去噪、去霧、濾波增強，在HSV 空間提取出膠囊的信息，利用開閉運算、圖像重建、連通域識別獲取膠囊的位置及其外接矩形的大小[1]。對膠囊位置進行矩陣式重排列，并利用模板對待檢測的膠囊位置進行位置校正、對膠囊的外接矩形大小進行校正；利用校正后的膠囊位置和外接矩形將每一個膠囊從原始圖像和中間二值圖像中截取出來原始膠囊圖集和二值膠囊圖集；對二值膠囊圖集中的每一個膠囊進行面積檢測，通過判斷面積占比來檢測漏裝膠囊、膠囊泄漏內部藥粉、膠囊被擠壓變形這三種缺陷；對原始膠囊圖集中的每一個膠囊進行RGB 檢測，通過計算RGB 三個通道的直方圖相似性獲取每一張圖片相互比對后的相似性系數矩陣，分析矩陣來檢測膠囊放置在錯誤位置的這種缺陷；最后將正確的膠囊標綠色方框，錯誤的膠囊標紅色方框[2]。

1 檢測裝置組成及工作原理

膠囊生產過程中難免出現缺失、漏粉、磨損、外觀變形等問題，在檢測過程中可能因為人為因素、機器故障、堆壓等因素致使膠囊出現了破損和表面磨損。按照破損和磨損程度的不同，系統必須把那些破損或磨損較大的膠囊剔除出來，從而提高產品質量。因此，需要對在線的膠囊進行圖像處理與識別，從而實現對膠囊生產的在線檢測[3]。在整個圖像處理過程中，首先要通過CCD 圖像傳感器獲取圖像，并將圖像轉換為計算機或微處理器能夠識別且運行的數字信號，并傳送給專用的圖像處理系統。獲取到圖像后對膠囊藥板進行濾波、圖像增強等預處理，并根據像素分布和亮度、顏色等信息，轉變成數字化信號，圖像處理系統對這些信號進行各種運算來抽取目算法分析；找到所有膠囊的位置，正確的膠囊標綠色的方框，錯誤的膠囊標紅色。錯誤的膠囊存在如下缺陷：漏裝膠囊、膠囊放置在錯誤的位置、膠囊泄漏內部藥粉、膠囊被擠壓變形等。

如圖1 所示，分別代表四種不同的缺陷：（a）為漏裝膠囊；（b）為錯誤的位置；（c）為膠囊漏藥粉；（d）為膠囊變形對應的實物圖。系統首先識別出膠囊板的位置，將其進行定位并從背景中提取分離出來。再次識別出每一個膠囊的位置，對其進行定位并從膠囊板背景中準確提取出來。提取后，對每一個膠囊進行缺陷檢測，并將正確的膠囊標綠色方框，錯誤的膠囊標記紅色方框，從而實現自動識別功能[4]。

圖1 四種不同的缺陷Fig.1 Four different defects

2 檢測系統的硬件構成

2.1 機器視覺檢測系統的構成

膠囊缺陷檢測系統的硬件架構主要包括機器視覺光學系統、傳送帶及傳感觸發裝置、基于PC 的圖像處理平臺、剔除裝置及上下料硬件控制模塊。其中機器視覺光學系統由三臺工業相機配上光學鏡頭及適配的光源組成[5]。圖像處理平臺包括工控上位機、擴展圖像采集卡(本系統為千兆網卡)和串口卡。傳送帶與傳感觸發裝置有序地傳送膠囊進入相機視野，膠囊借助底板摩擦滾動，滿足了360°拍攝需要。工控機與外部硬件控制模塊的交互由串口協議通信完成，包括硬件系統中振動槽的振動、排序輪的轉動、傳送帶的啟停及狀態監測的報警等。系統設計如圖2 所示。

圖2 系統組成Fig.2 System composition

2.2 機器視覺檢測系統的工作原理

正常工作狀態下，藥物在傳送帶上向前傳遞，工業相機采集圖像信息，并傳遞給計算機。計算機經過檢測算法，可以檢測出正常膠囊板和缺陷膠囊板并做好標記。當系統檢測出缺陷膠囊后，計算機發出信號給PLC 控制器，控制器即刻啟動剔除裝置，撥走缺陷膠囊板入次品收集器，并通過顯示模塊在控制平臺上顯示出來[6]。

3 軟膠囊藥板機器視覺檢測軟件系統的研究

進行圖像預處理的目的是為了去除干擾、噪聲和差異，將原始彩色圖像變成適合于計算機進行特征提取的形式，以便為特征提取做好必要的準備。圖像預處理的質量直接影響到整個系統的識別準確率。

3.1 膠囊板位置獲取

為了提高分辨精度與速度，背景選用對比較強的黑色背板，有利于分離，讀入后的原圖因為是彩色圖像，為了加快運算速度，轉后為灰度圖[7]。形態學的開閉運算可以有效地實現圖像的運算提取，膨脹與腐蝕運算是一對反動作，可以控制區域內的亮度范圍，再利用開閉運算和連通域識別來獲取膠囊板的位置，具體流程如圖3所示，運行結果如圖4 所示。

圖3 二值化運算Fig.3 Binarization operation

圖4 膠囊板定位結果Fig.4 Capsule plate positioning results

3.2 去霧算法增強對比度

對于提取完畢的膠囊板，膠囊板的背景各有不同，彩色膠囊的背景相對復雜，同時伴有不同程度的反光，從而無法使用RGB 閾值將膠囊從背景中提取出來。并且膠囊板透明的塑料類似于霧，并且對提取精度產生了干擾，本文采用去霧算法來提高膠囊與背景之間的對比度。運行結果如圖5 所示，去霧后的圖像可以清晰呈現膠囊狀態，如圖6 所示，有助于后面的膠囊提取。

圖5 去霧及其圖像重構Fig.5 Defogging and image reconstructio

圖6 去霧后效果Fig.6 Effect of defogging

去霧后的圖片，由于RGB 顏色閾值難以分辨，且無法提取不同顏色的膠囊，經過HSV 轉換（HSV 分別是色彩、深度、明暗），按著圖中方向的變化，其對應的顏色也會改變，所以利用不同的取值范圍設定合理的閾值可以有效地用于膠囊提取，轉換后的圖形，并對膠囊成分進行濾波、圖像重建、二值化處理，從而得到待定位的膠囊圖片，如圖7 所示。

圖7 膠囊顆粒與背景分離結果Fig.7 Capsule particles and results of background separation

3.3 膠囊位置獲取

經過對處理后圖像的研究，發現膠囊二值化后的圖像上存在很多離散的點，為了獲得一個個鄰域連通的膠囊，只有這樣才能使用連通域識別函數對每一個膠囊進行定位，然后再次利用開閉運算、圖像重建、連通域識別獲取膠囊的位置及其外接矩形的大小,如圖8 所示。

圖8 膠囊重定構流程Fig.8 Capsule restructuring process

3.4 膠囊位置校正

本文采用模板標記，通過對模板標記獲取膠囊的位置以及外接矩尺寸，并將數據作為模板來校正待檢測膠囊位置及其外接矩尺寸。

為了模板匹配和待檢測膠囊位置匹配，對膠囊位置進行矩陣式重排列，找出待測膠囊的中心點坐標，再找出同一行的其他膠囊位置，并將這組膠囊中心坐標另存為一組，數據表按照列坐標由大到小排列，然后將這組膠囊的坐標設為原始坐標，其余膠囊重新排列，得到矩陣式重排列后位置。使用模板的位置信息為參考值，以偏移里量為閾值，判斷標記待檢測膠囊的位置是否在中心位置，如果不在，中心坐標替換模中心坐標，同時不在此區間的圖片外接矩形替換為模板中外接矩形數據，完成數據的處理變換。通過上述步驟就可以將膠囊的位置進行校正，如圖9 所示。

圖9 膠囊定位校準流程Fig.9 Capsule positioning calibration process

3.5 基于二值圖像面積占比的檢測膠囊缺陷

獲得每個膠囊的圖片，再利用校正后的位置和外接矩形，截取出來二值膠囊圖集，并將每個膠囊從圖片中提取，從而得到原始膠囊圖集。接著通過二值圖像集中每張膠囊圖片統計白色點數，在整張圖片像素比例來判斷膠囊是否完整，但是在圖像運算的過程中會出現膠囊信息的丟失。如圖10 所示，白色點數占比達不到閾值，會判定為缺陷。本文引入基于灰度強度差權重來分離背景，由此可以得到背景點數集，再計算面積占比，當每一個膠囊的面積占比低于0.45 時，判定為缺陷膠囊。經過計算校正后的膠囊位置，以及外接矩形出來的二值膠囊圖集和原始膠囊圖集，經過統計，計算每張子圖片中的白色點數，并且計算截圖中每張圖片的灰度強度差權重，從而分離背景，然后統計每張子圖片中背景點數，并計算面積占比，如果膠囊的面積占比不大于0.45 時，判定此圖為缺陷膠囊。

圖10 膠囊信息丟失Fig.10 Capsule information lost

3.6 基于RGB 直方圖相似性的膠囊缺陷檢測

對原始圖形進行RGB 直方圖相似性判斷，對于在每一行膠囊，進行相似性比對，并對每個膠囊與同行膠囊進行RGB 直方圖相似性計算，獲得相似性矩陣。

選取該表中相似性系數最大的值為參考值，并以(max-0.2,0]U(0.4,0]為閾值區間判斷相似性，可以得到相似性矩陣，當某一列“1”的個數比行數少1 時，判斷該列對應的膠即為缺陷膠囊。再將面積缺陷檢測和RGB直方圖缺陷檢測的結果進行或運算，從而得到最終的缺陷檢測結果，并將判定的結果在原始圖片中標記，綠色代表正常膠囊，紅色代表缺陷膠囊，如圖11 所示。

圖11 驗證結果標識Fig.11 Verification result identification

4 實驗和結果分析

為了驗證膠囊自動檢測系統的測試效果，選用了22板不同程度的膠囊，其中的膠囊分別有漏裝15 顆、錯位20 顆、漏藥20 顆、變形15 顆的膠囊，經過五次實驗檢測，結果如表1 所示，正確率95.63%，識別速度達1400粒/秒，具有一定的實際應用價值。

表1 自動檢測系統的測試效果Tab.1 Testing effectiveness of automatic detection systems

5 結語

本文提出基于機器視覺的膠囊板缺陷檢測系統，通過攝像頭視頻采集，對視頻文件進行去噪、去霧、濾波增強，利用HSV 提取膠囊并進行圖像處理運算形成二值圖像，再對二值圖像進行計算，檢測出漏裝、漏藥以及變形三種缺陷，利用RGB 通道相似矩陣檢測出錯放缺陷，具有95.63%正確率，1400 粒/秒的運行速度，同時還具有低成本、高效率、維護簡單、實用性高的特點，擁有一定的實用價值。