基于深度學習的風葉螺母檢測

劉 偉

（珠海格力電器智能制造有限公司 珠海 519000）

引言

風葉螺母影響整機排熱，噪音等關鍵質量要點[1]，是公司分體外機生產重點管控工序之一，目前主要是依賴員工人工眼看的方式，缺乏自動化檢測手段，并且員工多為兼顧檢查，所以極易出現螺母漏打現象；即使在運轉測試環節是可以發現漏裝，但是已經裝了外罩，需要重新返工，影響效率。經調研，公司也引入了一臺外部設計的風葉螺母視覺檢測設備，該設備應用的技術主要是偏傳統視覺技術，主要采用輪廓提取以及模板匹配的方式進行檢測，設備的識別率在95 %左右，并且無法區分螺母和墊片，存在一定的缺陷?；谏鲜鲈?，亟需一種在線自動檢測手段來解決問題；通過自主開發風葉螺母在線視覺檢測[2]裝置實現視覺檢測。

1 技術方案

整個系統主要由上位機、PLC、相機、鏡頭、光源及相關硬件結構組成，具體型號如表1所示。本方案包括系統硬件設計和算法軟件設計兩方面，如圖1所示。

表1 硬件型號表

圖1 項目整體方案

1.1 風葉螺母自動檢測系統硬件設計

系統硬件設計部分可以細分成結構設計和電控硬件設計。

1.1.1 結構設計

結構部分主要是保證照片符合相機拍照要求。上位機與PLC 以串口方式相連，封裝在控制柜中，顯示器與鼠標鍵盤在控制柜上供操作人員使用；使用鋁合金結構固定光源和相機，在光源后面安裝一塊遮光板，保證背景簡單，相機與上位機使用網線方式相連；氣缸與相關推動裝置放置在相機的前道工序，使用PLC 進行控制；氣缸終端流水線位置設置氣缸控制限位傳感器，鏡頭終端流水線位置設置拍照控制限位傳感器。如圖2所示，整個流程不停留，不影響產線節拍。

圖2 硬件結構設計示意圖

1.1.2 電控硬件設計

第一步，為了使外機角度在相機拍照的角度范圍內，使用PLC 控制氣缸，外機底托到達氣缸限位點時，啟動氣缸將外機底托推成與產線平行，使風葉正對相機；第二步，外機底托到達拍照限位點時，啟動相機進行拍照。先對風葉進行檢測，存在風葉則進行螺母檢測，否則跳過，存在螺母則亮綠燈，否則亮紅燈并停線。圖3所示為電控方案流程。

圖3 電控方案流程

1.2 風葉螺母自動檢測系統軟件設計

系統軟件設計部分主要分為風葉檢測算法和螺母檢測算法兩部分。根據產線調研，項目存在4 個難點：

1）流水線上，除了機子外，經常性出現其他物體如紙箱、塑料箱或返修機等經過線體，導致風葉螺母檢測系統經常性出現誤報，如圖4所示。

圖4 其他物體

2）風葉的類型較多，類型之間差異較大，而且早晚之間的光照環境[3]變化大，都給風葉的識別帶來一定的挑戰，如圖5所示。

圖5 不同風葉類型以及環境對識別的影響

3）目前螺母大體分兩種類型，一體式螺母和墊片式螺母，這兩種類型之間的差異性比較大，難以用傳統的圖像識別方法將他們都識別出來，如圖6所示。

圖6 不同類型螺母

4）墊片式螺母的安裝往往需要涂粘合劑，導致螺母本身的部分特征被遮擋，不利于傳統圖像算法的識別，如圖7所示。

圖7 被粘合劑遮擋的螺母

針對難點1），增加識別風葉的功能，只針對有風葉的機子進行螺母的檢測。

針對難點2），采用深度學習算法[4]，使用大量的風葉圖片和非風葉圖片對所設計的風葉識別模型進行訓練。使得該模型能夠學習到風葉本身的特征，能夠很好地避免不同類風葉間的差異性和解決光照差異大的問題。

針對難點3）和4），采用人工智能算法中的深度學習算法，利用其卷積神經網絡[5]強大的圖像特征提取能力，使用大量的螺母圖片和非螺母圖片對所設計的螺母識別模型進行訓練。使得該模型能夠學習到螺母本身的特征，能夠很好地避免不同類螺母間的差異性和解決螺母部分特征的遮擋問題。

1.2.1 風葉檢測算法

主要使用CNN 算法進行自動建模，前期采集大量不同類型風葉及其他物體、不同光照環境下的風葉及其他物體的圖片，預處理成CNN 輸入的格式之后輸入CNN進行模型訓練，得到檢測模型，之后在產線上采集的圖片經過同樣的數據處理之后輸入檢測模型進行判斷，得到判斷結果，如圖8所示。

圖8 使用CNN 算法檢測風葉有無

圖9 風葉檢測自學習

由于其他物體、環境較為復雜，僅僅使用CNN 算法進行模型訓練得到的檢測準確率約為98 %，為了進一步提升檢測準確率，降低誤報率，首創了一種自學習的算法，檢測設備會保存檢測出NG 的圖片并報警，操作人員可以回顧NG 圖片，刪除真正的非風葉圖片，保留誤判的圖片，系統會重新對誤判的圖片進行學習，不斷優化模型。

1.2.2 螺母檢測算法

螺母檢測與風葉檢測相同，同樣使用CNN 算法進行自動建模，前期采集大量不同類型螺母以及非螺母的圖片，預處理成CNN 輸入的格式之后輸入CNN 進行模型訓練，得到檢測模型，之后在產線上采集的圖片經過同樣的數據處理之后輸入檢測模型進行判斷，得到判斷結果，如圖10所示。

圖10 使用CNN 算法檢測螺母有無

雖然風葉檢測和螺母檢測都是使用CNN 算法建模，但是使用的架構和輸入的數據截然不同，風葉檢測相對來說數據量較大，但是數據較簡單，因此為了保證速度，在精度不變的情況下，盡量減少隱藏層數量，CNN 模型輸入為200×200，有4 個隱藏層（卷積+池化層）；螺母檢測相對更難一些，但是每張圖片的數據量較少，只需提取螺母部分的興趣點，CNN 模型輸入為30×30，有6 個隱藏層。

1.3 風葉螺母自動檢測系統界面設計

系統界面分為圖像顯示區、數據展示區、運行狀態展示區以及人機交互區四部分，如圖11所示。

圖11 系統界面

圖像顯示區顯示相機采集的圖像信息，也會將檢測結果以OK/NG/NF 的方式顯示出來；數據展示區是對歷史數據進行一個展示，方便進行質量追溯；運行狀態展示區會顯示檢測軟件運行的狀態，可以根據運行狀態進行相應的調試；人機交互區是開放給操作人員的使用的，操作人員可以在其中進行相關操作。

2 現場驗證過程

檢測系統在總裝K3102 線布置進行現場驗證，通過放蛇驗證和長期產線驗證，可以準確識別出風葉的有無以及螺母的有無，如圖12～14所示。

圖12 檢測出沒有風葉

圖14 檢測出螺母

3 驗證分析結論

經過產線驗證，共檢測19 592 臺外機，其中合格品為195 39 臺，不合格品為53 臺（40 臺是有意放蛇檢出，13 臺是線上員工漏打螺釘），合格率為99.729 %，其中誤檢24 臺（有風葉或螺母識別成沒有20 臺，漏識螺母4 臺），檢測準確率為99.88 %，檢測可靠率99.97 %。

4 總結

本文基于深度學習技術提出了一種自動化的風葉螺母在線檢測技術，產線驗證結果顯示，該技術在檢測風葉螺母異常方面有較高的準確性和可靠性，對于提高工業產品生產裝配過程中的質量控制具有重要意義。通過與現有其他的檢測方法進行比較，發現基于深度學習的風葉螺母檢測技術在準確性和可靠性方面具有明顯優勢，但是本研究仍存在一定的局限性，在數據集的選取和網絡結構的優化方面還需要進一步改進，未來還需要擴大數據集規模，嘗試多種網絡結構，進一步優化檢測性能。