基于YOLOv5 的起重機制動下滑量測量系統設計*

肖號迪 吳峰崎 劉 龍 胡佳偉

1 上海海事大學物流工程學院 上海 200240 2 上海市特種設備監督檢驗技術研究院 上海 200062

0 引言

起重機制動環節在起重機起升系統中起著非常重要作用，制動性能直接影響著整個系統的安全運作和可靠性，而制動下滑量是衡量制動性能的重要標準，故對于制動下滑量的檢測非常有必要。

在起重機啟動制動后，吊鉤受到自重及載重的影響，在重力和加速度的作用下不能馬上靜止不動，會持續向下滑動一段距離，這段距離就是制動下滑量[1，2]。目前常見的方法有目測法、行程開關控制的檢測方法、加速度傳感器測量、激光測量下滑量法等，對此業內同仁已有研究。

楊陽等[3]提出了一種通過主動向控制器提供制動信號來檢測起重機制動點的新方法，通過多次實驗測試數據比較穩定，誤差小于1 mm；王鵬飛[4]利用MEMS 技術和制動滑動距離檢測理論設計了檢測系統，并通過動態仿真得出計算值與激光位移傳感器誤差在0.5 mm 以內；范麗麗等[5]通過比較線控開關法和計算分析法發現起重機制動器測試儀的性能更準確；王小翼[6]設計了一個由霍爾傳感器和數據采集軟件組成的制動滑動距離檢測系統進行反復測量，可減少重復檢測的工作量，其精度約為1 mm；祝金鳳等[7]利用激光測距儀檢測起重機的制動距離，通過積分擬合的方法得到運動位移和速度曲線，通過多次測量實現了結果的高度一致性，精度可達1 mm。

上述測量方法需要特定的機械結構和控制電路，多數情況下需要搭建輔助測量平臺，且進行復雜的安裝準備工作。即使是理論上可行的測量方案，在實際野外作業中也可能遇到難以預料的困難和障礙。盡管一些方法可以用來檢測特定環境的性能，但其并不適用于復雜多變的施工環境，故需定期進行檢測以確保安全和可靠的結果。

若使用下滑量檢測系統進行檢測，則只需拍攝制動視頻即可完成下滑量測量，避免了搭建復雜的測量平臺，更適用于復雜多變的施工環境。因此，本文采用基于YOLOv5 目標檢測方法，設計了一種操作簡單、安全性高、測量精度高的檢測系統。

1 YOLOv5 算法

YOLOv5 網絡結構[8]根據其功能可分為輸入端、Backbone 網絡部分、Neck 網絡部分和輸出端4 部分[9]。在輸入端，使用Mosaic 數據增強方式[10]提升模型準確率，通過隨機縮放、裁剪和排布圖像，然后將多張圖像拼接在一起作為輸出；Backbone 層主要由Focus 結構和CSP 結構組成，Focus 結構是網絡中的第1 層，其作用是對輸入特征圖進行采樣，將1 個輸入特征圖劃分為4 個子圖，并通過通道對這4 個子圖進行連接，以此得到1 個更小的特征圖；CSP 結構用于構建骨干網絡（Backbone），主要作用是將輸入的特征圖分為2 部分，一部分送入小的卷積網絡進行處理，另一部分無需處理即直接進入下一層，最后將這2 部分特征圖拼接起來作為下一層的輸出；Next 層是在骨干網絡基礎上加入中間特征提取網絡，再對不同層次的特征進行融合；YOLOv5 輸出端可以輸出圖像中目標的位置、大小以及類別等信息。

2 基于YOLOv5 的坐標提取算法研究

如圖1 所示，起重機制動下滑量測量原理為：首先在重物上粘貼標志點，拍攝起重機制動視頻，對視頻進行分幀，通過目標檢測算法準確識別視頻中標志點，并進行輪廓提取及橢圓擬合得到每個標志點坐標，對視頻中每個標志點坐標變化得到制動開始幀及制動結束幀，通過這2 幀標志點坐標變化得到起重機制動下滑量的數據。

圖1 下滑量測量原理圖

YOLOv5 作為一種目標檢測算法，具有檢測速度快、準確率穩定等特點，方便對檢測后標志點進行輪廓提取及坐標顯示，故本實驗使用YOLOv5對標志點進行識別。通過YOLOv5 對標志點進行識別并對識別后的圖像提取其中心坐標過程如圖2 所示。

圖2 標志點識別及中心坐標提取流程圖

1）拍攝視頻 通過相機拍攝起重機制動過程中已粘貼標志點的吊物的運行視頻。

2）視頻分幀處理 通過YOLOv5 對拍攝出的視頻進行分幀，并保存分幀圖片。

3）自建數據集 建立分幀后的視頻進行數據集，分成訓練集和驗證集，為機器學習做準備。

4）數據集圖像擴充[16]在本次實驗中，分幀后的圖片數量有限，為了更好地進行機器學習，有必要對數據集圖片進行擴充。擴充數據集的方法是通過數據增強以增加數據集樣本空間的多樣性，通過使用仿射變換和顏色抖動等數據增強技術，計算機可生成大量數據，有助于神經網絡學習更多圖像特征并提高模型性能。

5）數據集標注與劃分 在目標物體檢測領域，通常訓練神經網絡是通過圖像標注識別已知物體的，LabelImg 軟件被用來注釋標簽的位置，圖像標注如圖3所示。

圖3 圖像標注

6）使用YOLOv5s 模型對數據集進行深度學習，從而準確識別標志點。

7）進行標志點圖像識別，從圖像中提取特定的標志點[17，18]，利用擬合技術準確定位出該標志點的中心位置，以便對中心坐標進行匹配。本文使用FindContours函數提取標志點外輪廓，并用橢圓擬合法[19]得到標志點圓心坐標，并得到橢圓擬合的像素半徑，圓心識別結果如圖4 所示。

圖4 橢圓擬合圓心坐標示意圖

3 改進的特征點匹配方式

3.1 傳統歐式距離匹配方法

特征點匹配是對提取到的特征點進行一對一正確匹配，本文通過YoLov5 目標檢測后提取到的特征點，減少環境的影響能準確地檢測出每一幀圖像上的5 個特征點，并計算其歐氏距離[20]，特征點匹配是將特征點一一對應。記模板圖像中特征點集合為A＝｛Si｝，i＝（1，2，3，…，m）；目標圖像特征點集合記為B＝｛ti｝，i＝（1，2，3，…，n），m、n分別記作模板圖和目標圖特征點數，計算2 集合內特征點間的最小距離和次最小距離，設置比例Q進行界定，設定閾值Tq，使Q低于Tq，則視為配對正確，其原理如圖5 所示。從圖5 中可以看出，只有一個距離最短的限制，還是會出現錯誤匹配。

圖5 距離最短匹配示意圖

3.2 優化歐式距離匹配方式

為了避免此時出現錯誤匹配，需要對特征點匹配算法進行優化改進。在對每個標志點使用歐式距離最短方法進行匹配的基礎上加入特征點排序，即分別為每幀圖片中的5 個特征點進行排序，具體為通過算法使左上、右上、右下、左下及左的5 個方位特征點依次排序，這樣每幀圖像上的5 個標志點相互一一對應，可以有效排除錯誤匹配，匹配效果如圖6 所示。

圖6 優化匹配效果示意圖

4 制動幀圖像定位

4.1 制動幀圖像判定步驟

本文使用Opencv 庫中的Offset 函數，得到每個元素帶有定位父元素的上方偏移。設定已制動后受重力繼續下降的最遠距離為制動下滑量，記平行于相機鏡頭方向且垂直于起升運動方向為X軸方向，自重方向為Y軸方向。

1）開始制動判定原則 開始制動可疑位置自重方向坐標前后偏移量最大處的后一幀判定為開始制動位置。

2）結束制動判定原則 目標自重方向坐標不變即為停止制動位置。

4.2 制動幀圖像判定誤差及影響

起重機起升機構在起升制動過程中，與理想的起升制動狀態會有一定偏差，這些偏差對于最終結果會產生一定誤差，需要修正。造成偏差的干擾因素主要有：

1）在起升機構運動過程中，不僅會在起升運動方向有位移，在平行于相機鏡頭方向且垂直于起升運動方向處也會產生位移，是否會對精度存在一定影響需要進一步分析。

2）在起升機構運動過程中，理想的情況為先勻加速、然后勻速、最后勻減速的過程，開始制動幀判定也是運用于這種理想情況，但實際情況并非如此，自重方向坐標會有一定抖動，此抖動也會產生一定誤差，影響結果精確度，需要進一步處理。

3）在起升機構制動過程中，下降到最低點時會有回彈，不僅對水平方向位移有影響，對最后階段的勻減速過程也會有額外干擾。

4.3 優化制動幀圖像判定算法

1）X軸方向干擾

在起重機起升機構運行過程中，以相機距離標志點6 m 為例，分別記錄制動開始幀以及制動結束幀的X坐標、Y坐標以及偏移角度，具體如表1 所示。

表1 標志點數據

檢測目標靜止狀態X軸像素坐標為1 101.988 px，Y軸像素坐標為323.013 px；檢測目標開始制動274 幀X軸像素坐標為1 116.42 px，Y軸像素坐標為692.33 px，擺動角度為2.23°；結束制動的X軸像素坐標為1 114.593 px，Y像素坐標為695.281 px，擺動角度為1.89°；制動幀到結束幀Y像素坐標差值為2.951 px，考慮角度影響，制動幀到結束幀Y坐標差值為2.954 px，相差0.003 px。因此，擺動對本系統影響并不是很大，只需要考慮Y坐標即可。

2）Y軸方向干擾

在起重機實際制動過程中，Y坐標差值并非完全規律，會有一定輕微抖動，原始判斷原則為Y坐標前后偏移量最大處。因此，在算法判斷時需要進行閾值優化，即令Abs(Offset_y)為當前幀與上一幀Y坐標偏差絕對值，令Abs(Lastoffset_y)為上一幀與再上一幀的Y坐標偏差絕對值。設置閾值比例為Q，當檢測到Abs(Offset_y)＜Q* Abs(Lastoffset_y)時，則當前幀為制動開始幀，此算法優化可以解決因制動過程中起重機抖動而產生的誤差。Q的大小與制動性能有關，一般起重機設置0.6 即可。若滿足判斷要求則確定制動開始幀位置，開始幀判斷程序結束，這樣可以避免由于制動結束前系統回彈導致的判斷誤差。

5 系統功能及實驗檢測

5.1 系統集成與功能

在控制界面中，主要效果是為了測量制動下滑量，主要功能包括打開視頻、批處理檢測視頻中各標志點坐標、輸入標志點實際半徑、計算標志點像素半徑、找出制動位置、計算制動距離等。

將相機放置在待采集目標視頻的正前方，本次需要測試制動下滑量數據的穩定性，將采集相機與標志點距離4 m 正前方拍攝圖像。

5.2 實際實驗檢測

以相機與標記點距離4 m 實驗為例，對開始制動時刻、停止制動時刻、系統軟件測試進行實驗分析。

1）開始制動時刻分析

Y均值坐標變化如圖7 所示，219 幀可疑點前后坐標點Y坐標前后偏移量變化如圖8 所示。相機與標志點距離4 m 制動視頻在第2 次偏移時Y坐標達到最大，前面偏移量逐漸增大，后面偏移逐漸變??；第2 次偏移由圖8 可知，是216 幀與217 幀的偏移，所以218 幀為開始制動圖像。

圖7 坐標變化圖

圖8 坐標偏移量變化

2）停止制動時刻分析

取Y坐標停止制動為結束制動位置，開始制動幀圖像和結束制動幀圖像坐標數據如表2 所示。本系統選擇的標記點外圓半徑為15 mm，經系統檢測出，標記點像素半徑為19.944 px。

表2 開始與結束制動坐標數據

3）系統軟件測試

導入拍攝視頻，軟件檢測結果如圖9 所示。根據制動下滑量原理，已知標記點實際半徑為15 mm，像素制動距離為2.617 px，測量得出相機距離標記點4 m 位置，測得制動下滑量為1.969 mm。

圖9 系統測試結果圖

6 結束語

對制動下滑量檢測系統提出迫切需求，本文研究工作主要圍繞提高制動下滑量檢測系統實時檢測精度展開，開發了相應的軟件系統，優化了標志點匹配算法，建立了目標檢測模型，重點分析了制動位置開始幀和結束幀的尋找，對于系統產生的誤差進行了分析，并對算法進行了優化。該系統具有簡單易操作、高精度、實時顯示、穩定性好等特點，實驗結果表明，制動下滑量檢測系統的可行性和有效性。

本文基于攝影技術設計了對起重機制動下滑量檢測算法，用于自動化實驗中的檢測，雖然取得一些成果，但仍存在以下不足：

1）基于YOLOv5 的目標檢測模型訓練集數據較少，需要通過不斷擴充數據集，提高模型的泛化性，收集容易誤判的標志點圖像，增強檢測效果。

2）目前本系統只涉及到二維坐標系的一個分析，在要求更高精度的情況下，可采用2 臺攝像機，對三維坐標系進行分析。

3）對于系統中因為制動而出現的擺動，也會因為回彈力導致制動結束位置不準確，后續可以增加Y方向數據量，得出回彈規律，提高檢測系統精度。