面向智慧礦山的無人礦用卡車運動信息識別算法

顧同成，李 冰*，何 心，惠翔禹，徐武彬

（1.廣西科技大學 機械與汽車工程學院，柳州 545006；2.廣西土方機械協同創新中心，柳州 545006）

0 引言

礦山智能施工是在傳統施工基礎上加入智能排班、調度以及路徑規劃算法，并根據計算結果做出決策指令。其突出特點是為保證開采礦物量的前提下，合理地分配人力和物力，實現智能調度和排班。智能施工的實現首先是對周圍信息進行感知，但目前通過外界感知實時獲取礦山整體信息的能力仍然有待提高。在智慧礦山系統中，實現車輛行使方向的自行判斷，能夠有效控制小車行進和提前進行狀態修正，尤其是在彎道區域方向信息更是礦卡自動過彎的重要因素之一，提高過彎效率。另外對感知模塊進行深一步的優化，不僅可以大大提高系統自動排班、調度和路徑規劃的效率，還可以降低整個系統程序的運行時間以及程序復雜性，有助于系統初始化響應，為工程施工的智能化轉型打好堅實的基礎。

礦山智能施工的主要應用對象是挖掘機與礦卡。系統在感知礦山場景中的人、車輛和障礙物等信息后進行判斷，經排班、調度以及路徑規劃算法，再傳送指令至各礦卡車輛，使其自動進行最優化工作?，F有的智慧礦山系統中，通過礦卡上的雷達和激光雷達[1]等多傳感器融合的方式實現車輛對外界的感知以及對車輛自身的精準定位。目前YOLO系列算法已經運用到多方面的目標檢測中[2-6]，同樣也可以運用到智慧礦山系統的感知層面。YOLO算法雖然能夠識別目標種類和位置但對于相對地面靜止或者運動中的目標，其無法給出目標將要或者正在行駛的運動信息，進而無法通過算法或者感知的層面解決運動信息識別的問題，然而為了實現無人智能化施工，外界感知模塊需要完成更加全面的識別工作：路況監控（障礙物）、工程車輛識別和定位以及運動信息的識別等。

目前用于檢測目標方向的方法有很多，曹城華等人[7]研究基于Radon變換的空間目標運動方向檢測，通過前期對小目標進行隨機方向和大小的位移后對序列幀圖像降噪、分割等處理，然后利用Radon變換對空間目標的運動方向進行檢測。該方法使用在小目標的運動方向檢測上，而且針對在空間坐標，在平面坐標問題上并不適用。李洪峰等人[8]研究了基于SIFT算法的物體運動方向識別方法，主要是找到兩幅圖像的特征點，采用SIFT算法，對兩幅圖像的特征點進行匹配，選取三個特征點構建三角形，分析三角形的變化進而得出方向參數，然而此方法在SIFT匹配時會存在匹配誤差，精度有待提高。陳文帥等人[9]采用了Faster RCNN與YOLO-v3結合的方法實現了對極性電子元器件的定位和方向識別，此方法在識別靜止物體的方向上表現突出，但是識別速度不理想，不適合檢測運動中的物體。徐國瑞等人[10]研究運用了圖像處理及回歸分析擬合的方法，規劃判斷機器人行走方向，但是由于前期對圖像處理的步驟較為繁瑣，無法滿足對行駛中車輛的方向快速檢測。秦攀等人[11]研究通過在現場架設微波傳感器，根據兩路微波觸發前后來判斷車輛的行駛方向，此法對環境的要求較高，不適用于礦山的施工過程。

總結以上方法，基于深度學習及圖像的處理方法雖然能夠判別目標的運動方向，但對目標運動信息的快速、準確、實時的檢測方面還未取得有效成果。且國內外在礦山智能施工領域中并沒有針對識別礦用自卸卡車運動信息的算法。在目前智慧礦山系統的搭建過程中，實現礦卡的無人調度、排班以及路徑規劃等方面均是通過傳感器再利用建立的坐標系統進行關系映射來實現礦卡的定位以及運動狀態信息識別?；诖朔椒▽崿F的運動信息識別雖能夠達到目的，但是需要高精度的傳感器增加了系統復雜度及搭建的成本，同時增加了系統的整體響應時間。

1 YOLO算法

YOLO系列，全稱“you only look once”，是基于卷積神經網絡的目標檢測算法。本文將以YOLO-v5目標檢測算法作為改進對象對礦卡的運動信息進行識別。

從2016年到2021年，YOLO系列更新換代已經有多個版本[12-15]。YOLO系列算法主要將輸入圖像劃分為n×n的方格，若某一個方格內對應著目標物體的重心，則該方格負責檢測該目標。每一個方格會產生多個預測框Bounding boxes，每個預測框Bounding boxes都會產生與之對應的五個參數，分別是x，y，w，h和confidence。其中（x，y，w，h）為物體的中心位置相對于格子位置的偏移及寬度和高度，均被歸一化。Confidence置信度反映是否包含物體以及包含物體的情況下位置的準確性，定義如式(1)所示：

式(1)中，Pr（object）——方格是否包含真實對象，包含取1，不包含取0；IOU——交并比，是“預測的邊框”和“真實的邊框”的交集和并集的比值。

2 改進的YOLO-v5算法

目前YOLO系列算法是目標檢測領域中的最主流的算法之一，方便快捷，識別速度快，準確率較高，非常適合用在智慧礦山系統搭建中對移動目標的實時檢測。為了繼續沿用YOLO-v5的識別功能，本文對模型做出如下改進來實現運動信息的實時檢測：

1）修改YOLO-v5的輸出對象，提取識別過程中每一個最優目標預測框的左上角和右下角坐標，修改算法使其返回并輸出目標框的中心位置坐標。

2）整改算法輸出結構，提取目標標簽，利用標簽索引使其每次因礦卡移動而導致的坐標變化值都能夠實時保存。

3）將Open cv算子與YOLO-v5網絡融合，并且依次處理視頻流的每一幀畫面，實時調取礦卡的位置坐標參數，在視頻數據流和圖像檢測中進行圖像處理并以箭頭的形式表示前進方向，方便工作人員實時觀察和系統糾偏。

4）在YOLO-v5執行過程中，通過修改算法調取每一幀畫面礦卡車身和車頭的中心坐標，并以向量的形式作為方向參數在各功能模塊之間傳輸。

5）為網絡設計并添加方向角轉換算法，將檢測的方向向量以轉角和轉向的形式輸出，為調度、排班以及路徑規劃模塊提供準確實時的方向數據。

6）加入目標識別判斷機制，防止因目標的錯檢、漏檢導致的錯誤輸出甚至系統崩壞問題。

7）在多車目標方向判定時，加入多目標方向檢測并行機制，避免車輛因出入視野影響其他車輛方向的判斷問題，并且調整IOU閾值，使其輸出穩定且準確的預測結果。

8）加入漏檢報錯機制，由于外部光線或者攝像頭原因導致某一時刻無法識別視野中的目標時，將會針對漏檢對象及時報錯，以備工作人員調整。

9）加入車輛動靜識別機制。如車輛因自身故障長時間停在某一位置時，算法識別之后自動判斷是否停在準停區域并將故障車輛具體位置實時上報。

本文整體算法具體執行流程如圖1所示，圖2為本文方法執行順序框圖。

圖1 算法執行流程框圖

圖2 方法執行框圖

2.1 方向角轉換算法

為實現將YOLO-v5檢測到的兩個坐標點以方向參數的結果傳輸便于工作人員觀察以及智慧礦山其他模塊的準確調用?，F設計一種方向角轉換算法，將檢測到的同一礦卡的兩個目標坐標輸入，返回坐標的方向向量和該方向向量的轉向及轉角，如圖3所示。算法對得到的兩個坐標點進行向量化處理，將向量的兩個值比較后，在笛卡爾坐標系中進行表示并返回該向量的轉角及轉向。具體實現效果如圖4所示（以4號礦卡為例）。

圖3 方向角轉換算法

圖4 實現效果

2.2 防誤識別機制

基于深度學習的目標檢測算法中，誤識別是常見的現象，研究者們也一直致力于降低誤識別率、提高算法的性能等方面的研究。降低誤識別的方法有很多，如：改變判斷閾值的大小、增加網絡訓練的次數（epoch）、增加數據集大小等?；诖?，此次改進首先保證足夠的訓練數據集，并在后期實驗調整網絡預測模型的閾值用以保證識別車身和車頭的準確率。接下來通過在預測腳本中針對方向參數的實際輸出準確率做出優化，保證方向參數輸出結果的可靠性。具體實現方法：驗證檢測出的標簽與目標標簽是否一致，隨后將坐標對號入座進行保存，然后依次按照標簽對應關系進行后續處理，在此基礎上進行方向轉換和對行駛方向進行表示和輸出，避免因誤識別造成的方向轉換不準和輸出混亂問題。圖5是具體實現方法。

2.3 動靜識別機制

在智慧礦山搭建系統中，為了提高系統整體智能化水平，需要系統自動判斷礦卡停車位置是否是在準停區。如礦卡停在除準停區的其他位置，則證明礦卡出現故障，需要對其進行維護。對故障礦卡的位置檢測十分重要，當出現故障礦卡時，若車輛停在非準停區，此時必須立刻識別出當前位置坐標傳輸至路徑規劃、調度和排班模塊，防止因故障車的停車導致的追尾事故。如圖6算法流程圖展示了在YOLO-v5車輛運動信息識別過程中上報故障車輛的執行流程。

圖6 動靜識別機制

檢測過程中每40幀畫面對各車坐標列表進行判斷并更新，檢查坐標列表中第1個坐標和最后一個坐標的直線距離是否大于250mm（一個礦卡模型車的身位），如小于一個身位則證明此車靜止在原地，結合對目前停止車輛的區域判定，執行判斷機制是否需立刻上傳該車坐標。另外通過設置互斥參數（step）實現在YOLO-v5循環檢測程序中僅上傳一次故障車坐標，防止因多次上傳坐標導致的參數更新使得其他模塊無法持續工作的問題。

3 實驗結果與分析

3.1 實驗說明

實驗準備五輛礦卡模型車，并在車頭標號作為車頭識別特征（通過對礦卡編號更加有利于調度排班以及路徑規劃系統命令下發）。用Labelimg處理得到標簽，訓練改進后的YOLO-v5模型，訓練epoch取150，選擇yolo-v5s預訓練權重，置信度閾值設置為0.6，IOU閾值設置為0.5。

本文實驗在智慧礦山場景沙盤中開展，沙盤正上方安置“天眼”攝像頭實時采集礦山數據，礦卡模型車采用光電傳感器循跡行駛，運行訓練得到的YOLO-v5運動信息識別模型處理視頻流和圖片數據，并對沙盤狀況實時監控同時檢測運動信息。

3.2 實驗結果

訓練完的運動信息識別模型對五輛礦卡模型運動方向檢測結果如圖7所示。

圖7 模型識別及輸出效果

能夠發現基于本文改進算法的運動信息識別可以很有效的解決方向問題，無漏檢的情況，而且檢測的置信度也很高，定位精準，結果可靠。在真實礦山排班調度過程中，難免會遇到某一輛車不在視野范圍中從而未檢測到其運動信息，面對這種情況，模型也會將未檢測到的目標車輛輸出，從而方便操作人員或系統做下一步指令，圖8展示的是在未檢測到2、3號車時模型的輸出。

圖8 漏檢輸出

圖9 效果展示

實驗證明經過改進的YOLO-v5目標檢測算法對礦卡運動信息識別效果較好，并且針對未檢測的目標會實時上報，上報準確，另外對礦卡模型位置的定位準確，為系統控制車輛行駛提供了便利。

4 項目應用

將模型整合到模擬礦山智能排班調度系統中，經信息通訊指令，把運動信息實時傳輸到消息轉發中心，便于其他模塊對運動信息的調取和監控。如圖展示的是將模型運用到項目中的識別效果。

5 結語

本文以目標檢測中運用普遍的YOLO-v5算法為基礎，針對智慧礦山中識別礦卡運動信息這一特定的問題進行改進，改變原來的輸出信息并根據測試中遇到的問題進行算法優化，在保障識別準確性的前提下提高了識別的魯棒性。本文改進算法在實現礦卡本身識別的同時還實現了運動信息檢測，提高了網絡的實用性和檢測的泛化性。結合本文提出的方向角轉換算法，將實際轉角和方位進行可視化輸出，為后續工作提供方向參數，更方便人為實時觀察和系統糾偏。由于本論文采用YOLO-v5目標檢測算法，其原算法具有的不足，如處理速度隨著視野中目標個數的增加而降低、受光線等環境的影響因素較大等缺點也體現在本論文的改進算法中,今后將會針對此進行優化，增強算法的健壯性并將實地收集智慧礦山以及真實礦卡信息，進一步驗證本文改進算法的有效性。