基于機器視覺的煤矸石分選方法研究

石亦琨，李 崢，李潤田，黨長營，曾志強

（1.北京星途探索科技有限公司，北京 100176；2.中北大學機械工程學院，山西 太原 030051；3.先進制造技術山西省重點實驗室，山西 太原 030051）

0 引 言

在煤炭開采中，原煤中混雜的煤矸石占15%～20%。煤矸石是一種含碳、硅、鋁的混合物，密度較大、發熱量小，因此一般需要通過“選煤”工藝將煤矸石與煤塊分離出來[1]。近幾十年，我國因經濟發展需要大規模開采煤炭，聚集了大量矸石山，不僅占用大量土地，還對大氣和水體造成了不可估量的污染。同時，煤矸石山中會夾雜一定比例的煤塊，使得矸石山存在自燃的風險，由此將對環境造成更加難以估量的污染[2-3]。因此，研究如何高效地將煤塊中夾雜的矸石分離出來具有重要意義。

目前，我國應用較多的煤矸石與煤塊分選方法是人工選矸、射線選矸、重介質選矸等[4]。人工選矸是依靠人工進行，有賴于操作工人的主觀意識，故分選結果存在大量的誤選、漏選等情況，且分選效率以及精度很難得到保障[5]。射線選矸主要是以X 射線和γ 射線穿過煤和矸石過程中產生的不同能量衰減為依據來識別矸石和煤塊，但是該方法后期維護成本高，且產生的輻射嚴重危害工人健康[6]。重介質選矸在分選過程中則會浪費大量的水資源，且占用面積過大[7]，缺點較為明顯。近年來，隨著深度學習迅速發展，一些學者將深度學習技術應用于煤矸石分揀領域，鄭爽等[8]提出了一種基于AlexNet-SN 網絡的煤矸石檢測方法，首先對網絡進行改進，其次引入風格遷移技術增強數據集的多樣性，實驗證明該方法檢測精度為85%，較原網絡提高了1.8%。李亞坤等[9]通過在VGG-16 網絡中加入Dropout 和正則化等操作，在參數量大幅降低的同時，訓練集與驗證集的精度分別為99.73%與97.58%。鄭道能[10]針對傳統機器視覺的煤矸石識別方法檢測速度與精度無法平衡的問題，提出了基于改進的tiny YOLOv3 的煤矸石檢測方法，在滿足檢測精度的前提下，單張圖片檢測速度僅為12.5 ms。

因此，本文在深度學習的基礎上提出一種基于機器視覺與YOLOv5 算法結合的煤矸石分選方法，并對YOLOv5s 網絡模型進行優化，使其能準確識別煤矸石與煤塊。

1 煤矸石自動分選系統原理

煤矸石自動分選系統工作原理如圖1 所示。由圖1 可知，物料經過上料機構預篩后落到傳送帶上，經過排隊機構排序后依次有序前進，防止物料堆積。當經過圖像采集裝置下方時，相機對物料進行圖像采集，送入目標檢測網絡進行識別。當識別到目標物料為矸石時，計算機發出指令控制高壓氣閥噴氣，將矸石吹入矸石料斗；當識別到目標物料為煤塊時，氣閥不動作，煤塊落入煤塊料斗，從而實現煤矸石與煤塊的分離。

圖1 煤矸石自動分選系統工作原理示意圖Fig.1 Schematic diagram of the working principle of coal gangue automatic sorting system

2 基于機器視覺的煤矸石自動分選方法

2.1 YOLOv5 網絡原理

YOLO 系列算法有速度快、檢測精度高等優點，在計算機視覺領域得到了廣泛應用[11]。本文采用的YOLOv5 算法包含四個模型，分別為YOLOv5s 模型、YOLOv5l 模型、YOLOv5m 模型和YOLOv5x 模型，網絡大小依次增大，檢測時間也依次增加，考慮到時間成本等因素，本文選用YOLOv5s 模型。

YOLOv5s 模型主要結構可以分為輸入網絡（Input）、主干網絡（Backbone）、頸部網絡（Neck）以及預測網絡（Head）四個部分，圖2 為其網絡結構圖。輸入網絡（Input）采用Mosaic 數據增強的方法，從訓練集隨機選取四張圖像進行縮放與裁剪，拼接成一張圖像，這種方法能夠有效增加數據集的樣本數量和多樣性，提高目標檢測模型的魯棒性與精度。主干網絡（Backbone）的作用是提供一個特征提取器，可以識別圖像中的特征，并將這些特征轉換成高維特征向量，用于后續的分類、定位和檢測任務，主要分為Conv 模 塊、CSPDarkNet53 模 塊 和SPPF 等 模 塊。在頸部網絡（Neck）中，YOLOv5s 模型采用了FPN+PAN 特征圖像金字塔結構，將不同尺度的特征圖進行融合，并且將多個尺度的特征圖進行上采樣與下采樣等操作，使其具有相同的尺度和分辨率，然后進行拼接，得到一個更加全局的特征圖來提高檢測精度。在預測網絡（Head）中，使用CIoU_Loss 函數作為損失函數，分別對大、中、小三種尺寸的目標對象進行檢測。

圖2 YOLOv5s 模型網絡結構Fig.2 Network structure of YOLOv5s model

2.2 網絡優化改進

為了提高模型檢測精度、增強對小目標的檢測能力，針對YOLOV5s 原網絡進行如下改進。

1）在主干網絡（Backbone）中引入CBAM 模塊注意力機制，提高網絡的特征提取能力與泛化能力。

2）在頸部網絡（Neck）使用BiFPN 加權雙向特征金字塔網絡替換PANet 結構，加快網絡多尺度特征融合，提高對小目標的檢測能力。

3）在預測網絡（Head）中，使用EIoU_Loss 函數替代CIoU_Loss 函數作為網絡的損失函數，進一步提高網絡識別準確率，加快網絡收斂。

2.2.1 CBAM 注意力模塊

YOLOv5s 模型針對不同的目標檢測場景，設計了四種不同大小的模型，但針對一些小目標的檢測效果會變差。此外，由于本文選用的YOLOv5s 模型的深度以及寬度最低，會造成網絡對小目標物體特征提取信息的丟失，特別是在煤矸石與煤塊的檢測中，會夾雜較多的小目標物體，影響其檢測精度。針對這一不足，在YOLOv5s 模型主干網絡（Backbone）中加入CBAM 模塊注意力機制來提高檢測精度，其結構圖如圖3 所示。

圖3 CBAM 模塊結構原理圖Fig.3 Structure schematic diagram of CBAM module

CBAM 模塊是一種基于注意力機制的卷積神經網絡模塊，可以有效地提高模型的表現力和泛化能力。CBAM 模塊主要包含兩個部分：通道注意力和空間注意力。其中，通道注意力機制可以自適應地學習每個通道的重要性，從而增強有用的特征通道，抑制無用的特征通道；空間注意力機制可以自適應地學習每個空間位置的重要性，從而增強有用的空間位置，抑制無用的空間位置。CBAM 模塊將通道注意力和空間注意力相結合，可以自適應地學習每個通道和空間位置的重要性，從而提高模型檢測精度。

2.2.2 加權雙向特征金字塔結構

在YOLOv5s 模型中，頸部網絡（Neck）部分主要使用PANet 結構對來自不同特征層的信息進行融合，PANet 結構[12]相較于原始的FPN 結構增加了一條自下而上的特征通道，能夠實現自上而下與自下而上特征融合，提高了檢測精度，但是計算量較大，增加了模型的訓練時間與推理時間，因此，本文引入BiFPN 結構對頸部網絡（Neck）部分進行改進。BiFPN 結構是加權雙向特征金字塔結構，其主要思想包括高效的雙向跨尺度連接和加權特征圖融合[13]，相比于PANet 結構，首先BiFPN 結構刪除了只有一個輸入端的節點，減少了計算量；其次BiFPN 結構將自上而下和自下而上的路徑視為一個網絡，并且允許多次重復疊加，能夠融合更多特征，提高對小目標的檢測能力。此外，BiFPN 在特征融合的過程中為每個輸入添加了一個權重，可以通過調整權重的大小來學習更多的特征。圖4 為兩種不同的特征金字塔結構。

圖4 兩種不同特征金字塔結構Fig.4 Two pyramid structures with different features

2.2.3 EIoU 損失函數

在YOLOv5s 模型中使用CIoU_Loss 函數作為其損失函數，具體表達式見式（1）。

式中：IoU為預測框與實際框的交并比；b、bgt為預測框與實際框的中心點；ρ為預測框與實際框的兩個中心點的歐幾里得距離；c為包含預測框與實際框最小矩形的對角線長度；α為權重系數；v為預測框與實際框的寬高比特性。

CIoU_Loss 函數通過計算各個框的歐幾里得距離，解決了預測框與實際框互相包含的問題[14]，但是其結果比較固定，不能很好地適應高IoU 損失、低IoU 損失和梯度加權的問題。為了提高網絡識別精度和加快收斂，本文采用EIoU_Loss 函數[15]替換CIoU_Loss 函數，具體表達式見式（2）。

式中：cw、ch為最小封閉矩形的寬和高；w、h為預測框的寬和高；wgt、hgt為實際框的寬和高。

EIoU_Loss 函數繼承了CIoU_Loss 函數的優點，又引入了寬高損失，能使真實框與預測框的寬和高之差達到最小，使得網絡收斂速度加快。經過上述改進以后的YOLOv5s 模型網絡結構如圖5 所示。

圖5 改進后YOLOv5s 模型網絡結構Fig.5 Network structure of improved YOLOv5s model

2.2.4 數據增強

在深度學習中，過少的數據集往往會導致模型出現過擬合現象，從而導致模型的泛化能力較差，無法滿足實際需求，因此在網絡訓練前應準備足夠的數據集[16]。由于實驗室樣本數量有限，本文采用旋轉、平移、隨機亮度設置等圖像增強的方法對現有數據集進行擴充。圖6 和圖7 為部分增強后的數據集。

圖6 圖像平移Fig.6 Pan for image

圖7 圖像隨機亮度設置Fig.7 Random brightness settings for images

經過圖像增強以后，樣本數量由原來的1 000 張擴充到2 000 張，其中，煤塊圖像為900 張，矸石圖像為800 張，煤塊與矸石圖像為300 張，按照8∶1∶1的比例劃分訓練集、驗證集與測試集，其中，訓練集包含圖像1 600 張，驗證集和測試集各包含圖像200 張。

3 實驗過程及分析

3.1 實驗環境與評價指標

本文算法軟硬件配置如下所述：操作系統為Windows10，CPU 為i5-12600kf，內存容量為16 G，顯卡為NIVIDIA GeForce RTX3080，顯存為12 G，編程語言為python3.8，采用PyTorch 深度學習框架。為了保證對比實驗的客觀性與真實性，對改進前后網絡進行測試時，選用相同的超參數，見表1。

表1 超參數設置Table 1 Setting of hyperparameters

本文實驗選用平均精度均值mAP（mean Average Precision）和損失函數作為模型的評價指標，其中，mAP 表示模型對所有類別預測平均精度的平均值，mAP 值越高代表檢測效果越好，常用的有mAP@0.5（預測框與實際框的交并比閾值為0.5）和mAP@0.5∶0.95（交并比閾值從0.5 到0.95，步長0.05）。本文選用mAP@0.5 作為改進前后模型的評估指標，mAP 可通過以精確度P為縱軸、召回率R為橫軸的P-R曲線求得，計算公式見式（3）～式（6）。

式中：TP為將真目標預測為真目標的數量；FP為將假目標預測為真目標的數量；FN為將真目標預測為假目標的數量；AP為模型計算單類別平均精度；k為類別總數。

3.2 實驗結果分析

為了驗證改進后YOLOv5s 模型識別煤矸石與煤塊的準確性與有效性，本文設置對比實驗，實驗分別用改進前后的算法在相同的配置環境下進行訓練，訓練結果如圖8 所示。

圖8 模型改進前后實驗結果曲線圖Fig.8 Experimental results curves before and after model improvement

由圖8（b）和圖8（c）可知，改進后模型的損失函數相較于原模型更加平滑，且損失值更小，在邊界框損失中較原模型下降了約0.003 2，在目標損失中下降了約0.001 3，說明改進后網絡檢測效果更好，魯棒性更強。由圖8（a）可知，當訓練30 輪以后兩個模型mAP 值相差不大，均在0.91 左右，在后面訓練當中，原模型上升速度開始減慢，最終穩定在0.93 左右，而改進后模型上升速度較快，且更加平穩，最終穩定在0.95 附近，說明改進后模型的檢測精度更高。為了更清楚地展現改進后模型的效果，選取兩組測試結果進行對比，如圖9 所示。

圖9 改進前后模型識別結果圖Fig.9 Model recognition results before and after improvement

4 結 論

1）針對當前煤矸石分選效率低、自動化程度不高等問題，提出了一種基于機器視覺與YOLOv5s 模型相結合的新分選方法，并經過實驗驗證了該方法的可行性。

2）改進后模型的平均識別精度達到了95.3%，較原網絡提高了2.1%，能夠很好地完成煤矸石分選，為后續基于機器視覺的自動化分選系統設計提供相應的理論基礎。