一種基于深度網絡的膠帶煤流粒度估計方法

張 卿，馮化一，張虎平，楚遵勇，王佳樂

(1.國電建投內蒙古能源有限公司，內蒙古 鄂爾多斯 017000；2.天津美騰科技股份有限公司，天津 300000)

目前，很多選煤廠將毛煤直接入洗。煤礦在多工作面開采時由于地質構造不同，造成毛煤質量、粒度波動較大，因此選煤廠在毛煤給煤、輸送、轉載、分選、洗選等過程中存在質量不均、粒度不均的情況，嚴重影響了工廠生產[1]。首先，質量、粒度不均勻的毛煤，在給煤過程中經常造成給煤機卡堵，導致給煤不暢，給煤機不能基于穩定流量給煤[2]。其次，由于給煤環節的流量波動，導致入選、洗選環節處理量瞬時波動嚴重，系統處理能力不能達到設計值。除此之外，毛煤的粒度不均，可能發生膠帶短時間同時存在大量大顆粒物料的情況，致使運輸膠帶集中受力，發生轉載溜槽卡堵現象，以及設備內部保護刮卡、刮煤棒受力不均造成變形，淺槽分選機刮板變形等情況[3]。這些情況會嚴重威脅系統安全穩定運行，而且降低了生產效率[4]。

目前，受制于技術瓶頸和惡劣的工作環境，煤炭洗選加工過程中，仍然只能依靠崗位工人巡檢結合調度室調節的方式控制毛煤下料時的粒度組成，從而盡可能保證洗選質量穩定、處理量最大[5-6]。這種方式不僅存在工人主觀評判標準不一的情況，還會因為工作內容單一造成員工疲憊、分心。

1 研究現狀

對于鐵礦石等分選工廠，基于圖像識別的粒度識別技術漸漸成為主流[7]。張建立等[8]利用形態學差異對鐵礦石進行輪廓檢測。蔡改貧等[9]利用Canny算子提取鐵礦石邊緣特征，進而對礦石圖像進行分割。然而，相關文獻中幾乎沒有煤炭識別的研究。究其原因，是由于相對于鐵礦石等物料，煤炭顏色單一、吸光性強。因此在圖像中物塊與物塊之間的間隔不明顯，加上物料中的粉末狀煤炭填充在塊狀物料縫隙的情況，更會加劇塊狀物料間隔模糊不清的狀況[10]。除此之外，傳送帶工作過程中粉末狀煤炭產生的煙塵以及自身的強吸光特性造成圖像對比度不足，也限制了基于圖像分析的粒度識別方法在煤炭行業的應用[11]。圖1分別給出了鐵礦石、錳礦石、銅礦石和煤炭的實例?？梢钥闯?，本文研究對象不僅邊緣信息區分度低，而且存在粉末狀部分亮度不足，整體顏色信息欠缺等情況。因此，目前存在的自動粒度識別方法不適用于煤炭粒度分析與估計。

圖1 礦石樣本實例

根據實際生產場景，結合傳統機器視覺中的圖像處理方式與深度學習，提出一種膠帶機中煤塊粒度估計的方法。具體來說，在圖像預處理上，采用改進的均值濾波算法對圖像進行降噪，消除由鏡面反射造成的光斑效應。并利用一種自適應直方圖均衡化方法對圖像進行增強，提升暗區域目標的可區分度。然后，利用本文提出的一種SSD[12]結合ResNet的深度網絡結構，即SSD-ResNet50深度網絡對塊狀物塊標定，統計檢測框尺寸。并根據生產中得到的實際粒度信息與檢測框面積的對應關系，估計當前膠帶機上煤炭的粒度組成。實驗結果證明，此方法在保證實時性與高精度檢測的基礎上，可以有效估計圖像中煤流的粒度組成，達到自動檢測的目的。

2 研究方法

2.1 面向弱邊緣信息的煤流圖像增強方法

由于煤炭的物理特性，膠帶上的物料往往存在兩種性狀，即粉末狀和塊狀。粉末狀的物料會穿插在塊狀物料之間，使得塊狀物料之間的邊緣變化過于平緩[13]。這主要由兩個因素造成。首先，粉末狀物料將梯度變化劇烈的物塊邊緣掩蓋。其次，粉末狀煤炭具有很強的吸光特性，造成物塊邊緣部分亮度不足，對比度下降。不僅如此，相對于鐵礦石等其他礦物，煤炭本身由于顏色單一且極為相近，邊緣信息也不明顯，造成膠帶機上的煤炭區分度不高。這也是現存礦物粒度估計方法不適用于本課題的主要原因。因此，筆者提出一種旨在去噪并平衡圖像中光照分布的圖像增強方法。

由于塊狀煤炭的類晶體特性，在成像過程中其局部會存在由鏡面反射引起的高亮光斑效應。如圖2左側所示。由于光斑與其周圍同目標區域差別明顯，更接近一個獨立目標的形式存在，因此會影響檢測結果的精度。由于隨機分布的光斑可以被看作一種尺寸不一的椒鹽噪聲，因此筆者提出了一種改進的中值濾波函數，將濾波窗內的最大灰度值用中值代替，采樣窗口尺寸為5×5，能夠有效抑制光斑干擾，如公式(1)所示。

g(x，y)=

Mat(x，y)=f(x-2：x+2，y-2：y+2)

(2)

其中，f(x，y)是原圖像；g(x，y)為處理后圖像。Mat(x，y)表示以(x，y)為中心的5×5窗口區域所有的像素點。

可以看出，與傳統中值濾波不同，本方法在一次濾波過程中，并非僅改變濾波中心位置的單個像素值，而是改變濾波窗口中所有滿足公式(1)的像素。從而可以在一次濾波時處理不同尺寸的光斑。該方法的濾波效果如圖2右側所示。本方法在保持了保邊效果的同時，可以有效減少鏡面反射引起的光斑效應。

圖2 原始圖像(左)與濾波后圖像(右)

煤流上煤塊不均勻的分布，導致不同區域的亮度不一致，尤其是粉末狀物料聚集的部分，強吸光特性造成該區域對比度不足，這種區域稱為“暗區”。暗區內的目標難以檢測?；诖?，筆者設計了一種非線性自適應直方圖均衡化的方法平衡光照分布。

直方圖均衡化是使用概率密度函數對圖像灰度進行調整[14]，設h(rk)為原始圖像的直方圖分布，w(x，T)為加權函數，T為一個參數集。按照式(3)統計原始圖像的直方圖得到h(rk)，其中nk為灰度級，是rk的像素總數。

h(rk)=nk

(3)

根據h(rk)的性質，計算出加權函數w(x，T)的參數集T0，從而確定加權函數w(x，T0)，然后用該函數對原始煤塊圖像的直方圖分布h(rk)進行如下公式的加權處理。

Pr(rk)=h(rk)×w(x，T0)

(4)

用加權后的直方圖Pr(rk)，按公式(5)計算出每一灰度級的累計概率分布，作為灰度變化系數。

最后，根據灰度變換系數，按公式(6)計算出各像素點圖像增強后的灰度值。其中“[]”符號表示取整操作。

Tk=[255×sk]

(6)

圖像增強前后的對比如圖3所示，可以看出，右側圖像中的煤塊邊緣更加清晰，尤其是暗區部分，這為特征提取奠定了基礎。

圖3 圖像增強前后對比

2.2 基于深度網絡的塊狀煤炭粒度識別方法

卷積神經網絡是一種有監督的機器學習網絡。它可以通過訓練和學習過程，抽象化并提取圖像中的高維特征，同時提高數據在空間上的相關性?；谏疃葘W習的目標檢測方法可以分為Two-stage和One-stage網絡[15]。以YOLO[16]和SSD[17]為代表的One-stage網絡的檢測速度有很大優勢，而且SSD網絡具備良好的移植性，對于工業應用友好性強?；跈z測速度與檢測精度平衡的角度，筆者提出一種快速檢測模型SSD-ResNet50，它有效結合了SSD模型與ResNet模型[18]的優點，接下來的行文將主要介紹該模型的設計思路與設計方法。

SSD目標檢測利用VGG網絡對輸入圖像進行淺層特征提取[19]，并通過增加的4組卷積層對淺層特征進一步提取，經過一系列特征提取過程后，選取不同層輸出的特征進行位置偏移和類別的預測。最后，通過Loss和非極大抑制得到最終檢測結果，SSD網絡如圖4所示。

圖4 SSD網絡結構

SSD網絡會對檢測到的目標精準定位，并給出類別置信度。將定位損失和分類損失加權后作為整體目標損失函數，定義如式(7)～(10)所示。

對于目標分類問題，ResNet的準確率在多數公開數據庫的測試中高于VGG網絡。因此，筆者設計了一種新的網絡結構，將VGG網絡特征提取部分用ResNet-50代替。根據實驗結果，當深度達到50層時，檢測精度與速度的平衡最佳，即SSD-RestNet50。將原有網絡中VGG的前5個卷積進行替換，同時將ResNet-50的第4個卷積階段步長都改成1，實現對輸入圖像特征的提取，SSD-ResNet50的網絡結構如圖5所示。

圖5 本文提出的SSD-ResNet50網絡結構

SSD-ResNet50的訓練過程可以表述為：首先將300×300×3的圖像輸入到網絡中，進行特征提取，并將Conv2_3和Conv_4_6層的輸出作為小目標檢測的特征圖。之后經過卷積和下采樣將圖像尺寸下降到1×1，其中Conv5、Conv6_2、Conv7_2和最后一層Conv9_2作為大目標檢測的特征圖，輸出45 390個檢測框。最終，通過非極大值抑制確定預測框，計算損失后進行反向傳播更新權重，完成一次訓練。

3 現場實驗

數據庫采集自內蒙古東部5個不同洗選廠的帶料膠帶，共10 000張。在所有的實驗數據中，90%作為訓練集，生成檢測模型，剩余10%作為測試集。模型利用caffe框架進行SSD網絡的搭建，在GTX1080Ti的GPU上部署，進行訓練和實際結果測試。

在訓練之前，利用本文1.1節介紹的圖像增強方法進行預處理。為了提升訓練精度，并公平地對比各個方法的效果，訓練時批量樣本數(Batch size) 的大小在允許的情況下應設置盡可能大。在本次實驗中，Batch-size=16。學習率設置為1×10-4。學習率代表梯度下降的速度，即訓練的速度。學習率太大有可能造成難以收斂，太小會導致訓練過程和收斂緩慢。訓練共迭代20 000次，記錄的平均損失曲線如圖6所示?？梢钥闯?，隨著迭代數的增加，損失逐漸降低并在16 000次迭代時趨于穩定。

圖6 Loss accuracy曲線

AP(Average precision)是主流的目標檢測模型的評價指標，可以通過計算AP值來評價當前檢測模型的準確性。PR(Precision Recall)曲線是用來評估模型性能的重要指標之一，其中P(Precision)為準確率，代表模型檢測出真實目標占所有檢測目標的比值，R(Recall)為召回率，代表模型檢測出真實目標與原有真實目標的比值。計算方法如下：

其中，TP(True positive)為正陽率，表示正類判別為正類的數量；FP(False positive)為負陽率，表示負類判別為正類的數量；FN(False negative)為負陰率，表示正類判別為負類的數量。

根據本次測試集的結果繪制PR曲線，如圖7所示。曲線與坐標軸圍成的面積表示AP，根據實驗結果，本方法在實驗數據中的AP的值為88.65%。

圖7 P-R曲線

在置信度設置成0.5，檢測面積閾值設置為≥300條件下進行測試，最終塊狀物料的檢測結果如圖8所示。其中，面積檢測閾值表示最小檢測單位，也對應實際生產中的最小檢測粒度等級。

圖8 檢測結果

根據圖8中的結果，代表塊狀物料的黃色矩形框具有位置和大小信息，因此可以得到矩形的面積，進而根據實際生產需求，標定物料實際尺寸與圖中成像之間的比例關系。具體標定方式為：在視野內垂直擺放邊長為30 cm、100 cm的立方體，在采集的圖像上計算立方體邊長所占的像素數量，獲得對應關系。根據實際生產需求，并不需要連續的粒度分布情況。因此，將目標的檢測結果根據實際情況劃分為大、中、小三個粒度等級，具體的實際粒度等級與檢測框面積對應情況如表1所示。

表1 尺寸對應表

在測試數據集中，根據表1的圖像尺寸，對輸入圖像中經檢測過程獲得的矩形框進行面積篩分，分別統計出了每張圖像中三種粒度的面積占比，匯總如表2所示。

表2 圖像粒度占比

為了驗證圖像增強方法以及SSD-ResNet50框架的有效性，實驗分別從識別精度和識別速度兩方面入手，將本方法與目前流行的目標檢測方法進行了對比。所有對比測試均在同樣的測試平臺中進行，參數選取為相應文獻的默認值。參與對比的方法包括Fast RCNN[20]、Faster RCNN[21]、YOLOv3[22]、SSD-VGG16[23]和本算法SSD-ResNet50。以推理速度和mA為關鍵指標，對比結果如表3所示。

表3 不同網絡對比

通過在本數據集上的不同網絡對比實驗可以看出，SSD-ResNet50無論是在訓練時間、推理速度和準確度上都優于其他網絡。主要原因在于圖像預處理的方式提高了被檢測物體的邊緣特征，同時將SSD網絡的特征提取部分進行優化，使網絡能夠快速學習到特征，提高了整體效率。

4 結 論

面對傳統人工巡檢效率低、不準確等問題，提出一種基于圖像的深度學習粒度檢測方法。

首先，利用一種改進的中值濾波方法結合自適應直方圖均衡化，對膠帶煤塊圖像進行預處理，降低噪聲，增強圖像對比度。然后，基于深度學習理論，提出一種結合SSD和ResNet50融合的網絡框架SSD-ResNet50。SSD- ResNet50可以有效檢測圖像中對比度較低的塊狀煤炭，并利用檢測煤塊面積占比，估計運輸機表層煤塊粒度組成。經對比實驗可知，本方法在識別精確度上可以達到88.65，而且能夠保證實時性。因此可以有效指導給煤機下料邏輯，控制不同粒度物料的配比，為后續配煤或洗選等工藝提供有效保障。從而在根本上提升傳統人工巡檢的效率，保證生產的穩定。