基于MTBNet的唐山尾礦庫提取

張昆侖，常玉光，潘潔，盧凱旋，昝露洋，陳正超

（1.中國科學院 空天信息創新研究院航空遙感中心，北京 100094；2.河南理工大學 測繪與國土信息工程學院，河南 焦作 454000）

0 引 言

尾礦庫作為維持礦山正常生產的必要設施，既是重大危險源，又是重要污染源，威脅著周圍居民和基礎設施安全。近年來，許多未取得安全生產許可證的企業違建尾礦庫，導致尾礦庫重大事故時有發生。因此，實時監測尾礦庫，記錄尾礦庫數量、位置和面積十分必要。傳統尾礦庫監測以地面調查為主，輔以人工目視解譯，這些方法效率低、成本高，無法滿足大區域尾礦庫實時監測的需求。利用遙感影像加強尾礦庫的動態監測，可以遏制無證勘查和開采、亂采濫挖、浪費破壞尾礦庫等違法行為，提高尾礦庫開發利用規?；图s化程度，減少生態環境污染。遙感作為一種非接觸、遠距離的探測技術，具有監測范圍廣、周期短、成本低等特點，可作為一種客觀監測尾礦庫變化情況的技術手段。隨著衛星遙感快速發展，利用衛星遙感數據對尾礦庫進行高精度、高頻次監測已成為可能。

深度學習是人工智能中機器學習發展的新階段［1］，利用數字計算機模型模擬人腦的多通路信息傳遞機制，實現輸入數據的分層表達和知識推理，有效解決了復雜對象特征的刻畫和復雜場景的關聯分析等問題，在計算機視覺、語音識別、自然語言處理等領域取得了很多突破性進展，已有大量創新應用［2-5］。對于場景復雜的高分辨率遙感影像，深度學習技術相較傳統基于物理模型的信息提取技術，在效率和精度兩方面都具有不可比擬的技術優勢［6］。將深度學習技術應用于大區域遙感影像的尾礦庫信息提取，可顯著提高尾礦庫動態監測的效率與自動化水平。

實例分割是計算機領域中一項基本的視覺任務，能實現對象輪廓的逐像素識別。較經典的實例分割網絡有Mask RCNN［7］和FCNs［8］，其在計算機領域多個數據集上取得了良好效果。近幾年，遙感學者將RGB三波段真彩色自然圖像實例分割網絡引入遙感圖像領域，在其基礎上做了不同嘗試和改進，取得了遠優于傳統算法的應用效果［9-11］。不同于地面上使用普通數碼相機在水平視角獲取的自然圖像，遙感影像由遙感器從衛星或飛機對地面拍攝獲取，具有觀測尺度大、光照陰影差異大、地物場景復雜等特點，現有網絡模型對遙感圖像的理解和特征提取還存在明顯不足。

尾礦庫為一類復雜目標，使用深度學習算法提取尾礦庫存在誤檢和漏檢等問題。除了位置信息，還提取了尾礦庫邊界輪廓和面積信息。傳統實例分割任務中，Mask RCNN分別學習目標的邊界矩形框位置類別信息和目標Mask像素位置信息，其目標特征分類置信度由目標矩形框質量決定，對于遙感圖像上尾礦庫這類邊界不清晰、形狀尺度多變的目標，多數情況下目標框質量并不能代表目標Mask像素質量，從而影響目標邊界的精細化提取。

因此，針對尾礦庫識別誤檢、漏檢和邊界精細化等難點，本文以尾礦庫安全和生態問題日益嚴重的唐山市為研究區，提出了一個具有多任務分支結構的實例分割網絡（multi-task-branch network，MTBNet），用于遙感圖像下尾礦庫精細邊界的快速提取。該方法提高了唐山地區尾礦庫監測效果和精度，對于經濟產業發展和環境保護都具有重要意義。

MTBNet以深度 殘 差網 絡ResNet-50［12］為 基礎，首先提取目標的多層特征，并依照FPN（feature pyramid network）結構［13］融合多層特征，其次通過RPN（region proposal network）［14］生成一系列候選框，接著將網絡分為目標檢測分支和語義分割分支，然后在原有Mask交叉熵基礎上，計算Mask重疊度與目標框分類置信度的乘積，并添加Mask像素點類別損失計算，通過反向傳播學習Mask特征。最后MTBNet同時計算邊界框回歸損失、邊界框置信度損失、Mask像素交叉熵損失、Mask置信度損失。MTBNet的多任務分支結構縱向保證了各層的語義信息，橫向保證了各階段的信息交互，使得每個階段都能得到更高質量的預測結果。

1 研究區概況和數據來源

1.1 研究區概況

唐山市位于河北省東部，東經117°31′～119°19′，北緯38°55′～40°28′，占地面積13 472 km2，人口796萬，分布著大量的礦產資源。隨著該區域工業發展，尾礦庫數量越來越多，同時唐山位于華北平原地震帶，地質運動較活躍。

1.2 數據獲取

1.2.1 數據源

本文采用的數據源為國產高分一號（以下簡稱GF-1）衛星數據。GF-1衛星是中國高分辨率對地觀測系統的第一顆衛星，于2013年4月26日12時13分04秒由長征二號丁運載火箭成功發射。GF-1衛星搭載了1臺2 m分辨率全色相機、1臺8 m分辨率多光譜相機和4臺16 m分辨率多光譜相機，其中多光譜相機幅寬800 km。本文通過對唐山地區2019年6月成像的GF-1遙感影像預處理，得到空間分辨率為2 m的RGB影像（圖1）。

圖1 唐山市RGB影像Fig.1 RGB image of Tangshan City

1.2.2 樣本與測試數據

以人工解譯的尾礦庫點位為基礎，GF-1遙感影像為底圖，制作尾礦庫實例分割樣本，樣本制作主要考慮以下因素：

（1）尾礦庫尺度變化較大，一般尾礦庫實際長寬均為1～2 km，為了在包含尾礦庫整體特征的情況下，保證尾礦庫紋理清晰、特征明顯，選取空間分辨率為2 m的GF-1遙感影像，并以尾礦庫坐標為中心點裁剪GF-1遙感影像生成1 536像素×1 536像素的樣本切片。

（2）根據尾礦庫局部特征（如壩體、尾砂、廢水等）的非典型性及相互之間的差異性，選擇尾礦庫的整體特征作為檢測對象進行樣本標記，標記尾礦庫的精細邊界輪廓，同時生成邊界輪廓的最小外接矩形，避免多余背景對尾礦庫特征造成影響。

基于以上原則，共制作1 500張尾礦庫訓練樣本，300張驗證樣本（驗證樣本不是唐山市尾礦庫的）。唐山市測試數據為空間分辨率為2 m、切片大小為1 536像素×1 536像素的GF-1遙感影像，共1 497張，成像時間為2019年6月。

2 研究方法

遙感圖像目標簡單（目標單一，特征明顯，且模式相對固定，如運動場、輪船等），尾礦庫包含特征更豐富，一般由壩體、尾砂和廢水等要素組成，特征形狀多變，尺度不一，空間紋理、陰影、顏色、幾何特征等千差萬別，如圖2（a）所示。尾礦庫自身的復雜性為準確識別帶來巨大挑戰；其次，尾礦庫空間分布不固定，一般分為傍山型、山谷型和平地型3種類型，如圖2（b）所示（從左到右分別為山谷型、傍山型和平地型），導致尾礦庫背景條件復雜多樣，同時遙感圖像背景混亂，蘊含繁雜的語義信息，使得目標尾礦庫難以與背景分離，降低尾礦庫識別的召回率。

圖2 復雜的尾礦庫Fig.2 Complex tailing pond

針對以上難點，MTBNet提取唐山地區的尾礦庫，提取流程如圖3所示。首先對GF-1遙感影像進行預處理（幾何校正、輻射校正等），得到空間分辨率為2 m的RGB影像；其次，基于影像制備尾礦庫樣本和唐山地區待預測數據，得到訓練集和驗證集，然后構建面向尾礦庫實例分割的MTBNet；最后通過網絡訓練得到最優檢測模型，運用該模型對唐山地區進行尾礦庫實例分割，得到唐山市尾礦庫的分布和數量。

圖3 尾礦庫提取流程Fig.3 Flow chart of tailing pond extraction

使用ResNet50，FPN，RPN作為尾礦庫淺層特征提取的基礎結構。引入深度殘差學習框架解決網絡層數增加導致的梯度退化問題，通過使網絡層滿足殘差映射優化網絡參數。FPN是一種橫向連接的自上而下的架構，用于在所有尺度構建高級語義特征映射，通過融合不同分辨率的特征圖提升每一層的語義信息。RPN提取供網絡學習的目標候選區域。本文研究方法主要體現在RPN后續網絡結構設計上，將網絡按任務需求分為目標檢測分支和語義分割分支，在保證兩個分支信息共享的情況下，分別實現目標框提取和語義分割任務。MTBNet結構如圖4所示。

圖4 MTBNet結構圖Fig.4 Structure map of MTBNet

2.1 目標檢測分支

傳統實例分割網絡，如Mask RCNN在候選區推薦后，直接通過卷積候選區域輸出目標框的位置信息（x，y，w，h）和類別信息（confidence）。由于尾礦庫形狀不規則、尺度變化較大，簡單的卷積操作無法適用于其不規則的外觀變化特征，使得生成的目標框質量差，易出現位置匹配錯誤。顯然，通過調高目標框與真值框之間的IoU閾值（目標框與真值的重疊度，通過閾值確定目標框屬于正例或負例），可以得到更高質量的目標框，但只提升IoU閾值會導致網絡學習到的樣本數量少，造成網絡過擬合。另外，在目標檢測網絡中，使用某個IoU閾值界定正負樣本時，當預設目標框與真值的IoU閾值接近該閾值時，此時得到的目標框質量（位置和類別信息）最好。因此，為了得到最優化的檢測效果，本文在目標檢測階段設計了一個3階段漸進精細化結構，不同階段設置不同的IoU閾值（分別為0.1，0.3，0.5），計算每個階段目標框的位置偏移（δx，δy，δw，δh），最后統計多個階段的目標框平均位置損失：

式中：Lloc為L2損失函數，用于描述位置（location）的損失；S為網絡設置的階段總數。

通過設置多階段結構，網絡既能優化目標框質量，又能保證目標框數量。

2.2 語義分割分支

傳統實例分割網絡，如Mask RCNN在候選區域推薦后，直接通過卷積候選區域輸出Mask逐像素的位置信息，Mask像素的類別信息由目標檢測階段的目標框提供，這種做法保證了目標框的分類質量，卻忽略了Mask本身的類別信息，導致目標Mask像素信息與目標分類相關性不強。因此，使用目標框置信度評價Mask分類會使分割結果出現偏差，對尾礦庫這類背景繁雜、邊界模糊的對象而言分割誤差會更大。

為了使語義分割分支學習到目標Mask的置信度，首先應保證目標檢測分支與語義分割分支信息共享。傳統實例分割網絡不同任務的結構沒有任何信息交流，檢測分支和分割分支用同一批數據訓練，然后在推理階段整合在一起，沒有發揮結構間參數共享學習的作用。為了解決這一問題，本文首先計算產生的Mask區域與真值區域的IoU閾值，其次在檢測分支和分割分支間增加連接操作，計算Mask IoU與特征圖之間的乘積，實現兩種分支之間的信息交流共享，從而提供豐富的特征信息（圖5）。然后計算目標Mask區域每個像素點的置信度分數，通過每個點的損失反向傳播優化目標Mask像素點的分類精度，提升目標Mask的分割精度，最終語義分割分支的損失Lmask為

圖5 Mask置信度計算結構Fig.5 Calculation structure of Mask confidence

式中：Lseg為像素交叉熵損失函數；Lconf為Mask的置信度損失涵數。

2.3 網絡訓練

本文在網絡前端數據載入階段添加了多種數據增強模塊，包括顏色亮度飽和度變換、翻轉、隨機裁剪放大及縮小等，增加樣本多樣性，減緩小樣本造成的過擬合現象。數據增強后的圖片統一重采樣為1024×1024×3像素，然后輸入模型進行訓練，網絡模型通過反向傳播算法迭代更新每一層參數?？紤]到輸入影像尺寸和GPU顯存大小，MTBNet參數設置如表1所示。在合理范圍內，增大批處理參數BATCH_SIZE可以提高內存利用率和大矩陣乘法的并行化效率。

表1 網絡參數設置Tab.1 Network parameter settings

本文訓練MTBNet的軟件框架為Pytorch，硬件環境為4個12 G顯存的NVIDIA Titan XP GPU，CUDA2.0以及Intel Xeon E5 CPU，訓練20個epoch需要18 h，最后將得到充分訓練的模型后用于唐山地區尾礦庫檢測。

2.4 精度評價方法

模型精度評價使用深度學習領域目標檢測網絡的常用指標有精度（Precision）、召回率（Recall）和平均精度均值（mean Average Precision，mAP）。精度、召回率、mAP、F1定義為

式中：TP為正確檢出尾礦庫的個數；FP為誤檢的尾礦庫的個數；FN為未檢出尾礦庫的個數；mAP為不同閾值下（Precision，Recall）繪制的PR曲線與坐標軸橫坐標所圍的面積，值為［0，1］；F1為綜合考慮了精度和召回率的性能指標。本文以0.05的步長逐步增加置信度閾值（0.5～0.95），記錄模型在不同置信度閾值下的檢測性能。

3 試驗和結果

3.1 模型精度評價

使用同樣的數據（1 500張訓練樣本，300張驗證樣本）分別訓練Mask RCNN，Mask Scoring RCNN［16］（以下簡稱MS RCNN）、優化了檢測分支Obj-B的MTBNet-1、優化了分割分支Seg-B的MTBNet-2及同時優化了檢測分支和分割分支的MTBNet-3，分析不同模型對尾礦庫的檢測性能。為了降低其他因素影響，除了優化部分，其他網絡結構參數保持一致，通過GPU訓練模型，訓練20次epoch后停止，各模型mAP結果如表2所示。

表2 不同模型mAP結果Tab.2 mAP results of different models

從表2可以看出，同一數據集，不同網絡的mAPbox（box的mAP）和mAPseg（seg的mAP）不同。相對于傳統實例分割網絡，優化檢測分支Obj_B或優化語義分支Seg_B都提升了網絡檢測精度，同時優化了檢測分支和分割分支的MTBNet精度最高，其mAPbox和mAPseg分別提升了約6%和12%。

不同網絡模型經過20次epoch迭代訓練后，不同置信度閾值（0.5～0.95）下，使用模型對驗證集中尾礦庫樣本進行檢測，通過檢測結果計算不同閾值下的F1，比較不同模型的檢測性能。F1隨置信度閾值的變化曲線如圖6所示，從圖6可以看出，較低的置信度閾值（如0.5）對應高召回率和低精度；較高的置信度閾值（如0.95）對應低召回率和高精度。3種模型中，MTBNet性能最佳，F1最高達95.2%，MS RCNN的F1最高達94.1%，Mask RCNN的F1最高達92.6%。

圖6 不同置信度閾值下的F1Fig.6 Trend of F1-score with different confidence threshold

綜上所述，網絡參數和數據一致時，MTBNet比Mask RCNN，MSRCNN等在mAP和F1上的表現好得多。試驗結果表明，對尾礦庫這類面狀復雜地物進行實例分割，需要同時關注本身特征和背景特征，本文提出的MTBNet通過添加多分支任務，優化檢測分支提升目標框質量及優化語義分支實現信息交流共享，較大地提升了網絡性能和檢測精度。

3.2 唐山地區尾礦庫實例分割結果

通過以上試驗，本文選擇訓練好的MTBNet模型對唐山地區進行尾礦庫實例分割。檢測數據為GF-1遙感影像，空間分辨率為2 m，切片像素大小為1 536×1 536，總共1 497張，使用4個GPU在1 h內完成檢測任務。

選用訓練得到的最佳MTBNet模型預測唐山地區1 497張影像，通過目視解譯得到影像中有852座尾礦庫，并將其作為結果判斷的真值。隨著置信度提升，模型預測數逐漸減少，TP減少，FN增多，FP減少，分別將置信度設置為0.2，0.4，0.6和0.8，檢測結果如表3所示。

表3 不同閾值下的準確率和召回率對比Tab.3 Precision and Recall statistics with different confidence threshold

在尾礦庫檢測應用中，尾礦庫召回率的優先級比精度更高，本文權衡了準確率和召回率，最后將模型置信度閾值設為0.6，最終在唐山地區共提取975座尾礦庫，召回率為95.8%時，準確率達78.8%。圖7為驗證集中真值與預測結果的對比，圖8為唐山地區尾礦庫分布，圖9為部分尾礦庫實例分割結果。

圖7 真值與預測結果對比Fig.7 Comparison of ground truth and prediction result

圖8 唐山地區尾礦庫分布Fig.8 Tailing ponds distribution in Tangshan area

圖9 部分尾礦庫實例分割結果Fig.9 Segmentation instance results of some tailing ponds

4 結 語

MTBNet大大提升了尾礦庫的檢測精度，在唐山地區大范圍的尾礦庫實例分割任務中取得了較好效果，召回率為95.8%時，準確率達到78.8%。試驗證明利用深度學習方法在海量遙感影像數據中快速識別復雜目標具備可行性?？紤]到遙感影像中尾礦庫檢測難度大，本文提出的MTBNet對于提高大區域尾礦庫檢測的效率具有重要意義。同時，此方法可以推廣到與尾礦庫類似的其他礦產資源開采檢測中，進一步提升礦產監控和環境保護力度。

尾礦庫內部結構是進行災前風險評估的關鍵，今后將主要精細化分割尾礦庫內部要素（壩體、尾砂、廢水），提升尾礦庫監測能力。