改進Oriented R-CNN的遙感尾礦庫檢測

李敏 蘇文博 隋正偉 李俊杰

改進Oriented R-CNN的遙感尾礦庫檢測

李敏1蘇文博1隋正偉1李俊杰2

（1 中國四維測繪技術有限公司，北京 100086）（2 中國資源衛星應用中心，北京 100094）

尾礦庫中含有大量的尾砂，是一個具有高勢能的人造泥石流危險源，一旦發生潰壩危險，就會帶來嚴重的人員損失和環境災難。掌握尾礦庫的數量和空間分布情況，對尾礦庫事故的預防具有重要的意義。傳統的尾礦庫調查依賴人工目視解譯和地面驗證，難以實現大范圍、高頻次的監測。文章以多源高分辨率衛星影像為數據源，采用人工遍歷解譯的方式標注樣本，并結合多種數據增廣方法構建了深度學習的尾礦庫檢測數據集。在此基礎上，通過嵌入輕量化的注意力機制模塊，同時設置自適應的錨框，優化Oriented R-CNN模型。實驗結果表明：改進后的模型在尾礦庫檢測數據集上的性能顯著提升，全類平均精度和召回率分別能夠達到84.14%和90.32%，同時模型具有較強的可靠性和泛化性。文章提出的方法有利于推動尾礦庫自動化、智能化的應急監管。

尾礦庫 目標檢測 注意力機制 遙感應用

0 引言

尾礦庫是指筑壩攔截谷口或圍地構成的，用以堆存金屬或非金屬礦山進行礦石選別后排出的尾礦或其他工業廢渣的場所，一般由堆存系統、排洪系統、回水系統等部分組成。尾礦庫中含有大量的尾砂，是一個具有高勢能的人造泥石流危險源，易造成潰壩的危險，存在極大的安全隱患[1]。此外，受地形和結構的限制，尾礦庫多位于偏遠山區，受監管程度相對較弱，常出現尾礦庫建設不達標、尾礦庫安全管理不善等問題，對社會經濟和生態環境產生嚴重的負面影響[2]。因此，快速準確地掌握尾礦庫的數量、范圍和空間分布等信息，對于尾礦庫的應急管理和事故預防具有非常重要的意義[3]。

傳統的尾礦庫遙感監測方法大多采用地面調查和人工解譯相結合的方式，但我國尾礦庫分布范圍廣，且多存在于偏遠地區，這種方法不僅費時費力，也難以滿足全面性和時效性的要求。隨著遙感技術的發展，已有學者借助遙感圖像進行尾礦庫的監測與統計分析，最常用的方法是基于遙感影像的光譜、紋理等特征提取尾礦庫。例如，文獻[4]利用Landsat 7和SPOT 5融合圖像，采用線性光譜分解方法提取了礦山尾砂；文獻[5]利用Landsat 8 OLI影像建立了超低品位鐵相關物指數，然后基于尾礦庫與采場的熵差提取尾礦庫；文獻[6]利用Landsat 8數據，通過構建多種指標以實現尾砂的提取。然而，由于不同尾礦庫的顏色、形狀、尺寸等差異較大，且背景復雜，這種自動化程度低的方法往往不能適應大范圍的目標檢測。因此，如何快速、全面、準確地提取尾礦庫，仍然是一個具有挑戰性的問題。

憑借著卷積神經網絡自動提取特征的優勢，近年來，深度學習技術在計算機視覺領域得到了廣泛的應用，已被證明是一種強大的圖像處理技術[7]。目前基于深度學習的目標檢測方法可以分為兩類：即以區域卷積神經網絡（Regions with CNN Features，R-CNN）及其改進算法為代表的兩階段方法[8-10]，和以YOLO、SSD為代表的單階段檢測方法[11-14]。這些算法在自然圖像處理領域取得了甚至超過人類識別能力的巨大成功[15]，也在遙感影像的目標檢測和地物提取領域發揮了重要作用，為大范圍、自動化、智能化的遙感影像尾礦庫提取奠定了基礎。例如，文獻[16]基于單階段的SSD模型，自動提取了京津冀地區的尾礦庫；文獻[17]以U-Net網絡框架為基礎，利用衛星影像提取了尾礦庫并驗證了方法的可靠性；文獻[18]通過在Faster R-CNN中嵌入特征金字塔和注意力機制，顯著提高了尾礦庫的檢測精度和召回率；此外，文獻[19]在改進的Faster R-CNN網絡中加入近紅外波段信息，同樣實現了高性能的尾礦庫檢測。

以上方法均采用水平框的方式提取尾礦庫，雖然能夠在一定程度上提高尾礦庫的檢測識別精度，但是，由于地形、結構等因素的影響，尾礦庫在遙感影像上的方向是任意的，水平框中冗余的背景信息會增加噪聲干擾，降低尾礦庫檢測的精度。目前，基于旋轉框的目標檢測算法在飛機、艦船等目標的檢測中取得了顯著性突破，為有效解決尾礦庫的精準檢測問題提供了一種新的思路和方法[20-23]。

針對上述尾礦庫提取的難題，本文采用多期山東和河南省的國產高分辨率衛星影像構建了2 402個尾礦庫樣本，并結合多種數據增廣方法擴充樣本集。在此基礎上，通過改進Oriented R-CNN模型[24]對尾礦庫進行檢測，實現了大范圍遙感影像內尾礦庫信息的快速、精確提取，并以山西省忻州市為示范應用區，驗證了改進后模型的適用性和有效性。

1 實驗數據

1.1 樣本采集

受地形地貌、礦產資源開采、經營規模等因素的影響，我國現存的尾礦庫大體上可分為山谷型、傍山型和平地型三種，如圖1所示。本文以這三種尾礦庫為目標，進行尾礦庫的樣本制作和檢測識別。

圖1 三種尾礦庫示例

我國河南省和山東省具有豐富的礦產資源。據統計，截至2022年，河南省現存尾礦庫數量為365座，山東省現存尾礦庫數量146座。為制作深度學習目標檢測的樣本數據集，本文以河南省和山東省為研究區，以2 m分辨率的高分系列和資源系列衛星影像為數據源，采集2021年的影像數據。經過正射校正、鑲嵌融合等一系列預處理后，對尾礦庫的形狀、大小、紋理、色調等特征進行分析，構建尾礦庫的解譯標志。在此基礎上，采用ArcGIS矢量編輯工具勾畫帶有地理坐標信息的尾礦庫目標最小面積外包矩形，圖2展示了2021年河南省和山東省的尾礦庫分布情況。之后，為滿足深度學習訓練的需求，利用Python的空間數據處理庫將影像處理成1 024像元×1 024像元大小的三波段8比特的切片（重疊區域為25%），如果目標過大，則將切片尺寸放大至包含目標。同時，生成對應圖像坐標的尾礦庫標簽文件，初步完成樣本的制作。樣本數據統計信息如表1所示。

圖2 尾礦庫樣本分布

表1 樣本數據集信息統計

Tab.1 Statistics of tailings pond dataset

為提升模型的泛化性能，本文充分利用遙感影像的時空特性，結合多時相的影像數據豐富樣本庫。收集三期（2016年、2018年、2020年）空間分辨率為2 m的衛星影像數據（如表1所示），疊加2021年的矢量標注文件，通過人工遍歷的方式檢查目標對象并進行增刪改操作，快速實現了長時間序列影像的樣本標注。最終，基于四期多源衛星遙感影像共生成了1 693個尾礦庫切片，包含2 402個尾礦庫目標*：部分樣本數據已在《中國科學數據》發布，數據服務網站：https://doi.org/10.57760/sciencedb.06518。。將數據集按照7︰2︰1比例隨機分為訓練集、驗證集和測試集，以進行模型的訓練迭代和效果評估。

1.2 樣本增廣

深度學習模型的性能極大程度上依賴于大規模的樣本數據集，但是由于尾礦庫分布較為稀疏，采用大批量原始圖像進行人工遍歷標注需要耗費大量的人力、物力。因此，考慮到不同傳感器、不同時間、不同角度拍攝的影像特征以及尾礦庫的尺度大小不同，本文對訓練集中的尾礦庫樣本進行幾何增廣（隨機縮放、翻轉、旋轉）、色彩增廣（亮度、對比度）、數量增廣（Copy Paste）等增強處理，以擴充訓練數據集。前兩種增強方式是對整個樣本切片進行處理，如圖3所示。數量增廣則是將包含尾礦庫目標的最小面積外接矩形區域粘貼至其他負樣本切片中，以此增加尾礦庫目標背景的多樣性。

圖3 幾何增廣和色彩增廣示例

1.2.1 幾何增廣

幾何增廣需要考慮樣本切片大小和形狀產生的變化，尾礦庫相對于圖像的坐標位置（Bounding Box）也會發生相應的變化。圖像的幾何變化可以用如下公式表示

1.2.2 色彩增廣

色彩增廣是指通過改變樣本切片各通道的像素值，使其圖像亮度、對比度、飽和度等呈現出與原始圖像不同的特征，以此提高模型算法對于色彩的魯棒性。色彩增廣主要針對樣本切片，不需要考慮目標相對圖像的Bounding Box變化。

1）亮度。亮度增廣操作是將樣本切片各通道的像素值隨機加減一個整數，同時保證變換后的像素值在[0，255]范圍內，再依次合并各通道數據形成增廣后的樣本切片。

2）對比度。對比度增廣操作是按照一定的數學規則對原始圖像的每個像素進行逐點計算生成新的樣本切片。

1.2.3 數量增廣

由于尾礦庫形狀、紋理等特征復雜，較容易與水體、耕地、山脈等背景地物相混淆。為了解決此問題，本文首先利用現有數據集訓練一個模型，對研究區進行測試，并將輸出結果中存在誤檢的影像切片作為負樣本。采用Copy Paste方法將正樣本中的尾礦庫標簽區域裁剪下來，隨機粘貼至負樣本切片上，以此來增加訓練集中尾礦庫的目標數量，同時豐富樣本數據集的目標背景多樣性。

2 研究方法

2.1 算法架構

本文以兩階段目標檢測算法Oriented R-CNN為基礎，通過改進特征提取器和錨框設置，充分獲取尾礦庫目標的上下文信息，模型結構如圖4所示。首先，將遙感圖像切片調整大小后，輸入結合注意力機制（Squeeze and Extraction，SE）[25]的殘差神經網絡（Residual Network，ResNet）[26]進行特征提取，輸出多級特征。其次，將多層級特征輸入特征金字塔網絡（Feature Pyramid Network，FPN）中進行特征融合，生成具有豐富上下文信息的多尺度特征圖。第三，將特征圖輸入方向區域建議生成網絡（Oriented Region Proposal Network，Oriented RPN），通過適應性地設置大小和長寬比不同的錨框，生成一系列的旋轉區域候選框。第四，將特征圖和區域候選框輸入到區域特征對齊的Rotated RoIAlign層，生成大小一致的候選區域特征圖。最后，將候選區域的特征圖輸入到全連接層（Full-Connected Layer，FC），進行目標的分類和定位，獲得尾礦庫目標的精確位置。

圖4 模型總體架構

與原始的Oriented R-CNN相比，本文模型有以下改進：1）采用多種數據增廣方式豐富樣本數據，并利用Copy Paste方法增加目標背景信息，進行迭代訓練，能夠有效降低錯檢率。2）將注意力機制SE嵌入ResNet的殘差結構中作為特征提取網絡，校準通道的特征貢獻度，增強貢獻度高的特征，可以提升特征表達能力。3）根據數據集設置大小和長寬比自適應的錨框，以檢測不同尺度和大小的目標。

2.2 結合注意力機制的殘差神經網絡

注意力機制借鑒人類的選擇性認知原理，從眾多信息中選擇出對當前任務目標更關鍵的信息加以增強，同時抑制無關信息。為了提高ResNet網絡的特征提取與表達能力，本文在特征提取階段采用結合SE注意力機制的ResNet網絡殘差結構獲取深層特征，結構圖如圖5所示。

圖5 SE注意力機制結構

在原始殘差網絡的基礎上，SE模塊增加了一條連接。首先對卷積得到的特征圖進行全局池化的壓縮操作，得到通道級的全局特征，然后通過兩個全連接層和激活函數對全局特征進行激勵操作，學習并更新特征通道的權重。SE注意力機制可以突出重要通道的特征，同時抑制冗余通道的特征，提高模型的檢測精度。

壓縮操作的公式如下

此外，激勵操作的公式如下

2.3 特征金字塔網絡

圖6 特征金字塔FPN的生成

2.4 方向區域建議生成網絡

圖7 樣本目標的長邊尺寸和長寬比分布

式中 是預測候選框的中心坐標；w和是預測候選框外接矩形的寬和高；和分別為預測候選框相對于外接矩形上邊界和右邊界的偏差。表示水平錨框的位置，表示預測輸出候選框坐標相對于錨框的偏差值，最終，可以通過六參數確定預測候選框的位置。區域建議生成網絡Oriented RPN的基本結構如圖8所示。

3 結果分析

3.1 參數設置

本文采用的深度學習框架為PyTorch，編譯器為PyCharm。所有實驗均在Ubuntu 18.04 LTS操作系統的工作站上運行。該工作站配備了NVIDIA GeForce RTX 3080Ti的GPU顯卡，并已安裝GPU開發包CUDA11.1以及深度學習加速庫CUDNN8.3。在訓練階段，模型初始學習率設置為0.002 5，迭代訓練36輪次。當迭代訓練至24和33輪次時，分別將學習率調整為原來的十分之一。此外，本實驗采用的優化方法為Adam，批處理大小為2。

3.2 精度評估

本文采用準確率（Precision）、召回率（Recall）和全類平均精確度mAP（mean Average Precision）三個指標對模型結果進行定量評估。準確率和召回率的計算公式分別為：

其中，TP為正確識別為尾礦庫的目標數；FP為誤識別為尾礦庫的目標數；FN為未識別出的尾礦庫目標數。因此，準確率可以表示預測正確的樣本數與所有預測出的對應類別目標數之比，召回率可以表示預測正確的樣本數占實際對應類別正樣本數的比例。召回率越高，表明模型對正樣本的識別能力越強。本研究中，當預測框與真實框面積的交集與并集的比值（交并比IoU）大于0.5時，將預測框標記為正樣本。

由于準確率和召回率是一對相互制約的指標，因此，目標檢測中通常采用平均精確度AP來評估模型的準確度。AP是準確率和召回率所圍成的曲線下面的面積，mAP是所有類別AP的平均值。

式中表示待檢測的目標類別數，由于本文的檢測目標只有一類即=1，因此尾礦庫檢測的結果AP值即為mAP。mAP值越大，模型的檢測效果就越好。

3.3 實驗結果

本文以多源高分辨率的遙感影像為數據源，采用數據增廣擴充訓練樣本集，同時融合注意力機制和自適應錨框改進網絡。通過迭代訓練模型并在驗證集上進行性能評估，獲得檢測結果的召回率為90.32%，mAP為84.14%。

圖9展示了測試集上不同類型尾礦庫的檢測結果，其中紅色框為地面真實框，藍色框為預測結果框?？傮w上看，對于山谷型（圖9（a））、傍山型（圖9（b））和平地型（圖9（c））的尾礦庫，改進后的模型都能取得優異的檢測效果。模型的檢測誤差（圖9（d））主要存在于中：1）坑塘、湖泊等水域與尾礦庫匯水區特征較為相似，最容易產生誤檢；2）由于尾礦庫尺寸差異較大，對于部分大面積的尾礦庫，尤其是廢棄后有植被覆蓋的區域，會造成檢測定位的不全面；3）平地型尾礦庫形式多樣，特征較為復雜，易與施工或耕種后的裸地相混淆，產生誤檢或漏檢。

圖9 檢測結果示例

本文通過消融實驗來定量分析不同網絡組成結構對模型檢測性能的影響，精度評價結果如表2所示?？梢钥闯?，以ResNet-50[26]為特征提取網絡的Oriented R-CNN基準模型檢測尾礦庫的mAP僅為78.65%，召回率為85.74%；采用ResNet-101[26]網絡能夠有效提升檢測器對目標特征的學習能力，網絡檢測的mAP值相對提高了1.57%，召回率提高了1.44%；在模型中嵌入SE注意力機制模塊，有效抑制了無用信息，檢測性能進一步提升，mAP值達到了82.33%，召回率上升了1.23%；在此基礎上，設置自適應的錨框大小，使得模型的檢測mAP值相對基準模型提升了5.49%，最終召回率超過90%。結果表明，改進后的Oriented R-CNN模型能夠取得最優的檢測性能，在尾礦庫的檢測中表現出了一定的優越性。

表2 模型檢測結果表

Tab.2 Detection results of ablation study

表注：√表示模型包含該結構，否則為不包含該結構。

為進一步驗證模型的性能，本文將改進后的Oriented R-CNN與現有的多種旋轉框目標檢測模型進行對比，包括雙階段的Rotated Faster R-CNN[27]、RoI Transformer[28]、Gliding_Vertex[29]、ReDet[30]以及單階段的S2ANet[31]、R3Det[32]，不同模型的檢測結果如表3所示?？梢钥闯?，改進后的Oriented R-CNN在尾礦庫檢測數據集上的性能顯著優于其他雙階段網絡，其mAP值比Gliding_Vertex和RoI Transformer分別高19.03個百分點和5.94個百分點，召回率分別高14.90個百分點和2.81個百分點。此外，與單階段的S2ANet和R3Det相比，改進后Oriented R-CNN網絡的mAP值分別高了5.76百分點和6.16百分點，召回率相差較低，約為1%。綜上所述，改進后的Oriented R-CNN網絡在尾礦庫檢測數據集上的性能都超過了其他網絡模型，能夠實現最優效果的尾礦庫檢測。

表3 不同檢測模型結果對比

Tab.3 Detection results of different models on test dataset

在獲取高性能的檢測模型之后，本文以山西省忻州市為應用示范區進行尾礦庫的檢測應用，以進一步驗證模型的泛化能力以及在實際應用中的效果。忻州市位于山西省中北部，介于東經110°53′3″～113°58′，北緯38°6′5″～39°40′之間，南北長約170 km，東西寬約245 km，總面積25 157.641 km2。作為山西省面積最大的市，忻州市礦產資源豐富，已知礦產達50余種，尾礦庫數量超200座，是安全監管和應急管理的重點區域[33]。

選擇忻州市2021年2 m分辨率的高分系列和資源系列衛星影像，在經過正射校正、鑲嵌融合等預處理后，采用訓練好的模型在15 min內即完成了忻州市區域的尾礦庫檢測。最終，在目標框置信度閾值為0.5的條件下，共檢測出尾礦庫184座，如圖10所示?？梢钥闯?，忻州市尾礦庫主要集中在東部山區和西部邊界區域，中部只有少量尾礦庫。此外，在類型上，忻州市尾礦庫以平地型居多，山谷型次之，傍山型較少。

圖10 忻州市尾礦庫檢測結果

通過人工目視遍歷的方式對檢測結果進行定量分析，結果如表4所示。2021年忻州市共有尾礦庫204座，正確檢測的為172座，漏檢32座，召回率為84.3%；檢測結果中共有184座尾礦庫，誤檢的尾礦庫有12座，準確率為93.4%。初步分析可能是由于忻州市地區平地型尾礦庫偏多，造成了檢測召回率相比驗證集的結果略有偏低，可考慮通過降低置信概率來提高檢測結果的召回率。綜合而言，模型在忻州市的應用效果較為優異，表明了該模型具有較強的泛化性和適用性。

表4 忻州市尾礦庫檢測結果統計表

Tab.4 Statistics of detection results in Xinzhou city

4 結束語

尾礦庫作為具有高勢能的人造泥石流危險源，是國家應急管理的重點對象。針對如何快速檢測識別尾礦庫的難題，本文以多源高分辨率衛星影像為數據源，結合多種數據增廣操作構建了尾礦庫的樣本數據集。在此基礎上，通過嵌入注意力機制，并設置自適應錨框大小改進Oriented R-CNN網絡，提出了一種高分辨率遙感影像的尾礦庫智能識別方法。實驗結果表明：1）改進后的模型能夠顯著提高尾礦庫檢測的召回率和精度，具有良好的可靠性；2）與其他目標檢測模型相比，本研究的方法在尾礦庫檢測數據集上具有最優的檢測性能，能夠實現高精度的尾礦庫檢測；3）改進后的模型具有良好的泛化性能，可實現大范圍的尾礦庫檢測。本研究的方法可促進大規模、高精度、自動化、智能化的尾礦庫監測應用，為尾礦庫的應急管理提供有效的支持。

雖然本研究模型能夠在一定程度上精確定位尾礦庫，但也存在一定的誤差。一方面是由于尾礦庫的組成較為復雜，尤其是平地型尾礦庫，其形狀、結構、色調等特征根據背景的不同呈現出多樣性，導致模型在檢測過程中會將水體、裸地等地物誤識別為尾礦庫目標；另一方面，尾礦庫尺寸差異較大，部分大型目標的各部分會被識別為獨立的尾礦庫，造成檢測精度的下降。在后續的研究中，可深入分析樣本數據，針對不同類型的尾礦庫分別構建關鍵性特征提取網絡，提升尾礦庫的總體檢測效果。同時融合不同分辨率的影像數據，解決目標尺寸范圍大的問題，進一步提高模型的性能，探索不同方法在全國范圍尾礦庫提取中的有效性和適用性。

[1] 王昆, 楊鵬, 呂文生, 等. 尾礦庫潰壩災害防控現狀及發展[J]. 工程科學學報, 2018, 40(5): 526-539.WANG Kun, YANG Peng, LYU Wensheng, et al. Status and Development for the Prevention and Management of Tailings Dam Failure Accidents[J]. Chinese Journal of Engineering, 2018, 40(5): 526-539. (in Chinese)

[2] 王儀心, 米占寬. 尾礦壩潰壩安全風險分析評價方法[J]. 金屬礦山, 2019, 1(6): 184-188.WANG Yixin, MI Zhankuan. Safety Risk Analysis and Evaluation Method for Tailings Dam Break[J]. Metal Mine, 2019, 1(6): 184-188. (in Chinese)

[3] 高小盼, 張志學, 宋金蕊, 等. 天空地一體化技術在尾礦庫監測預警中的應用[J]. 金屬礦山, 2020, 2(2): 188-193.GAO Xiaopan, ZHANG Zhixue, SONG Jinrui, et al. Application of Space, Air and Ground Integrated Technology in Monitoring and Early Warning of Tailings Pond[J]. Metal Mine, 2020, 2(2): 188-193. (in Chinese)

[4] MEZNED N, MECHRGUI N, ABDELJAOUAD S. Mine Wastes Environmental Impact Mapping Using Landsat ETM+ and SPOT 5 Data Fusion in the North of Tunisia[J]. Journal of the Indian Society of Remote Sensing, 2016, 44(3): 451-455.

[5] MA B, CHEN Y, ZHANG S, et al. Remote Sensing Extraction Method of Tailings Ponds in Ultra-low-grade Iron Mining Area Based on Spectral Characteristics and Texture Entropy[J]. Entropy, 2018, 20(5): 345-353.

[6] HAO L, ZHANG Z, YANG X. Mine Tailing Extraction Indexes and Model Using Remote-Sensing Images in Southeast Hubei Province[J]. Environmental Earth Sciences, 2019, 78(15): 1-11.

[7] LECUN Y, BENGIO Y, HINTON G. Deep Learning[J]. Nature, 2015, 521(7553): 436-444.

[8] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision, December 7-13, 2015, Santiago, Chile. IEEE, 2015: 1440-1448.

[9] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 3-28, 2014, Columbus, OH, USA. IEEE, 2014: 580-587.

[10] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[11] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single Shot Multi-Box Detector[C]//Computer Vision–ECCV 2016: 14th European Conference, October 11-14, 2016, Amsterdam, The Netherlands. Springer International Publishing, 2016: 21-37.

[12] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-Time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 779-788.

[13] REDMON J, FARHADI A. YOLO9000: Better, Faster, Stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017: 7263-7271.

[14] REDMON J, FARHADI A. YOLOv3: An Incremental Improvement[EB/OL]. [2022-04-05]. https://arxiv.org/abs/1804.02767.

[15] ZHAO Z, ZHENG P, XU S, et al. Object Detection with Deep Learning: A Review[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(11): 3212-3232.

[16] 李慶. 基于深度學習的尾礦庫自動識別方法及應用研究[D]. 焦作: 河南理工大學, 2020.LI Qing. Research on Automatic Identification Method and Application of Tailings Pond Based on Deep Learning[D]. Jiaozuo: Henan Polytechnic University, 2020. (in Chinese)

[17] ZHANG C, XING J, LI J, et al. Recognition of the Spatial Scopes of Tailing Ponds Based on U-Net and GF-6 Images[J]. Remote Sensing for Land & Resources, 2021, 33(4): 252-257.

[18] YAN D, LI G, LI X, et al. An Improved Faster R-CNN Method to Detect Tailings Ponds from High-Resolution Remote Sensing Images[J]. Remote Sensing, 2021, 13(11): 2052-2069.

[19] YAN D, ZHANG H, LI G, et al. Improved Method to Detect the Tailings Ponds from Multispectral Remote Sensing Images Based on Faster R-CNN and Transfer Learning[J]. Remote Sensing, 2021, 14(1): 103-123.

[20] CHEN X, LIU J, XU F, et al. A Novel Method of Aircraft Detection under Complex Background Based on Circular Intensity Filter and Rotation Invariant Feature[J]. Sensors, 2022, 22(1): 319-335.

[21] LI L, ZHOU Z, WANG B, et al. A Novel CNN-based Method for Accurate Ship Detection in HR Optical Remote Sensing Images via Rotated Bounding Box[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(1): 686-699.

[22] YU Y, GUAN H, LI D, et al. Orientation Guided Anchoring for Geospatial Object Detection from Remote Sensing Imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 160(1): 67-82.

[23] ZHANG C, XIONG B, LI X, et al. Learning Higher Quality Rotation Invariance Features for Multioriented Object Detection in Remote Sensing Images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14(1): 5842-5853.

[24] XIE X, CHENG G, WANG J, et al. Oriented R-CNN for Object Detection[C]//2021 IEEE/CVF International Conference on Computer Vision, October 10-17, 2021, Montreal, QC, Canada. IEEE, 2021: 3520-3529.

[25] HU J, SHEN L, SUN G. Squeeze-and-Excitation Networks[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA. IEEE, 2018: 7132-7141.

[26] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 770-778.

[27] YANG S, PEI Z, ZHOU F, et al. Rotated Faster R-CNN for Oriented Object Detection in Aerial Images[C]//Proceedings of the 2020 3rd International Conference on Robot Systems and Applications. ICRSA, 2020: 35-39.

[28] DING J, XUE N, LONG Y, et al. Learning RoI Transformer for Oriented Object Detection in Aerial Images[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019: 2849-2858.

[29] XU Y, FU M, WANG Q, et al. Gliding Vertex on the Horizontal Bounding Box for Multi-Oriented Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(4): 1452-1459.

[30] HAN J, DING J, XUE N, et al. ReDet: A Rotation-Equivariant Detector for Aerial Object Detection[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 20-25, 2021, Nashville, TN, USA. IEEE, 2021: 2786-2795.

[31] HAN J, DING J, LI J, et al. Align Deep Features for Oriented Object Detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-11.

[32] YANG X, YAN J, FENG Z, et al. R3det: Refined Single-Stage Detector with Feature Refinement for Rotating Object[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(4): 3163-3171.

[33] 賈虎瑞, 張鵬俊. 瞄準全災種適應大應急——山西省忻州市應急管理工作側記[J]. 中國應急管理, 2021, 4(1): 87-89.JIA Hurui, ZHANG Pengjun. Aiming at All Kinds of Disasters and Adapt to Emergency—Sidelights on Emergency Management in Xinzhou, Shanxi Province[J]. China Emergency Management, 2021, 4(1): 87-89. (in Chinese)

An Improved Oriented R-CNN for Tailings Ponds Detection on Remote Sensing Images

LI Min1SU Wenbo1SUI Zhengwei1LI Junjie2

（1 China Siwei Surveying and Mapping Technology Co. Ltd., Beijing 100086, China）（2 China Centre for Resources Satellite Data and Application, Beijing 100094, China）

The accidents of tailings pond may lead to casualties and environmental pollution. It is of great significance to monitor tailings pond timely and accurately for the prevention and management of dams’ accidents. Traditional remote sensing methods,relying on manual visual interpretation and ground verification, are inefficient and unsuitable for large scale extraction. Using multi-source high-resolution satellite images as data source, a high quality dataset for tailings pond detection is constructed by manual interpretation, combining a variety of data augmentation methods. On this basis,the Oriented R-CNN model is optimized by embedding a lightweight attention mechanism and feature pyramid network to residual structure, which is effectively to fuse deep multi-scale features and recalibrate the input contributions. Meanwhile, a series of original anchors are generated adaptively according to the self-made dataset. The experimental results show that the mean average precision and recall of the proposed algorithm for tailings pond detection reache 84.14% and 90.32%, respectively, which indicate a significant improvement compared with the original Oriented R-CNN. The results also prove the feasibility and generalization of the improved model. This study is important for large-scale, high-precision, and intelligent monitoring of tailings ponds, which can serve as a reference for tailings pond management.

tailings pond; object detection; attention mechanism; remote sensing application

TP79

A

1009-8518(2023)05-0116-14

10.3969/j.issn.1009-8518.2023.05.013

李敏，女，1996年生，2021年榮獲中國科學院大學地圖學與地理信息系統專業理學碩士學位，工程師。研究方向為遙感圖像目標智能檢測與識別。E-mail：limin@chinasiwei.com。

2022-12-17

國家重點研發計劃（2018YFB0505000）

李敏, 蘇文博, 隋正偉, 等. 改進Oriented R-CNN的遙感尾礦庫檢測[J]. 航天返回與遙感, 2023, 44(5): 116-129.

LI Min, SU Wenbo, SUI Zhengwei, et al. An Improved Oriented R-CNN for Tailings Ponds Detection on Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(5): 116-129. (in Chinese)

（編輯：龐冰）