低空遙感地質災害目標數據集的制作及測試

詹總謙 黃蘭蘭 張曉萌 劉 異

1武漢大學測繪學院，湖北 武漢，430079

基于機器學習方法的遙感圖像災害目標檢測是災害分析中的研究熱點之一。這類方法的初期模型有支持向量機（support vector machine，SVM）［1］、模式識別技術和監督分類方法［2］、聯合視覺詞袋（bag of visual words，Bo VW）與概率隱含語義分析（probabi?listic latent semantic analysis，PLSA）的滑坡場景分類方法［3］等。這些方法通常先進行預處理并構建災害目標樣本庫，然后設計目標特征提取方法，最后選取分類器模型進行訓練和測試。由于無法充分利用樣本信息，并且所選特征描述符的穩健性不高，該類方法還不足以創建用于災害損傷檢測的強泛化模型。

深度學習［4，5］已在許多應用中取得了突破性進展，其中，卷積神經網絡（convolutional neural net?work，CNN）在目標識別領域表現優異［6?8］。與基于像素和面向對象的技術［9，10］相比，深度學習方法提供了對災害目標特征相對高級的解釋，且減少了特征提取前的諸多繁瑣的預處理步驟，部署訓練好的模型便可實現目標的快速檢測。文獻［11］中利用Google Earth影像制作滑坡樣本數據集，并搭建了一個包含3個卷積層和兩個全連接層的CNN，經訓練后用于遙感圖像滑坡區域的自動提取。相比于傳統方法，基于深度網絡的方法使影像信息得到了充分利用，提取的精度和召回率有明顯改進。文獻［12］利用無人機影像制作火災樣本數據集，采用深度學習方法進行訓練和測試，判斷遙感影像中是否存在火災，測試精度達85%。文獻［13］提出一種被命名為wavDAE的基于深度學習的光學遙感圖像滑坡識別方法，先利用Google Earth影像制作樣本，并搭建一個具有多個隱藏層的深度自動編碼器網絡進行學習，再輸入softmax分類器用于分類預測，效率和準確性優于SVM和人工神經網絡（artificial neural net?work，ANN）等先進分類器。文獻［14］對災情建筑物的受損情況進行了檢測，使用獨立的CNN特征或結合3D點云特征來構建分類框架，并基于遷移學習策略訓練模型，實驗平均精度達到85%。

雖然上述研究取得了一定效果，但是深度模型的表征能力高度依賴訓練數據的多樣性。然而，目前還沒有完整公開的倒塌房屋、滑坡和泥石流等多種災害目標數據集（disaster event dataset，DED）。上述基于深度學習的災害目標檢測方法均需要自己制作數據集，即在不同的實驗設置下對不同數據集進行評估，難以比較各種深度學習方法的優劣。另一方面，現有方法主要使用的數據為Google Earth影像，該類影像經過處理后，光譜特征和空間分辨率等發生變化，從而導致影像與實際應急場景中包含的信息有差別，實用性不足。當前，無人機低空遙感已成為增強應急測繪現場勘測能力的重要手段，在災情快速分析方面發揮了重要作用。相比于衛星影像，無人機影像的獲取更為快速、便捷，分辨率更高。因此，制作實用多樣化的無人機影像DED具有重要的應用價值。

針對上述問題，本文重點介紹了一種無人機影像地質DED的制作方法。該數據集包含坍塌房屋、滑坡和泥石流3種典型地質災害目標，共有16 535個標注對象。本文使用Faster R?CNN［15］模型和k?means聚類優化方法對其有效性進行了實驗評估。

1 DED

1.1 制作背景

現今，機器學習、深度學習方法仍依賴于大量的標注數據。已經有很多公開數據集可用于算法的開發、訓練、驗證以及模型性能的比較。其中，大多數數據集與場景目標識別有關，通常被應用于人臉識別、行人檢測、車輛檢測、日常物體識別等。這些數據集中的圖像基本都在與目標較近的拍攝距離（幾米或幾十米）獲取，與拍攝距離動輒幾百米甚至幾千米的遙感影像有很大區別。遙感領域也已經有不少公開或非公開的數據集，非公開的有IKO?NOS衛星圖像數據集［16］、SPOT圖像數據集［17］等。一些常用公開場景數據集和遙感數據集的信息如表1所示。

由表1可知，如ImageNet和COCO等挑戰賽常用的數據集的規模都很大。然而，它們在實際中不適用于目標的自動識別。這些數據集關注的是物體的多樣性和類別的數量，其感興趣目標大多占據圖像主體。遙感數據集則更關注地物目標的大小，圖像通常來自不同的傳感器，且包含噪聲，多光譜影像資源豐富。在實際應用中，自動檢測更多情況下是檢測小目標?，F有的遙感數據集大多規模較小、尺寸單一，數據過于理想化，導致數據集之間的泛化程度較低。且它們或只用于分類，或只針對船只、飛機等普通場景目標，并未涉及坍塌房屋和滑坡等災害目標，無法被直接應用于災害目標的自動監測。

表1 常用場景數據集和遙感數據集的信息Tab.1 Information of Commonly Used Scene Datasets and Remote Sensing Datasets

針對坍塌房屋、滑坡和泥石流這3類常見地質災害的數據集要符合地質災情現場精準速報系統的模型訓練要求；不同災害目標的數量及類型足夠多樣化，背景應盡可能復雜多變（平原、山區、高原、荒地等不同地貌），目標要大小不一；且數據集標簽的規模要相對較大。

無人機低空探測獲取的圖像中，感興趣目標一般都很??；相機分辨率不高或無人機抖動等會產生圖像模糊，導致目標難以分辨；不同地區發生的地質災害，加上太陽光照和四季變化，使得影像有著復雜多變的背景；可用的災害數據資源相對缺乏。這些因素導致數據集制作和災害目標檢測面臨諸多挑戰。災害目標數據集在應急救災系統中的關鍵應用決定了其信息結構和實用價值與其他目標檢測數據集顯著不同。本文充分考慮了上述難點和挑戰后，制作了首個版本的地質DED，為后續該類數據集的制作提供范例。該數據集目前還屬于內部數據集。

1.2 制作方法

1）數據來源。本文從國內不同的地質災害地區收集了大量無人機影像，約1萬張，包括汶川、舟曲、玉樹等地區。這些無人機影像拍攝的相對高度在300~500 m之間，地面分辨率在10~15 cm之間。按照數據集的圖片質量、重疊度等要求挑選出最具代表性的災區影像。這些影像來自地形各異、氣候不同的地區，有著不同季節和光照的成像條件，增加了類別內部的差異性。表2展示了DED的原始影像信息。

表2 DED的原始影像信息Tab.2 Original Image Information of DED

2）格式選擇。模式分析、統計建模、計算學習視覺物體分類（pattern analysis，statistical modelling and computational learning visual object classes，PASCAL VOC）［24］挑戰賽是視覺對象識別和檢測的一個基準測試，提供了檢驗算法和學習性能的標準圖像注釋數據集和標準的評估系統?，F今的許多深度學習模型均在VOC數據集上進行訓練和測試，可參考性強。因此，本文制作DED時參照了PASCAL VOC數據集的格式。

3）標簽制作。該過程主要為標記圖像中所有對象的類別和位置，每個標簽對應包含該目標的最小矩形框，位置信息存儲為矩形框的4個角坐標。最小矩形框代表了目標對象的真實位置，是模型訓練及學習階段的參考以及評估算法性能的比較參考，因此這些標簽應盡可能準確。手動標記圖像中的目標是一個繁瑣而緩慢的過程，目前已經有一些工具可以幫助完成這項任務。本文使用的是label Img工具，它提供了一個圖形用戶界面，用戶可以通過菜單工具勾畫和調整邊界框，隨時改動或完善標簽，是一種便捷的標注工具。

考慮到無人機影像的重疊度太大，或者存在部分影像無法使用的情況，且由于很多深度模型已經具備基本的數據增強功能，因此，本文從中挑選出了最具代表性的影像1 062張，最終標注了16 535個標簽。新數據集包含坍塌房屋、滑坡體、泥石流3個目標類別。每種災害目標類別的標簽數目差別很大，且以小目標居多。各類別的一些標注樣本如圖1所示。

圖1 3種典型地質災害目標的樣本示例Fig.1 Sample Images of the Three Typical Geological Disaster Events

1.3 數據集特點

1）影像尺寸大。與日常場景的目標數據集相比，無人機影像尺寸較大。常規數據集（如PASCAL VOC）中的大多數圖像尺寸不超過1 000×1 000，而DED中的圖像尺寸在2 800~5 700之間，這些大尺寸圖片作為網絡的輸入給深度模型的訓練及優化帶來了一定困難。

2）標注方式的差異。本文對災害影像的標注方式不同于普通場景圖片，不能同等定義最小矩形框。日常場景圖片中的目標大多為有規則形狀的單個目標，如一只小狗或一張桌子；災害目標則是成片而無特定形狀的，有些目標區域散亂不連續，不可明確區分哪塊區域屬于一個災害目標。再者，本文任務是檢測出災害目標的大致位置，不需要對坍塌房屋進行計數，因此，對于成片的坍塌房屋或滑坡，有時會采用幾個目標框進行標注。類別實例的大小范圍很廣，小到幾個像素，大到600像素以上，實例標簽的縱橫比差別也很大。

3）影像和目標的特殊性。無人機影像分辨率高、細節多、數據大，對硬件設備的需求更高；信息量大，特征提取更為困難。3種目標都呈片狀或散落狀，輪廓毫無規則可言。

2 目標檢測方法

本文采用Faster R?CNN［15］方法進行實驗。Faster R?CNN是一個典型的基于深度學習的目標檢測模型。自出現以來，Faster R?CNN的影響力越來越大，后續很多目標檢測與分割模型都受其啟發，包 括single shot multibox detector（SSD）［25］、基 于 區域的全卷積網絡（region?based fully convolutional network，R?FCN）［26］等。Faster R?CNN已經不是最簡單、最快速的目標檢測方法，但其出現頻率和使用表現仍位列前茅。目前，Faster R?CNN仍是很多目標檢測模型的主要思想。

Faster R?CNN的構建分為兩個階段：①區域建議網絡（region proposal network，RPN），與之前的R?CNN及Fast R?CNN［27］模型相比，RPN可謂Faster R?CNN模型的主要創新點。它用RPN快速神經網絡代替了之前慢速的選擇搜索算法，利用CNN實現候選區域生成這一關鍵步驟，加速了整個模型的訓練進程。輸入圖像先由一個基礎CNN作為特征提取器處理，并將某些選定的中間卷積層得到的特征圖輸入RPN進行候選區域提取，整個RPN則是用完全卷積的方式高效實現。②將階段①得到的候選區域輸入到一個本質上是Fast R?CNN的檢測器，其與前面的RPN共享特征以構成統一網絡進行學習，再添加池化層和一些全連接層，連接softmax分類器和邊界框回歸器。分類器對邊框內容進行分類，或者舍棄它并將其標記為背景；邊框回歸器負責調整邊框坐標，使之更好地包含目標。獲取具備類別標注的目標檢測框后，還要進行非極大值抑制后處理，以實現邊框調整和簡化。其中，基礎CNN的選擇和區域框的設定對檢測結果都有很大影響。

VGG16［28］和殘差網絡（residual network，ResNet）［29］是常見的兩種基礎CNN。VGG16采用連續的幾個3×3的卷積核代替較大卷積核，這樣多層的非線性層就可以增加網絡深度，以學習更復雜的模型，并且參數更少。VGG16使用了一種“多次重復使用同一大小的卷積核來提取更復雜和更具表達性特征”的塊結構，這種結構在VGG之后被廣泛使用?，F有研究表明，網絡深度有著至關重要的影響，在確保沒有過擬合的前提下，一般網絡越深，可獲得的準確度越高，但更深的網絡卻存在梯度消失、爆炸或退化的問題。ResNet的出現很好地減輕了深度網絡的退化問題，從而能夠訓練更深的網絡。ResNet設計了一種殘差模塊，該模塊在輸入和輸出之間建立直接的連接，這種新增的層只需要在原來的輸入層基礎上學習新的特征，即學習殘差。因此，殘差結構既不增加計算復雜度，又不增加模型的參數量。目前的50、101、152層的ResNet已被廣泛使用，不僅沒有出現退化問題，還顯著降低了錯誤率，同時保證了較低的計算復雜度。

Faster R?CNN中的RPN在最后特征圖層每個元素的對應位置會生成9個不同大小和尺寸的區域框，稱為Anchor。這些Anchor的尺寸和比例都是預先設定好的，沒有根據數據集中的目標大小設置，導致其難以適用于各種類型的目標檢測數據集，并且訓練和檢測的速度也會受到影響。針對此問題，已有不少研究將k?means聚類算法用于優化Anchor的尺寸和大小的設置，使之更符合特定類型的數據集。k?means目前在目標檢測領域的應用主要是YOLOv2及其改進版本。比如，YOLOv2用的是k?means聚類［30］，而YOLOv3用的是k?means++聚類［31］。應用于目標檢測時，k?means算法并不使用標準的歐氏距離，而是使用交并比（intersection over union，Io U）度量，以避免大區域框比小區域框產生的錯誤多。在Faster R?CNN模型中，可以使用k?means對訓練集進行聚類分析，得到目標框的k個聚類中心，使用這k種聚類中心的尺寸代替Anchor原本設定的9個框的尺寸，也可以根據聚類結果和復雜度更改Anchor的數量。

3 實驗及分析

3.1 實驗設置

為了檢驗所提出的DED在災害目標上的檢測功能并評估其應用效果，本文使用Ubuntu16.04環境下的Tensorflow框架，在單個GTX 1070顯卡上重新訓練和評估Faster R?CNN模型［32］。采取遷移學習中的模型遷移方式，使用VGG16、Res Net?50、ResNet?101 3種基礎網絡來微調訓練Faster R?CNN模型，檢驗不同深度的網絡對于DED的適用性；基于k?means算法對訓練集進行聚類分析，根據聚類結果修改Faster R?CNN中固定設置的Anchors尺寸。本文采用平均精度（average precision，AP）、平均精度均值（mean AP，mAP）指標和直接觀察模型對新影像的預測結果進行評價。

3.2 結果及分析

模型經訓練集訓練后，用測試集檢驗模型的精度。測試結果的mAP值統計結果見表3。表4為3種目標檢測數據集在相同模型下的mAP值比較。

表3 基于DED訓練不同深度網絡的測試結果Tab.3 Test Results of Different Deep Networks Trained by DED

表4 不同數據集在相同模型下的mAPTab.4 mAP Values of Different Datasets Obtained by the Same Model

數據是決定模型學習結果上限的最核心要素。一般而言，在訓練數據足夠多的情況下，網絡越深效果越好。根據本文實驗結果，DED的規模量級還不足以訓練好ResNet，出現了過擬合現象，其mAP值比使用淺層網絡的VGG16低。由于3種災害目標的標簽樣本數量不同，它們在不同深度的網絡中的訓練效果也不一樣：隨著網絡層數的增加，滑坡體的檢測精度越來越高，而泥石流的檢測精度越來越低。在DED中，含有泥石流樣本的影像是最少的。

從表4可以看出，DED訓練模型后得到的mAP值與VOC數據集相差較遠，而與COCO數據集相比則略有優勢。這3種數據集的目標內容和應用場景不同，三者的圖片及標簽舉例見圖2。COCO數據集包含91類目標，小目標較多，且包含復雜的日常場景，因此其mAP值最低。DED的目標形狀特殊，很多時候需要分成多個矩形框進行標注，這與VOC及COCO的日常場景目標可以逐個標注的方式不同，而精度評價指標則使用相同的IoU和mAP計算方式，本文認為這是導致DED的mAP值低的主要原因。再者，多個矩形框標注零散且片狀分布的目標，模型會因為非極大值抑制而過濾其中幾個預測框，導致出現一些漏檢，最終的檢測率降低。模型原始設置的Anchor尺寸也不適合DED，因此，本文用k?means對訓練數據集進行聚類，基于聚類結果更改了Anchor尺寸設置，使之更符合DED標注框的大小范圍，mAP提高了2.84%。

圖2 示例圖片和標簽Fig.2 Sample Images and Annotations

模型經DED訓練后，使用新的影像進行預測，預測結果包括目標定位框、目標分類標簽以及每對標簽和邊框所對應的概率（即得分）。部分預測結果見圖3。圖片中的大部分目標都可被檢測出來，且得分較高，能達到定位檢測出絕大部分災害目標的效果。其中，使用k?means聚類結果優化Anchor尺寸設置的Faster R?CNN+VGG16模型的預測效果更佳，漏檢率更低、目標框的平均得分最高?？梢?，本文制作的DED是可用、有效的，而且相較于其他災害目標檢測方法，基于深度模型的方法檢測目標快速高效，可在后續研究中應用于低空無人機在線檢測災害目標系統。

圖3 兩種訓練模型的預測結果示例Fig.3 Examples of Prediction Results Obtained by Two Training Models

3.3 討論

綜上，基于深度網絡進行災害目標檢測是可行的，本文制作的DED也可成功用于訓練深度模型。在檢測速度方面，基礎網絡的深度差別以及每張影像包含的目標個數不同，導致耗時有差異，但總體相差不大，每張影像的檢測耗時平均值在0.4 s左右。本文未對檢測速度展開分析，主要討論了檢測精度。

經DED訓練的模型，其測試精度mAP值較低，原因在標簽制作的介紹中已有分析，災害目標呈片狀或散亂分布，制作標簽時難以確定目標邊界。多個矩形框標注一片區域的方式導致無法用普通場景的目標檢測評價指標來衡量本文模型質量。圖4為預測結果圖和人工標注圖，按照預測框與真實標簽的IoU值來計算精度，結果確實會很低。而目視判讀發現，預測結果已經基本滿足定位受災區域這一應用需求。對于這些成片且零散分布的災害目標，存在少量漏檢是正常的，也難以通過數個目標框就將大片的目標定位完整。本文預測了50張新圖片，將預測結果與目視判讀進行比較，發現絕大多數目標均能被檢測出來，實現正確分類和大致定位，沒有出現成片目標的漏檢，尺寸較大目標的檢測效果魯棒性較好。

圖4 預測結果與人工標注結果的比較Fig.4 Comparison of Prediction Results with Manual Annotation

模型預測時，少數情況下也出現了錯檢，如圖5所示。錯檢發生在背景與目標極為相近的情況下，這在實際應用中也會遇到。尤其是在地形復雜以及影像模糊時，人眼難以區分目標與背景，進行標注也極為困難。災害目標的特殊性導致了其檢測結果的多樣性和分析問題的困難性。

圖5 被誤檢測有滑坡的圖片Fig.5 Pictures That Were Erroneously Detected to Have Landslides

深度模型的訓練是一個非常復雜的過程，包括各類參數的設置和初始化策略，受到硬件條件的限制以及數據集的顯著影響。針對不同的應用場景，需要制作特定的數據集，并結合實際應用來分析和評價數據集的質量和模型的適用程度。使用數據集訓練深度模型后，要達到的實際效果是能快速檢測災害目標的類別并定位出其大致位置。DED在精度上低于日常場景數據集，但其實際效果是明顯的。由預測結果可知，利用DED微調出來的模型已經能將絕大多數災害目標檢測出來，分類正確且得到大致定位，雖有小部分漏檢，但錯檢率極低，說明基于DED訓練Faster R?CNN模型是有實際效果的。

4 結束語

本文收集了大量無人機影像，根據性質、組成、用途三大要義制作了首個版本DED，包含坍塌房屋、滑坡體和泥石流三大常見地質災害目標，并基于Faster R?CNN模型對其進行驗證。實驗結果表明，通過DED訓練的模型能成功預測出災害目標，目標分類及定位效果較好。對比實驗結果表明，DED對不同深度的網絡模型的訓練效果有差異，使用k?means聚類結果優化模型Anchor的尺寸設置后，檢測精度明顯提高。受限于無人機影像和災害目標的特殊性，實驗結果精度不夠高。后續研究會繼續增加目標影像數據，同時細化探究災害目標與日常目標的區別，改善標簽制作過程。再針對這一類無人機災害目標數據集對網絡模型進行改進，使其對災害目標的檢測準確度更高、速度更快，以期能真正應用于應急救災系統。