基于優化Mask-RCNN算法的遙感飛機目標檢測

葛海婷,楊鐵梅

(太原科技大學 電子信息工程學院,太原 030024)

遙感是一種遠距離的探測技術,近年來衛星技術也愈發成熟,獲得的觀測數據也因遙感技術的成熟呈指數性增長,圖像質量也在不斷提升,高質量以及大規模的遙感數據正越來越多地進入人們的視野,并在多方面都發揮著越來越重要的作用,這使得人們對遙感圖像處理技術的研究也愈發迫切。而在整個的遙感影像檢測體系之中,飛機影像的檢測一直是重要的研究目標[1]。

在過去,計算機的性能有限,傳統的方法是采用手工設計精巧的特征以及分類器的方法進行數據訓練、測試。比如圓周頻率濾波法、邊緣提取法、稀疏表示法等,但是這類傳統的算法檢測依靠人工設計的特征,過程復雜,耗費時間長,且檢測結果精度不高,算法的抗干擾能力差,且一般適用于背景簡單,有明顯特征的圖像,不適用于遙感影像的目標檢測。

2014年,Girshick 等[2]提出R-CNN 算法,將卷積神經網絡的概念引入到目標檢測領域。而深度學習源于神經網絡的研究,含多個隱藏層的多層感知器就是一種深度學習結構,主要是通過堆疊的深層的網絡結構,借助同類數據進行訓練,使得整個網絡獲得對圖像內容進行理解、判斷和預測的功能,具備較強的學習能力,能夠自動的準確高效的提取目標檢測物的特征?；谏疃葘W習的檢測方法一般分為兩種:一種是基于候選區域的方法,代表性的檢測方法有Fast-RCNN[3]、Faster-RCNN[4]、Mask-RCNN[5],這類方法的運算量偏大,耗時長,但檢測精度好;另—種是基于回歸思想的方法,代表性的檢測方法有YOLO[6]系列、SSD[7]等,這類檢測方法的實時性會更好[8]。

在遙感圖像目標檢測中,由于高空拍攝,成像時覆蓋范圍廣,導致的圖像背景復雜,檢測目標分布密集、尺寸小;同時,成像時容易受到光照、天氣等因素的影響,使得圖像質量較差,增大目標檢測的難度。將現有的深度學習檢測算法應用于遙感檢測領域中時,可以完成大部分遙感圖像的檢測任務,但是在背景復雜、目標尺度小時,其檢測精度仍然不高。因此,這就需要研究更加高效精準的檢測方法。

針對目前的遙感圖像檢測算法在目標密集排列、背景復雜以及成像質量較差的圖像上精度較低等問題,本文選用基于候選區域的目標檢測方法,在Mask-RCNN網絡的基礎上進行改進。網絡在ResNet特征提取的網絡上添加多通道組卷積以及注意力機制,提高網絡的檢測精度,尤其針對背景復雜和小目標的檢測;并在區域推薦網絡中優化NMS非極大值抑制網絡,提高物體目標的定位精度,從而提高遙感影像中飛機的檢測精度。使其在對于目標圖像的檢測中,算法的精度以及處理速度均有一定程度的提升。同時也可以將本文算法拓展到其他檢測領域,使其更具實用性。

1 Mask-RCNN的網絡模型介紹

1.1 FPN特征提取網絡

特征提取是目標檢測中的基礎,能否有效的提取到圖片中的關鍵信息,直接影響到后續的檢測結果。FPN特征提取網絡使用ResNet深度殘差網絡進行,通過添加“shortcut”的連接方式解決梯度消失,并簡化學習目標和難度。并在其中使用特征金字塔結構保留不同階段生成的feature maps.

FPN特征提取網絡實現了更好的feature maps融合。低層特征的feature maps分辨率高,包含更多的位置信息,細節信息,但由于卷積層數過低,語義信息差;高層特征的feature maps語義強,但是位置和分辨率都比較低,對細節的感知能力較差,容易檢測不到比較小的物體。FPN網絡將ResNet網絡提取到的特征作為輸入,結合特征金字塔網絡,通過上采樣方法將特征尺寸轉換成對應大小,并通過自下而上、橫向連接以及自上而下的連接方式在保留小目標的情況下,融合不同尺寸的特征,從而充分利用提取到的各個階段的特征。

結構示意如圖2所示:

圖2 FPN特征提取網絡

1.2 候選框篩選機制

RPN網絡引入anchor的概念,依靠一個在共享特征圖上滑動的窗口把feature map每個點映射回原圖的感受野的中心點當成一個基準點,然后圍繞這個基準點選取k個帶有目標分類置信度的不同的尺寸和比例的錨框,之后網絡使用NMS非極大值抑制算法依據目標的分類置信度以及瞄準框與真實目標的交并比(IOU)對錨框進行篩選,得出當前分類置信度最高的候選框。最后對篩選出的候選框使用softmax實現圖像前景與背景的分類,以及對候選框進行邊界框回歸,修正anchor得到物體在圖像中的位置。

1.3 評價指標

為了評價算法的檢測性能,本文選擇準確率(Precision)、召回率(Recall)以及平均精度(Average Precision,AP)對算法的性能進行分析。各指標計算公式如下:

(1)

(2)

(3)

上式中的各個字母的含義如表1所示:

表1 公式中的字母含義

2 目標檢測網絡模型的改進

文章針對遙感圖像的特點以及自制數據集的需求對網絡模型進行優化,使得改進后的算法對于遙感影像的檢測具有較高的精度。其主要包括了兩方面的改進:一是ResNet特征提取網絡的改進;二是候選框的篩選機制NMS非極大值抑制網絡的改進。

2.1 ResNet網絡模型的改進

本文的檢測目標為遙感飛機圖像,需要識別的類別數較少,對網絡層數的要求沒有很高,對于網絡的精度要求會更高一些。Resnest,即分割-注意力網絡,在Resnet網絡的基礎上引入Split-Attention模塊,用于替換ResNet中四個stage的conv,它保留了整體的 ResNet 結構,可直接用于下游任務,但沒有增加額外的計算量。

入選標準：①2015年4月至2017年1月于北京同仁醫院驗光中心驗配角膜塑形鏡的近視青少年；②定期復查且隨訪時間超過6個月；③每個復查時間點均具有完整的數據資料。排除標準：①復查時間短于6個月；②隨訪資料數據不完整。

ResneSt網絡的塊結構主要在網絡上做基于組卷積和通道注意力機制的改進,具體模型結構如圖3所示。從圖中可以看到,首先輸入的特征圖為h×w×c,第一步對輸入進行分組,共分為k組,每組再進一步分割,分為r片。組內分割的特征圖通道數為c/k/r,做1×1小卷積通道數不變,再做3×3卷積通道數變為c/k,將其得到r個特征圖小組作為輸入給分割注意力機制進行操作。

圖3 ResneSt block結構圖

分割注意力機制具體的結構如圖4所示,首先將圖3得到的r個特征圖相加融合,而后對得到的特征圖小組進行Global pooling操作,再經過歸一化、激活以及后續的softmax操作,就可以得到修正后的channel權重向量,接下來的步驟與原算法類似,即將這一系列的操作輸出與原始的特征小組相乘后對應元素相加便可得到此基數組的輸出,最后將所有基數組連接起來得到操作輸出,通過與shortcut配合就可以得到總的輸出[10]。

圖4 一個基數組內的Split-Attention

2.2 NMS的改進

NMS非極大值抑制,通過IOU的分數剔除重疊建議框,最終保留一個得分最高的建議框。但是大多數情況下很多分類標簽置信度高的框的位置都不是很準,容易導致漏檢、誤檢等情況。

文章在NMS算法的基礎上引入了KL Loss,即采用softer-NMS[11]基于定位置信度并利用相鄰的邊界框來獲得更好的定位效果。算法框架如圖5所示,在原來的基礎上添加了Box std分支,用于預測每個坐標的標準差,表征定位置信度。

圖5 Softer-NMS框架

為了在定位坐標的同時可以輸出定位置信度,使用高斯函數對預測框建模;由于GT框的位置是確定的,文章使用delta分布(標準方差趨近于為0的高斯分布極限)對GT框建模。具體如公式(4)、(5)所示:

(4)

PD(x)=δ(x-xg)

(5)

式(4)中x表示偏移前的預測框,xe表示偏移后的預測框,σ表示候選框位置的標準差,衡量了候選框位置的不確定性;式(5)中xg表示GT框。

引入KL loss用來衡量預測框與GT框的概率分布的接近程度,其值越小,接近程度越高。單個樣本的損失函數如公式(6)所示:

(6)

由上述內容可知,當xe預測不準確時,網絡希望σ2盡可能大,用以減小Lreg,相應的預測框與GT框的接近程度越差。通過刪除式中不含σ2的項可以得到式(7).

(7)

(8)

經過網絡的訓練,輸出部分會在原先的分類置信度、預測框的坐標基礎上,得到預測框的四個坐標分別對應的標準差(定位置信度)。

網絡針對重疊的檢測框,根據分類置信度和位置置信度進行投票,重疊程度高且位置分布方差小的檢測框權重大,重疊程度低抑或位置分布方差大的候選框權重小,從而獲得更精確的檢測框。

3 模型試驗結果與分析

為了驗證算法的改進部分在遙感影像飛機圖像檢測中的有效性,本文在自制的數據集上進行實驗測試,并與原算法進行比較,根據得到的評價指標準確率、召回率以及評價指標來進行評判,具體如表2所示:

表2 自制數據集上的性能對比

從表2中可以看出,原算法在加上改進的特征提取網絡后,準確率增加了2.3%,召回率增加了1.5%,平均精度增加了1.7%;繼而增加NMS網絡的改進后,較原算法而言,準確率增加3.6%,召回率增加3.9%,平均精度較原算法高4.2%,這表明了網絡優化部分對于整體性能的提升是有效的。

同時,本文在自制的數據集上進行測試實驗時,得到了mask算法和改進特征提取網絡算法以及本文算法的Loss值曲線,從圖6中可以看出,在經過多次迭代之后,損失變化趨于平緩,且誤差方面較原算法均有了較好的提升。

圖6 Loss值的對比圖

為更直觀的觀察到檢測結果,抽取自制數據集中的有代表性的部分測試結果如圖7所示。第一行圖像為測試集圖像,中間行圖像為原算法在自制數據集的檢測結果,第三行圖像為改進后的算法在相同數據集下的檢測結果。其中圖(a)為小目標圖像密集排列,圖(b)是由于光線太強造成圖像曝光,圖(c)是背景復雜,干擾信息較多,這三類情況均為遙感圖像目標檢測的重難點。對比這三組圖像的檢測結果,可以明顯看到在原始的Mask算法下,三組圖像均存在漏檢,誤檢等現象,而在改進后的算法下,漏檢、誤檢等現象有了明顯的改善,檢測精度更高,并且有良好的抗干擾能力,這表明了說明改進后的算法更有利于遙感飛機影像的檢測。

圖7 檢測對比圖

4 結束語

本文為提高檢測精度,基于Mask-RCNN算法提出了改進的特征提取算法,在ResNet的基礎上,結合多通道組卷積以及注意力機制進行改進,在區域推薦網絡中基于NMS非極大值抑制,添加定位置信度優化ROI.根據實驗結果可知,改進后的模型在檢測精度、損失等方面均優于原算法,具有較強的抗干擾能力以及魯棒性,更適用于遙感領域的目標檢測。