輕量級卷積網絡遙感影像飛機目標檢測方法研究

都 凱

（垣曲縣測繪地理信息中心，山西垣曲 043700）

0 引言

基于遙感影像的目標檢測長期以來是遙感影像應用領域的熱點研究任務之一［1-2］。隨著人工智能算法的快速發展，利用卷積神經網絡對高分辨率遙感影像中海量的地物信息進行自動化檢測的技術也取得了一系列的研究成果［3-4］，被廣泛應用在城市建筑規劃、林業資源調查、應急救援等多個領域內。其中在機場等區域內拍攝的遙感影像包含有大量清晰的單體飛機目標，如何從覆蓋范圍廣泛、背景復雜的高分辨率遙感影像中快速、精準地檢測出體積相對較小的飛機目標，具有重要的研究意義，并且在機場流量調度等方面具有重要的應用價值。但現有的常規檢測模型體量大、結構復雜，通常需要功耗較大的顯卡作為流暢推理的硬件支撐。針對此問題，很多專家學者提出適用于低算力終端設備的輕量級檢測模型。輕量化模型采用更少的層次來直接降低模型的計算量［5］，同時通過多種卷積策略來降低計算參數，目前相關研究已經取得了很多成果。陳海燕等提出了一種能夠部署在Jetson TX2 上的便攜式的高原鼠兔目標檢測方法［6］，該方法以MobileNet 替換YOLOv3 主干網絡DarkNet53來構建輕量級高原鼠兔目標檢測模型，并利用剪枝、微調的方法對模型進一步輕量化設計。實驗結果表明：該方法相比原始模型檢測速度提升了620%，同時檢測精度僅下降了1.05%。

針對低功耗硬件條件下的遙感影像飛機目標檢測問題，提出一種輕量級檢測模型，以分組卷積核搭建基本提取網絡，通過輕型通道注意力機制提高模型對局部正樣本特征的學習能力，通過特征強化網絡將多尺度特征圖進行拼接，提高圖內目標紋理與形狀信息的豐富程度。

1 檢測方法

1.1 輕型特征提取網絡

特征提取網絡是檢測模型的核心部件，卷積特征提取操作在模型運算過程中占了很大比例的計算量，具體卷積特征提取計算過程如圖1（a）所示?？梢钥闯?，在提取過程中卷積核組利用每個卷積核遍歷特征圖全部通道，并輸出通道數與卷積核個數相同的特征圖，特征提取的計算量如公式（1）所示：

圖1 特征提取層結構圖

式中：E為一次卷積的計算量；Fin為輸入特征圖尺寸；M為特征圖通道數；C為卷積核的平面尺寸；N為卷積核個數，也是輸出特征圖的通道數。在這樣的結構下，計算量隨著卷積層數的加深而大幅提升。針對此問題，本文使用分組卷積核［7］來代替常規卷積核進行特征提取，讓不同的卷積核來對不同區域的特征圖進行提取。首先將輸入的特征圖按照切分因子t進行等分，然后將卷積核平均分配給t組特征圖，每個卷積核僅參與該組特征的提取計算，這就使得在卷積核輸出特征維度不變的前提下，計算量下降到了原來的分組卷積在顯著降低計算量的同時，也使得不同層特征圖之間的信息交流程度降低，進而影響到模型對正樣本的學習情況。為恢復通道間的信息復雜程度，對分組卷積后的特征圖進行通道混排，即將分組卷積后獲得的特征圖進行交叉排列，最終分組卷積層的結構如圖1（b）所示。本文檢測對象為小尺寸飛機目標，存在較為嚴重的正負樣本不均衡問題，為了提高模型對特征圖中正樣本特征的關注程度，本文在特征提取層末端設置了輕型注意力模型。輕型注意力機制從通道角度篩選重點區域特征，首先對輸入特征圖全局平均池化后，然后分別使用ReLU 與sigmoid 激活函數以及兩組通道局部交互的全連接層來計算各通道的權重，最后將權重賦予原始影像，具體計算過程如公式（2）公式（3）所示：

式中：σ為sigmoid 型激活函數；ReLU 為線性整流函數；xij為通道域全局池化；W、H為輸入特征圖的尺寸維度，W1、W2為通道注意力權重。為了保證模型在訓練過程中不出現均值漂移問題，在分組卷積提取層后面使用批量歸一化層（Batch Normalization，BN）對特征進行歸一化處理，然后使用計算量更小的LReLU 函數作為激活函數，對所有特征進行非線性激活，具體如公式（4）所示：

為了進行多尺度特征信息的提取，要對提取后的特征圖進行尺寸壓縮與通道擴張操作，本文使用平均池化層進行下采樣，然后使用1×1 卷積核進行通道壓縮。為了進一步節約計算參數，本文將池化步驟放置于通道調整過程之前，完整特征提取層結構如圖1（c）所示。整個網絡設置5 層特征提取層，具體的結構以及每層輸出特征圖尺寸如表1 所示：

表1 特征提取網絡結構

1.2 特征強化網絡

特征提取網絡輸出5 個尺度的特征圖，若直接對其進行多尺度運算則計算開銷過大。此外，大尺度特征圖包含豐富的目標紋理信息，而小尺度特征圖內含有較多的目標輪廓信息。因此，本文設計了3 層的輕量化特征強化網絡，通過對不同層的輸出特征圖進行融合，來提高圖內的特征信息豐富程度，具體的強化網絡結構如圖2 所示。

圖2 特征強化網絡結構圖

為了讓參與檢測的特征圖內包含更多小尺度目標特征，將提取網絡的前3 層的輸出特征圖進行下采樣融合作為特征強化網絡首層，然后將其進行2 次連續下采樣，并將下采樣后特征圖與提取網絡中同尺度的特征圖進行拼接，最終獲得3 個尺度的輸出特征圖。本文訓練模型的損失函數由目標框回歸損失、分類損失與置信度損失3 部分組成，具體公式如式（5）、式（6）所示：

式中：S為最終金字塔輸出的特征圖尺度；B為每個格子預測邊框個數；λcord、λobj、λnobj、λclass分別為預測邊框的中心坐標誤差、邊框尺寸誤差、正負樣本類別誤差、預測置信度誤差方面的權重系數；c= 1 為本文數據集中樣本的類別個數；xi、yi、wi、hi、Ci、pi(c)為預測框的參數為真實目標框的參數。

2 實驗與分析

2.1 數據預處理

本文以開源遙感影像數據集AerialImage、FAIR1M 以及谷歌地圖內包含飛機目標的遙感影像來構建數據集，將數據集內影像按照4∶1 劃分為訓練集和測試集。訓練集內的多源影像尺寸不一且背景復雜，直接對其進行標注訓練難以達到理想的效果。因此，本文通過以下流程對訓練集進行增強處理：

1）圖像尺寸歸一化：首先采用832×832 像素大小的滑動窗口對原始影像進行裁剪，在每個窗口的水平與垂直之間設置了15% 的窗口重合度。將裁剪后包含飛機目標的影像進行保留，然后進行二次下采樣。

2）對于訓練集中的部分光照不平衡的樣本，采用灰度世界算法進行圖像質量增強，并將增強后的樣本放入訓練集。

3）針對小樣本個數不足問題，一方面采用圖像旋轉與扭曲操作來增加圖像樣本的數量；另一方面將部分飛機小樣本采用手工裁剪的方式放置在一張影像上，來增加單幅影像中樣本個數。

對所有樣本進行標注，然后使用訓練集對模型進行訓練，最終參與訓練的飛機樣本個數為1576 個。

2.2 模型訓練

為了充分的訓練模型，同時在真實環境下測試模型的檢測性能，模型首先在安裝有大型顯卡的設備中進行訓練，然后遷移到低功耗的嵌入式硬件終端進行測試，具體的實驗流程如圖3 所示，模型在訓練和測試過程中的硬件配置與運行環境如表2所示。

表2 硬件配置及運行環境

圖3 實驗流程圖

在模型訓練過程中，使用隨機梯度下降方法來優化權重參數，模型迭代次數為300 次，采取動態學習率機制，初始學習率為0.001，每訓練100 次對學習率進行縮放調節。完成訓練后，將模型部署至低功耗嵌入式硬件內，利用測試數據集中對模型進行測試，部分測試結果如圖4 所示，圖4 中紅框內數字表示預測為該類物體的概率。

圖4 檢測結果示意圖

可以看出，本文所提出模型對于分布在跑道等背景簡單區域，以及航站樓機庫旁的多種尺度的飛機目標均能夠實現很好地檢出。為了對模型進行全面評價，本文將平均精度均值（mean Average precision，mAP）、模型每秒檢測張數（Frame presecond）、訓練后模型權重大?。ɡ斫鉃橛柧毢竽Ｐ捅４娴臋嘀匚募笮。?、每秒浮點計算量（Floating Point Operations per Second，FLOPS）理解為計算量，作為評價檢測模型性能指標，同時以經典輕量級檢測模型Mobilenet-v3、Mobile-SSD 以及Shuffle-Net作為對比方法，對本文所提出模型進行全面地衡量與評價，最終的評價結果如表3 所示。

表3 多目標檢測性能評價結果表

由表3 可以看出：本文模型在測試數據集上的mAP 能夠達到0.89，同時相比其余三組對照模型分別提高了9.87%、25.35% 以及30.88%，說明模型在檢出精度方面能夠達到較高水平，明顯優于同類輕量級模型；在檢測精度方面，本文提出模型在嵌入式硬件環境下能夠達到每張0.087 s 的水平，同時訓練后的模型僅占43.41MB 大小，每秒浮點運算量達到了1.13×105的水平，說明模型在檢測速度方面具有較為明顯的優勢，同時具備較小的體量以及模型運算量，適合部署在低功耗的硬件中展開計算。

3 結語

本文針對在低功耗的星載、機載終端開展的對于高分辨率遙感影像中飛機目標檢測問題，設計了一種基于輕量級卷積神經網絡模型，并以AerialImage、FAIR1M 以及多個來源的衛星遙感影像為基礎，通過圖像質量增強與樣本增強構建了數據集，分別在高性能硬件和低功耗嵌入式硬件環境下完成了對模型的訓練和測試，以3 個經典的輕量化模型作為對照組，使用平均精度均值、每秒檢測圖片張數、訓練后模型大小、每秒浮點計算量幾項客觀指標對所有模型進行評價，得出了以下結論：

1）本文所提出模型能夠對不同場景下不同尺寸的飛機目標實現精準檢出，其檢測精度能夠達到0.89mAP，相比其余三組模型有著明顯地提高。

2）在檢測速度方面，本文模型在測試環境下可達到每張0.087 s 的檢測速度，優于其余幾組對比模型，能夠實施快速檢測。

3）訓練后模型大小僅有43.41MB，同時每秒浮點運算量僅有1.13 ×105，適合部署在輕量級的硬件設備上展開推理計算。

在接下來的研究過程中，首先將嘗試使用生成對抗網絡等方法進行樣本多風格化處理，并嘗試使用神經網絡結構搜索（NAS）對結構進行自動化地調優，來更好適應任務數據。