基于YOLOv5的無人機航拍改進目標檢測算法Dy-YOLO

楊秀娟，曾智勇

(福建師范大學計算機與網絡空間安全學院，福建 福州 350117)

近年來，計算機視覺技術發展迅猛，目標檢測是計算機視覺中一個基本而重要的問題，主要用于對圖像中的物體類別進行標識。隨著深度學習技術的發展，配備遙感目標檢測技術的無人機在城市監控、農業生產、人員救援、災害管理等方面得到了廣泛的應用。然而，無人機飛行高度的快速變化導致目標在圖像中的尺度變化劇烈。同時，無人機捕獲的圖像中通常存在高密度的物體，并且這些物體之間可能會發生遮擋，增加了目標識別和定位的難度。此外，無人機拍攝的圖像覆蓋面積較大，包含復雜的地理元素，可能導致捕獲的圖像存在令人困惑的背景干擾。因此，提高無人機航拍圖像中目標檢測的精度和準確性仍然是一個挑戰。

針對如何解決這些問題，目前已經有很多學者進行了大量的研究，例如在多尺度學習和特征融合方面，經典的多尺度學習網絡結構是特征金字塔結構(feature pyramid network，FPN)[1]，它通過自下而上的特征提取和特征融合，提高了網絡的表征能力，然而多尺度學習會增加模型的參數數量，導致推理速度下降；YOLO-Drone[2]提出一個包含一個空間金字塔池(spatial pyramid pooling，SPP)和3個空洞金字塔池化(atrous spatial pyramid pooling，ASPP)的復雜特征聚合模塊MSPP-FPN，改善了目標檢測頸部階段的特征聚合。有的學者則關注到小目標上下文信息整合不足的問題，例如Wang[3]等人提出了一個特征細化網絡(feature refinement network，FRNet)，它學習不同上下文中每個特征的位級上下文感知特征表示。FRNet由2個關鍵組件組成：信息提取單元(information extraction unit，IEU)負責捕獲上下文信息和跨特征關系，以指導上下文感知特征細化；互補選擇門(complementary selection gate，CSGate)則自適應地將IEU 中學習到的原始特征和互補特征與位級權重相結合。還有學者發現卷積神經網絡結合Tramsfomer可以幫助提升檢測效果，例如TPH-YOLOv5[4]將Transformer預測頭(transformer prediction heads，TPH)引入到YOLOv5以提高網絡的預測回歸能力，同時使用自注意力機制提高對小目標的關注度。PETNet[5]則提出了一種先驗增強Transformer(prior enhanced transformer，PET)和一對多特征融合機制(one-to-many feature fusion，OMFF)來嵌入YOLO網絡，2個額外的檢測頭被添加到淺層特征映射中，PET被用于捕獲增強的全局信息，以提高網絡的表達能力，OMFF旨在融合多種類型的特征，以最大限度地減少小對象的信息丟失；有的學者則針對無人機圖像中的遮擋問題提出改進方法，例如Li[6]等人提出了遮擋引導多任務網絡(occlusion-guided multi-task network，OGMN)，其包含遮擋估計模塊(occlusion estimation module，OEM)來精確定位遮擋，用遮擋解耦頭來取代常規檢測頭，通過2個多任務交互實現遮擋引導檢測。Ye[7]等人為了解決被遮擋物體特征不連續的問題設計了一種高效的卷積多頭自注意力(convolutional multihead self-attention，CMHSA)算法，通過提取物體的上下文信息來提高被遮擋物體的識別能力。還有學者從預測框入手，例如提出一種歸一化高斯距離(normalized wasserstein distance，NWD)[8]的新度量，將邊界框建模為2D高斯分布，然后通過其對應的高斯分布計算邊界框之間的相似性以解決小目標體位置偏差非常敏感的問題。文獻[9]提出了一種改進加權框融合BF(improved weighted boxes fusion，IWBF)的無人機目標檢測算法，通過用IWBF代替非極大值抑制(non-maximum suppression，NMS)，可以充分利用預測盒信息，篩選出最優融合盒，減少多尺度目標的漏檢和誤檢問題；還有學者從加快推理速度角度出發，例如QueryDet[10]采用了一種查詢機制來加速目標檢測器的推理速度，利用低分辨率特征預測粗略定位以引導高分辨率特征進行更精確的預測回歸。受前人研究啟發，本文則提出了一種基于YOLOv5的無人機場景的改進目標檢測算法，在模型方法與結構上的貢獻如下：

(1)在YOLOv5中引入SimOTA[11]動態標簽分配方法，有效緩解基于(intersection over union，IoU)的匹配策略對于小目標敏感的問題。

(2)提出了一個基于YOLOv5改進的目標檢測模型Dy-YOLO，在預測頭(Head)前引入Dynamic Head[12]統一自注意力，從尺度、通道以及多任務3個角度提升了網絡的目標定位能力。在頸部(Neck)使用輕量級上采樣算子CARAFE[13]，緩解最近鄰上采樣操作恢復細節信息能力較弱的問題，使特征重組時有較大的感受野聚合上下文信息，提升目標檢測效果的同時提高模型魯棒性。

(3)在主干(Backbone)設計了C3-DCN結構與Dynamic Head注意力結構首尾呼應，利用可變形卷積實現了自適應感受野和處理空間變形的能力，相互配合提高目標邊界的準確性以及增強模型的表達能力。

1 相關工作

1.1 YOLOv5介紹

YOLOv5目標檢測模型有s，m，l，x 4種尺寸規格，其網絡結構相同但是對應不同的網絡深度與寬度，較小的尺寸可以減少模型的存儲需求和計算開銷，深層網絡則可提取更豐富特征。YOLOv5使用改進后的CSPDarknet53結構和空間金字塔快速池化(spatial pyramid pooling-fast，SPPF)模塊作為主干網絡，用于提取輸入圖像的特征；頸部是網絡銜接部分，主要用來獲取傳遞特征信息并進行融合。使用FPN-PAN結構，FPN結構是自頂向下結構，通過上采樣和融合底層特征信息的方式得到預測特征圖，PAN(path aggregation network)采用自低向上結構對FPN特征圖進行融合補充的特征金字塔網絡結構，以獲得更豐富的語義信息，以及使用YOLO傳統檢測頭用來預測目標的類別、位置和置信度。

1.2 標簽分配方法

目標檢測旨在從自然圖像中定位和識別感興趣的目標，它通常被稱為通過聯合優化目標分類和定位的多任務學習問題。分類任務的目的是學習集中在目標的關鍵或顯著部分的判別特征，而定位任務的目的是精確定位整個目標及其邊界。由于分類和定位學習機制的差異，2個任務學習到的特征的空間分布可能不同，當使用2個單獨的分支進行預測時，會導致一定程度的錯位。所以如何減少或者彌補分類與定位的信息差就顯得非常重要，前期的標簽分配策略大多是基于某種度量的手工分配策略，比如需要手動調整劃分正負樣本的超參數，提前設定anchor框等等。但是，從近些年的論文可以看出，研究實現標簽自動化分配的方案越來越多，RetinaNet[14]根據anchor和目標的IoU確定正負樣本，FCOS[15]根據目標中心區域和目標的尺度確定正負樣本，ATSS[16]提出自適應訓練樣本選擇的方法確定正負樣本。OTA[17]創新性地從全局的角度重新審視了該問題，提出解決目標檢測中的標簽分配問題的新思路：將標簽分配問題看作最優傳輸問題來處理。YOLOX中改進的SimOTA使用動態Top-k策略替代Sinkhorn-Knopp算法，縮短了OTA增加的訓練時間，TOOD[18]則提出了(task-aligned head，T-head)和(task alignment learning，TAL)來解決分類和定位對不齊的問題，加強了2個任務的交互，提升檢測器學習對齊與否的能力。

1.3 注意力機制

注意力機制可以看作是一個動態選擇過程，通過學習權重或分配機制對特征進行自適應加權來實現，給予不同輸入元素不同的重要性，這些權重或分配機制可以通過學習得到，也可以基于規則或先驗知識設置。它是一種在有限的計算資源中使得整個網絡更關注重點區域，降低對非關鍵區域的關注度，甚至過濾掉無關信息，就可以一定程度上緩解信息過載問題，使得網絡提取到更多需要的特征信息，并提高任務處理的效率和準確性。注意力機制的核心在于讓網絡關注重點信息而忽略無關信息，其分類大致可以分為空間注意力機制、通道注意力機制和混合注意力機制等?？臻g注意力關注圖像中的感興趣區域，通過加權處理不同空間位置來聚焦于重要的區域，其代表方法有STN[19]等。通道注意力則關注的是不同通道之間的關系，不同通道包含的信息是不同的，對相應的任務的影響也是不同的，因而學習每個通道的重要程度，針對不同任務增強或抑制不同的通道從而達到提高任務準確度的效果，通道注意力機制中代表性方法有SENet[20]等?；旌献⒁饬C制則是混合了多種注意力機制的方法，其代表性方法有CBAM[21]等。注意力機制能夠捕捉全局上下文信息，適應不同尺度的目標，并提高模型對目標的區分能力，然而，它也存在計算復雜度高、學習困難和特征表示不穩定等缺點。

1.4 上采樣方法

上采樣方法在目標檢測中被廣泛應用，用于將低分辨率特征圖上采樣到與輸入圖像相同的分辨率，以便更好地捕捉小目標或細節信息。雙線性插值[22]是一種常用的上采樣方法，它通過在輸入特征圖的像素之間進行插值來生成更高分辨率的特征圖，并利用周圍像素的權重來計算插值，從而平滑地增加特征圖的尺寸。最近鄰插值是一種簡單的上采樣方法，它將每個目標像素的值設置為最近鄰原像素的值。雖然計算速度快，但它可能導致圖像的鋸齒狀邊緣效果和信息丟失。插值法通過像素點的空間位置來決定上采樣核，并沒有利用特征圖的語義信息，而轉置卷積[23]則與插值法不同，它不僅可以根據學習到的權重對低分辨率特征圖進行插值，生成高分辨率的特征圖，還可以學習到更復雜的上采樣模式，但也容易導致圖像的偽影和重疊現象，而且引入了大量的參數與計算。本文采用的CARAFE上采樣算子主要分為2個模塊(圖1)，一個是上采樣核預測模塊，用于生成用于重組計算的核上的權重，另一個是特征重組模塊，用于將計算到的權重融于輸入的特征圖中，會根據輸入特征來指導重組過程，同時整個算子比較輕量。

圖1 CARAFE原理圖Fig.1 CARAFE schematic diagram

2 Dy-YOLO算法

首先介紹Dy-YOLO模型結構，然后詳細介紹各項改進措施。

2.1 Dy-YOLO模型

Dy-YOLO模型的網絡結構如圖2所示。在主干中的C3-DCN模塊是類似C3結構設計的一個可變形卷積模塊，這個模塊在處理具有形變、遮擋或不規則形狀的圖像時表現更加有效，能夠更好地捕捉目標在不同位置和尺度上的細節信息。在頸部采用輕量級上采樣算子CARAFE來代替最鄰近插值法，它能夠有效利用特征圖的語義信息，并且具有更大的感受野聚合上下文信息，計算速度也更快。此外，引入了Dynamic Head的統一注意力機制，結合傳統的YOLO檢測頭，通過在尺度感知的特征層、空間感知的空間位置以及任務感知的輸出通道內連貫地結合多頭注意力機制。Dynamic Head注意力機制與主干中的C3-DCN模塊效果互補，使得模型對于淺層、深層的特征信息的提取達到有效平衡，同時還能抑制背景信息迭代累積所帶來的噪聲，有效提高了模型對于航拍影像的檢測能力。需要注意的是，圖2中的Conv模塊并非僅包含卷積操作，還包括歸一化和激活函數的處理。而C3模塊是一個用于特征提取的模塊，它采用了ResNet的殘差結構，內部的BottleNeck數量可以根據需要進行調節。

圖2 Dy-YOLO網絡結構Fig.2 Dy-YOLO network structure

2.2 Sim-OTA

YOLOv5使用的標簽分配方法是基于IoU的匹配策略：該方法通過計算預測框與真實框之間的IoU值來確定它們的匹配程度，并根據設定的閾值將預測框分配給對應的真實框，但是IoU閾值的選擇對結果非常敏感，特別影響對小目標的檢測精度。而且在目標檢測任務中，正樣本通常比負樣本數量少很多，這會導致訓練過程中的樣本不平衡問題，可能會影響模型的性能和訓練穩定性，而在無人機航拍任務中，小目標樣本數量占比較多，還伴隨著大量的遮擋以及模糊，所以原先的標簽分配方式不適合無人機航拍任務。因此本文采取YOLOX中提出的sim-OTA標簽分配方法，它根據OTA標簽分配方法改進，OTA是一種考慮全局最優的標簽分配方法，它提出將標簽分配問題當作最優傳輸問題，在GT和所有預測框之間計算運輸成本，通過尋找一個合適的映射關系，使得運輸成本最低。OTA通過Sinkhorn-Knopp算法求解cost矩陣，這會帶來25% 的額外訓練時間，sim-OTA則是將其簡化為動態top-k策略，直接用k個最小cost值的候選框作為正樣本以獲得近似解，不僅減少了訓練時間，而且避免了求解 Sinkhorn-Knopp算法中額外的超參數，sim-OTA的標簽分配方式在本文中減少了負樣本的影響，有效地提高了目標檢測精度。sim-OTA首先計算成對匹配度，由每個預測GT對的成本或質量表示。例如，在Sim-OTA中，gi和預測框pj之間的成本計算如下：

(1)

(2)

其中，Lcls代表分類損失，Lreg代表定位損失，Lobj代表目標存在損失，λ代表定位損失的平衡系數，即被分為正樣本的Anchor Point數。

2.3 Dynamic Head

為了提高目標檢測的準確性，越來越多的模型中加入注意力機制來讓網絡更加聚焦重點區域，然而大多數注意力機制普適性不強，有的注意力機制在引入以后，不僅大大增加了模型的計算復雜度以及參數量，而且檢測效果不升反降。對于加入網絡中不同位置的效果，還需要大量的實驗測試，這對于資源有限的研究者無疑需要耗費大量時間及資源。Dynamic Head是微軟提出的一種多重注意力機制統一物體檢測頭方法，通過在3個不同的角度(尺度感知、空間位置、多任務)分別運用注意力機制，在不增加計算量的情況下顯著提升模型目標檢測頭的表達能力，這種新的實現方式，提供了一種可插拔特性，并提高了多種目標檢測框架的性能。Dynamic Head結構如圖3所示。

圖3 Dynamic Head 網絡結構Fig.3 Dynamic Head network structure

3個感知增強模塊如圖3所示，通過3個運用在不同位置的注意力即得到增強后的輸出：

W(F)=πC(πS(πL(F)·F)·F)·F。

(3)

(1)尺度感知注意力πL：

(4)

(2)空間感知注意力πS：

(5)

其中K是稀疏采樣位置的數量，pk+△pk是通過自學空間偏移量 偏移的位置，以關注判別區域，而△mk是位置pk處的自學習重要性標量，兩者都是從F的中值水平的輸入特征中學習的。

(3)任務感知注意力πC：

πC(F)·F=max(α1(F)·FC+β1(F)，α2(F)·FC+β2(F))，

(6)

其中，FC是第C個通道的特征切片，[α1，α2，β1，β2]T=θ(·)是學習控制激活閾值的超函數。θ(·)首先對維進行全局平均池化降維，然后使用2個全連接層和一個歸一化層，最后應用shifted sigmoid函數對輸出到[-1，1]。上述3種注意力機制是順序應用的，它們的通道數一致，可以多次嵌套方程式(3)有效地將多個πL(F)、πS(F)和πC(F)塊堆疊在一起，并且統一這3種注意力于檢測頭，而已知YOLOv5 Neck輸出256，512，1024共3種不同通道數的特征圖進入檢測頭，所以本文在Neck輸出的3個特征圖后接一層卷積，使3層特征圖通道數一致，經過尺度感知注意力模塊πL(F)，特征圖對前景物體的尺度差異更加敏感；進一步通過空間感知注意力模塊πS(F)后，特征圖變得更加稀疏，并專注于前景物體去辨別空間位置；最后通過任務感知注意力模塊πC(F)后，特征映射根據不同下游任務的要求重新形成不同的激活。

2.4 C3-DCN

Dynamic Head中提到，主干中使用可變形卷積(deformable convolutional network，DCN)[24]可以與所提出的動態頭部互補，傳統的卷積采用固定尺寸的卷積核，在感受野內使用固定的權重進行特征提取，不能很好地適應幾何形變，而可變形卷積通過引入額外的可學習參數來動態地調整感受野中不同位置的采樣位置和權重，這使得可變形卷積能夠在處理具有形變、遮擋或不規則形狀的圖像時更加有效。但是DCN的一大缺陷在于，其采樣點經過偏移之后的新位置會超出我們理想中的采樣位置，導致部分可變形卷積的卷積點可能是一些和物體內容不相關的部分；DCNv2[25]則針對偏移干擾問題引入了一種調制機制：

(7)

其中，△pp和△mp分別是第k個位置的可學習偏移量和調制標量。調制標量△mp位于[0，1]范圍內，而△pp是一個范圍不受約束的實數。由于p+pp+△pp是小數，因此在計算x(p+pp+△pp)時應用雙線性插值，△pp和△mp都是通過應用于相同輸入特征圖的單獨卷積層獲得的。

DCNv2不僅讓模型學習采樣點的偏移，還要學習每個采樣點的權重，這是減輕無關因素干擾的最重要的工作，提高了模型的表達能力和適應性。然而單純地使用DCNv2效果不佳，于是在Dy-YOLO中，根據C3結構設計了C3-DCN模塊(圖4)，并在第8層替換了C3，沒有在Backbone全部替換的原因是：一方面，可變形卷積引入了額外的偏移以及調制參數，大量使用顯然會增加模型復雜度以及訓練難度；另一方面，在實驗探索過程中，大量替換C3模塊檢測效果不升反降，合理使用C3-DCN模塊可以在一定程度上緩解圖像遮擋問題，在VisDrone數據集上，使得Dy-YOLO網絡模型對具有高密度的被遮擋對象有更好的識別性能。

圖4 C3-DCN網絡結構Fig.4 C3-DCN network structure

3 實驗與結果分析

3.1 數據集與實驗設置

為了測試模型在無人機航空目標檢測任務中的效果，選擇VisDrone2019數據集，其由天津大學機器學習和數據挖掘實驗室AISKYEYE團隊收集，通過各種無人機攝像頭捕獲，覆蓋范圍十分廣泛，標注了行人、人、汽車、面包車、公共汽車、卡車、貨車、自行車、遮陽三輪車和三輪車10類樣本。VisDrone2019官方數據集將樣本分為訓練集(6 471幅圖像)、驗證集(548幅圖像)和測試集(3 190幅圖像)，其中測試集分為challege(1 580幅圖像)和dev(1 610幅圖像)，共計260萬個目標實例樣本。本文所有的模型都使用TeslaA100 GPU進行訓練，在訓練階段，使用YOLOv5m的預訓練權重，因為Dy-YOLO和YOLOv5共享大部分網絡結構，有很多權重可以從YOLOv5m轉移到Dy-YOLO，通過使用這些權重可以節省大量的訓練時間。訓練參數如下：訓練輪次設置為200，批處理尺寸大小設置為8，圖片尺寸均為640×640像素，訓練超參數為hyp.scratch-low.yaml文件的原始數據，采用SGD優化器。

3.2 評價指標

為了更準確地評估算法的性能，選取平均精度(average precision，AP)和均值平均精度(mean average precision，mAP)作為評價指標。AP 能夠反映單個目標類別的檢測性能，mAP 能夠反映所有類別的綜合檢測性能。AP 由精確率(Precision)和召回率(Recall)計算得到，精確率和召回率由式(8)和(9)計算得到：

(8)

(9)

其中，TP 表示被預測為正例的正樣本，FP 表示被預測為正例的負樣本，FN表示被預測為負例的正樣本。選定一個IoU閾值，AP的計算方式是對該IoU閾值下的不同類別的精確率-召回率曲線(PR曲線)進行積分，mAP則是對所有類別AP取平均值：

(10)

(11)

3.3 實驗結果

為了驗證 Dy-YOLO 模型的性能，本文選取了多種先進的無人機航拍圖像目標檢測模型進行對比分析。表 1 給出了各個模型在VisDrone2021測試集上在 IoU 閾值為0.50的mAP和AP。如表1所示，本文的方法比大多數方法檢測效果更優，對比近年的針對小目標的檢測器TPH-YOLOv5及檢測mAP差距不到1%，但是TPH-YOLOv5是以YOLOv5的X模型、大尺寸以及多種訓練方法得到測試結果，本文提出的Dy-YOLO以YOLOv5的M模型為基準，訓練使用640×640像素的圖片尺寸，整體達到輕量而高效，與基準模型YOLOv5結果進行對比，在mAP50上提升了7.1%，對比其他方法仍然保持了檢測精度的優勢。

表1 VisDrone測試數據集實驗結果Tab.1 Experiment results in VisDrone test dataset %

表2中從上到下依次添加了本文改進的模塊或方法，從消融實驗結果可以看出，本文設計添加的組件對模型檢測目標的準確度均有提升，首先實驗添加的Sim-OTA動態標簽方法整體提升最多，精度與準度都提升了6%，mAP50甚至提升了7.2%，說明基于IoU的標簽分配方法對于小目標數據集損失比較大，證明加入Sim-OTA動態標簽方法的有效性；C3-DCN+Dynamic Head結構加入雖然提升不多，但是可以看出它與Sim-OTA動態標簽方法相結合提升了召回率，并且mAP50又提升了1.1%，說明了此結構與Sim-OTA標簽方法配合能很好地使網絡關注重點區域；最后把CARAFE替換Nearest上采樣，精度和準度均有提升，mAP50提升了0.3%，在訓練過程中也更快更穩定。

表2 VisDrone測試數據集消融實驗結果Tab.2 Ablation results in VisDrone test dataset

對于C3-DCN在Backbone的位置本文也做了實驗探索，結果如表3所示，選擇從深層往淺層網絡過渡，是因為網絡隨著深度增加往往會丟失很多淺層特征，而小目標的檢測依賴淺層特征。替換第8層檢測效果最好，替換第6和8層效果不增反減，把Backbone中C3全部替換雖然效果不及替換第8層，但是結果可以看出C3-DCN結構有利于提高召回率，規整的可變形卷積網絡結構有利于提取特征。

表3 VisDrone測試數據集上C3-DCN位置的消融實驗結果 Tab.3 Ablation results of C3-DCN in VisDrone test dataset %

為驗證本文提出的改進YOLOv5目標檢測算法具有更好的目標檢測能力，本文與YOLOv5(M)以及目前的先進目標檢測算法進行各類檢測效果對比實驗。如表4所示，Dy-YOLO在檢測行人(pedestrian)、人(people)和摩托車(motor)等小目標的效果上達到最優，對比基準模型YOLOv5，分別提升了7.3%、10.8%和12%，并且在檢測車(car)等體型較大的目標上的效果也有所提升，提升了7.4%。

3.4 可視化分析

為了驗證Dy-YOLO算法在實際場景中的檢測效果，選取VisDrone2019測試集中多個復雜場景下的無人機航拍圖像進行測試。檢測結果如圖5所示，在白天與黑夜場景中，對于分布密集的小目標，例如汽車、行人，摩托等目標樣本，可以準確識別每個目標的確切位置；在背景復雜的情況下，該方法也能夠排除例如樹木、建筑等干擾物體的影響，正確地分類和定位目標?？偟膩碚f，本文方法在不同光照條件、背景、分布狀況的實際場景中均展現出較好的檢測效果，可以滿足無人機航拍圖像目標檢測任務的需求。

圖5 不同場景檢測效果Fig.5 Detection effects in different scenarios

4 總結與展望

通過分析無人機航拍圖像的特點，總結了無人機航拍目標檢測遇到的困境，針對當下無人機航拍目標檢測效果不太理想的問題，本文提出了一個基于YOLOv5的改進目標檢測模型Dy-YOLO，通過引入Dynamic Head頭部統一的注意力，從尺度、通道和多任務3個角度提升了目標定位能力。同時，通過引入SimOTA動態標簽分配方法，提升了小目標的檢測效果。此外，設計了可變形卷積結構C3-DCN與Dynamic Head首尾呼應，實現了自適應感受野和處理空間變形的能力，提升了目標邊界的準確性和模型的表達能力，最后還采用了CARAFE上采樣算子能夠更好地聚合上下文信息并提高模型魯棒性。這些改進方法為無人機航拍目標檢測帶來了顯著的性能提升和新的研究思路。