采用注意力機制與改進YOLOv5的光伏用地檢測

陳笛, 彭秋志,2,3, 黃培依, 劉雅璇

(1.昆明理工大學國土資源工程學院,昆明 650093; 2.云南省高校高原山區空間信息測繪技術應用工程研究中心,昆明 650093; 3.云南省自然資源與規劃智慧創新實驗室,昆明 650093)

0 引言

習近平總書記在2020年正式宣布中國將力爭在2030年前實現碳達峰以及在2060年前實現碳中和,光伏產業已迎來加速發展契機。在此背景下,光伏用地數量急劇增加,迫切需要加強對光伏用地的研究與管理,而及時準確地獲取光伏用地信息是其必要前提[1-2]。

現階段獲取光伏用地信息的方法主要分為2類: 一是基于支持向量機、隨機森林等傳統分類方法[3-4],二是基于語義分割算法[5-6]。然而傳統分類方法和語義分割方法均僅能進行是非判斷,無法得到檢測目標的置信概率,在部分復雜場景下反而不利于對誤判圖斑的快速識別與糾偏。以YOLO(you only look once)[7-9]系列算法為代表的目標檢測方法既能得到檢測目標的坐標信息,又能判斷檢測目標的置信概率,有利于通過調整置信度閾值以盡可能減少誤判,或方便借助置信度大小開展人工核查。因此與以往方法相比,利用YOLO算法對光伏用地進行檢測具有自身特點和優勢。

YOLO系列算法經各方不斷改進在檢測速度與精度上都有了很大的提升,其第五版即YOLOv5在網絡結構、損失函數等方面都有了較大的改進,現已被用于眾多研究領域[10-12],取得了較好的實驗結果。因此本文以YOLOv5算法為基礎,針對光伏用地在遙感影像中的特征對該算法進行若干改進以適用于光伏用地檢測任務,即引入加權雙向特征金字塔[13]、Ghost卷積[14]和協同注意力機制[15],提出了YOLOv5-pv(photovoltaic)算法。本文改進方法可為光伏用地檢測研究提供新的實驗參考,對其他地物的目標檢測研究也具有一定的借鑒作用。

1 YOLOv5算法及其改進

1.1 YOLOv5算法

目標檢測算法主要分為錨點類模型和無錨點類模型2種。錨點類模型又分為單階段方法(如單次多核探測器(single shot multibox detector,SSD)[16]、YOLO等)和二階段方法(如區域的卷積神經網絡(region based convolutional neural network,R-CNN)[17]、更快的區域的卷積神經網絡(Faster region based convolutional neural network,Faster-RCNN)[18]等)。單階段方法可以同時得到錨框定位與目標置信度,更加適合光伏用地檢測。在單階段模型中,Redmon等[7-9]提出的YOLO算法經多年發展已成為較成熟的目標檢測算法之一。YOLOv3能以更快的檢測速度取得與SSD相近的檢測結果,且已被應用到諸多領域[19]。在YOLOv3的基礎上開發的YOLOv5在檢測速度與精度上有明顯提升,具有檢測速度快、對小目標檢測效果好、準確度高等特點。

1.2 改進YOLOv5光伏檢測算法

為進一步提高光伏用地檢測效果,本文對YOLOv5算法做出3個方面改進,提出更適合光伏用地檢測的YOLOv5-pv算法: ①引入加權雙向特征金字塔,實現高效的跨尺度連接與加權特征圖融合,將Backbone模塊中的特征信息與Head模塊中的特征信息進行融合以提高小目標檢測性能; ②引入Ghost卷積,既能減少計算量,又能獲取網絡中有用的冗余信息強化特征圖; ③增加協同注意力機制,獲取更多特征信息幫助算法降低誤檢測概率提高檢測精度。

1.2.1 加權雙向特征金字塔

由于光伏用地屬于典型小目標,將淺層特征與深層特征融合可保留一些重要原始特征信息,強化不同分辨率的特征圖,使得小目標的特征信息更加豐富。故改進算法增加了更多的特征融合操作,在第20層將第6層、第14層、第19層的特征信息進行融合。以往的模塊在融合不同的輸入特征時,不同的輸入特征對輸出特征的貢獻往往是不平等的。為了解決這一問題,將第20層的Concat模塊改為加權雙向特征金字塔。加權雙向特征金字塔引入可學習的權值來學習不同輸入特征的重要性。以節點5為例,其特征融合過程為:

(1)

(2)

圖1 加權雙向特征金字塔

1.2.2 Ghost卷積

Ghost卷積可以解決傳統的深度學習網絡中存在著大量冗余未被利用的情況,有效提高算法精度,并且節約計算資源。冗余信息是一個成功算法的重要組成部分,冗余信息的合理利用可以使算法全面理解訓練數據的特征信息。Ghost卷積首先采用普通的1×1卷積對輸入圖片進行通道數的壓縮,再進行深度可分離卷積與線性變化得到更多的特征圖,最后將不同的特征圖堆疊,組合成新的輸出特征。傳統卷積與Ghost卷積的示意圖如圖2。將YOLOv5算法中除第0層的標準卷積外全部換為Ghost卷積,既能減少算法的網絡大小與計算量,又能使算法得到更多有用的冗余信息,而且避免使用大量1×1卷積可能出現的網絡深度較淺、感受野不足的問題。設輸入圖與輸出特征圖的高和寬為Hp和Wp,通道數分別為N與C,卷積核尺寸為K,在不考慮偏置項的情況下,標準卷積的計算量Nsc為:

(a)傳統卷積 (b)Ghost卷積

Nsc=HpWpNCKK

。

(3)

Ghost模塊的計算量NGM為:

(4)

式中:D為線性運算的卷積核尺寸;S為輸出特征圖通道數和本征特征圖通道數的比值,且S>1,K=D。

標準卷積與Ghost模塊的計算量之比公式為:

。

(5)

1.2.3 協同注意力機制

對于遙感影像而言,光伏用地所占比例較小,屬于典型小目標。YOLOv5算法經過多次卷積操作后,易形成大量背景信息冗余,從而影響光伏用地檢測效果。對此本文加入協同注意力機制以提高算法檢測精度。注意力機制實質是模仿大腦對圖片重點區域進行加權處理。協同注意力機制不僅有益于ImageNet分類,而且在目標檢測和語義分割中表現更好。該機制將空間信息在通道上加權融合,提高算法在通道與空間維度上的感知能力,從而使網絡獲取更多特征信息以降低誤判概率,增強目標檢測能力。

協同注意力機制主要分為2部分,第一部分是坐標信息鑲入,對輸入信息沿水平坐標方向和豎直坐標方向進行特征聚合,生成一對方向感知特征映射。具體而言,對于輸入使用池化核的兩個空間范圍(Hs,1)或(1,Ws)來分別沿水平坐標和垂直坐標對每個通道進行編碼。公式為:

,

(6)

,

(7)

,

(8)

第二部分是將提取的特征信息拼接后進行信息轉換,得到中間特征圖,再通過空間維度分解與卷積變化等操作,得到注意力權重。相關公式為:

f=δ(F1([Zh,Zw]))

,

(9)

gh=σ(Fh(fh))

,

(10)

gw=σ(Fw(fw))

,

(11)

,

(12)

式中: [,]為沿空間維數的連接操作;δ為非線性激活函數;fw和fh分別為對空間信息在水平方向和垂直方向進行編碼的特征映射;gh和gw分別為垂直和水平方向經過變化后的張量;σ為Sigmoid激活函數;F1,Fh,Fw為卷積變化函數;Zh為h的相關聯輸出;Zw為w的相關聯輸出;yc為經過注意力機制處理后第c個通道的輸出。

經過逐層嵌入測試對比后發現將協同注意力機制模塊放在骨干網絡第9層效果最佳。經過以上改進得到的YOLOv5-pv算法如圖3,圖3中虛線為跳轉融合操作,灰色陰影標記為改進算法新增或改進模塊,BiFPN為加權雙向特征金字塔模塊,CA為協同注意力機制模塊,Conv為卷積模塊,C3為特征學習模塊,SPPF為空間金字塔池化模塊,Concat為特征融合模塊,Upsample為上采樣模塊,Detect為輸出的特征。

圖3 YOLOv5-pv 算法

1.3 算法評價

本文使用平均精度(mean average precision,mAP)為評價指標,mAP是目標檢測問題中最常用的度量標準,其與精度(Precision)以及召回率(Recall)數值相關,可體現算法的綜合性能。相關公式為:

,

(13)

,

(14)

,

(15)

式中:TP為正確檢測光伏用地數量;FP為錯誤檢測光伏用地數量;FN為未能檢測光伏用地數量;P為精度;R為召回率,P(R)為精度與召回率函數。

2 實驗結果及分析

2.1 數據處理

從地理空間數據云平臺(http: //www.gscloud.cn)獲取Landsat8 OLI遙感影像。主體時段為2021年1月1日—12月31日,空間上主要覆蓋江蘇、安徽、云南、江西和湖北5省。為減輕云量干擾,以云量最小為選擇規則,優先在該時段內云量小于5%的影像中選擇,最終篩選出40景影像。

從40景Landsat8遙感影像中將含有光伏用地的區域裁剪成1 000像素×1 000像素大小的訓練樣本共700幅,并進行數據擴充(翻轉、縮放、顏色抖動等),并使用LabelImg標注工具對樣本影像進行標注。擴充后得到1 400幅樣本影像,其中1 100幅用于訓練,200幅用于驗證,100幅用于測試。

2.2 實驗配置與模型訓練

本文實驗均在Windows10操作系統下完成,軟件配置為: Python 3.8.6,CUDA 11.3,PyTorch 1.10.0,YOLOv5 6.0,硬件配置為: AMD Ryzen7 5800x,NVIDIA GeForce RTX3070Ti,32 G 3600MHz內存。

本文的所有模型訓練中均將輸入圖像尺寸調整為1 000像素×1 000像素,將迭代次數設置為500次,批訓練數據量為6,初始學習率設置為0.01。

2.3 實驗結果與分析

2.3.1 改進YOLOv5算法的有效性分析

表1是以YOLOv5算法為基礎逐步增加改進項目的實驗結果,該結果通過驗證集所得,“√”代表在算法中使用該改進方法,“×”代表不使用該改進方法。

表1 改進算法平均精度區別

由表1分析可知: 算法1在YOLOv5基礎上將Concat模塊換成加權雙向特征金字塔使mAP提高1.48百分點; 算法2在算法1基礎上將傳統卷積換成Ghost卷積使mAP進一步提高0.89百分點; YOLOv5-pv在算法2基礎上增加了協同注意力機制使mAP再提高2.06百分點,達到84.68%。

YOLOv5-pv比YOLOv5不僅mAP提高了4.43百分點,而且精度與召回率也分別提升了0.85(77.82%提升至78.67%)與6.68(75.78%提升至82.46%)百分點。3項指標的提高說明改進算法在檢測過程中會提高正確檢測概率,降低誤判概率。以上的結果證明了本文提出的改進起到了效果。

2.3.2 檢測結果評價

表2直觀展示了YOLOv5與YOLOv5-pv算法對來自測試集的4張遙感影像的檢測結果,檢測結果中pv為光伏英文縮寫,數字為置信度。改進的YOLOv5-pv算法與原始YOLOv5算法相比在大多數情況下檢測結果更加優秀。未能檢測的光伏圖斑也能正確檢測(如影像1、影像2、影像3,其中影像2的檢測結果對比可以看出云霧對改進后的算法影響減小,在有云霧的情況下置信度提高,并且能識別出未能檢測的光伏圖斑。本文改進算法相比YOLOv5算法誤判概率也有所降低(如影像4)。

表2 2種算法檢測結果

利用測試集影像(共有188個光伏用地圖斑)采用3個指標: 正確檢測數量(正確檢測光伏用地數量)、誤判數量(將其他地物錯誤檢測為光伏用地數量)、漏判數量(未能檢測出光伏樣本數量)進行比較,結果如表3。YOLOv5可以檢測出79.79%的光伏用地,YOLOv5-pv可以檢測出90.43%的光伏用地,正確檢測光伏用地比例增加了10.64百分點。此外,YOLOv5-pv的誤判數量和漏判數量相比YOLOv5都明顯降低。

表3 檢測結果指標對比

以上測試結果可以說明本文提出的改進方法起到作用,本文改進方法在對小目標光伏圖斑檢測效果較佳,有效地提高了正確檢測數量并且降低了誤判概率,但仍然存在一定的漏判情況。

3 結論

本文以YOLOv5算法為基礎引入了加權雙向特征金字塔、Ghost卷積、協同注意力機制改進了原算法,提出YOLOv5-pv算法。

實驗表明本文提出的YOLOv5-pv比YOLOv5召回率提高6.68百分點,平均精度提高4.43百分點,對復雜的背景噪聲有較強的抑制作用,對光伏圖斑檢測效果較佳,有效降低了漏判率和誤判率。該改進方法可為光伏用地檢測研究提供新的思路與方向,也可稍加調整后用于其他地物,如風力發電機組、設施農用地檢測。未來可進一步增加圖像增強算法進行優化,提高目標檢測的精度。