基于YOLO v5融合通道注意力機制的海面小目標識別

潘昱辰,徐 浩,錢 夔,陸保國

(1. 南京工程學院機械工程學院, 江蘇 南京 211167;2. 中國電子科技集團第二十八研究所, 江蘇 南京 210007)

海面目標識別算法在漁業管理、海上救援以及海戰局勢判斷等眾多場景都有廣泛應用.由于海域遼闊,海面攝像頭捕捉的畫面中目標面積與圖像面積之比的中位數在0.08%～0.58%時定義為海面小目標識別[1].

目標識別算法具有悠久的發展歷史[2],傳統的目標檢測算法有Viola-Jones檢測器、HOG(histogram of oriented gradient)檢測器等[3-4],多以滑動窗口和人工特征提取為基礎, 可達到一定的目標識別效果,但計算難度高、在復雜場景下魯棒性差.

早期的海面船舶目標識別算法多以船舶目標的特有屬性為切入點進行特征提取.文獻[5]利用船舶的形狀特點(船頭形狀接近于V字、船身接近于兩條平行線)提出一種基于加權的船舶檢測方法,該方法適用于特定類型船舶的檢測;文獻[6]提出采用支持向量機(support vector machine,SVM)進行候選區訓練的檢測算法,通過預先對候選區的特征進行訓練得到候選區的分類數據,提高了海面目標的篩查能力;文獻[7]提出一種特征級神經網絡算法,將BP神經網絡與D-S理論(Dempster-Shafer envidence theory)結合,從多維度學習訓練多傳感器獲取的數據,在保證識別正確率的前提下該算法具有較快的收斂速度.基于手工設計特征的海面目標檢測算法對于特征種類的海面目標可行性較好,但模型泛化能力有待提高.

現有的目標識別算法多基于深度學習技術學習圖像中目標的特征,對目標進行高精度的識別[8-9],對于小目標識別也頗有成效[10].典型算法有R-CNN、YOLO、SSD等[11-13],這些算法在目標檢測中取得了較好的成果[14-15].

文獻[16]提出一種基于YOLO v3-tiny的實時目標檢測框架,采用K-means聚類方法對目標進行聚類,獲得最優錨框,該方法檢測速度快,但對小目標物體有漏檢情況;文獻[17]提出了一種基于Mask R-CNN的船舶檢測方法,利用空間注意力機制來調整圖像每個像素的權重,能夠更好地描述目標的特征;文獻[18]利用Haar級聯分類器訓練算法建立目標物的機器學習庫,通過多組訓練目標物對比試驗,得出參數值的最適設定范圍,為海面目標識別算法研究提供了技術支撐.

YOLO v5是深度學習的一個典型算法,其檢測速度快、檢測精度高,在目標檢測領域有著廣泛的應用[19-20],但該算法對小目標識別精度不夠,在視角變換的情況下漏檢率高.

本文提出一種基于深度學習的海面小目標識別算法YOLO v5-SE,以YOLO v5算法的網絡架構為依托,通過對數據集以及網絡架構進行優化,提高算法系統對目標尺度變化和視角變化的適應性.

1 YOLO v5-SE神經網絡

YOLO v5-SE神經網絡模型如圖1所示.本文算法以YOLO v5網絡模型為基礎,首先進行數據增強,對數據集進行圖像處理,包括馬賽克數據增強[21]、比度增強、高斯噪聲處理以及隨機遮擋等;然后針對海面小目標對模型進行優化,在網絡中加入通道注意力機制[22],使網絡重點關注需要關注的特征,從而增加小目標稀少特征的利用率,提高模型的檢測精度.

圖1 YOLO v5-SE神經網絡架構圖

1.1 檢測網絡架構

YOLO v5-SE檢測網絡架構基于YOLO v5算法,遵循端到端訓練和實時監測的原則,檢測網絡分為主干網絡特征提取網絡和特征融合網絡兩個模塊.

1.1.1 特征提取網絡

本文目標檢測網絡模型中的特征提取網絡采用CSPDarknet53結構和Foucs結構.如圖2所示,CSPDarknet53采用殘差網絡ResNet,通過1×1和3×3的2次卷積以及BN層和Leaky ReLu層處理,將主干的輸入與輸出結合.ResNet模塊可以解決網絡中因為深度增加而帶來的梯度消失問題.

圖2 殘差網絡ResNet

如圖3所示,Focus網絡采取切片操作,對輸入的圖像每隔1個像素取1個值,得到4個獨立的特征層,再將這4個特征層進行堆疊,將寬高信息轉換到通道信息,輸入通道擴充4倍.檢測網絡輸入為640×640×3的圖像,切片操作后變成320×320×12的特征圖,再經過1次卷積操作,最終變成320×320×32的特征圖.Focus網絡可以減少下采樣帶來的信息損失.

圖3 Focus結構

1.1.2 特征融合網絡

系統從特征提取網絡得到3個有效特征層feat1=(80,80,256)、feat2=(40,40,512)、feat3=(20,20,1 024),利用這3個有效特征層進行特征融合網絡層的構建.圖4為骨干網絡中的特征融合網絡.特征融合網絡可以幫助系統處理大范圍尺度變換的物體,合理利用網絡中各個層次特征.YOLO v5在Concat操作后添加CSPLayer,加強了網絡特征融合能力.

圖4 特征融合網絡

1.2 通道注意力機制

為加強對特征的融合,在網絡模型中加入通道注意力機制(SEnet).SEnet的本質是為每1個通道學習1個權重,通過這個權重來判斷通道的重要程度.通過SEnet可以使得目標的特征利用最大化,減少特征丟失,對于小目標本就稀少的特征而言提高了特征的利用率.采用Squeeze操作將特征圖進行全局池化,將H×W的特征圖計算每個像素值的和,除以H×W,獲取全局平均池化:

(1)

式中:uc為輸入特征圖;Fsq為Squeeze操作.

Excitation操作通過兩次全連接操作和sigmoid激活函數得到相應的通道權重:

s=Fex(z,w)=σ(w2δ(w1z))

(2)

式中:δ為ReLu函數;z為輸入特征圖;σ為sigmoid函數;w1為第一個全連接操作,目的是降維;w2為第二個全連接操作,將維度恢復為輸入維度.

SEnet嵌入到網絡中后,首先對輸入信息進行全局平均池化,特征圖尺寸變成1×1,通道數不變,隨后緊跟全連接層、激活層、全連接層、sigmoid激活層,如圖5所示.

圖5 通道注意力機制

1.3 損失函數

損失函數是用來衡量預測值與真實值的差距的,一定程度上決定了模型的性能.YOLO v5-SE的損失函數由分類損失、邊界框損失和置信度損失構成.其中邊界框損失函數采用GIOUloss,彌補了IOU只能反映出目標框與檢測框的交并比相同、不能準確反映實際檢測效果的缺點.YOLO v5-SE損失函數計算式為:

(1-Ci)log(1-Ci)]-

(1-Ci)log(1-Ci)]+

(1-pi(c))log(1-pi(c))]

(3)

2 試驗數據分析

2.1 數據集處理

本文數據集來源于第二屆全國信息融合挑戰賽,由中國航空學會和中國船舶集團第七一六研究所聯合提供.數據集一共2 667幅圖像(不包含增強后的圖像),含目標數量如圖6所示.圖6中橫軸為目標名稱,縱軸為這2 667幅圖像中所包含的目標數量,每一幅圖像可能包含多個目標.

圖6 數據集中目標數量

2.2 試驗及結果

本試驗通過遠程鏈接GPU服務器RTX3090進行訓練,epochs為300,batch_size為16;算法評價指標為準確率(Precision)、召回率(Recall)、mAP@0.5,計算公式為:

P=TP/(TP+FP),R=TP/P,

(4)

式中:P為準確率;R為召回率;TP為預測為正的樣本;FP為預測為負的樣本;AP為P-R曲線下的面積,用來衡量數據集中一類的平均分類準確率.

為驗證本文改進算法的檢測性能,在YOLO v5算法基礎上分別進行表1、表2所示的試驗.

表1 消融試驗

表2 各標簽AP對比 %

由表1可見,原始模型YOLO v5的mAP僅達到27.61%;在經過一系列數據增強后,算法模型精確度提高,mAP達到53.44%;模型的網絡結構加入SEnet改進后,mAP可達到59.17%;隨著模型的不斷改進,算法權重也有所減小.

表2為YOLO v5與YOLO v5-SE的各標簽AP對比.由表2可見,Floater類小目標的AP改進前為0.00%,改進后可達到22.04%;改進后的模型能夠提高海面小目標的識別精度.

圖7為訓練過程中loss、mAP變化曲線圖.由圖7可見,隨著訓練的加深,算法的loss隨之降低,mAP逐漸升高.

(a) loss變化曲線

圖8為海面目標檢測結果.由圖8(a)及圖8(b)可見,海岸邊?？磕繕嗣芗?、部分目標被遮擋、目標較小,檢測置信度(置信度是表示框內確實有物體的自信程度和框能將整個物體的所有特征都包括進來的自信程度)約為0.6～0.9.圖8(c)為海面小目標檢測,目標較為分散且尺寸極小,尤其是floater類別,肉眼只可見為一白色不規則形狀點,該類別檢測難度較高,在YOLO v5算法中檢測AP為0,添加SEnet改進后,檢測AP可達22.04%,海面小目標置信度約為0.5～0.7.綜上所述,YOLO v5-SE算法在海面小目標識別中是有效的.

(a) 近海岸目標

3 結語

針對海面目標識別算法準確率較低、不能適應目標尺度變化和視角變化的情況,本文開發了海面小目標識別算法YOLO v5-SE,該算法在YOLO v5算法基礎上進行了改進.基于公開數據制作一個數量充足、內容復雜的數據集,并利用高斯變換、增強對比度以及隨機變換等圖像處理方法對數據集進行數據增強,將mAP從27.61%提高到了59.17%.對網絡進行改進,在主干網絡與特征融合網絡之間、特征融合網絡中加入SEnet,加強特征融合.經過試驗表明,相較于YOLO v5算法,改進后算法YOLO v5-SE能夠提高對小目標的檢測精度.