復雜環境下小尺度煙火目標檢測研究

溫秀蘭 焦良葆 李子康 姚波 唐國寅

煙火檢測;改進YOLOv5;DIoU_Loss;優化加速

0 引言

火災是威脅公共安全、危害人民生命財產的一種多發性災害,能否快速有效地發現火情并及時預警,對維護日常生活生產秩序具有重大意義[1]．在煙火的實際檢測中,由于起火點目標小,火點顏色易與車燈、路燈等顏色背景相近的目標混淆,極易誤檢,并且易受外部光線變化的影響,使得復雜環境下煙火檢測難度大大增加[2]．目前市面上大多采用傳感器進行煙火檢測[3],這種檢測方法存在設備昂貴、檢測范圍相對較窄、延時和誤報等問題．為解決傳感器檢測存在的弊端,有學者提出基于傳統圖像處理的方法[4],主要是對煙火中易于辨識的顏色和邊緣特征進行識別和檢測,在一定程度上解決了不同光線下的干擾,但對于一些復雜環境背景中產生的煙火依然會受到較大的干擾,魯棒性不強,不利于對火災的實時檢測．

隨著深度學習的興起,深度網絡模型在視覺領域取得了突出進展,將深度網絡模型應用于煙火檢測成為近年來的研究熱點[5-9]．在煙火的實際場景中進行檢測時,煙火目標易受光照條件干擾,火焰的顏色特征易與一些環境背景顏色混淆,而要做到及時有效的火情預警,就必須在剛起火時檢測出起火點,但這種小尺度的起火點檢測難度極大,傳統的基于圖像處理的目標檢測算法無法解決上述難點．基于深度學習的目標檢測算法具有強大的特征提取能力,在室外遠程拍攝和航空遙感場景中的小目標檢測得到較成功應用[10-11]．

針對復雜環境下小尺度煙火目標檢測難題,本文選擇YOLOv5網絡模型作為煙火目標檢測與識別的基準網絡,通過目標檢測層設計、網絡結構改進、目標框損失函數的選擇等多種措施以解決小尺度煙火檢測效率及準確率低等問題．

1 改進的YOLOv5模型

1.1 目標檢測層的改進設計

在煙火檢測任務中,要做到及時有效的火情預警,必須在剛起火時將起火點檢測出來,然而現有的公開數據集都是以森林火災為主,缺少小尺度的火焰數據,并且實際場景中的起火圖像數據也很難收集．因此,本文首先采用一種復制增強的方法[12-14]人為構造場景數據,并對YOLOv5網絡模型的預測端進行重新設計,以提高模型對小目標的檢測精度．

原始的YOLOv5模型中,只有3個檢測層,對應3組初始化的錨框值．為了更好地檢測小目標物體,在原始模型的3個檢測層上增加第4個檢測層．因此需要多增加一層錨框(第4組錨框)參數,增加后的錨框參數如表1所示．

表1 錨框參數

當輸入的圖像尺寸為640×640時,網絡的第1個輸出層輸出的特征圖尺寸為(80×80),用以檢測(8×8)以上的目標;網絡的第2個輸出層輸出的特征圖尺寸為(40×40),用以檢測(16×16)以上的目標;網絡的第3個輸出層,輸出的特征圖尺寸為(20×20),用以檢測(32×32)以上的目標．在增加了一個檢測層之后,輸出第4個尺度的特征圖為(160×160),理論上可以檢測到最小的目標為(4×4),提高了對小目標的檢測精度．

1.2 改進的YOLOv5網絡結構

針對煙火檢測任務中起火點目標小、易與環境背景相混淆,且存在光照變化、目標遮擋和目標尺度變化等問題,本文對YOLOv5的網絡結構進行了改進,改進后YOLOv5(Improved-YOLOv5)網絡結構如圖1所示．骨干網絡由1組Focus單元、4組CBL單元和3組C3T_X組成．C3T_X就是經典的CSP結構,由多個殘差組件和卷積層張量拼接組成,其中,X代表的是使用殘差組件的個數,這種C3結構是整個網絡中特征提取的重要環節,它不僅增強了CNN的學習能力,還極大地降低了計算瓶頸和計算的成本,使得在輕量化的同時保持較高的準確性．在Neck端采用FPN+PAN的結構,該結構不僅加強了語義信息的傳遞,同時還加強了特征信息的定位,因采用了C3結構,進一步加強了網絡特征融合的能力．因此,改進后的網絡繼續對第3層輸出的(80×80)的特征圖進行上采樣等處理,得到尺寸為(160×160)的特征圖,將此特征圖與骨干網絡中的第1層輸出的特征圖進行融合操作,進行特征信息的補償,從而提高對小目標的檢測精度．

圖1 改進后的網絡結構Fig.1 Improved network structure

1.3 目標框損失函數的選擇

模型的好壞通常采用損失函數來衡量,目標框損失函數用來評價模型的預測框與目標框之間的不一致程度．常見的損失函數有IoU_Loss,定義為

(1)

式(1)中,A,B分別代表預測框與目標框之間的交集與并集．

YOLOv5原網絡中用GIoU_Loss計算目標框損失函數:

(2)

式(2)中,C為預測框與目標框的最小外接矩形,D為C與B之差．盡管GIoU_Loss解決了IoU_Loss存在的弊端,但當預測框小于目標框,位于目標框內多個不同位置時,因目標框與預測框差集相同,使得GIoU_Loss的值相同,無法區分相對應的位置關系．

因此,本文選擇DIoU_Loss作為目標框損失函數:

(3)

式(3)中,R1代表最小外接矩形C的對角線距離,R2代表目標框與預測框2個中心點之間的歐式距離．DIoU_Loss同時考慮了重疊面積和中心點的距離,因此,當目標框處于預測框內部時,通過直接度量2個框的距離,不僅使得模型訓練時網絡收斂快,而且當目標在被遮擋的場景中也可以將預測框快速回歸出來．

2 實驗及結果分析

2.1 實驗數據集

數據集的豐富與否極大地影響著深度學習模型的訓練效果．目前網絡上還沒有公開的火災數據集,能用于研究的煙火數據圖像更是匱乏,因此,通過視頻抽幀、Baidu、Github以及數據復制增強等方法,建立自制的煙火數據集FDD,并用于煙火目標的檢測與識別．該自制數據集包含不同場景下的煙火圖像共10 668張,FDD的部分圖像樣本如圖2所示．

圖2 FDD數據集部分圖像樣本示例Fig.2 Example of some image samples from the FDD dataset

2.2 評價指標

在目標檢測領域常用準確率(Precision)和召回率(Recall)來評價一個算法的優劣．為了更好地評價模型的準確性[15-17],通常在評價算法性能優劣時還會引入平均準確率(Average Precision,AP)和平均準確率均值(Mean Average Precision,mAP)2個指標[18]．本文將采用Precision、Recall、AP和mAP作為模型的訓練評估指標,并且利用每秒幀數(Frame Per Second,FPS)來衡量模型的檢測速度．

由于原網絡YOLOv5在COCO數據集上訓練好的權重yolov5m.pt已經具備良好的特征信息的提取能力,利于做遷移學習,所以將該訓練權重文件用于Improved-YOLOv5訓練．訓練的數據集采用自制的FDD數據集．對訓練好的模型進行參數的微調,訓練完成后煙霧和火焰的準確率結果如圖3所示．在置信度為0.6的情況下,火焰的準確率為91.4%,煙霧的準確率為89.1%．

圖3 準確率Fig.3 Precision

為了更好地評價模型的準確性,在評價算法性能優劣時還會引入mAP指標．mAP@0.5是指IoU為0.5時煙霧和火焰2個類別的平均AP．召回率和準確率的計算結果如圖4所示,火焰的AP為94%,煙霧的AP為87.6%,mAP可根據曲線下方的面積大小來計算．

圖4 平均準確率均值Fig.4 Mean average precision

2.3 與已有算法的對比實驗

在網絡模型訓練過程中,可以通過Loss曲線觀察網絡訓練的狀態．為了驗證替換后預測框損失函數DIoU_Loss是否可以提高網絡的收斂速度,在同一個數據集上分別對改進前后損失函數的網絡進行200個epoch數量的訓練,其Loss曲線如圖5a所示,紅色曲線和藍色曲線分別表示原YOLOv5網絡損失曲線和替換損失函數后的網絡曲線,而綠色曲線代表使用經典的YOLOv4算法在該數據集下的訓練情況．由圖5a可見,因DIoU_Loss考慮了目標框的中心點能夠更快地將目標回歸出來,模型的收斂速度也快于原網絡,說明將GIoU_Loss替換成DIoU_Loss后提高了網絡的收斂能力,損失函數值明顯小于原YOLOv5和YOLOv4算法結果,表明改進后的網絡模型訓練結果更佳,可以作為一個合適的網絡模型進行后續的實際部署．

圖5 不同算法評價指標變化曲線對比Fig.5 Comparison chart of evalution index changs curves of different algorithms

同時從準確率(Precision)、召回率(Recall)及mAP指標對改進前后網絡整體的性能進行評價,結果如圖5b—d所示．可見:相比于原YOLOv5網絡,改進后的網絡模型平均準確率均值mAP從83.5%上升到90.8%,提升了7.3個百分點,但由于增加了檢測層導致推理速度從60.32 FPS下降到58.94 FPS;與YOLOv4相比,改進后YOLOv5網絡的mAP提升了14.6個百分點．

改進前后網絡模型在自制的視頻序列上煙火目標檢測的定性對比實驗結果如圖6a—f所示．

對比圖6a和6b可以發現,原YOLOv5對于存在遮擋的目標圖像檢測存在漏檢現象,而改進后的YOLOv5在目標被部分遮擋的情況下依然可以精準地檢測出目標,說明改進后的YOLOv5在替換損失函數后,可以保持對圖像特征提取的能力．對比圖6c和6d,原YOLOv5對于小目標的檢測效果較差,不能夠將30×30像素點以下的小目標檢測出來,而改進后的YOLOv5依舊能很好地檢測出小尺寸的著火點,說明改進后的YOLOv5在增加檢測層之后,網絡對圖像特征信息的提取能力進一步加強,使得漏檢問題得到有效的改善．對比圖6e和6f,原YOLOv5在特征信息相似的物體上存在誤檢的情況,而改進后的YOLOv5有效避免了誤檢,說明復制粘貼的數據增強方式利于網絡對特征的提取和分析,減少誤檢率,提高了模型的泛化能力[19-20]．

3 模型加速及實時檢測

為了滿足實際場景中的煙火檢測需求,需要對訓練好的模型進行優化加速后部署到嵌入式設備中．TensorRT是一個高性能的深度學習推斷的優化器和運行的引擎,其核心是一個C++庫,可以促進對NVIDIA圖形處理單元(GPU)的高性能推理,旨在與TensorFlow、Pytorch、MXNet等訓練框架以互補的方式工作[20]．

3.1 TensorRT的推理實驗

由于RTX 3080服務器目前還不支持FP16的低精度推理,因此,在Pytorch框架和TensorRT框架下對改進的YOLOv5模型和YOLOv5基準模型進行FP32的高精度推理對比實驗,其對比結果如表2所示．

表2 不同框架下的推理速度對比

如表2所示,在輸入尺寸相同的情況下,同一種模型在不同的框架下的推理時間有所差異,TensorRT框架下的推理速度高于Pytorch框架下的推理速度．雖然TensorRT采用了算子融合的優化方式,一些網絡結構層進行了合并,減少了大量的參數,模型的推理速度也有所提升,但在推理時依舊采用FP32高精度推理方式,導致TensorRT的推理性能沒有完全釋放[21]．

而Jetson TX2平臺既支持FP32的高精度推理也支持FP16的低精度推理,因此,在Jetson TX2上進行TensorRT加速推理實驗時,分別采用FP16的低精度和FP32的高精度對改進的YOLOv5模型進行推理對比試驗,結果如表3所示．

表3 TensorRT框架下FP16和FP32的推理速度對比

如表3所示:當輸入圖片尺寸為(416×416)時,改進的YOLOv5模型在FP16下的推理速度為58 FPS,相比于FP32高精度推理提升了47.7%;當輸入圖片尺寸為(640×640)時,改進的YOLOv5模型在FP16下的推理速度為28 FPS,相比于FP32高精度推理提升了33.3%．可以發現,雖然RTX 3080服務器的算力遠強于Jetson TX2,但是當網絡的輸入尺寸為416×416時,在Jetson TX2開發板上執行FP16低精度的TensorRT加速推理時,其推理速度和RTX 3080服務器上執行FP32高精度的推理速度相當,這主要得益于TensorRT中的算子融合以及FP16低精度轉化．因此,改進后的YOLOv5模型在Jetson TX2開發板上能夠保持較高的推理速度,滿足實時性的要求．

3.2 實際場景測試

將改進后的YOLOv5模型部署到Jetson TX2開發板上,同時進行TensorRT的加速推理,然后選擇自制的一段煙火視頻作為測試的視頻序列,測試時常約為20 min,最終的測試結果如圖7所示．

圖7 自制視頻序列測試結果Fig.7 Test results on self-made video sequence

圖7中3張結果圖均為測試視頻序列中的隨機截取,圖中左上角顯示的是進行TensorRT加速推理時的實時FPS．可以發現,在輸入圖像尺寸為416×416時,在Jetson TX2開發板上進行TensorRT加速推理的煙火目標檢測方法能夠滿足實時性的要求,其平均的幀率可以達到60 FPS．通過自制的煙火視頻序列的測試實驗,驗證了本文所提方法的有效性．

4 結論

針對小尺度煙火目標檢測效率及準確率低的問題,提出一種改進的YOLOv5煙火檢測方法．首先在YOLOv5原始的3個檢測層上增加第4個檢測層,加強對小尺寸目標的檢測;然后將原網絡中用于計算目標框損失函數的GIOU_Loss改成DIOU_Loss,使得目標在被遮擋的場景中也可以快速回歸出預測框．對于實際場景數據少、誤檢率高的情況,采用一種復制粘貼的數據增強方式,在豐富場景數據的同時,大大減少了誤檢率,從而得到更適用于煙火檢測的模型．最后對改進后的模型進行優化加速部署,通過對實際場景進行測試,結果表明改進后的YOLOv5模型不僅具有較高的準確率而且能夠滿足實時性要求,易于在實際場景中推廣應用．