一種改進YOLOX_S的火焰煙霧檢測算法

謝康康, 朱文忠, 肖順興, 謝林森

(四川輕化工大學計算機科學與工程學院, 宜賓 644000)

隨著全球變暖,導致世界各地的火災頻發,每年由火災造成的人員傷亡和經濟損失都是巨大的。2021年6月25日,河南省柘城縣遠襄鎮北街村震興武館發生重大火災事故,造成18人死亡、11人受傷,直接經濟損失2 153.7萬元,起火原因系余素芝使用蚊香不慎引燃紙箱、衣物等可燃物所致。2015年8月12日22：00,位于天津市濱海新區天津港的瑞海公司危險品倉庫發生火災爆炸事故,共計造成165人遇難,8人失蹤,798人受傷,304幢建筑物、12 428輛商品汽車、7 533個集裝箱受損[1]。2018年8月25日凌晨,哈爾濱市松北區北龍溫泉酒店發生火災?；馂墓惨言斐?0人死亡,20多人受傷被送往醫院進行救治[2]。2019—2020年澳大利亞爆發全國性叢林大火[3],截至2020年1月20日,傷亡人數達到33人,約超12億的動物被燒死。所幸此次山林火災并沒有造成人員傷亡,但也造成了巨大的經濟損失。

通過對以上及相關火災事故進行分析得知,當火災發生時,火焰和煙霧是其重要的特征。如果對其的檢測可以實現提高準確率及降低火焰和煙霧的誤報率,并且增強對小目標火焰煙霧的檢測,就可以在火災預警方面起到很好的效果以保障民眾的生命財產安全。早期預防火災主要通過物理檢測器來檢測。比如煙霧傳感器和紅外火焰監測器等。但是這種檢測方法檢測效率低,并且無法確定火災的大小和位置。之后提出了傳統圖像處理算法,是用人工進行特征提取來檢測火焰,但是得到的火焰煙霧特征只有顏色,邊緣和簡單的紋理[4]。近年來,隨著計算機算力的提升,深度學習得到了快速發展。朱儻等[5]提出了一種輕量化網絡用于火焰煙霧的檢測,使用YOLOv4作為基線網絡,并使用MobileNetV3替換原YOLOv4的特征提取網絡,減小了網絡的參數量。周興華等[6]采用K-means++算法優化了anchor box聚類,降低了分類結果的誤差。并且采用剪枝方法對YOLOv5 Neck和Head的網絡頭進行了剪枝,降低了網絡模型大小,實現了視頻火災的動態實時的準確檢測。李啟明等[7]對YOLOv5進行改進,采用Ghost模塊對原模型進行剪枝處理,并引入注意力機制,在提高網絡模型精度的同時,降低了網絡模型的參數量。宋華偉等[8]為提取淺層特征,將YOLOv5頸部中原有的路徑聚合網絡模塊替換為雙向交叉尺度融合模塊,使深層網絡可以直接提取到淺層特征,提高了網絡的特征提取能力。何亞平等[9]提出了一種GSN-YOLOv5s的火焰煙霧檢測方法,Ghost Bottleneck結構來替換原網絡中的BottleneckCsp結構,降低了網絡的參數量,并且保證了檢測的精度。Yang等[10]提出了一種基于 YOLOv5的火焰煙霧檢測算法。利用目標回歸損失函數(CIoU)改善目標檢測中的漏檢和誤檢,并采用數據增強技術,增強了網絡模型對小目標的特征提取能力。卞蘇陽等[11]利用XSepConv、Mish[12]激活函數和大卷積核構建CXANet-block作為YOLOv5的骨干網絡,加強了網絡模型的火焰特征提取能力,并解決特征圖尺寸不平衡的問題。目前現有的大部分神經網絡算法只對火焰和煙霧進行單獨檢測,在復雜環境下出現檢測精度不高、漏檢和誤檢等問題。對此提出改進YOLOX_S算法用于火焰和煙霧的檢測。提出的目標檢測網絡算法,對YOLOX_S改進主要有：在YOLOX_S網絡模型的骨干部分采用Swin Transformer代替原CSPDarkNet,能夠更好的捕捉不同尺度下的特征,從而提升網絡模型的檢測精度;引入雙向加權金字塔網絡(BiFPN),加強網絡模型對高層次語義信息的特征提取,提高對火焰煙霧檢測的精度;引入一種坐標注意力機制Coord Attention(CA),增加該網絡模型的特征提取能力,進一步提高模型檢測的精度。改進后的網絡模型對火焰煙霧檢測的準確度更高,對減少火災帶來的損失和保障民眾的生命財產安全具有重要意義。

1 相關算法和改進

1.1 YOLOX_S算法

YOLOX算法[13]是曠視科技研究院在2021年提出的一種基于YOLO系列的目標檢測框架,作為曠視新出的網絡模型,其檢測的性能又達到了一波新高度。

1.1.1 Fcous結構

Focus結構是將輸入的圖片進行切片操作,即在一張圖片中每隔一個像素獲得一個值,即可得到4個特征層,然后再進行concat操作,從而圖片的寬高信息縮小,通道數增加。在原始信息丟失較少得情況下,減少了參數量。其示意圖如圖1所示。

1.1.2 Silu激活函數

Silu激活函數是一種用于神經網絡得非線性激活函數。其特點是在Sigmoid得基礎上增加了一個線性部分,使其可以更好地擬合線性函數,讓學習過程更快、更穩定。其激活函數表達式為

f(x)=xSigmoid(x)

(1)

當x大于0時,Silu激活函數將會放大x,當x小于0時,Silu激活函數將會降低x,這樣可以防止過擬合。

1.1.3 Decoupled Head(解耦頭)

在YOLOv3-YOLOv5中最后的回歸框與置信度在1*1的卷積中一起實現。而在YOLOX中通過解耦頭,分別將置信度與回歸框分別實現,在預測時合為一體,如圖2所示。

Feature為特征圖;Conv為卷積;anchor為錨框;Coupled Head為耦合頭;DeCoupled Head為解耦頭;H為特征圖的高度;W為特征圖的寬度;IoU為計算預測框(即模型輸出)與真實標注框之間的交集與并集的比值

圖2中,Reg(H,W,4)用于判斷每一個特征點的回歸參數,回歸參數調整后可以獲得預測框;Obj(H,W,1)用于判斷每一個特征點是否包含物體;Cls(H,W,num_classes)用于判斷每一個特征點所包含的物體種類。通道數即為需要預測的個數,每個通道代表一個結果。將3個預測結果進行堆疊,每個特征層獲得的結果為：Out(H,W,4+1+num_classses)前4個參數用于判斷每一個特征點的回歸參數,回歸參數調整后可以獲得預測框;第5個參數用于判斷每一個特征點是否包含物體;最后num_classes個參數用于判斷每一個特征點所包含的物體種類。

1.1.4 SimOTA(動態樣本匹配)

SimOTA的主要作用是為每個正樣本分配一個GT(ground truth)框,讓正樣本去擬合該GT框,從而替代之前的anchor方案去擬合anchor,從而實現anchor free。具體做法是：①計算每個目標cos最低的10個特征點;②把這10個特征點預測的預測框與真實框進行IoU操作,得到10個IoU的值;③將10個IoU進行sum操作后會得到一個值,該值為dynamic_k。SimOTA能夠根據不同目標的尺寸動態調整Anchor框,能夠更加準確地匹配不同尺寸的物體,并且相比傳統的Anchor-based方法,SimOTA的Anchor框數量更少,因此能夠更加準確地匹配不同尺寸的物體,提高檢測精度和檢測速度。YOLOX_S的網絡結構圖如圖3所示。

Focus為切片;upsamping為上采樣;BaseConv為YOLOX中的基本卷積;Decoupled Head為解耦頭;CSP為跨階段連接部分模塊;SPP為空間金字塔池化模塊;Maxpool為最大池化層;Concat為拼接操作

1.2 YOLOX_S的改進

1.2.1 swin transformer

Swin transform[14]使用類似卷積神經網絡里的層次化構建方法,在特征圖尺寸中對圖像進行下采樣4、8、16倍,這樣有助于實現目標檢測和實例分割等任務。swin transformer引入W-MSA(windows multi-head self-attention)的概念,在4倍和8倍下采樣中,特征圖被劃分成多個不相交的區域(Window)。并且由于Multi-Head Self-Attention(MSA)只在每個Window進行,這樣做可以減少模型計算量。如圖4(a)所示,在MSA模塊中通過將輸入的特征圖分成若干個非重疊的塊,然后在每個塊內進行自注意力計算。這意味著每個塊只關注其自身的特征信息,而不考慮其他塊的信息。如圖4(b)所示,W-MSA模塊是在MSA模塊的基礎上進行的改進,它引入窗口化的注意力機制。與MSA模塊不同,W-MSA模塊將輸入的特征圖分成多個重疊的塊,每個塊都包含了前后相鄰的特征信息。這樣,W-MSA模塊可以同時考慮多個尺度的特征信息,從而更好地捕捉圖像中不同尺度的結構和語義信息。其計算量的差值,可通過式(2)、式(3)計算。

圖4 MSA和W-MSA對比

Ω(MSA)=4HWC2+2(HW)2C

(2)

Ω(W-MSA)=4HWC2+2M2HWC

(3)

式中：Ω為計算復雜度;H為特征圖的高度;W為特征圖的寬度;C為特征圖的深度;M為每個窗口。

在采用W-MSA模塊時,由于自注意力機制只在每個窗口內進行,這樣窗口和窗口間就無法進行信息傳遞。因此引入Shifted Windows Multi-Head Self-Attention(SW-MSA)模塊,如圖5所示,W-MSA[圖5(a)]和SW-MSA[圖5(b)]是成對使用的,假設第n層使用的是W-MSA,那么第n+1層就使用SW-MSA,對比左右兩幅圖片就可以發現窗口發生了偏移,如第n+1層第1行第2列的窗口能夠使第n層的第1行中兩個窗口進行信息交流。其他的同理,這樣就解決了不同窗口間信息交流的問題。swin transformer根據配置的不同分為：T(Tiny)、S(Small)、B(Base)、L(Large)版本。使用的是其swin-T版本。

圖5 SW-MSA概念圖

經多次實驗,將YOLOX的backbone替換為swin transformer后能夠更好的捕捉不同尺度下的特征,并且使用滑動窗口的方式進行特征提取從而減少計算量,并且提高模型的檢測精度。

1.2.2 BiFPN

Tan[15]提出的EfficientDet算法中提到一種雙向特征金字塔網絡BiFPN,用于處理不同尺度的特征圖,它由兩個FPN(feature pyramid network)的級聯組成,每個FPN都有兩個分支：一個自頂向下(top-down)分支,一個自底向上(bottom-up)分支。BiFPN在處理特征圖時,不僅可以從低分辨率的特征圖中提取高層次的語義信息,還可以從高分辨率的特征圖中獲取更為精細的細節信息。其網絡結構示意圖如圖6所示。

P3～P7為特征輸出層

BiFPN的主要創新點在于引入兩個新的機制：一是在每個級別上,自頂向下分支與自底向上分支之間使用了可學習的連接權重,用于控制特征圖的信息流動和跨層級的信息交互;二是在連接權重學習的過程中,使用了基于注意力機制的特征調節(feature refinement),以進一步提高特征圖的質量和精度。BiFPN網絡采用的歸一化方法在保證精度的前提下,與softmax-base fusion相比速度塊30%,如式(4)所示。

(4)

式(4)中：Ii和out分別為輸入和輸出特征;σ為最小學習率,用于約束震蕩;ωi和ωj為權重。

將BiFPN簡化為3個輸入特征層對應加入swin transformer后的YOLOX_S的3個特征輸出層P3、P4、P5,更改后的BiFPN網絡結構如圖7所示。

圖7 簡化后BiFPN網絡結構示意圖

在YOLOX_S的neck部分應用BiFPN特有的雙向交叉尺度鏈接結構后,融合了更多的火焰和煙霧特征。提高了網絡模型檢測的精度。

1.2.3 CA注意力機制

坐標注意力機制[13](coordinate attention,CA),傳統的通道注意力機制是使用全局的池化操作將特征張量轉變為單個特征向量,即通過坐標注意力機制將通道注意力機制分成兩個一維的特征編碼。一個沿著其空間方向捕獲依賴關系,另一個沿著其空間方向去獲取位置信息。之后就將特征圖編碼成一組對方向信息感知和位置信息敏感的注意力圖。

如圖8所示,坐標注意力機制分成坐標信息嵌入和坐標注意力信息生成。為了促使注意力模塊能夠捕捉具有精確位置信息的遠程空間交互,按照以式(5)～式(7)分解全局池化,轉化為一對一維特征編碼操作。

(5)

Residual為殘差連接;X-Avg Pool、Y-Avg Pool分別為在寬度和高度維度上進行平均池化操作;BatchNorm為批量歸一化;Non-linar為非線性激活函數;r為注意力機制中的縮放因子;Re-weight為重新加權

(6)

(7)

這兩種變化可以使網絡模型對于敏感的目標進行更加精準的定位。

YOLOX_S在引入swin transformer后,網絡模型具有更強的特征提取能力,并且會減少部分計算量,BiFPN可以進一步降低計算量,提高檢測的效率和網絡模型的適應性,在復雜背景下同樣可以保持較高的檢測精度,在引入CA注意力機制后通過學習通道之間的相互關系來自適應地加權不同通道的特征圖,使得模型能夠更好地理解圖像的語義信息,加強網絡模型對火焰煙霧的特征提取能力,是其具有更高的檢測精度。改進后的YOLOX_S的網絡結構如圖9所示。

Conv2D為2維卷積;Patch Partition為圖像塊分割;Linear Embedding模塊為線性嵌入;Patch Merging為圖像塊合并

2 實驗分析

2.1 實驗環境

本次實驗的環境配置如表1所示。

表1 實驗環境配置Table 1 Experimental environment

2.2 實驗數據集和數據增強

使用的數據集是由Bilkent University公開數據集加上部分自建數據集共計9 621張。訓練集測試集的比例為8∶2,其中訓練集7 697張,測試集1 924張。使用Labelimg標注軟件對數據集進行標注,生成PASCAL VOC格式。數據集圖片分布比較廣泛,包含燭火,篝火等特征明顯的火焰和煙霧,也包含森林火災,城市火災,交通火災等背景復雜、形狀多樣的火焰和煙霧?；緷M足日常生活中絕大部分火災中的火焰和煙霧場景。數據集中的火焰和煙霧大體可分為三大類,如表2所示。

表2 數據集分類Table 2 Classification of data sets

對數據集圖像采取Mosaic數據增強方式,增加數據的多樣性。Mosaic數據增強是對4張不同的圖像進行顏色簡單的矩陣變換,如旋轉、縮放和色域變化等,之后將其拼接成一張圖片。如圖10所示,這樣既豐富了檢測目標的背景,又提高了檢測的效率。

圖10 Mosaic數據增強

2.3 評價標準

本次實驗采用平均精度(mean average precision,mAP)、召回率(recall,R)、正確率(precision,P)和GFlops來評估模型。平均精度(mAP)和召回率R的計算公式為

(8)

(9)

(10)

(11)

式中：TP(true positive)為預測樣本的真實類別是正類,模型算法的預測同樣為正類;FN(false negative)為預測樣本的真實類別是正類,然而模型算法預測的類別為負類;FP(false positive)為預測樣本的真實類別為負類,而模型算法的預測則為正類。

設定IoU的檢測閾值為0.5,即評價指標mAP@0.5。召回率(recall,R)又稱為查全率,召回率表示的是在實際的正樣本中,檢測器預測出來的比例。正確率(precision,P)又稱為查準率,表示的是模型檢測出來的所有正類樣本中,真正正類樣本所占的比例。

2.4 實驗結果分析

2.4.1 模型訓練

每個模型從0開始訓練,epoch設置為300輪,其超參數配置如表3所示。

表3 超參數設置Table 3 Super parameters setting

2.4.2 消融實驗

為了增強模型的魯棒性,使用數據增強的YOLOX-S作為基線模型,不同改進策略對基準模型的影響如表4所示。

表4 消融實驗Table 4 Ablation experiment

由表3可知,YOLOX_S網絡模型在加入swin transformer之后,檢測的精度得到了明顯的提升,mAP@0.5提升了約3.1%,正確率和召回率也都得到不同程度的提升。在加入BiFPN之后,mAP@0.5提升了約1.9%,再加入CA注意力機制模塊后,mAP@0.5提升了約0.3%。最終改進后的網絡模型,mAP@0.5提升了約5.3%,模型的正確率和召回率也得到了比較理想的提升。

2.4.3 對比試驗

如表5所示,為了進一步驗證本文改進算法的優勢,引用了市面上流行的一些網絡,針對網絡模型的mAP和mprecision進行對比實驗。

表5 不同模型測試對比結果Table 5 Comparison results of tests on different models

從表5可以看出,YOLOX_S原網絡模型檢測的效果稍優于Faster R-CNN、RetinaNet和YOLOv5[16],檢測的mAP@0.5和mprecision要優于SSD、YOLOv3和YOLOv4[17]。改進后的YOLOX_S網絡模型相較于原網絡mAP提升了約5.3,遠高于其他網絡,可以說明改進后的YOLOX_S網絡模型在火焰煙霧檢測方面更具有效性。

2.4.4 實驗結果圖分析

為了更加直觀方便對比改進后的YOLOX_S網絡模型和原模型YOLOX_S的檢測效果,選取幾張測試集的圖片進行檢測,并將置信度都設置為0.25。如圖11所示,共選取4組圖片進行對比,其每組的左邊圖片為原始模型YOLOX_S檢測的結果,右邊是改進后的模型YOLOX_S檢測的結果。從圖11(a)可以看出,改進后的YOLOX網絡的檢測框的精度更高,并且沒有錯檢出白云。從圖11(b)可以看出,改進后的網絡模型,沒有錯檢出圖中的火焰倒影,并且檢測的精度也更高,圖11(c)中,改進后的網絡模型,更是檢測出來了原網絡模型漏檢的煙霧。從圖11(d)可以看出,改進后的網絡模型,檢測的精度更高,出現漏檢測的情況也更少。這證明swin-YOLOX_S有更強的特征提取能力和分析能力,檢測的置信度更高,檢測框也更貼近實際。

圖11 檢測結果對比

3 結論

對YOLOX_S進行改進,引入swin transformer作為骨干,網絡模型具有更強的特征提取能力進而提升檢測精度,然后引入BiFPN,提高檢測的效率和網絡模型的適應性,在復雜背景下同樣可以保持較高的檢測精度,并加入CA注意力機制模塊進一步提升模型的特征提取能力,最后使用Mosaic數據增強的方法來訓練困難樣本,提高魯棒性。上述的消融實驗表明,用以上方法對模型改進,均在不同程度上提升了模型的性能,改進后的網絡型在火焰煙霧的檢測方面具備有效性。其中引入swin trainformer骨干后提升最為明顯,但是增大了模型參數量,后續研究會注重減少模型參數量并提高模型檢測的精度和速度。