基于改進YOLOv5的復雜環境下安全帽佩戴識別

王艷鵬,王振亞,趙繼紅,葛廣英

(1. 聊城大學物理科學與信息工程學院,山東 聊城 252059;2. 聊城大學計算機學院,山東 聊城 252059)

1 引言

在各種工業領域和施工現場中,安全帽是一種重要的個人防護裝備,它能夠保護頭部免受意外傷害。然而,在實際場景中,由于種種原因,人們可能沒有正確佩戴安全帽或者違規不佩戴安全帽,這會增加事故發生的風險。通過開發和應用安全帽佩戴識別技術,可以自動監測和檢測工作人員是否正確佩戴安全帽,及時發現佩戴違規行為,提醒相關人員遵守安全規定,防止事故的發生。因此,研究復雜環境下安全帽佩戴識別方法具有一定的現實意義。

為了有效對復雜環境下安全帽佩戴進行識別[1,2],許凱等人[3]通過增加特征圖的方式對YOLOv3算法進行改進,使用K-means聚類算法對安全帽數據集進行聚類,將GIoU Loss作為邊界損失,減少正負樣本帶來的不均衡誤差,最終實現安全帽佩戴識別。張明媛等人[4]主要通過深度學習算法對建筑工人安全帽佩戴進行識別。施輝等人[5]主要采用改進的YOLOv3算法進行安全帽佩戴檢測,最終判定施工人員是否佩戴安全帽。在以上方法的基礎上,提出一種基于改進YOLOv5的復雜環境下安全帽佩戴識別方法。經實驗測試結果證明,所提方法可以有效提升施工人員骨骼點提取精度和頭部區域定位結果準確性,同時還能夠獲取滿意的安全帽佩戴識別結果。

2 復雜環境下安全帽佩戴識別方法

2.1 施工人員骨骼點提取

通過Open Pose對施工人員姿態信息進行估計,進而獲取關鍵部位的骨骼信息。通過頭部和左右肩構建一個三角區域,以頭部為中心旋轉180°,獲取一個全新的三角區域,將新舊三角區域組合,形成一個四邊形。將四邊形的最長對角線作為直徑,繪制一個最大外圓。其中,所構成的四邊形對角線長度可以表示為式(1)和式(2)的形式

(1)

(2)

根據式(1)和式(2)可以獲取施工人員關鍵部位骨骼點信息。

2.2 改進的YOLOv5

YOLOv5是一種目標識別算法,主要包含四種不同類型的網絡結構,以下主要使用基礎的YOLOv5,同時在其基礎上對其進行改進。YOLOv5主要是由三個部分組成,分別為:

1)輸入端

輸入端主要使用Mosaic數據增強方法,可以在數據集中隨機抽取圖像進行縮放以及裁剪等相關操作,最后再拼接成一幅圖像。針對YOLOv5算法而言,需要針對識別對象的不同,設定錨框的初始長和寬,由于網絡設置了內部程序,當錨框的計算數值小于設定閾值,需要重新設定錨框的長和寬。

2)骨干網絡

骨干網絡主要是由Focus結構和CSPDarknet53結構組成,前者在圖像下采樣過程中,可以有效降低模型計算量帶來的損失;而后者可以獲取融合后的網絡結構,同時可以對圖像進行相關處理。

3)頸部

YOLOv5頭部主要使用FPN結構,FPN的頂部是逐漸向下的,可以將圖像頂部的特征圖和底部的特征圖信息進行融合。增加一個全新的PAN結構,將底部的特征圖信息和特征頂部的特征圖進行進行二次融合,確保獲取的特征圖融合信息更加豐富,表達能力更強[6,7]。

YOLOv5損失函數一共包含三個部分,具體的表達形式如式(3)所示

Mloss=Mbos+Mcls+Mobj

(3)

式中,Mloss代表YOLOv5損失函數;Mbos代表定位損失;Mcls代表分類損失;Mobj代表置信度損失。

通過YOLOv5基本組成結構進一步對其進行改進,在原有網絡結構的基礎上增加SSH模塊和識別層,詳細組成結構如下所示:

1)SSH模塊因為尺度不變性,將上下文信息進行整合和合并,進而達到增加視野的目的。

2)在安全帽佩戴識別的過程中,在較小目標識別過程中,將原始的尺度預測結構拓展為四種尺度,同時將設定規格的特征圖進行上采樣,將卷積過程中的特征圖進行拼接,進行四次預測。

2.3 基于改進YOLOv5的復雜環境下安全帽佩戴識別

利用圖1給出基于YOLOv5的復雜環境下安全帽佩戴識別方法的操作流程圖:

圖1 基于改進YOLOv5的復雜環境下安全帽佩戴識別流程圖

1)對施工人員的人體關鍵點檢測器進行訓練,使其能夠獲取更加滿意的檢測結果。

2)提取視頻檢測窗口:

安裝攝像頭采集圖像,同時對安全帽和人體框進行檢測[8,9],主要使用改進后的YOLOv5。

3)人體關鍵點、人體框和安全帽檢測:

將視頻幀圖像輸入至完成訓練的模型中,進行視頻幀圖像檢測,獲取安全框和人體框的具體位置信息。

4)對施工人員頭部區域進行定位[10,11]：

通過施工人員頭部關鍵點位置,定位區域中心點,同時將人體框中較短邊作為邊長繪制矩形,即為人體頭部所在的區域。

5)判斷是否佩戴安全帽:

通過安全帽位置和頭部區域位置識別施工人員是否佩戴安全帽。

施工現場采集到的圖像會自動進入前饋網絡中,根據網絡的上下分支預測關鍵點的置信度,同時還可以獲取各個部位之間的關聯性。將第一階段得到的置信圖和原始特征圖同時輸入到第二階段進行預測,對應的計算公式如下

T(S)=α(i)(r,s(t-1),l(t-1))

(4)

L(t)=β(i)(r,s(t-1),l(t-1))

(5)

式中,T(S)和L(t)代表第二階段預測結果;α(i)(r,s(t-1),l(t-1))和β(i)(r,s(t-1),l(t-1))分別代表兩個不同階段使用的網絡。

為了確保每一個預測階段都可以獲取比較滿意的預測結果,在最后一個階段,需要在各個階段設定對應的損失函數。同時通過預測值和真實值之間的損失對損失函數進行加權處理,其中兩個不同分支的損失函數可以表示為式(6)的形式:

(6)

為了在訓練過程中可以對置信度圖的損失函數進行評價,需要優先對關鍵點形成的置信度圖進行標注。

針對每個施工人員形成個體置信度圖,則圖像像素位置對應的置信度T(j,k)(p)可以表示為式(7)的形式

(7)

式中,x(j,k)代表人體真實位置。

當獲取全部施工人員各個部位的置信度圖后,需要進行最大值操作,進而獲取網絡的預測置信度圖T(j)(p),如式(8)所示

T(j)(p)=maxT(j,k)(p)

(8)

通過式(9)表示真實的親和矢量場M(c,k)(p)

(9)

式中,w代表施工人員肢體方向上的單位矢量。

對全部人體目標的相同肢體進行平均,進而獲取這一階段輸出部分的親和矢量場,如式(10)所示

(10)

式中,mc(p)代表連接向量。

根據檢測出的部位置信度圖進行非極大值抑制,獲取離散候選部位位置。優先獲取圖像中包含多個人身體部位點的集合,同時對檢測到的候選點部位進行最優分配[12,13]。

當得到多個施工人員的全身姿態信息后,需要引入松弛策略進行優化處理,同時將目標轉換為以下形式

(11)

改進的YOLOv5算法就是將檢測目標集成為一個單一的神經網絡,根據整張圖像的特征直接預測各個邊界框位置和全部目標分類[14,15]。改進YOLOv5算法在邏輯上會優先將圖像劃分為t×t個網格,對于每個網格而言,需要優先預測邊界框內全部目標概率以及準確度。通常情況下,可以將這個置信度S(object)表示為式(11)的形式:

(12)

在測試的過程中,可以獲取每個邊框的分類置信度分數Sr(class(i)|object),如式(13)所示

(13)

采用改進的YOLOv5算法對網格邊框數量進行預測,可以獲取訓練過程中的損失函數。

通過改進的YOLOv5算法可以對人體關鍵點進行檢測,獲取關鍵點信息,可以表示為圖2的形式。

圖2 人體關鍵點檢測結果

(14)

對安全帽和人體頭部所在區域的位置進行判斷,假設安全帽框在人體頭部框內,則說明施工人員佩戴了安全帽,反之,則說明施工人員沒有佩戴安全帽,最終達到復雜環境下安全帽佩戴識別的目的。

3 仿真研究

為了驗證所提基于改進YOLOv5的復雜環境下安全帽佩戴識別方法的有效性,實驗選取MPII數據集對施工人員姿態進行估計,優先分析三種方法的人體骨骼關鍵點特征提取結果,詳細實驗結果如圖3所示。

圖3 施工人員身體骨骼關鍵點提取結果

分析圖3可知,無論是在單人還是多人情況下,所提方法都可以準確對施工人員的身體關鍵點進行提取,驗證了所提方法的有效性。

接下來對比三種不同方法的頭部區域定位結果,將交并比(IoU)作為衡量指標,該值越高,說明定位結果越準確,詳細的實驗測試結果如圖4所示。

圖4 不同方法的頭部區域定位結果

由圖4可知,與文獻[3]方法和文獻[4]方法相比,所提方法可以獲取高精度的頭部區域定位結果。

選取一組施工人員現場施工圖片作為測試對象,分析三種不同方法復雜環境下的安全帽佩戴識別性能,詳細的實驗測試結果如圖5所示。

圖5 復雜環境下安全帽佩戴識別結果對比

分析圖5可知,無論是在哪種條件下,所提方法都可以識別施工人員是否佩戴安全帽,而另外兩種方法的識別結果并不理想。主要因為所提方法可以獲取高精度的施工人員身體關鍵點提取結果,從而提升識別結果的準確性。

為了進一步對所提方法的識別性能進行分析,將漏識率作為測試指標,詳細的實驗測試結果如表1所示。

表1 不同方法的漏識率測試結果對比

分析表1中的實驗數據可知,所提方法的漏識率明顯低于另外兩種方法,說明所提方法可以獲取更加滿意的識別結果。

4 結束語

針對傳統安全帽佩戴識別方法存在的一系列問題,設計并提出一種基于改進YOLOv5的復雜環境下安全帽佩戴識別方法。經過實驗測試結果表明,所提方法可以有效提升安全帽佩戴識別結果準確性,同時還可以對人體骨骼關鍵點精準提取,獲取高精度的頭部區域定位結果。