基于聲音信號的汽車安全帶卷收器質量檢測方法研究

劉洪達,左敦穩,王勇,靳萌萌

(南京航空航天大學 機電學院,江蘇 南京 210016)

0 引言

安全帶卷收器在以往的質量檢測過程中,通過總成檢驗工的手感來判斷卷收器功能是否合格,檢測效率低、成本高[1]。

由于檢測過程中卷收器會產生各種聲音信息,這些聲音信息可以通過非接觸測量安全、快速并方便地采集與獲取。近年來國內外學者在聲音信號的分類研究方面展開了一些研究[2]。

隨著深度學習技術的發展,卷積神經網絡 (convolutional neural network,CNN)受到了廣泛的關注,它在聲音信號分類方面得到許多應用。TRAN等[3]利用卷積神經網絡結構從聲音信號的圖像中提取豐富特征對鉆機故障聲音進行分類。鄭思宇[4]將采集故障噪聲信號特征優化后輸入到卷積神經網絡模型中進行故障類型判斷。

為了解決 CNN 網絡過深導致的梯度彌散以及網絡退化問題,HE等[5]將殘差神經網絡(residual neural network,ResNet)引入到 CNN中。SHETHWALA[6]利用ResNet和肺音信號的Mel譜圖對肺音進行分類。LOEY[7]用ResNet對不同咳嗽聲進行分類用于COVID-19領域。

對于聲音信號特征差異不明顯的分類,引入注意力機制能夠取得更好的分類效果。目前結合殘差網絡與注意力機制對聲音信號分類的研究還不夠深入,但是在圖像和視頻領域已經取得了一些成果。ZHAO等[8]將改進的注意力機制嵌入到ResNet中,用于區分植物病害之間的微小變化。ULLAH等[9]利用注意力機制CBAM和ResNet在視頻識別中識別馬來西亞手語(MSL)。

1 分類模型

1.1 Within Blocks

殘差網絡ResNet-18中的殘差塊有4個卷積層的深度?！癢ithin Blocks”是指在網絡架構的每個殘差塊第2、第4卷積層的后面嵌入CBAM的方法。這種結構推斷“Within Blocks”方法使得CBAM模塊在這些殘差塊之間被應用8次。這種CBAM殘差網絡可以將中間特征映射細化到更能代表輸入的重要信息。圖1為CBAM-ResNet-18“Within Blocks”(以下簡稱為CBAM-ResNet-WB)中的單個殘差塊結構。

圖1 “Within Blocks”方法單個殘差結構

(1)

CBAM是結合了通道注意力(channel attention)模塊和空間注意力(spatial attention)模塊的卷積注意力機制,每個子模塊有自己的功能。具體結構如圖2所示。

圖2 “Before Blocks”方法部分網絡結構

通道注意力模塊將輸入的特征矩陣分別經過平均池化以及最大池化來篩選其空間信息,然后將結果輸入到共享全連接層(shared MLP)中,再將共享全連接層輸出的特征進行相加合并操作,經過sigmoid函數激活,最終即可獲得通道注意力模塊的特征權重矩陣Mc(F)。計算公式如下:

Mc(F)=σ[MLP(PAvgPool(F))+MLP(PMaxPool(F))]

(2)

式中:F為輸入的特征矩陣;σ為應用的Sigmoid激活函數;MLP為多層感知機函數;PAvgPool和PMaxPool分別表示平均池化和最大池化。

空間注意力模塊首先將輸入的特征矩陣做平均池化和最大池化,得到兩個通道數為1個特征向量,然后將兩個向量沿通道方向進行拼接操作,之后通過卷積操作映射為通道數為1的特征向量,最后經Sigmoid激活函數獲得空間注意力特征權重矩陣Ms(F)。計算公式如下:

Ms(F)=σ[f(PAvgPool(F),PMaxPool(F) )]

(3)

式中f為卷積計算。

本文使用的CBAM注意力機制首先使用通道注意力對輸入特征F進行加權得到F1,然后再針對加權后的特征F1使用空間注意力進行再次加權得到最終的輸出F2,其計算過程如下:

(4)

式中⊙表示逐元素相乘。

殘差塊中包含下采樣(downsample)模塊,其輸出被添加到塊的輸入中,計算如下:

H(x)=F′+x

(5)

式中:x為結構的輸入;F′為CBAM的輸出。

1.2 Before Blocks

與之前的方法不同,本文采用的“Before Blocks”方法將CBAM模塊嵌入到第一個殘差塊之前。與“Within Blocks”方法相比,它具有更低的網絡復雜性和更少的計算成本。圖2展示了CBAM模塊的具體位置。

2 驗證實驗和結果分析

2.1 數據集和數據預處理

本文基于實際工況環境下對信號進行采集,背景噪聲復雜,噪聲信號、安靜環境下和實際工況中的卷收器信號圖像如圖3所示。

圖3 噪聲信號、安靜環境下和實際工況中的卷收器信號

根據《QC/T987—2014 汽車安全帶卷收器性能要求和試驗方法》,本文搭建實驗平臺如圖4所示,實驗平臺主要包括1個型材架、1個滑輪、1條導向帶和1個重物。

圖4 采集卷收器聲音數據實驗平臺

該實驗平臺將卷收器固定于型材架上,安全帶繞過滑輪連接重物。重物為5kg,在其重力的帶動和導向帶的牽引下,安全帶卷收器進行往復工作。錄制過程中人工手持手機在卷收器旁,采集其工作聲音,每次錄制時間3～5s,每一個單獨保存為WAV文件,其中包括150個合格品和150個次品,共計300個音頻文件。

對所有音頻文件提取Log-Mel Spectrogram特征,經過裁剪調整為128×256,加載到分類模型中,隨機選擇70%用于訓練,30%用于測試。分類模型初始學習率為0.000 5,批量大小為128。在訓練過程中采用RMSprop優化器,進行20輪訓練。

2.2 驗證結果分析

1)訓練與測試過程比較

本文采用ResNet-18、ResNet-34、CBAM-ResNet-WB、CBAM-ResNet-BB模型進行比較,比較結果如圖5所示。

圖5 ResNet-18、ResNet-34、CBAM-ResNet-WB、CBAM-ResNet-BB模型的各輪次訓練集與測試集的交叉熵和準確率對比圖

ResNet-18模型訓練集的交叉熵從開始時的1.34,最后逐漸減小到5×10-5。測試集交叉熵前12輪在2.98～33.91之間波動,第13輪到20輪持續減小,在20輪達到最小值0.79。訓練集準確率在前3輪從55.71%提升到98.1%后始終保持較高水平,在第13輪達到100%后一直穩定。測試集準確率前10輪波動較大,第9輪提升到76.67%,第10輪降到53.33%,第11輪到20輪持續升高,最終在18輪達到最大值88.89%。模型訓練準確率和測試準確率最終相差11.11%,存在過擬合問題。

ResNet-34模型訓練集的交叉熵從開始時的1.93,最后逐漸減小到6×10-6。測試集交叉熵前12輪在2.13～168.35之間波動,第13輪到16輪從10.17持續升高到51.73,之后逐漸減小,在20輪達到最小值0.67。訓練集準確率呈持續升高趨勢在第13輪達到100%后一直穩定。測試集準確率前13輪波動較大,第11輪提升到81.11%,第13輪降到46.67%,第14輪到20輪持續升高,最終在20輪達到最大值85.56%。模型訓練準確率和測試準確率最終相差14.44%,模型深度增加后導致過擬合更加嚴重。

CBAM-ResNet-WB模型訓練集的交叉熵從開始時的3.92最后逐漸減小到0.93。測試集交叉熵前8輪在2.77～55.89之間波動,第9輪到20輪持續減小,在20輪達到最小值1.32。訓練集準確率在前3輪從58.1%提升到97.14%后始終保持較高水平,在第10輪達到100%后一直穩定。測試集準確率前8輪處于較低水平,第9輪開始從60%提升到第14輪的92.22%,第18輪提升到93.33%。模型訓練準確率和測試準確率最終相差6.67%,存在一定的過擬合問題。加入注意力機制的模型使特征更加符合分類要求,過擬合問題減小。

CBAM-ResNet-BB模型訓練集的交叉熵從開始時的1.59,最后逐漸減小到0.06。測試集交叉熵前8輪在1.78～93.29之間波動,第9輪到20輪持續減小,在20輪達到最小值0.12。訓練集準確率在前3輪從58.57%提升到96.19%后始終保持較高水平,在第9輪達到100%后一直穩定。測試集準確率前11輪處于較低水平,第12輪開始從65.56%提升到第20輪的97.78%。模型訓練準確率和測試準確率最終相差2.22%,說明還是存在一些過擬合問題。本文模型過擬合問題更小,準確率更高,收斂速度僅次于參數更多的CBAM-ResNet-WB模型,但計算量相對較小。說明該模型能夠加快收斂速度且獲得更好的分類效果。

2)驗證分類結果和混淆矩陣

圖6為ResNet-18模型、ResNet-34模型、CBAM-ResNet-WB模型和CBAM-ResNet-BB模型的分類結果混淆矩陣,其中“0”代表合格品,“1”代表次品。左上角和右下角單元格顯示每個類別分類正確的數量,其他單元格顯示分類錯誤的數量。

圖6 模型分類混淆矩陣

圖6可知,ResNet-18模型分類結果較差,其中有10個合格品被檢測成為次品;ResNet-34模型分類結果差,其中有13個次品被檢測成為合格品;CBAM-ResNet-WB模型分類效果稍好一些,其中有6個合格品被檢測成為次品,2個次品被檢測成為合格品;CBAM-ResNet-BB模型分類效果最好,只有2個正品被檢測為次品。

表1列出了ResNet-18模型、ResNet-34模型、CBAM-ResNet-WB模型和CBAM-ResNet-BB模型分類結果的精確率、召回率和F1值。ResNet-18和CBAM-ResNet-BB模型合格品的精確率都為1,所有被檢測為合格品的卷收器均為合格品;同時,兩個模型次品召回率都為1,能夠檢測出所有次品,確保出廠的卷收器質量,保障安全性;CBAM-ResNet-WB模型精確度和召回率相對較為平均,合格品和次品的分類均有錯誤。CBAM-ResNet-BB模型的F1值最高,合格品和次品F1值均為0.98,說明該模型分類效果最好。

表1 ResNet-18、ResNet-34、CBAM-ResNet-WB和CBAM-ResNet-BB模型的分類性能對比

3.3 與其他方法的對比

表2列出了CBAM-ResNet-BB模型與傳統分類模型支持向量機、隨機森林分類結果的準確率、精確率、召回率和F1值。實際工況下采集到的信號噪聲較大,傳統分類效果較好的支持向量機和隨機森林模型在本次分類任務中結果較差,CBAM-ResNet-BB模型分類結果的準確率、精確率、召回率和F1值均優于支持向量機和隨機森林,模型具有實際應用價值。

表2 支持向量機、隨機森林和CBAM-ResNet-BB模型的分類性能對比

3 結語

本文提出一種CBAM-ResNet-BB模型,將注意力機制融入殘差網絡,能夠基于聲音信號對汽車安全帶卷收器的質量進行分類檢測,分類準確率達98%。

ResNet-18模型的檢測準確率為88.89%,ResNet-34模型的檢測準確率為85.56%。對于本文來說,ResNet-34模型網絡深度相對較深,但是過擬合問題更加嚴重,導致準確率更低,因此選用ResNet-18模型進行改進。

CBAM-ResNet-BB模型的訓練集和測試集最終準確率相差2.22%,對比ResNet-18模型的11.11%和ResNet-18 Within Blocks模型的6.67%,過擬合問題明顯改善,準確率提高8.89%。

CBAM-ResNet-BB模型的分類準確率為98%,傳統分類模型支持向量機的分類準確率為79%,隨機森林的分類準確率為77%,進一步驗證了該模型的優勢,能夠完成噪聲較大的分類任務。