改進DeepLabV3+網絡的指針軌跡圖像識別

袁 帥，蔣 強，饒 兵

(1.沈陽理工大學自動化與電氣工程學院，沈陽 110159；2.沈陽天眼智云智能技術研究院有限公司，沈陽 110179)

在精密儀器運輸過程中，通常采用指針式機械記錄儀記錄震動軌跡圖像數據，若采用人工檢定方法，檢定結果不精準，工作量巨大且效率很低。 通過機器學習相關技術，可實現高效率高精度自動檢測指針式機械記錄儀震動軌跡圖像，極大地減少人工工作量[1]。

2014 年開始，谷歌團隊推出并發展了具有良好分割性能的DeepLab 系列分割網絡，其中DeepLabV3+網絡[2]在語義分割領域表現更為突出，準確度更高。 以DeepLabV3+為基礎，學者們進行了深入研究，將其應用于諸多領域。 2019 年，Liu 等[3]通過添加更多的跳躍連接和卷積層來設計DeepLabV3+解碼器，改善了遙感圖像中建筑物輪廓的檢測結果，但對細微邊界分割效果不理想。 2022 年，Zhang 等[4]在DeepLabV3 + 中加入一種基于邊緣信息的損失函數，提高了網絡對舌邊的分離效果，但對錯誤分類處理能力不高。 同年，劉慧等[5]使用輕量化MobileNetV2 作為Deep-LabV3+骨干網絡，減少了模型參數，并使用Re-LU6 激活函數減少部署在移動端設備上的精度損失，但對小像素目標識別效果較差。 2023 年，周迅等[6]在DeepLabV3+中使用三點注意力模塊提高了對壩面裂縫像素的提取能力，但存在漏檢情況。

本文將DeepLabV3+網絡模型應用于指針式機械記錄儀軌跡圖像的識別。 使用輕量化網絡MobileNetV3 替換原骨干網絡Xception，實現模型輕量化；在解碼器中使用2 個連續的2 倍上采樣替換原網絡中的4 倍上采樣，將提取到的特征圖逐步放大，使得還原出的邊界更加細化。

1 DeepLabV3+網絡及其改進

1.1 DeepLabV3+網絡介紹

DeepLabV3+網絡使用編碼器-解碼器(Encoder-Decoder)結構[7-8]，在提升分割效果的同時關注邊界信息。 模型采用Xception 作為骨干網絡，使用空洞空間卷積金字塔池化(atrous spatial pyramid pooling，ASPP)融合特征圖多尺度信息，并將深度卷積和逐點卷積[9]應用于ASPP 和Encoder 模塊中， 使網絡訓練速度更快。DeepLabV3+網絡結構如圖1 所示。 圖中:Conv表示卷積；rate 表示膨脹率；Upsample 表示上采樣；DCNN 表示深度卷積神經網絡；Atrous Conv表示空洞卷積；Pooling 表示池化；Low-level Feature 表示低級特征；Concat 表示數據拼接。

DeepLabV3+網絡通過Encoder 結構得到兩部分圖片特征，在Decoder 中使用卷積調整通道，融合兩部分特征，再使用線性插值上采樣使得輸出層和原圖片尺寸一致，獲得預測結果[10-11]。

1.2 改進的DeeplabV3+網絡

1.2.1 改進DeepLabV3+骨干網絡

由于本文檢測對象是設備運輸過程中的指針震動軌跡，為滿足實時檢測和移動檢測的要求，需將訓練好的模型部署在移動端硬件平臺上。 因此，在進行圖像特征提取時要盡量保證全局信息的準確性，同時簡化參數和計算量，保證識別效率。

為解決上述問題，可采用輕量化網絡模型。DeepLabV3+骨干網絡為Xception，該網絡結構比較復雜，參數量較多，消耗大量的顯存。 本文對DeepLabV3+結構的骨干網絡實現輕量化，采用MobileNetV3 代替Xception[12]，輕量化網絡MobileNetV3 的參數量較少，更易于部署到移動設備上。 MobilenetV3 的瓶頸(bneck)結構如圖2 所示。 圖中:NL 表示非線性激活函數；Pool 表示平均池化；Dwise 表示深度可分離卷積；FC 表示全連接層；ReLU、hard-σ 表示激活函數；?表示乘法操作。

圖2 MobileNetV3 網絡的bneck 結構Fig.2 Bneck structure of MobileNetV3 network

MobilNetV3 在MobilNetV2 的結構基礎上增加了注意力機制(squeeze-and-excitation，SE)，并使用h-swish 激活函數替換swish 函數，相比于MobilNetV2，MobilNetV3 模型更加輕量化，降低了計算成本，識別精度更高，計算速度更快。

1.2.2 改進DeepLabV3 +模型解碼器設計

經Encoder 得到的特征圖由大量的像素矩陣構成， 各像素之間均存在密切的聯系，DeepLabV3+網絡中Decoder 將傳入的特征圖直接使用一次雙線性4 倍上采樣恢復目標邊界信息，會使圖像的像素不連續，導致網絡預測邊界不精確[13]。 本文將傳入Decoder 中的特征信息先進行一次2 倍上采樣，還原邊界信息，然后再進行一次2 倍上采樣，即使用2 個連續的2 倍上采樣替換原始DeepLabV3+網絡中的4 倍上采樣，增強圖像中像素的連續性，還原出的邊界信息更接近原始標注圖像，從而獲得更清晰的目標邊界。 改進的DeepLabV3+網絡模型在Decoder 中僅添加了1 次上采樣操作，相比DeepLabV3+網絡模型，參數增加極少。 改進前后的Decoder 部分如圖3所示。

圖3 改進前后的Decoder 部分Fig.3 Decoder part before and after improvement

改進后的DeepLabV3 + 網絡結構如圖4所示。

圖4 改進后的DeepLabV3+網絡結構Fig.4 Improved DeepLabV3+ Network Structure

2 實驗與分析

2.1 實驗環境

本文基于百度飛槳(PaddlePaddle)深度學習框架進行實驗。 模型訓練過程中使用隨機梯度下降法，最大訓練輪次為10 000 輪。 單次訓練樣本數設置為2，初始學習率設置為0.01，之后通過多項式衰減策略減少學習率。

實驗數據來自設備運輸過程中采集的指針式機械記錄儀震動軌跡圖像，以此自制數據集，該數據集包含精細標注影像873 張，標注內容包括軌跡和背景。 由于總體樣本數據較少，采用圖像反轉、水平和垂直鏡像等處理方法進行數據增強，豐富實驗數據集。

為解決網絡模型在不同工作場景的算法適用性問題，使用圖像分割套件PaddleSeg 中的預訓練模型，加快模型訓練速度并保證特征提取效果，提高模型對指針軌跡圖像識別的準確性和泛化性。

2.2 評價指標

本文選用平均交并比(MIoU)作為實驗結果評價指標，MIoU 是語義分割領域的標準度量指標。 分別對每個類計算交并比(IoU)，再對所有類別的IoU 求均值，即為MIoU。 其計算式為

式中:k+1 表示圖像中所有分割類別數目；pij表示標簽為i被預測為j的樣本數量；pji表示標簽為j被預測為i的樣本數量；pii表示標簽為i被預測為i的樣本數量。

采用單位時間內模型檢測圖片的數量(FPS)作為另一個評價指標，該評價指標越大，表示檢測的速度越快，其值為待檢測的圖片總數與模型預測所需的時間之比。

2.3 實驗對比

對改進前后的DeepLabV3+模型進行訓練測試，兩組實驗均使用PaddleSeg 套件中自帶的預訓練模型，訓練過程中其他條件相同，得到的可視化參數如圖5 和圖6 所示。

圖5 原始DeepLabV3+網絡訓練參數Fig.5 Original DeepLabV3+ network training parameters

圖6 改進DeepLabV3+網絡訓練參數Fig.6 Improved DeepLabV3+ network training parameters

由圖5 和圖6 可見，改進DeepLabV3+網絡的MIoU 更高，模型識別指針軌跡圖像的能力更好，損失函數能夠更快地收斂且下降程度更大，模型的性能更優。

訓練完成后，將測試集中圖片統一調整為相同的分辨率，分別使用網絡改進前后兩組實驗中的最好模型進行預測，以圖片1 和圖片2 為例，兩個圖片的預測結果如圖7 和圖8 所示。

圖7 對比實驗預測結果(圖片1)Fig.7 Comparisons of experimental prediction results(image 1)

圖8 對比實驗預測結果(圖片2)Fig.8 Comparisons of experimental prediction results(image 2)

由圖7 和圖8 可見，本文提出的改進Deep-LabV3 + 網絡模型可以更好地獲取軌跡語義信息，漏檢和誤檢的比例更小，對軌跡特征提取能力更強，能夠更好地完成軌跡圖像識別任務。

模型預測參數及模型大小如表1 所示。

表1 模型參數對比Table 1 Comparisons of model parameters

由表1 可知，本文提出的改進DeepLabV3+網絡模型檢測結果更精細、檢測速度更快、模型體積更小，體現了該算法的可行性和優越性。

3 結論

為解決運輸過程中車輛顛簸是否導致儀器設備損壞的檢測問題，以DeepLabV3+作為語義分割模型，將其骨干網絡替換為輕量化網絡Mobile-NetV3，減少了參數量，解決了模型部署到移動端硬件平臺的問題；針對Decoder 結構中4 倍上采樣操作導致圖像中的邊界像素不連續、丟失某些重要像素信息問題，采用2 次2 倍上采樣增強圖像中像素的連續性，還原出的邊界信息更接近原始標注圖像，獲得了更清晰的目標邊界。 改進后的DeepLabV3+模型體積減少了129.64 MB；檢測結果更精細，MIoU 達到85. 84%，提高了3.57%；檢測速度更快，FPS 提升了3.58 s-1。 本文提出的改進DeepLabV3+網絡降低了模型的參數量、加快了檢測速度、提高了模型對軌跡圖像識別的泛化能力，更宜于實際應用。