基于CenterNet 和DeepLabv3+的變電站指針式儀表讀數識別方法

黃思遠，樊紹勝，王子揚

（長沙理工大學電氣與信息工程學院，長沙 410114）

0 引言

在數字化、人工智能的發展下，大部分工業場景可以使用數字式儀表對機器的工作狀態進行監測，但對于像室外變電站這種有強磁場存在的復雜環境，仍需要使用指針式儀表來監測變電設備的工作狀態［1-2］。早期指針式儀表讀數自動識別的研究工作主要基于傳統計算機視覺技術［3-4］，這些傳統方法對儀表的成像質量要求比較高，再加上人工設計的特征對室外變電站場景變化的魯棒性不高，導致指針式儀表的檢測和讀數識別精度普遍不高。文獻［5-6］采用傳統霍夫直線檢測算法來檢測指針直線段，對圖片的質量要求高，且圖像降噪預處理繁瑣，但檢測結果精度不高，存在多條干擾線條。文獻［7］通過圖像的RGB 顏色空間轉換到HSV 顏色空間來定位油位計刻度環的起始、終點位置，但顏色特征受強光照影響大，可靠性低于空間特征，且魯棒性較差。文獻［8-9］采用SIFT 算法進行特征點匹配完成儀表盤的定位，SIFT 算法不僅計算量大，運行耗時長，而且對于室外變電站場景容易產生大量的誤匹配，導致檢測結果不理想。

目前，卷積神經網絡［10］因其強大的特征表征能力，廣泛應用于變電站指針式儀表檢測與讀數識別領域。文獻［11-12］利用目標檢測算法Faster-RCNN 來完成儀表盤的定位，在很大程度上提高了儀表檢測的精度，但在讀數識別階段仍采用傳統方法來檢測指針，導致指針的識別精度不高。文獻［13-14］在儀表檢測階段采用深度學習方法，但在儀表讀數識別階段仍通過自適應閾值分割算法來分割指針區域和刻度盤，根據指針與刻度之間的角度差來計算讀數，該方法對閾值的調參要求高，而且小刻度之間容易產生誤連通。文獻［15］在儀表檢測階段采用深度學習目標檢測算法來定位儀表盤和指針區域，在儀表讀數識別階段利用深度學習語義分割算法來分割儀表刻度盤和指針區域，分別進行刻度盤和指針輪廓擬合，顯著提高了檢測和讀數識別精度，但該方法所采用的模型計算量大、冗余特征多，部署難度大。文獻［16］提出了一種基于掩模區域的卷積神經網絡（Mask R-CNN）的關鍵點檢測的指針自動讀數方法，該方法利用檢測到的關鍵點進行擬合，具有較強的準確性，但關鍵點的檢測易受光照影響，可靠性較低。

由以上文獻研究可知，變電站指針式儀表讀數識別存在如下待解決的難點：第一是從復雜的背景當中識別儀表并給出儀表矩形框的準確坐標信息；第二是對待檢測的畸變儀表圖像進行矯正，獲取儀表的正立圖像；第三是對儀表正立圖像進行刻度盤、指針區域的分割，獲取指針區域直線擬合的角度并得到讀數。針對以上難點，本文采用改進的深度學習anchor-free 的目標檢測算法CenterNet，從復雜的背景中獲取畸變儀表圖像；利用線性變換理論對畸變儀表圖像進行矯正，獲取儀表正立圖像；采用改進的深度學習語義分割算法DeepLabv3+分割儀表正立圖像的刻度盤、指針區域，獲取指針的傾斜角度；結合儀表量程，通過角度法計算，實現對指針式儀表讀數的自動識別。

1 儀表檢測與讀數識別模型

針對指針式儀表檢測精度低與讀數誤差大的問題，通過在CenterNet 目標檢測模型主干網絡的殘差結構上引入ECA-Net 注意力模塊，提高復雜環境中指針式儀表的檢測精度；通過圖像線性變換理論來對畸變儀表圖像進行矯正，獲取儀表正立圖像；通過在DeepLabv3+語義分割模型ASPP 結構上并聯DAMM 雙注意力模塊來加強對前景像素點的上下文信息的聯系，從而提高對刻度盤和指針區域分割的準確度。

本文提出的儀表檢測與讀數識別模型的主要思路如下：將云臺攝像機采集到的圖像通過CenterNet 目標檢測模型，獲取當前幀圖像中儀表的類別和儀表矩形框的位置坐標信息，從而在復雜的背景環境中單獨截取出儀表圖像。由于攝像頭平面與儀表的表盤平面不平行，圓形儀表表盤在當前幀圖像中畸變為橢圓狀?；趫D像的線性變換理論和表盤分割結果，選擇橢圓的長短軸與橢圓的4 個交點坐標，將其和假想圓與坐標軸的4 個頂點坐標位置對應關系進行透視變換及仿射變換，來矯正畸變儀表圖像，獲取儀表正立圖像。通過DeepLabv3+語義分割模型來分割刻度盤、指針區域，獲取指針直線角度。結合儀表量程與角度的對應關系計算儀表讀數結果，從而實現對指針式圓形儀表的自動讀數識別。儀表檢測與讀數識別流程圖如圖1所示。

圖1 儀表檢測與讀數識別流程圖Fig.1 Instrument inspection and reading recognition flowchart

2 基于CenterNet 的儀表目標檢測

2.1 CenterNet 算法

深度學習目標檢測算法大致分可為兩大類：第一類是基于anchor-based 的目標檢測網絡，第二類是基于anchor-free 的目標檢測網絡。anchor-free 的目標檢測算法速度快、精度高、方便部署，所以本文在儀表目標定位時采用了改進的CenterNet 模型［17］。CenterNet 的“anchor”僅僅出現在當前目標的位置，而不是整張圖上，其不需要區分anchor 是前景還是背景，因為每個目標只對應一個“anchor”，這個anchor 是從heatmap 中提取出來的，所以無須進行NMS 操作來過濾冗余框。CenterNet 的輸入特征圖尺寸是輸出特征圖尺寸的4 倍，這種保持大分辨率的輸出有利于系統保留邊緣、紋理等細節特征，而這些淺層的物理信息更有利于物體邊界框的準確位置回歸。CenterNet 由特征提取主干網絡、連接層和功能模塊3 大組件構成，其網絡結構的主要功能模塊如圖2 所示。

圖2 CenterNet 主要功能模塊Fig.2 CenterNet main functional module

2.2 引入ECA-Net 注意力機制模塊

本文采用的改進CenterNet 目標檢測算法的主干網絡將原來的Resnet18 更改為ECA-Net50。ECANet 在SENet 的基礎上進行了一些改進，是一種不降維的局部跨信道交互策略和自適應選擇一維卷積核大小的方法。ECA-Net50 是在ResNet50的殘差結構模塊引入了ECA-Net 輕量級注意力機制模塊［18］。ECA-Net50 在實現原有ResNet50 的參數量增加很少的前提下，大大提高了檢測的精度。ECA-Net 模塊添加在殘差網絡模塊ResNet50 的結構圖如圖3 所示。

圖3 加入ECA 模塊的Resnet50 網絡Fig.3 Join the Resnet50 network of the ECA module

3 基于DeepLabv3+的儀表刻度盤、指針分割

3.1 DeepLabv3+算法

DeepLabv3+語義分割算法通過空洞卷積［19］（Atrous Convolution）來減少下采樣率，同時保持了較大的感受野，降低了低層特征空間位置信息的損失。該算法采用編碼-解碼網絡架構，在編碼模塊，以Xception 網絡作為骨干網絡進行特征提取。在Xception 中利用深度可分離卷積進行特征提取，相比標準卷積，其參數量以及計算量大幅度減小，而其性能卻能夠與標準卷積媲美。在解碼模塊，采用雙線性插值逐步恢復圖像的尺寸，為了保留局部細節信息，在恢復過程中融合低層特征中的細節信息，再經過線性插值處理恢復圖像尺寸。針對目標的多尺度問題，該算法可利用ASPP 模塊融合多尺度特征。ASPP 模塊由空洞率分別為6、12、18 的3×3 空洞卷積和1×1 卷積以及全局平均池化操作共同組成。DeepLabv3+網絡結構圖如圖4 所示。

圖4 DeepLabv3+網絡結構圖Fig.4 DeepLabV3+ network structure diagram

3.2 引入DAMM 雙注意力機制模塊

在DeepLabv3+中，ASPP 模塊作為編碼與解碼模塊之間的橋梁，連接著模型中的上下文信息，并捕捉全局語義信息，因此該部分提取的特征至關重要。ASPP 通過多個分支采用不同空洞率的方式獲取多尺度特征，最后對多種特征層進行融合。實際應用中，如果是一個大物體，那么其空洞率最大的分支提取到的特征應該是最重要的，對應的權重也是最大的，其余分支的權重較??；如果是一個小物體，那么其空洞率最小的分支的權值應該是最大的，其余分支的權值較小。在ASPP 模塊中，僅僅是每個分支對應不同的權重，不同分支的權重之間都是獨立的，沒有相關性。這樣就導致了DeepLabv3+網絡存在刻度盤分割中類內不一致、存在空洞現象，指針邊緣分割不平滑等缺陷。針對此問題，本文將雙注意力機制DAMM 模塊［20］與ASPP模塊并行連接來彌補ASPP 模塊的缺點。DAMM 模塊中的位置注意力模塊能夠有效模擬出圖像位置間的長期上下文依賴信息，將不同局部特征信息連貫起來，提高語義分割能力；DAMM 模塊中的通道注意力模塊利用不同通道的相關類別特征間的關聯性進行不同類別特征強化，提升像素分類精度。DAMM 雙注意機制模塊與ASPP 模塊并聯結構圖如圖5 所示。

圖5 DAMM 雙注意機制模塊與ASPP 模塊并聯圖Fig.5 DAMM dual attention mechanism module and ASPP module in parallel diagram

4 基于線性變換理論的畸變儀表圖像的矯正

4.1 透視變換

云臺攝像機采集的圖像通過CenterNet 模型截取待檢儀表圖像。由于攝像頭采集原始儀表圖像時，相機平面和儀表表盤平面存在角度偏差，圓形表盤畸變為橢圓狀，此時的待檢儀表圖像為畸變儀表圖像。通過透視變換對畸變儀表圖像進行處理，將其修正為儀表正立圖像，可以減小讀數誤差。透視變換是原圖像平面中的向量在三維空間中經過線性變換矩陣T映射為新視平面中的向量，其變換規則如式（1）所示：

式中，（x，y）為待檢儀表圖像上的坐標，（x′，y′）為儀表正視圖像上的坐標。待檢儀表圖像經過DeepLabv3+算法得到刻度盤和指針區域的分割圖。變換前刻度盤輪廓橢圓擬合的長短軸與橢圓的4 個頂點坐標，和變換后假想圓與坐標軸的4 個交點坐標相對應，由式（1）求出透視變換矩陣T，再結合式（2）將待檢儀表圖像上所有點都映射到儀表正視圖像上。待檢儀表圖像中刻度盤區域擬合的橢圓經過透視變換后將映射為儀表正視圖像中圓的位置。

4.2 仿射變換

經過透視變換得到的儀表正視圖像與儀表正立圖像存在旋轉角度偏差，在這種情況下，可以對儀表正視圖像做仿射變換得到儀表正立圖像。仿射變換是原圖像上的所有向量經過線性變換矩陣Q映射為儀表正立圖像上的所有向量，其變換規則如式（3）：

式（4）中，（x″，y″）是儀表正立圖像上的坐標，（x′，y′）是儀表正視圖像上的坐標。過橢圓焦點坐標在待檢儀表圖像中畫一條輔助垂線，待檢儀表圖像經過透視變換后，儀表正視圖像上的輔助線與中心垂線存在相應的角度差，再將儀表正視圖像旋轉相應的角度差得到儀表正立圖像。

5 實驗結果與分析

5.1 引入ECA-Net 的CenterNet 儀表目標檢測實驗

CenterNet 的作用是從攝像頭采集的儀表圖像中框出儀表目標的矩形框位置并裁剪出儀表圖像。本文所采用的數據集是變電站真實指針式儀表圖像數據，借助開源工具Labelme 制作數據集：在儀表圖像中框出表盤目標區域，并輸入相應儀表類別標簽（包括監測器、壓力表、油位計3 類），一共1 182 張圖片，其訓練集∶驗證集∶測試集的比例為8∶1∶1，訓練集制作完成后將圖像和標簽輸入CenterNet 網絡中進行訓練，epoch參數設置為100，前50 個epoch 凍結ECA-Net50 的Resnet50 預訓練權重，后50 個epoch 不凍結backbone 主干網絡，網絡全局參數都可以進行微調。學習率的調整采用自適應衰減方法，優化器采用傳統的Adam 優化器。在訓練完成后，需要對引入ECA-Net 注意力機制的CenterNet 進行儀表盤定位測試。圖6 展示了改進的CenterNet 對變電站不同時刻采集到的指針式儀表圖像的表盤定位結果。從測試結果中可以發現，云臺攝像機在不同時刻、不同角度、不同距離下采集到的變電站儀表圖像，改進的CenterNet 均能以高置信度檢測出表盤區域，并識別出表盤的類別結果，說明加入ECA-Net 注意力機制的CenterNet 模型訓練效果理想。

圖6 儀表表盤區域檢測結果Fig.6 Instrument dial area test results

將本文改進的CenterNet 模型與原始Resnet50-CenterNet 模型進行對比實驗分析，各類評價指標的AP值、mAP、FPS 和Model size 的對比結果如表1 所示。

表1 改進的CenterNet 模型與原始Resnet50-CenterNet 模型的對比結果Tab.1 Comparison results between the improved CenterNet model and the original Resnet50-CenterNet model

從表1 中可以看出，與傳統殘差結構ResNet50 相比，本文使用ECA-Net50 主干網絡，對模型參數量的增加很少。對比原始Resnet50-CenterNet 模型，采用本文改進的CenterNet 模型，可使監測器的AP 值增加13%，油位計的AP 值增加7%，壓力表的AP 值增加2.23%，mAP 值提高7.51%。

5.2 引入DAMM 的DeepLabv3+儀表目標分割實驗

DeepLabv3+算法的作用是分割出儀表的刻度盤區域和指針區域，其輸入是經過CenterNet 目標檢測算法截取的儀表圖像（RGB 格式），輸出是帶有像素類別標簽的，與輸入圖像大小一致的分割圖。訓練集的制作同樣用到Labelme 標注工具，制作方式為將儀表表盤區域分為3 大類（背景，刻度盤，指針），背景用像素值（0，0，0）表示，刻度盤用像素值（255，0，0）表示，指針用像素值（0，255，0）表示。訓練集的原圖與標簽圖保持命名一致，圖7 展示了訓練集部分樣本圖。

圖7 訓練集部分樣本圖Fig.7 Sample diagram of the training set part

本文所采集的變電站指針式儀表圖像中，原始壓力表圖像僅有213 張，故對原始圖像和標簽圖進行對應的數據增強操作。數據增強操作包括：±30°旋轉、色彩抖動、噪聲擾動等。經過數據增強后的訓練集達到600 張左右。采用遷移學習進行訓練，加載DeepLabv3+在PASCAL_VOC 數據集上預訓練好的權重。損失函數在Cross-entropy 交叉熵損失函數的基礎上加上Dice 損失函數。訓練完成后，需要對DeepLabv3+網絡的訓練效果進行測試。圖8 展示了DeepLabv3+分割儀表刻度盤和指針的測試結果。

圖8 測試結果Fig.8 Test results

從圖8 的測試結果中可以發現，當采集的指針式壓力表圖片分辨率較高時，原始模型基本上能夠準確分割出刻度盤和指針區域，但是發現刻度盤邊緣分割存在瑕疵點、指針邊緣不平滑以及存在微小噪聲點的問題，而引入注意力機制的本文模型基本上沒有存在很明顯的噪聲點，分割的刻度盤、指針邊緣較平滑，且刻度盤中間不會出現斷層現象，說明引入注意力機制的本文所提模型能夠加強對刻度盤、指針輪廓邊緣像素點的特征學習，提高對刻度盤以及指針邊緣分割的效果。

5.3 畸變儀表圖像矯正實驗

在變電站場景中，巡檢機器人云臺上的攝像頭位置比較低，而指針式儀表的安裝位置比較高，攝像頭在采集儀表圖像時呈仰角狀態，導致采集的圓形儀表圖像的表盤畸變為橢圓。為了減少這種畸變橢圓所帶來的指針區域直線擬合的角度誤差，需要對畸變儀表圖像進行透視變換和仿射變換來獲取儀表正立圖像?；儍x表圖像透視變換、仿射變換的結果如圖9 所示。

圖9 畸變儀表圖像及線性變換結果Fig.9 Distortion gauge images and Linear transformation results

同時，對分割刻度盤、指針的二值圖像也做相應的透視變換和仿射變換來獲取最終的指針輪廓擬合直線的傾斜角。分割二值圖像的透視變換、仿射變換的結果圖如圖10 所示。

圖10 分割二值圖像及線性變換結果Fig.10 Split binary image and linear transformation results

5.4 儀表讀數自動識別實驗

儀表原始圖像經過CenterNet 目標檢測算法后會得到儀表的類別信息，進而確定了儀表的量程。然后根據儀表正立圖像中指針區域直線擬合的傾斜角，由角度法計算指針式儀表的讀數值。角度法的計算公式如式（5）所示：

式中，Lmax表示儀表的最大量程，Lmin表示儀表的最小量程，θmax表示儀表的最大量程對應的角度，θmin表示儀表的最小量程對應的角度，θ表示指針的傾斜角，R表示儀表的讀數值。部分儀表圖像矯正前和矯正后的讀數結果如圖11 所示。表2 統計了部分樣本矯正前與矯正后的讀數值與真實值大小。

由圖11 和表2 可知，矯正前儀表讀數預測值和儀表真實值之間的標稱誤差為6.0%，平均誤差為4.2%，矯正后儀表讀數預測值和儀表真實值之間的標稱誤差為2.0%，平均誤差為1.3%。實驗結果證明，矯正畸變儀表圖像能夠提高儀表讀數值識別的精度。

表2 部分儀表圖像矯正前與矯正后的讀數結果與真實值對照表Tab.2 Comparison table between the numerical results and the real values of some instrument images before and after correction

圖11 部分儀表圖像矯正前和矯正后的讀數識別結果Fig.11 The identification results of some instrument images before and after correction

6 結論

本文針對指針式儀表讀數識別時存在檢測精度低、讀數誤差大的問題。在儀表檢測階段，與傳統殘差結構ResNet50 相比，本文使用ECA-Net50 主干網絡，對模型參數量的增加很少。對比原始模型，本文改進的CenterNet 模型使得監測器的AP 值增加13%，油位計的AP 值增加7%，壓力表的AP 值增加2.23%，且整體mAP 提高了7.51%。在分割模型上增加DAMM 雙注意力機制，DAMM 雙注意力機制緩解了Deep－Labv3+收斂速度慢的情況，以及有效地去除了表盤目標分割的空洞現象，顯著提高了刻度盤閉合區域輪廓擬合的精度；在儀表讀數識別階段，矯正前儀表讀數預測值和儀表真實值之間的標稱誤差為6.0%，平均誤差為4.2%，矯正后儀表讀數預測值和儀表真實值之間的標稱誤差為2.0%，平均誤差為1.3%。

所提方法有效提高了變電站巡檢機器人對指針式圓形儀表的檢測精度，同時也減小了儀表讀數值與真實值之間的誤差。但在現實場景中，如果指針式儀表的指針非常細或者存在指針遮擋現象，指針分割的精度會受到影響。未來要進一步對細指針和指針遮擋的儀表識別算法進行優化，提升復雜環境下算法的泛化能力。