基于CenterNet的跑步姿態鑒別系統的設計

周萬珍 袁志鑫 王建霞

摘?要：

為了改善目前大眾跑步姿勢普遍不規范的現狀，提出了一種基于CenterNet的跑步姿態鑒別系統。首先，通過截圖、拍照的方式自制數據集，并對數據集進行清洗、標注和分析，消除數據無關信息與簡化數據。其次，引入多尺度通道注意力機制與添加十字星變形卷積2種方式改進CenterNet算法模型，將動作圖像轉化為數字信息和特征向量，并以此為基礎，利用KNN（K-nearest neighbors）算法對跑步姿態類型進行分類。最后，與經典模型方案進行對比，驗證改進CenterNet算法鑒別系統的有效性。結果表明：改進的CenterNet模型的精確率與召回率都有所提升，其參數量與計算量降低。所提算法模型能夠對大多數不良姿勢作出及時、準確反饋，有效幫助跑步愛好者發現問題，從而改善跑步姿態、提高運動效率、預防傷病。

關鍵詞：

計算機圖像處理；人體行為識別；跑步姿態；CenterNet；人體關節；注意力機制

中圖分類號：TP391??文獻標識碼：A

DOI： 10.7535/hbgykj.2024yx01002

Design of running posture identification system based on CenterNet

ZHOU Wanzhen， YUAN Zhixin， WANG Jianxia

（School of Information Science and Engineering，Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China）

Abstract：

Inorder to improve the current situation that the public running posture is generally not standardized， this paper proposed a running posture identification system based on CenterNet. Firstly， a dataset was created by taking screenshots and photos， and was cleaned， annotated， and analyzed the dataset to eliminate data-independent information and simplify the data. Secondly， the CenterNet algorithm model was improved by introducing multi-scale channel attention mechanism and adding cross star deformation convolution to transform the action image into digital information and feature vector. Then， KNN （K-nearest neighbors） algorithm was used to classify the running posture types. Finally， compared with the classical model scheme， the effectiveness of the improved CenterNet algorithm identification system was verified. The experimental results show that the accuracy and recall rates of the improved CenterNet model are improved， and the parameter quantity and calculation amounts are reduced. It can provide timely and accurate feedback on most bad postures， and can also effectively help running enthusiasts find problems， thereby improving running posture， improving exercise efficiency， and preventing injuries.

Keywords：

computer image processing; human behavior recognition; running posture; CenterNet; human joints; attention mechanism

跑步作為目前最普遍的鍛煉方式之一，優點是簡單易行、無需器械，但是如果跑步姿態不正確，不僅會影響到鍛煉的效果，甚至會對身體健康造成傷害。研究表明，有近一半的跑步愛好者會遭遇運動損傷[1]，良好的跑步姿態一定是運動過程中最需要注意的，然而依靠人工鑒別的方式，不僅需要完備的相關專業知識，而且費時費力，對于跑步愛好者并不是最優選擇。

將人體行為識別（human action recognition，HAR）[2]技術應用到跑步姿態的識別中，其行為識別的主要目標是在輸入的包含一個或者多個行為的視頻中，正確分析各種行為動作[3]。HAR技術在視頻監控、人機交互及虛擬現實等方面都有所應用[4]。

計算機技術與體育運動的結合正在逐步發展。YANG等[5]基于卷積神經網絡識別健身動作，YU等[6]基于RFPose-OT算法從射頻信號中進行人體姿態估計。以上研究表明了兩者結合的可行性與適配性。

常用的人體行為識別技術算法有CenterNet[7]、YOLO[8]、OpenPose[9]等。然而計算機技術在跑步姿態方面的應用很少。顧蒙蒙[10]基于kinovea軟件建立的跑步姿態監測系統，僅對應跑步機情景，并且只檢測手臂部分，存在局限性，無法適用更加普遍的跑步情境與跑步姿態。

動作捕捉傳感器[11]是一種可用于運動識別的技術，但是其設備成本較高，且佩戴后影響運動體驗感。

為了解決以上問題，本文設計一種基于CenterNet的跑步姿態鑒別系統，基于CenterNet模型，并且在模型基礎上添加金字塔切分注意力模塊（pyramid split attention，PSA）[12]與十字星變形卷積（cross-star deformable convolution）模塊[13]；使用KNN（K-nearest neighbors）算法作為動作分類器；自建跑步姿態數據集，將錯誤姿態分類，訓練模型。

目的在于幫助跑步愛好者發現不良姿態，從而改善跑姿，相比其他方式無需私人教練，更加方便快捷；無需昂貴裝備，性價比更高；無需相關知識儲備，使用門檻更低。

1?跑步姿態鑒別系統

跑步姿態鑒別系統的工作流程如圖1所示。首先，輸入視頻圖像文件，對圖像進行預處理，例如灰度化、幾何變換等方式，目的是消除無關信息，簡化數據[14]；其次，利用姿態估計模型對其進行特征提取，檢測目標，識別出人體關節點；最后，在提取出跑步姿態的動作特征之后，使用動作分類器進行判斷、歸類動作類型（即動作是否存在錯誤），然后輸出當前的跑步姿態。

2?人體關節點檢測

2.1?人體關節點

把跑步過程中復雜的人體模型簡化，標記人體關節為關鍵點[14]。由FUJIYOSHI等[15]創造出的經典五關節星形圖，將人體五關節標記為矢量，從骨架化線索中獲取動作。應用卷積神經網絡，將人體關節點方式與深度學習方法進行有效結合，獲得了高效高精度的識別效果[16]，便于觀察關節角度、運動軌跡及相對位置，從而推斷出動作類型[17]。

2.2?特征提取

特征提取的目的是將抽象的圖像信息轉化為可視化的數字信息表示，通過將人體關鍵節點轉換為特征向量，獲取這些關鍵節點的相對位置以及方向信息[18]。

使用CenterNet模型進行特征提取。CenterNet具有3種骨干網絡，分別是ResNet、DLA（deep layer aggregation）和Hourglass[19]。其中Hourglass繼承于CornerNet模型[20]，是一種嵌套遞歸網絡結構，常用于人體姿態估計。最基礎的一階Hourglass模塊如圖2所示。

二階Hourglass模塊將最中間的residual module（殘差模塊）替換為一階Hourglass模塊，以此遞歸，此處使用的是四階Hourglass模塊，如圖3所示。虛線部分為一階Hourglass模塊。如圖3所示，左邊是連續的下采樣，所以從左到中間，維度增加，特征圖變小，而右邊是連續的上采樣，從中間到右，維度減少，特征圖變大，其結構形似沙漏，所以被稱為沙漏網絡。多個沙漏網絡堆疊在一起被稱為Stacked Hourglass（堆疊沙漏）。

3?CenterNet模型改進

3.1?金字塔切分注意力模塊

已有研究表明，引入通道注意力機制可以有效提升卷積神經網絡的性能[21]?；贑enterNet目標檢測算法引入多尺度通道注意力機制，即金字塔切分注意力模塊（PSA 模塊），用PSA模塊替換了殘差模塊中3×3卷積操作[12]，如圖4所示。

PSA模塊是在通道注意力的基礎上進行改進，加入多尺度思想，處理多尺度輸入特征圖的空間信息，并且能夠有效建立多尺度通道注意力之間的長期依賴關系。PSA模塊如圖5所示。

PSA模塊主要通過以下4個步驟實現。

1）由SPC模塊切分通道為若干份，分別進行不同卷積核卷積，然后針對不同特征圖的空間信息進行多尺度特征提取。

2）利用SEWeight模塊提取不同尺度特征圖的通道注意力，得到不同尺度特征圖上的通道注意力權重。

3）將各個通道注意力權重拼接，進行Softmax歸一化，對多尺度通道注意力權重進行特征重新標定，得到新的多尺度通道交互之后的注意力權重。

4）與SEWeight模塊類似，對重新校準的權重和相應的特征圖按元素進行點乘操作，輸出得到一個多尺度特征信息注意力加權之后的特征圖，該特征圖多尺度信息表示能力更豐富。

3.2?十字星變形卷積模塊

十字星變形卷積是一種針對角點預測的變形卷積，能夠增強角點位置的特征，借此確定目標位置。十字星變形卷積模塊如圖6所示。

在CenterNet中輸入一張圖片，首先使用Hourglass網絡提取特征圖，特征圖經過角點池化，輸出角點熱圖，然后找到目標的左上角和右下角，由此確定目標位置，得到目標的邊界框。因為經過角點池化后，目標信息會在水平方向和垂直方向上傳遞，所以輸出的特征圖會呈現十字星現象，十字星的邊界包含著豐富的上下文信息，掌握這些信息可以更加準確地定位目標位置。

對于左上角點而言，目標的位置一定位于十字星坐標的第4象限，所以十字星的右下部分信息是有效的。而左上部分邊界特征所蘊含的信息則是相對無用的，如圖7所示。而對于右下角點則反之。所以通過引入偏移引導（guiding shift）向目標中心點偏移，可以更加高效地獲取目標信息，經過3個卷積層得到最終偏移值（offset field），從而確定角點位置，有利于捕捉目標。

3.3?動作分類器

3.3.1?KNN算法

KNN算法是一種分類算法。在特定空間中，如果一個樣本與數據集中的k個樣本最相似， k個樣本中的大多數屬于某一個類別， 則該樣本屬于這個類別。距離越近，就越相似，屬于這一類的可能性就越大。

由于跑步是一個循環動作，并且錯誤動作之間的相似度很高，所以即使在數據集較少的情況下依然可以保持一定的準確率，在一定程度上規避了KNN計算復雜度較高的問題。

KNN模型通過計算輸入圖像的特征向量與已經訓練樣本的特征向量之間的歐氏距離，可以得到輸入圖像與訓練樣本的相似度，進一步可以得到此次動作分類的置信度：與輸入圖像相似度最高的k個訓練樣本中，有a個樣本屬于stride（跨步），則輸入圖像被分類為stride（跨步）的置信度（confidence）為

confidence（stride）=ak。（1）

置信度代表了此次分類輸出結果的可信程度，其中k是分類器設置的最鄰近數量。

3.3.2?基本跑步姿態

主要針對的是長跑與慢跑狀態下的跑步姿態，相比于短跑與沖刺的姿態有所區別，良好姿勢能夠幫助跑步者在跑步過程中在減少傷病風險、關節壓力的同時，提升跑步者整體姿態的流暢性[22]。

1）頭部正常抬起，平視前方，頸部不要前探。擺臂是以肩為軸的前后動作，不應左右擺動，前后動作幅度不超過身體正中線，肘關節角度約為90°。

2）肩部適當放松，避免含胸。腰部自然直立，不要俯身、彎腰或者后仰。

3）大腿和膝做前擺，而非刻意上抬，支撐腳應落在靠近身體重心垂線的位置。

4?模型實驗與結果分析

4.1?實驗環境

實驗環境配置如表1所示。實驗基于改進的CenterNet模型由Python語言實現。

4.2制作數據集

1）圖像獲取?目前并沒有專門面向跑步姿態的公開數據集，實驗所用數據集是實驗人員模擬跑步時可能會出現的錯誤姿態，錄制視頻、提取圖片而得。

2）數據清洗?減少重復圖像，避免無意義的重復造成數據冗余；去除錯誤或異常圖像，提高數據集的質量。

3）數據標注?將錯誤動作主要分類為高抬腿（high knee lift）、過度擺臂（overswing arm）、未擺臂（unswung arm）、步點超前（stride）、身體傾斜（forward leaning）5種不良姿態。

4）圖像灰度化?將彩色圖像轉化為灰度圖像，使得圖像一個像素點的顏色變化范圍大幅縮小，從而降低圖片信息含量、簡化矩陣、提高運算速度。

5）圖像歸一化?將不同標準的圖像變換為一種固定標準形式，將特征值大小調整到相近的范圍，可以增強訓練網絡的收斂性、加快訓練速度。

4.3?改進實驗與結果分析

在目標檢測時會出現以下4種情況：正類預測為正類、正類預測為負類；負類預測為正類、負類預測為負類。精確率（precision，P）是指在被所有預測為正樣本中實際為正樣本的概率，而召回率（recall，R）是指正確預測為正類樣本的數目占樣本中所有正類的數量。兩者的計算公式如式（2）、式（3）所示。

P=TPTP+FP，（2）

R=TPTP+FN，（3）

式中：TP表示正類樣本被模型正確識別的數量；FP表示負類樣本被模型錯誤地識別為正類樣本的數量；FN表示正類樣本被模型錯誤地識別為負類樣本的數量。

分別針對CenterNet模型、加入PSA模塊的模型、加入十字星變形卷積的模型以及改進的CenterNet模型進行精確率測試實驗，結果如表2所示。

由表2可知，加入PSA模塊與十字星形卷積，提高了模型的精確率。其平均精確率（AP）在改進后較原始模型算法均有所提升。

目標檢測過程中會遺漏部分目標樣本，在CenterNet模型中加入十字星變形卷積，增強角點特征，提升平均召回率AR。實驗結果如表3所示。在檢測數量分別為1、10、100情況下，改進的CenterNet較CenterNet的AR分別提升了1.1個百分點、2.1個百分點和0.6個百分點。

改進的CenterNet模型參數量與計算量如表4所示。與CenterNet模型相比，改進的CenterNet模型參數量下降了約8%，計算量下降了的9%，節省了一定資源。

如表5所示，改進的CenterNet模型對比雙階段經典算法Faster-RCNN以及YOLO系列的YOLOv5都有著一定優勢。

4.4?模型訓練與結果分析

將數據集分為訓練集、驗證集和測試集，比例大約為8∶1∶1；圖片大小一致，均為544 px×960 px；批次大小為32張，表示單次傳遞給程序用以訓練的數據（樣本數）；訓練輪數即迭代次數，值為100；初始學習率為0.001。將數據集輸入改進后的網絡模型中開始訓練。每次訓練網絡模型都會計算此次的AP值，與之前比較，最終得出最好的訓練模型結果。模型訓練參數設置，如表6所示。

4.5?跑步姿態識別測試實驗與結果分析

模型訓練完成之后，選用訓練效果最好的模型進行實驗，輸入圖片或者視頻資料，查看識別結果。

跑步姿態識別測試的截圖如圖8所示。

由圖8可知，最終的輸出結果會標記出人物在跑步姿態中出現的一些錯誤姿勢，目前可以檢測5種不良姿態，分別為高抬腿、過度擺臂、未擺臂、步點超前、身體傾斜。

1）高抬腿?大腿抬起過高，會消耗不必要的體力，同時還會影響身體重心穩定。建議大腿自然前擺，與軀干夾角約為135°。

2）過度擺臂?手臂前后擺動幅度過大，增加體力消耗，影響身體重心穩定。建議前后擺動幅度不超過身體軀干。

3）未擺臂?跑動時需要手臂配合腳步擺動，更加協調。建議以肩為軸，大臂與小臂夾角約為90°，前后擺動，不可左右擺動。

4）步點超前?腳步落點超過身體重心太多，會導致膝關節壓力過大，不利于身體健康。建議步點落在身體重心正下方。

5）身體傾斜?身體前趴或后仰，容易失去重心而摔倒。建議軀干微微向前傾，既能在跑動中保持平衡，又能節省體能。

通過鑒別圖像，可以幫助跑步者了解自身跑步姿勢，遠離錯誤動作。

5?結?語

本文將人體行為識別技術與跑步運動相結合，通過檢測標記人體關節點識別跑步姿態，鑒別錯誤姿態類型，來幫助人們解決日常跑步中可能存在的一些姿態問題。通過模型改進實驗以及識別測試實驗得出以下結論。

1） 通過模型對比實驗證明，改進后的CenterNet算法模型性能有所提升，并且相較于雙階段經典算法Faster-RCNN模型以及YOLOv5模型都有著一定優勢。

2） 改進后的CenterNet算法模型的召回率與精確率分別達到了65.4%與53.1%，在實際應用中發揮一定作用，具有實用性。

基于CenterNet的跑步姿態鑒別系統，能夠切實幫助跑步愛好者更加便捷地發現自身姿態問題，并及時改進，泛用性較強。

但是，目前對于人體小關節與細節動作方面的識別精度還不夠，目標關節被遮擋情況需盡快處理，姿態矯正方面還有待完善。今后將有針對性地開展拓展研究，解決以上問題。

參考文獻/References：

[1]?JIN J.Running injuries[J].The Journal of the American Medical Association，2014，312（2）：202.

[2]?裴利沈，劉少博，趙雪專.人體行為識別研究綜述[J].計算機科學與探索，2022，16（2）：305-322.

PEI Lishen，LIU Shaobo，ZHAO Xuezhuan.Review of human behavior recognition research[J].Journal of Frontiers of Computer Science & Technology，2022，16（2）：305-322.

[3]?彭月，甘臣權，張祖凡.人類動作識別的特征提取方法綜述[J].計算機應用與軟件，2022，39（8）：1-14.

PENG Yue，GAN Chenquan，ZHANG Zufan.A survey of feature extraction methods in human action recognition[J].Computer Applications and Software，2022，39（8）：1-14.

[4]?MABROUK A B，ZAGROUBA E.Abnormal behavior recognition for intelligent video surveillance systems：A review[J].Expert Systems With Applications，2018，91：480-491.

[5]?YANG Lei，LI Yingxiang，ZENG Degui，et al.Human exercise posture analysis based on pose estimation[C]//2021 IEEE 5th Advanced Information Technology，Electronic and Automation Control Conference （IAEAC）.Chongqing：IEEE，2021：1715-1719.

[6]?YU Cong，ZHANG Dongheng，WU Zhi，et al.RFPose-OT：RF-based 3D human pose estimation via optimal transport theory[J].Frontiers of Information Technology Electronic Engineering，2023，24（10）：1445-1457.

[7]?ZHOU Xingyi，WANG Dequan，KRHENBHL P.Objects as Points[EB/OL].（2019-04-16）.https：//arxiv.org/abs/1904.07850.

[8]?ZHU Xingkui，LYU Shuchang，WANG Xu，et al.TPH-YOLOv5：Improved yolov5 based on transformer prediction head for object detection on drone-captured scenarios[C]//2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）.Montreal：IEEE，2021：2778-2788.

[9]?CAO Z，HIDALGO G，SIMON T，et al.OpenPose：Realtime multi-person 2D pose estimation using part affinity fields[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（1）：172-186.

[10]顧蒙蒙.基于KNN算法的跑步姿態監測與識別[D].上海：東華大學，2017.

GU Mengmeng.Running Posture Monitoring and Recognition Based on KNN Algorithm[D].Shanghai：Donghua University，2017.

[11]李曉丹，肖明，曾莉.人體動作捕捉技術綜述以及一種新的動作捕捉方案陳述[J].中國西部科技，2011，10（15）：35-37.

LI Xiaodan，XIAO Ming，ZENG Li.Review on the motion capture technologies[J].Science and Technology of West China，2011，10（15）：35-37.

[12]ZHANG Hu，ZU Keke，LU Jian，et al.EPSANet：An Efficient Pyramid Squeeze Attention Block on Convolutional Neural Network[J].Computer Vision and Pattern Recognition，2021.DOI：10.48550/arXiv.2015.14447.

[13]DONG Zhiwei，LI Guoxuan，LIAO Yue，et al.CentripetalNet：Pursuing high-quality keypoint pairs for object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：10516-10525.

[14]李志晗，劉銀華，謝銳康，等.基于關節點運動估計的人體行為識別[J].電子測量技術，2022，45（24）：153-160.

LI Zhihan，LIU Yinhua，XIE Ruikang，et al.Human action reco-gnition based on joint motion estimation[J].Electronic Measurement Technology，2022，45（24）：153-160.

[15]FUJIYOSHI H，LIPTON A J.Real-time human motion analysis by image skeletonization[C]//Proceedings Fourth IEEE Workshop on Applications of Computer Vision.WACV′98（Cat.No.98EX201）.Princeton：IEEE，1998：15-21.

[16]鄧淼磊，高振東，李磊，等.基于深度學習的人體行為識別綜述[J].計算機工程與應用，2022，58（13）：14-26.

DENG Miaolei，GAO Zhendong，LI Lei，et al.Overview of human behavior recognition based on deep learning[J].Computer Engineering and Applications，2022，58（13）：14-26.

[17]杜美依.基于人體關鍵點檢測的體育運動視頻分析系統[D].西安：西安電子科技大學，2021.

DU Meiyi.A Sports Video Analysis System Based on Human Key Point Detection[D].Xi′an：Xidian University，2021.

[18]LAW H，DENG J.CornerNet：Detecting objects as paired keypoints[C]//European Conference on Computer Vision.Cham：Springer，2018：765-781.

[19]GUYON I，NIKRAVESH M，GUNN S，et al.Feature Extraction：Foundations and Applications[M].Berlin：Springer，2006.

[20]NEWELL A，YANG K Y，DENG J.Stacked Hourglass Networks for Human Pose Estimation[J].Computer Vision and Pattern Recognition，2016.DOI：10.48550/arXiv.1603.06937.

[21]張宸嘉，朱磊，俞璐.卷積神經網絡中的注意力機制綜述[J].計算機工程與應用，2021，57（20）：64-72.

ZHANG Chenjia，ZHU Lei，YU Lu.Review of attention mechanism in convolutional neural networks[J].Computer Enginee-ring and Applications，2021，57（20）：64-72.

[22]孫勝男.正確的跑步姿勢[J].田徑，2016（11）：25.

收稿日期：2023-08-21;修回日期：2023-10-23；責任編輯：王淑霞

基金項目：河北省自然科學基金（F2018208116）

第一作者簡介：

周萬珍（1966—），男，河北張家口人，教授，博士，主要從事數據挖掘和人工智能方面的研究。

通信作者：

王建霞教授。E-mail： 1084473634@qq.com

周萬珍，袁志鑫，王建霞.基于CenterNet的跑步姿態鑒別系統的設計［J］.河北工業科技，2024，41（1）：10-16.

ZHOU Wanzhen， YUAN Zhixin， WANG Jianxia. Design of running posture identification system based on CenterNet［J］. Hebei Journal of Industrial Science and Technology，2024，41（1）：10-16.