基于動作捕捉與深度學習的跳躍荷載重構方法

王浩祺,于秉仟,陳 雋

(同濟大學 土木工程學院,上海 200092)

伴隨著我國城鎮化國家戰略的持續推進,大量人口正在或即將涌入城市。城鎮居民對城市基礎設施不斷提高的功能需求推動了大型公共建筑向更長、更輕、更柔的趨勢發展。由于這類結構通常采取較為輕盈的結構設計,具有阻尼小、基頻低的特點,在承受人致動力荷載時更容易產生振動,導致“振動舒適度”問題[1]。在典型的人致荷載類型中,跳躍對結構產生的沖擊作用最大,引起的后果通常也更為嚴重[2]。例如,瑞典某體育館在觀眾進行有節奏的跳躍作用下產生了嚴重的基礎破壞[3]。韓國一座高層建筑因17個成年人的節奏性健身產生了大幅振動,造成1 500億韓元的經濟損失[4]。2018年,我國南京某體育館樓板由于觀眾的集體跳動產生了劇烈振動,致使演唱會開始20 min后即提前終止,引起輿論的廣泛關注。這些典型事例表明,跳躍荷載引起的人致振動問題會造成嚴重的經濟損失和惡劣的社會影響。

目前針對跳躍荷載的研究工作主要依賴于人致荷載動力測試。在研究的最初階段,研究者首先采用測力板方法對人致荷載進行測量[5],隨后又引入了廣泛應用于體育運動學的測力鞋墊技術[6-7],突破了測力板在空間上的尺寸限制。隨著研究的不斷進展,人們認識到單人運動對結構的影響通常十分有限,結構的振動舒適度問題常由多人協同運動產生,而受設備或場地條件所限,以測力板為代表的單人荷載測試方法難以應用于廣泛的人群荷載試驗[8]。另一方面,以視覺技術為代表的間接測量技術提供了一種新的思路。Fujino等[9]通過分析一次約有2 000名行人涌上橋面的錄像發現人步行時中心軌跡呈“之”字型,這是文獻中可見的在土木工程領域最早采用視頻方式進行人體運動分析的報道。Caprioli等[10]利用攝像機拍攝人體運動視頻,并基于粒子圖像測速法(particle image velocimetry,PIV)分析視頻,成功提取了人體運動軌跡。Mazzoleni等[11]采用數字圖像關聯法(digital image correlation,DIC)獲得了人體運動時身體各部位的加速度。Celik等[12]用光流法捕捉到人體運動軌跡。然而,上述方法在反算人致荷載時均采用了簡單的單剛體人體模型,其重構的動力荷載在高頻階段均不夠精確。

深度學習技術是一種通過對大量實測數據的訓練來構建物理量之間聯系的方法[13],經過訓練后的深度神經網絡可以有效表達物理量之間復雜的非線性關系。其中,卷積神經網絡最早作為一種用于圖像識別的方法被提出[14],這種方法可以視為一個溝通了輸入與輸出之間關系的高維非線性函數,其訓練過程則為卷積核及權重優化的過程,適宜用于表達難以解析描述而實際存在關聯的映射關系。這為解決人致荷載的機器視覺研究提供了新思路。

與地震動、風、車輛等動力荷載不同,人致荷載涉及“人”的參與,因此,研究必然涉及土木工程與醫學和運動生物力學等領域的交叉。由于人致荷載是人體運動的結果,因此,研究人致荷載需要從人體運動著手。據此,基于醫學領域的三維動作捕捉系統試驗,同步實測人體單次跳躍的運動軌跡和地反力曲線,在9 985條記錄基礎上,研究單次跳躍地反力曲線的控制參數,進一步建立人體運動軌跡與跳躍荷載關鍵參數的卷積神經網絡模型,最終將人體特征點軌跡轉換為地反力。

1 跳躍荷載測試

1.1 試驗介紹

大量的實測數據是進行深度神經網絡訓練與預測的基礎。為此,開展了跳躍荷載動力特性試驗以獲得配對的軌跡與地反力數據。試驗共招募了27名志愿者進行了跳躍測試,測試者的基本信息如表1所示。每位測試者按照1.50 Hz、2.00 Hz、2.67 Hz、3.50 Hz等四個固定頻率和一次自選頻率各完成一次30 s左右的跳躍。在跳躍過程中,利用采樣頻率為1 000 Hz的AMTI OR6-7型號高精度測力板記錄跳躍引起的地反力,在人體上39個特征部位粘貼了反光標記物(具體位置見表2),其軌跡可由設立在周圍的紅外攝像機捕捉。該相機的采樣頻率為200 Hz,空間定位精度為0.1 mm。攝像頭、測力板位置及實驗室整體環境,如圖1所示。

圖1 試驗場景示意圖

表1 測試者年齡、身高、體重均值統計[15]

表2 反光標記物位置

1.2 典型數據分析

某測試者按照1.50 Hz的頻率進行跳躍時測力板記錄的地反力時程曲線及其對應的頻譜,如圖2所示。由圖2可知,跳躍荷載存在多個卓越頻率,分別為跳躍頻率及其倍頻。對于承受跳躍荷載的工程結構,當其基頻與任意一個卓越頻率接近時,均可能引發結構的類共振效應,產生振動舒適度問題。因此,合理的荷載重構方法應當能夠保證重構后的荷載各階頻率上的峰值均能夠與真實荷載的對應峰值接近。

(a) 時程曲線

圖3展示了軀干處(位于胸腔正面)和下肢膝蓋處的兩個反光標記物的軌跡(圖3(a))以及經過兩次求導后的加速度時程曲線(圖3(b))及其傅里葉幅值譜(圖3(c))。兩個位置特征點軌跡的位移曲線區別不大,但經兩次求導之后,加速度時程的區別十分明顯。位于下肢的反光標記物加速度曲線含有明顯高頻成分。進一步采用式(1)分別計算頭部、軀干、上肢、盆骨、下肢等代表點處反光標記物軌跡位移與軌跡加速度與軀干處對應物理量之間的相關系數

(1)

(a) 軌跡時程

式中:xi、yi分別代表該物理量各個元素的取值;上標“-”表示平均值。相關系數結果如圖4所示。由圖4可知,各個主要特征點的軌跡位移相關系數接近于1,表明其具有較強的相關性,但從軌跡加速度來看,越接近下肢的特征點其相關系數逐漸降低,其原因在于人體跳躍時下肢存在屈膝—直立的過程,與軀干相比增加了顯著的高頻分量(圖3(b))。因此,僅采用上身軌跡并基于單剛體模型和牛頓第二定律進行地反力預測的方法存在因忽略跳躍荷載高頻成分而導致的誤差[16]。

圖4 人體各位置運動軌跡與軀干處軌跡相關系數

2 跳躍荷載模型

2.1 跳躍荷載曲線的三參數模型

觀察圖2(a)的跳躍荷載時程曲線,發現連續的跳躍荷載可看作多個單次跳躍的組合。從測試者自騰空狀態落地這一刻起,至測試者再次進入騰空狀態為止,測試者與地面存在接觸,對地面產生作用力,在時程曲線上表現為一脈沖段。在騰空狀態,測試者與地面不產生接觸,因此測力板數據呈現一個零平臺段。一個脈沖段與一個零平臺段共同構成了一個完整的跳躍周期。

圖5是一個完整的跳躍周期示意圖。圖5中:Fmax為本跳躍周期內的地反力最大值;TP為兩次落地之間的時長;tP為脈沖段時長。將以上參數進行歸一化,可得到單次跳躍荷載的特征參數,見式(2)

圖5 單次跳躍特征參數示意圖

KP=Fmax/G,fP=1/TP,α=tP/TP

(2)

式中,KP為脈沖系數,定義為地反力最大值與體重G的比值;fP為跳躍頻率;α為接觸率[18]。

由實測的跳躍荷載曲線可以看出,通過定義脈沖系數KP、脈沖段時長tP和兩次落地之間的時長TP這三個參數,可以描述出單次跳躍曲線的主要特征。因此,研究者曾基于以上三個基本參數,提出了式(3)所示的跳躍荷載模型[17]。將三參數模型應用于擬合單次跳躍曲線的擬合效果仍示于圖5。從圖5更可以看出,三參數模型在描述跳躍荷載峰值時效果較好,但可能失去時程曲線的細部特征。

(3)

2.2 跳躍荷載曲線的多參數模型

上述三參數模型在一定程度上能夠反映跳躍荷載的基本特征(如周期、峰值等),但采用一個半正弦模型模擬單次跳躍會忽略荷載曲線的細部特征(圖5)。另一方面,有研究表明,基于標準正交基的荷載分解方法對于動力荷載具有較好的擬合效果[18-19],因此,采用傅里葉標準正交基對荷載脈沖段進行正交分解與擬合。對于跳躍荷載的脈沖段,基于傅里葉正交基的表達式如式(4)所示

(4)

式中:F(t)為跳躍荷載的反力脈沖段;N為傅里葉正交基的階數;a0、an、bn為各階傅里葉系數。其表達式由式(5)所示

(5)

研究表明,對于單步人致荷載,采用5-6階傅里葉級數即可較好地反映單步荷載曲線的特征[20]。采用6階傅里葉級數模型擬合圖5中的單步跳躍荷載曲線的效果,如圖6所示。

圖6 單次跳躍曲線多參數擬合結果(N=6)

3 三參數模型識別與重構

對于單次跳躍荷載的三個基本參數,其中的單次跳躍頻率fP、接觸率α均可由計算機視覺技術提取人體落地和騰空時刻而直接獲得,因此不作為卷積神經網絡的輸出。本章將利用卷積神經網絡訓練軌跡與脈沖系數KP之間的關系。采用的網絡結構如圖7所示。該網絡具有兩個卷積層和一個全連接層,在每個卷積層后面設置常用的Relu函數以增強網絡的非線性學習能力。輸入端為一個M行矩陣,當僅采用單個特征點的軌跡作為輸入時,M取值為1,此時輸入矩陣退化為一個一維行向量。當采用多個特征點的軌跡作為輸入時,M為采用的軌跡種類的個數。網絡的輸出端為包含了X個地反力特征參數的向量,當采用三參數模型時,X取值為1,即對應脈沖系數KP,當采用多參數模型時,X與相應的階數有關,對于6階傅里葉級數模型,X取值為13。

圖7 本文采用的卷積神經網絡結構

3.1 以軀干處特征點作為輸入

第2章所述的跳躍荷載試驗獲得了總計9 985條單次跳躍軌跡與地反力的配對數據。采用8∶2的比例將這些配對數據分為訓練集和測試集,且測試集同時作為訓練過程中的驗證集。每250次迭代后利用測試集驗證訓練效果以防止產生過擬合現象。由于驗證集的損失函數存在振蕩,因此當驗證集的損失函數超過之前損失函數的最小值5次時,即認為已經達到了較好的訓練效果并終止訓練。訓練過程中均方根誤差和損失函數隨訓練次數的變化曲線,如圖8所示。訓練過程采用了隨機梯度下降算法。

(a) 均方根誤差

訓練結束后,利用測試集對訓練出的網絡進行測試,獲得的三參數預測結果如圖9所示。由圖中結果可見,測試集均圍繞在y=x直線附近,表明網絡已經成功抓取了軌跡與特征參數的聯系。在不同的跳躍頻率下,預測值與實測值相對誤差如表3所示。由于人體在低頻跳躍時容易呈現“雙峰”的特征(見圖5),其時程曲線與高頻跳躍時相比更為復雜,因此,表3所示的脈沖系數預測值的平均誤差隨著跳躍頻率的增大呈現降低的趨勢。

圖9 單一輸入下三參數模型訓練結果

表3 單一輸入下目標值與預測值相關系數

為進一步測試訓練效果,將訓練好的網絡用于預測某一測試者連續跳躍的地反力。某一跳躍頻率為1.50 Hz的地反力實測時程和預測時程及其對應的傅里葉幅值譜,如圖10所示。由圖10可知,首階幅值預測效果較好,但對于高階分量,預測值的峰值明顯低于實測取值,其主要原因為實測時程曲線通常具有多峰特性,而三參數模型僅采用簡單的半正弦代表單次跳躍曲線,可能丟失高頻信息。

(a) 時程曲線

3.2 以軀干和下肢處軌跡作為輸入

在3.1節中,僅采用軀干處的反光標記物作為卷積神經網絡的輸入,并通過該處軌跡預測脈沖系數的取值。然而,如前所述,軀干位置的軌跡丟失了下肢處的高頻信息。為此,本節將軀干處和下肢處的軌跡共同作為卷積神經網絡的輸入。訓練過程及其它網絡參數與上一節相同。

本次網絡訓練的均方根誤差與損失函數隨迭代次數的變化,如圖11所示。與圖8對比可見,均方根誤差和損失函數均存在一定幅度的降低,表明采用兩個輸入后,網絡的訓練效果有所提升。表4所列出的是采用兩個輸入時目標值和預測值的誤差,可以看出對于各個頻率范圍,其脈沖系數預測值的平均誤差較表3所列數值均有所降低。

(a) 均方根誤差

表4 多輸入下目標值與預測值相關系數

4 多參數模型識別與重構

將卷積神經網絡方法用于單次跳躍荷載傅里葉級數模型的預測。由于上一節已經證明采用多輸入優于單一輸入,因此本章網絡的輸入端仍然采用軀干處與下肢處的運動軌跡。網絡輸出為各階傅里葉系數。對于6階傅里葉級數模型,輸出向量共包含13個元素。訓練過程如圖12所示。從圖12看出,由于輸出參數較多,網絡需要更多的迭代次數才能滿足終止訓練的要求。參數數量增多同時導致了均方根誤差和損失函數的收斂值均高于圖8和圖10中的訓練結果。

(a) 均方根誤差

由于網絡輸出參數較多,篇幅所限,僅畫出a0、a1、b1三個主要參數的目標值與預測值的對比圖,如圖13所示。由圖13可知,各個數據點仍然圍繞在y=x直線附近,表示網絡已經拾取了軌跡與傅里葉系數之間的聯系。同時,根據式(1)的定義計算了總計13個參數預測值與目標值的相關系數,并列于表5。由表中所示的相關系數取值看出,低階傅里葉系數的取值均接近1,表明預測值取得了較好的效果。當階數升高時,相關系數有所降低,這是由于高階傅里葉系數對應的是荷載曲線更為細部的特征,與人體運動軌跡之間的關系更難被網絡抓取。

(a) a0訓練結果

表5 多參數模型目標值與預測值相關系數

將訓練好的網絡同樣應用于某一測試者連續跳躍的地反力預測并考察其時域和頻域特征,其結果如圖14所示。將圖14與圖10進行對比可以看出,采用多參數模型能夠更好地描述時程曲線中的細部特征(圖10(a)與圖14(a)),而這一特征在頻域上反映為在荷載的高頻段也能夠更接近真實荷載(圖10(b)與圖14(b))。

(a) 時程曲線

4 結 論

基于醫學中的步態分析與三維動作捕捉系統進行跳躍荷載動力特性試驗,采用深度學習中的卷積神經網絡方法對人體跳躍時特征點軌跡與地反力特征參數之間的關系進行訓練,實現了從人體軌跡向地反力的轉換。結果表明,提出的方法可作為一種跳躍荷載的間接測量方法。在本文建立的方法基礎之上,結合視頻錄像和計算機視覺技術,考慮人群荷載的協同狀況,即可用于大規模荷載數據庫的建立以及實際結構服役荷載監測。

本研究的結論主要包括:

(1) 人體運動軌跡與地反力特征參數之間存在著高維度非線性映射關系,這一關系可由卷積神經網絡獲取。

(2) 采用多個特征點作為輸入有助于提升訓練與預測效果;對于低頻跳躍,由于荷載曲線的多峰特征,地反力參數的預測誤差隨跳躍頻率的升高而降低,從約7%降低至約3%。

(3) 在對三參數模型的預測中,采用單一輸入時的預測結果的平均相關系數約為0.9,而當采用多個輸入時,相關系數可提升至0.95以上,說明了下肢軌跡在荷載重構中的作用。

(4) 對于多參數的傅里葉級數模型,低階系數于人體運動軌跡具有更高的相關性。

(5) 從頻域上看,對于5 Hz以上的頻域分量,采用三參數模型的擬合結果具有明顯誤差,而高階傅里葉模型的預測結果在時域和頻域均更為貼近真實荷載。