基于多視角圖像三維重建與點云配準的著裝間隙量表征

盧志潔 侯玨 楊陽 劉正

摘 要： 為了分析人體不同姿勢下的著裝間隙量，采用多視角圖像三維重建方法獲取凈體和著裝的三維點云，利用OpenPose人體姿態估計模型確定關節點并逆投影到三維空間，獲得凈體和著裝兩層點云粗配準的匹配點坐標；基于著裝未覆蓋的人體點云，通過最近點迭代（Iterative closest point，ICP）算法實現兩層點云的精配準，并對配準模型進行驗證，建立三維著裝模型。根據三維著裝模型計算兩層點云間的最近鄰域距離表征著裝間隙量。結果顯示：經兩步配準后，軀干著裝未覆蓋處兩層點云距離平均值和均方根誤差分別為2.859 mm和3.260 mm，胳膊區域兩層點云距離最大的平均值和均方根誤差分別為4.018 mm和4.735 mm，配準結果精準度較好。該方法可以準確地獲取不同姿勢的著裝間隙量的大小與分布，為分析著裝間隙量與運動的關系、評價舒適性、建立熱傳遞模型及評估虛擬試衣效果提供關鍵技術手段。

關鍵詞： 著裝間隙量；三維重建；點云配準；三維著裝模型；多視角圖像

中圖分類號： TS941.2

文獻標志碼： A

文章編號： 1673-3851 （2024） 03-0202-08

Characterization of clothing ease allowance based on the 3D reconstruction and point cloud registration of multi-view images

Abstract： ?To analyze the amount of clothing ease allowance under different postures of the human body， the three-dimensional （3D） point cloud of the nude body and clothing was obtained by 3D reconstruction based on multi-view images. Using the human pose estimation model of OpenPose， we estimated the joints and reversely projected them to the 3D space to get the coordinates of the matching points for the coarse registration of the two layers of point clouds of the nude body and clothing. We realized the accurate registration of the two layers of point clouds based on the uncovered human body point clouds by the iterative closest point （ICP） algorithm， and verified the registration model， building a 3D dressing model. Based on the model， we computed the nearest-neighbor distance between the two layers of point clouds， and defined the distance as the ease allowance. The results showed that after two-step registration， the average distance and root mean square error of the two layers of point clouds in the uncovered area of the torso were 2.859 mm and 3.260 mm， respectively， and the maximum average distance and root mean square error of the two layers of point clouds in the arm area were 4.018 mm and 4.735 mm， respectively， indicating good accuracy in registration results. This method can accurately obtain the size and distribution of clothing ease allowance for different postures and provide key technical means for analyzing the relationship between clothing ease allowance and movement， evaluating comfort， establishing heat transfer models， and evaluating virtual fitting effects.

Key words： clothing ease allowance; 3D reconstruction; point cloud registration; 3D dressing model; multi-view images

0 引 言

著裝間隙量是著裝狀態下人皮膚表面與服裝內表面之間的空隙寬度［1］，在評估服裝合體性［2］、建立人-服裝-環境系統的熱傳遞模型［3-4］以及衡量三維虛擬試衣效果［5］等方面都有廣泛應用。目前，獲取著裝間隙量的主要方法是三維掃描測量，該方法測量的著裝間隙量精度取決于三維掃描數據質量和點云的配準。將凈體和著裝兩層點云按照真實穿著狀態對齊，即點云配準，得到三維著裝模型。若配準不佳，將導致衣下空間的位置偏移和形態改變，從而產生誤差?，F有三維掃描儀的精度能滿足計算著裝間隙量的要求，因此配準的精度是確保準確獲得著裝間隙量分布和形態的關鍵。目前，研究人員主要利用掃描假人獲取間隙量，進而研究面料、松量及款式等因素對于著裝間隙量的影響［6-7］，然而針對真人在不同姿態下的配準研究較少。對于動態著裝間隙量的獲取，需采用若干個離散的人體姿勢呈現運動狀態［8］，然而假人無法體現人體運動過程中肌肉、皮膚等體表形態的變化，若采用真人掃描實驗，人體位置變化和姿勢不穩定給點云配準帶來了極大的挑戰。

隨著計算機視覺技術發展，基于圖像的三維人體重建成為研究的熱點。潘博等［9］基于多視角圖像利用三維重建獲取服裝的點云數據并進行優化，得到表面細節清晰的服裝點云模型，可用于服裝虛擬展示；Zhao等［10］基于多視角圖像分別重建人體稀疏點云和人體稠密點云，并獲得了人體的圍度數據；Zhu等［11］通過基于視頻重建人體稠密點云，提出了使用點云增強來檢測和調整沖突點數據，生成的人體模型可用于3D打印?，F有的三維人體重建研究多集中于單個人體或服裝模型，鮮有通過配準凈體和著裝點云來模擬真實的穿衣狀態，探究衣下空間形態。

為高效獲取點云，解決基于真人建立三維著裝模型中的點云配準的問題，并準確表征著裝間隙量，本文提出了一種基于多視角圖像三維重建凈體和著裝點云，配準兩層點云模擬真實穿著狀態，進而表征著裝間隙量的方法。為了減少人對服裝的遮擋，以常見的抬臂運動［12］為例，用4個離散的抬臂姿勢代替抬臂運動，分別拍攝凈體和著裝的多視角圖像，利用三維重建獲得凈體和著裝點云；通過粗配準和精配準凈體和著裝兩層點云，構建配準模型，通過客觀指標驗證配準的精準度；去除著裝點云未被服裝覆蓋區域的點云，獲得三維著裝模型；計算兩層點云之間的最近鄰域距離，表征抬臂運動中著裝間隙量，可為分析著裝間隙量提供了一種快速可行的方法。

1 人體與服裝的三維重建實驗

1.1 圖像采集

測試對象身高為162 cm、胸圍為82 cm、腰圍為66 cm，測試服裝為白色無圖案寬松背心，衣長為60 cm，胸圍為106 cm，腰圍為92 cm，肩寬為40 cm。分別拍攝測試對象在側向抬臂45°、90°、135°和180°動作下的凈體和著裝圖像。本文采用半球式拍攝方式采集圖像，如圖1所示：手持相機以不同半徑和高度圍繞測試對象拍攝，使用相機支架增加穩定性和保持每一圈拍攝高度相同，拍攝距離由遠及近，拍攝高度由下及上；在同一高度拍攝的相鄰兩張圖片之間的角度不超過20°，保證有70%以上的重疊區域，每次拍攝保證采集到100張以上圖像。

1.2 點云數據計算

三維重建點云流程主要包括兩個過程：基于運動中恢復場景結構（Structure from motion，SFM）算法重建稀疏點云，通過多視角立體視覺（Multi-view stereo，MVS）算法重建稠密點云［13］。通過SFM算法，根據圖像特征點對多視角圖像序列進行匹配并驗證，利用對極幾何和三角測量方法重建出三維場景的稀疏點云和求解相機參數［14］。稀疏重建?? 通常是重建圖像特征點的三維坐標，對于計算著裝間隙量來說，點云的數量過少，需要進一步進行稠密重建。MVS算法的輸入為一組圖像和相應的相機參數，輸出為稠密點云。該算法通過構造與累積匹配代價完成匹配圖像對應點，計算點的深度值得到每張圖像的深度圖并優化，最后將多視角圖像的深度圖融合得到三維點云［15］。本文基于SFM算法和MVS算法計算凈體和著裝的點云數據流程如圖2所示。

2 點云數據處理

2.1 點云數據預處理

三維重建場景與世界坐標系不平行，為了方便后續處理，基于地面絕對水平的原則，利用側視圖和前視圖場景中的地板與世界坐標系軸的夾角，將場景旋轉至與世界坐標系平行。稠密點云的方向規格化示意圖見圖3，其中通過三維重建獲得的稠密點云如圖3（a）所示，旋轉后的場景如圖3（b）所示。

SFM算法在求解相機參數時未能保留真實的物理尺寸，導致重建的三維點云數據與真實值存在一個尺度因子S的差異。為了將點云恢復成真實的物理尺寸，測量場景點云中物體的大小，計算真實物體尺寸與測量值的比值并對點云進行尺度變換。本文將地板作為參照物將點云恢復成真實物理尺寸，設重建場景中地板的尺寸為L1，真實尺寸為L2，則S=L2/L1，所有點放大S倍得到與真實尺寸一致的點云。

在完成尺度變換后，對背景點云進行剔除，得到穿著緊身衣和穿著測試服裝人體的稠密點云，分別稱為凈體點云B和著裝點云G，如圖4所示。

2.2 點云配準

2.2.1 基于關節點的點云粗配準

粗配準需要在兩個待配準的點云中選擇匹配點對，在著裝和不同姿態的情況下很難在人體表面選擇能夠用于匹配的特征點，但在抬臂過程中位于人體軀干上的髖關節點和頸關節點的位置基本不會發生改變。因此，本文選擇髖關節點和頸關節點作為粗配準的匹配點，其三維坐標可通過逆投影關節點的像素坐標計算得到。

OpenPose是實時檢測單張圖像上人體面部、四肢、軀干的人體姿態估計模型［16］，本文利用OpenPose模型獲得圖像中的頸關節點和左右髖關節點的像素坐標，在已知像素坐標和相機參數的前提下，可根據相機投影原理計算關節點的三維坐標，該過程本質上是將二維平面上的離散點重新投影到三維空間中，其基本數學模型：

其中：u、v為圖像上點的像素坐標，zc為相機坐標系下點的深度方向的坐標，ax、ay為相機的像素焦距，u0、v0為主點坐標；R是旋轉矩陣，是平移向量，K為相機的內參矩陣，E為相機的外參矩陣，可以通過1.2節所述的SFM算法得到；合并K和E得到向量mT1，mT2和mT3，W=（xw，yw，zw）是點的齊次世界坐標。

式（1）描述的為理想相機成像模型，但是實際情況中的圖像畸變會導致點的位置發生失真問題，為了獲取真實的關節點的像素坐標，需要對圖像做去畸變處理?；兎譃閺较蚧兒颓邢蚧?，由徑向畸變系數k1、k2、k3和切向畸變系數p1、p2表示，通常徑向畸變較大，本文僅考慮對徑向畸變影響最大的系數k1。設點在相機坐標系中畸變后的坐標C=（xc_d， yc_d， zc_d）T，理想的坐標Cc_i=（xc_i， yc_i， zc_i）T，則畸變模型可以表示為：

根據相機成像模型求解關節點的三維坐標，以左髖關節點為例，設圖像A和圖像B的左髖關節點的像素坐標（uA_d，vA_d）和（uB_d，vB_d），三維坐標WL=（xw_l， yw_l， zw_l）；將像素坐標轉換成相機坐標系下的坐標，根據式（2）去畸變得到無畸變的相機坐標，再將其轉換為像素坐標（uA，vA）和（uB，vB），分別代入式（1），化簡得：

合并式（3）和式（4）得：

式（5）是超正定方程，需將超正定方程轉化為一個帶約束的最小二乘問題求解。將式（5）簡寫為Mw=0，求解向量w，使得w=argmin‖Mw‖2，s.t.‖w2‖=1。通過拉格朗日乘數法得：

MTMw=λw（6）

其中：λ和w分別是MTM的特征值和特征向量，且‖Mw‖2=wTMTMw，即當λ取最小值時，求得式（5）的最小二乘解。將關節點與三維重建的點云合并，并放大到真實尺寸，將其作為匹配點對點云B和G進行粗配準。

2.2.2 基于ICP算法的點云精配準

經過ICP算法計算得到變換后的著裝點云G′。去除著裝點云G′未被服裝遮蓋的胳膊、頸部等部位的點云，得到三維著裝模型，用于計算著裝間隙量。

2.3 著裝間隙量表征

著裝間隙量一般采用服裝和人體之間的距離作為表征方式。通過三維掃描獲得的點云數據比較稀疏，需要對點云進行封裝處理，得到網格模型，然后利用逆向工程軟件計算網格模型之間的距離作為著裝間隙量。而通過三維重建獲得的點云數據點云密度較大，兩個點云之間的最近鄰域距離與真實距離（即法線距離）相差較小，本文將三維著裝模型中凈體點云與服裝點云之間的最近鄰域距離定義為著裝間隙量，如圖5所示。

為計算點云B和G′之間的最近鄰域距離，通過八叉樹將點云B和G′劃分為8個子立方體，并在每個子立方體遞歸地繼續構建子八叉樹，當達到給定細分水平時停止劃分。這種結構可以快速查找特定點的子單元位置及其鄰域單元，提高計算速度。設G′s是點云G′在給定細分水平上子單元中的一個子集，包含若干個點pi，三者關系如圖6所示。Bs是G′s最鄰近單元的點云B的子集，為找到真正的最近點，對于G′s中每一個點，計算其到所有最鄰近單元Bs中包含的所有點的歐氏距離，直到最小距離小于以點pi為球心，并且完全包含該鄰域單元球體的半徑，定義此距離為最近鄰域距離［17］。即對于著裝點云中的每一個點，搜索凈體點云中最近的點并且計算兩個點之間的歐式距離，所得到的距離值即為著裝間隙量。

3 結果與分析

3.1 配準結果及誤差分析

表1是凈體和著裝狀態下關節點的三維坐標，在三維空間中的位置如圖7所示。圖8展示了凈體和著裝點云相對位置在粗配準前后的對比。通過三維圖像可以看出，在粗配準后兩個點云的相對位置存在誤差，但可以為精配準提供較好的初值。

理想情況下，左右髖關節點y坐標和z坐標應基本在同一水平線上，但左右髖關節y和z坐標的最大差異為23.008 mm；頸關節點x坐標應位于左右髖關節中心，但最大差異為29.299 mm。通過逆投影得到的關節點坐標，產生誤差是多方面導致的：SFM算法求解相機的參數與真實的參數之間存在一定的誤差；求解超正定方程的結果是最小二乘解；OpenPose模型將關節簡化為一個點，導致兩張圖像上估計的關節點指的并不是空間中的同一個三維點。

在稀疏重建的過程中已經基于尺度不變特征轉換（Scale-invariant feature transform，SIFT）算法提取了圖像中特征點的像素坐標，本文通過對比特征點與關節點的三維坐標誤差，分析誤差產生的主要原因。分別利用SFM算法和基于逆投影計算得到特征點的三維坐標并對比，結果如表2所示，3個方向的坐標差證明了相機參數和求解方程存在誤差，最大誤差為4.320 mm，遠小于關節點的誤差，說明OpenPose模型估計的關節點并不完全匹配是導致誤差的主要原因。

經過ICP算法得到的精配準結果如圖9所示，從三維圖像中可以看出，服裝在肩部有些穿透，這是因為肩部服裝緊貼人體，而且兩次拍攝時姿勢存在細微的差異，但從整體來看兩個點云基本配準，得到基本符合真實穿著狀態的三維著裝模型。

3.2 配準結果驗證

點云的配準結果可以通過主觀視覺檢查和客觀指標的方法進行評價。使用點云可視化軟件或處理點云的庫加載配準后的點云，觀察點云的配準情況，檢查是否存在明顯的偏移或未對齊的區域。將點對之間的距離作為指標來衡量配準質量，常見的方法是計算點到最近鄰點的歐氏距離，并計算其平均值（D-）或均方根誤差（RMSE）［18］，較小的誤差值表示配準結果較好。圖9為經兩步配準的結果，視覺上兩個點云在共同區域如頸部和左右胳膊區域重合，為進一步驗證配準結果，本文通過點云B和G′共同區域的點云之間距離的平均值和均方根誤差衡量兩個點云之間空間位置的差異，平均值和均方根誤差計算公式分別為：

其中：di （i=1， 2，…，N）是同一區域兩層點云之間的最近鄰域距離，N為點云的個數。

分割點云B和G′左胳膊、右胳膊和頸部的點云，分別計算3個區域點云之間距離的平均值和均方根誤差，計算結果如表3所示。

計算結果證明配準后人體和服裝空間相對位置接近真實情況。而右胳膊點云之間RMSE的和D-偏大有兩個原因：一方面，觀察點云三維圖像可發現右胳膊上方點云稀疏，得到的點云最近鄰域距離偏大；另一方面，兩次姿勢的差異同樣會導致結果偏大。

3.3 著裝間隙量計算結果與分析

根據2.3計算不同抬臂角度三維著裝模型中凈體和著裝點云的最近鄰域距離，得到著裝間隙量大小與分布結果如圖10所示。分析三維圖像可得：在運動過程中，人體的凹凸形態、服裝變形和人體尺寸隨運動發生變化是影響著裝間隙量變化的主要因素。

人體的凹凸形態是影響標準站姿下著裝間隙量分布的重要因素之一，在運動過程中也一定程度影響著裝間隙量的分布。抬臂45°時，著裝間隙量的分布主要受人體的凹凸形態影響，如圖10（a）所示。腰部后面和側面區域的著裝間隙量較大。在抬臂過程中，肩部、胸高點周圍、臀部等凸區域服裝貼體，著裝間隙量始終處于0～6 mm，這與Zhang等［19］研究結果一致。人體運動產生的服裝變形對著裝間隙量的大小和分布具有顯著影響。隨著抬臂角度的增大服裝在不同區域變形不同，整體上腰腹部的空氣逐漸向胸背部轉移，背部區域著裝間隙量明顯增加，如圖10（c）—（d）所示。抬臂90°時，服裝較平整，隨著抬臂角度增大，前胸和后背處形成大量U形褶皺，在褶皺凸起部位的著裝間隙量增大，由于人體后腰凹陷處于“U”的底部，后腰區域著裝間隙量下降幅度相對較大，由最遠離人體到逐漸貼合人體，同時肩胛骨處的著裝間隙量逐漸增大至40 mm左右；遠離肩部的服裝區域向左右兩側位移，前后的空氣逐漸向兩側轉移，導致在人體前中和后中附近區域著裝間隙量減小，而在左右兩側區域著裝間隙量增大。運動過程中變化的人體尺寸的變化對著裝間隙量有一定程度的影響。抬臂會使得人體軀干不自覺向前傾，人體前后的曲線發生變化，腰腹部肌肉和皮膚收緊，使人體前面更加貼合服裝，從圖10中可以看出，胸部以下的著裝間隙量整體變小。

4 結 論

本文提出了一種基于多視角圖像三維重建著裝和凈體點云，配準兩層點云模擬真實穿著狀態，進而獲取著裝間隙量的方法。利用SFM算法和MVS算法得到不同姿勢下人體和服裝的稠密點云，高效獲取點云數據；基于關節點將凈體和著裝點云進行粗配準，基于著裝未覆蓋區域點云利用ICP算法對兩層點云進行精配準，為準確表征間隙量提供了必要條件；采用點云之間最近鄰域距離表征間隙量，縮短計算間隙量的流程。配準結果顯示，軀干著裝未覆蓋處兩層點云距離平均值和均方根誤差分別為2.859 mm和3.260 mm，胳膊區域兩層點云距離最大的平均值和均方根誤差分別為4.018 mm和4.735 mm，表明著裝模型基本接近真實狀態，能準確表征間隙量。目前求解得到的關節點三維坐標存在誤差，后續可以采用三維關節點檢測技術直接獲得關節點三維的坐標從而減小誤差，以提高配準的效率與準確性。

參考文獻：

［1］劉正，李基拓，陸國棟，等. 著裝間隙量空間形態分布研究及其應用綜述［J］. 計算機輔助設計與圖形學學報，2012，24（10）：1294-1301.

［2］王詩潭，汪秀花，王云儀. 連體服衣下間隙特征指標的確定及其在服裝合體性評價中的應用［J］. 紡織學報，2021，42（9）：137-143.

［3］Li J， Zhang Z H， Wang Y Y. The relationship between air gap sizes and clothing heat transfer performance［J］. The Journal of the Textile Institute， 2013， 104（12）： 1327-1336.

［4］姜茸凡，王云儀.服裝衣下空氣層熱傳遞性能研究進展［J］.絲綢，2018，55（7）：41-48.

［5］Lage· A， Ancutiene· K， Pukiene· R， et al. Comparative study of real and virtual garments appearance and distance ease［J］. Materials Science， 2020， 26（2）： 233-239.

［6］Lu Y， Song G， Li J. A novel approach for fit analysis of thermal protective clothing using three-dimensional body scanning［J］. Applied ergonomics， 2014， 45（6）： 1439-1446.

［7］王云儀，張雪，李小輝，等. 基于Geomagic軟件的燃燒假人衣下空氣層特征提?。跩］. 紡織學報，2012，33（11）：102-106.

［8］Wang S T， Wang X H， Wang Y Y. Effects of clothing ease and body postures on the air gap and clothing coverage［J］. International Journal of Clothing Science and Technology， 2019， 31（4）： 578-594.

［9］潘博，鐘躍崎. 基于二維圖像的三維服裝重建［J］. 紡織學報，2020，41（4）：123-128.

［10］Zhao Y， Mo Y， Sun M Q， et al. Comparison of three-dimensional reconstruction approaches for anthropometry in apparel design［J］. The Journal of The Textile Institute， 2019， 110（11）： 1635-1643.

［11］Zhu H， Liu Y B， Fan J T， et al. Video-based outdoor human reconstruction［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2017， 27（4）： 760-770.

［12］倪軍，張昭華，王文玲，等.衣袖結構設計對上肢運動靈活性的影響［J］.東華大學學報（自然科學版），2020，46（1）：41-46.

［13］zye瘙塂il O， Voroninski V， Basri R， et al. A survey of structure from motion［J］. Acta Numerica， 2017， 26： 305-364.

［14］Schnberger J L， Frahm J M. Structure-from-motion revisited［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Las Vegas， NV，US：IEEE，2016： 4104-4113.

［15］Schnberger J L， Zheng E， Frahm J M， et al. Pixelwise view selection for unstructured multi-view stereo［C］∥ 14th European Conference on Computer Vision（ECCV）. Lecture Notes in Computer Science. Amsterdam， Netherlands： Springer， Cham， 2016： 501-518.

［16］Cao Z， Simon T， Wei S E， et al. Realtime multi-person 2D pose estimation using part affinity fields［C］∥ IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Honolulu， HI， USA：IEEE，2017： 7291-7299.

［17］Girardeau-Montaut D， Roux M， Marc R， et al. Change detection on points cloud data acquired with a ground laser scanner［J］. International Archives of Photogrammetry， Remote Sensing and Spatial Information Sciences， 2005， 36（3）： W19.

［18］Hui F， Zhu J Y， Hu P C， et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations［J］. Annals of Botany， 2018， 121（5）： 1079-1088.

［19］Zhang Z H， Ni J， Zhou Y. The effect of arm postures and garment style on local mobility and thermal insulation［J］. AATCC Journal of Research， 2022， 9（1）： 12-22.