基于特征點動態選擇的三維人臉點云模型重建

陳素雅 何宏

收稿日期：2023-06-09；修回日期：2023-08-07? 基金項目：國家科技部資助項目（G2021013008）；上海市科學技術委員會資助項目（18070503000）；上海理工大學醫工交叉重點資助項目（1020308405，1022308502）

作者簡介：陳素雅（2000—），女，安徽滁州人，碩士，CCF會員，主要研究方向為人工智能、人機交互系統；何宏（1973—），女（通信作者），四川人，教授，博導，博士，主要研究方向為醫學人工智能、人機交互系統、醫療大數據分析（hehong@usst.edu.cn）．

摘? 要：針對典型的點云配準方法中偽特征點過多導致配準效率低和配準結果不精確的問題，提出一種基于特征點動態選擇的三維人臉點云模型重建方法。該方法在粗配準階段，采用動態特征矩陣求解法獲取粗匹配特征變換矩陣以避免偽特征點的干擾。在精配準過程中，采用二次加權法向量垂直距離法在人臉流形表面選擇更有效的特征點以減少偽特征點的數量，并采用基于特征融合與局部特征一致性的迭代最近點方法進行精配準。經過對比實驗驗證了算法的可行性，實驗結果表明，該算法能夠實現高精度且快速的三維人臉點云模型重建，且均方根誤差達到1.816 5 mm，相較其他算法，其在模型重建精度和效率方面都有所提升，具有良好的應用前景。

關鍵詞：三維人臉點云模型重建； 動態特征矩陣； 二次加權法向量垂直距離； 特征融合； 局部特征一致性

中圖分類號：TP391.41??? 文獻標志碼：A

文章編號：1001-3695（2024）02-047-0629-06

doi：10.19734/j.issn.1001-3695.2023.06.0279

3D face point cloud model reconstruction based ondynamic selection of feature points

Chen Suya， He Hong

（School of Health Science & Engineering， University of Shanghai for Science & Technology， Shanghai 200093， China）

Abstract：Aiming at the problems of excessive pseudo feature points can lead to low registration and imprecise registration results in typical point cloud registration methods， this paper proposed a 3D face point cloud model reconstruction method based on dynamic selection of feature points. This method used the dynamic feature matrix solving method to obtain the coarse matching feature transformation matrix during the coarse registration phase， which avoided the interference of false feature points. In the fine registration process， it used the second-order weighted normal vector perpendicular distance method to select more effective feature points on the face manifold surface to reduce the number of false feature points. And it also used the iterative closest point method based on feature fusion and local feature consistency for fine registration. Comparative experiments verified the feasibility of the algorithm. Experimental results show that the proposed method can achieve high-precision and fast reconstruction of three-dimensional face point cloud model. And the root mean square error reaches 1.816 5 mm. Compared with other algorithms， the proposed algorithm can improve the accuracy and efficiency of model reconstruction， and has good application prospects.

Key words：3D face point cloud model reconstruction; dynamic feature matrix; quadratic weighted normal vector vertical distance; feature fusion; local feature consistency

0? 引言

三維人臉因具有良好的成像不變性質，被廣泛應用于人臉識別［1］、頭位姿估計［2］以及智能醫療輔助診斷［3］等領域。根據數據來源的不同，可以將三維人臉重建分為兩類：a）基于二維數據的三維人臉重建［4，5］，直接從二維圖像中提取人臉信息進行重建，然而這種方法往往依賴于先驗知識，存在重建結果精度低、缺乏真實感和適用范圍有限等問題；b）基于多視角RGB-D圖像的三維人臉重建，利用深度相機采集多個角度的彩色圖像和對應的深度圖像，通過提取人臉點云的關鍵信息，融合多個角度的點云來實現三維人臉點云模型的重建。這種方法在二維圖像的基礎上引入了深度信息，增加了信息維度，使得重建后的三維人臉具有更高的精度、真實感及適用范圍。目前，基于多視角RGB-D的三維人臉重建方法已成為主流方法之一。

基于多視角RGB-D的三維人臉點云模型重建主要是以不同幀下的公共區域為基礎，將不同空間、時間下獲取的各角度人臉深度信息整合到同一坐標系下。其中，最經典且應用最廣泛的是Besl等人［6］提出的迭代最近點（iterative closest point，ICP）算法，然而，該算法只適用于處理小規模的點云數據，對點云初始位置依賴性強，易陷入局部最優，并且偽特征點過多易導致配準效率低、產生誤匹配和配準結果不夠精確。針對ICP算法易陷入局部最優的問題，研究人員通過粗配準為精配準提供良好的初始位姿。針對ICP算法因偽特征點過多導致配準效率低和配準結果不夠精確的問題，研究人員通過提取對象表面的幾何特征［7～9］或紋理特征［10～12］來減少偽特征點的數量，再使用ICP算法及其變體進行點云模型重建。黃際瑋等人［7］提出基于幾何特征內部形態描述子提取特征點進行粗配準，再采用法向量夾角約束改進的ICP算法完成精配準。單麗杰等人［8］提出基于幾何特征法向量夾角提取三維空間關鍵點實現精配準。張澤鵬等人［9］提出基于快速特征點直方圖提取點云特征實現重建。針對ICP算法因偽特征點易產生誤匹配的問題，研究人員提出基于法向量夾角約束［7］、邊長比例關系約束［13］等方法剔除誤匹配點對。然而，上述方法仍存在偽特征點過多導致配準效率低和配準結果不夠精確的問題，無法實現高精度且快速的三維人臉點云模型重建。

針對上述問題，本文提出了一種基于特征點動態選擇的三維人臉點云模型重建的方法。特征點能夠更好地代表人臉曲面特征變化，其選擇的準確性直接影響三維人臉點云模型重建的精確度，大量的偽特征點會增加計算量，并導致重建后的人臉失真。因此為避免偽特征點的干擾，本文采用動態特征矩陣求解法完成粗配準，然后采用二次加權法向量垂直距離法精確地選擇人臉流形表面更有效的特征點，并基于特征融合與局部特征一致性約束的迭代最近點方法實現精配準。通過減少偽特征點的數量，降低偽特征點對配準精度和效率的影響，從而實現高精度且快速的三維人臉點云模型重建。

1? 算法整體設計

基于多視角RGB-D的三維人臉點云模型重建主要包括粗配準和精配準兩個過程。為解決現有方法中偽特征點過多導致配準效率低和配準結果不精確的問題，提出了一種基于特征點動態選擇的三維人臉點云模型重建的方法（DSFP），整體模塊如圖1所示。首先，對數據進行預處理，采用形態學操作、閾值分割和鼻尖點分割法，分割出人臉區域。接下來，采用動態特征矩陣求解法動態選擇部分人臉關鍵點，通過多次迭代獲取最優點以求解初始特征矩陣，有效避免偽特征點的干擾，實現較高精度且較快的粗配準，為精配準提供良好的初始位姿。然后，在精配準階段，提出二次加權法向量垂直距離法來精確提取人臉流形表面更有效的三維特征點，通過減少偽特征點的數量，降低偽特征點對精配準的影響，在保證配準精度的同時，提高配準效率。為了彌補三維特征點提取過程中部分特征點丟失和存在誤匹配點對的問題，采用基于特征融合與局部特征一致性的迭代最近點方法，將二維特征關鍵點和三維特征點深度融合，同時利用顏色一致性約束進行局部交叉驗證，實現高精度且快速的三維人臉點云模型重建。

2? 人臉點云粗配準

針對傳統的粗配準算法因偽特征點過多導致配準效率低和冗余計算的問題，提出了基于動態特征矩陣求解（DFMS）的人臉點云粗配準方法。DFMS能夠避免偽特征點的干擾，同時保證粗配準的精度、減少計算量、提高配準效率，為后續的ICP精配準算法提供良好的初始位置，避免其在迭代過程中陷入局部最優。

2.1? 人臉關鍵點檢測

首先，采用梯度提升決策樹算法檢測人臉二維關鍵點；然后創建一個與原始彩色圖像相同大小的掩膜mask，將人臉關鍵點對應的目標區域的像素值設置為白色，非關鍵點區域設置為黑色；接著，將原始彩色圖像與掩膜mask進行按位與操作，以提取出人臉關鍵點；最后結合對應的深度信息，將其映射到世界坐標系中。該過程如圖2所示。

設二維關鍵點集為H∈{h1，h2，…，hn}，對應的深度信息為Fdepth，生成的三維空間關鍵點集為O∈{o1，o2，…，on}。

O∈{o1，o2，…，on}=fgbdt（H;Fdepth）（1）

其中：fgbdt代表基于梯度提升決策樹算法檢測的人臉二維關鍵點結合深度信息生成的三維關鍵點?；谏疃刃畔⒂成錇槿S空間關鍵點集，其本質是坐標系的轉換，即像素坐標系轉換為世界坐標系，變換的約束條件是相機內參。

根據小孔成像原理，世界坐標系中的點［xw，yw，zw］T轉換為像素坐標系中的點［u，v］T，其變換公式如下：

zcuv1=fx0cx0fycy001RT01xwywzw1（2）

則像素坐標系中的點［u，v］T映射為世界坐標系中的點［xw，yw，zw］T。

xw = zc×（u-u0）×dxfyw =zc×（v-v0）×dyfzw=zc（3）

其中：fx、fy、cx、cy的單位為像素；（fx，fy）為相機焦距；（cx，cy）及（u0，v0）均為深度相機的光學中心。

2.2? 基于動態特征矩陣求解的人臉點云粗配準

為避免傳統的粗配準算法因人臉偽特征點過多導致配準效率低和冗余計算的問題，提出動態特征矩陣求解法求解粗配準初始變換矩陣。DFMS動態地選擇人臉關鍵點，通過對關鍵點集多次迭代得到最優點集，其中每次選擇的關鍵點數量可以不同，構造并求解動態協方差矩陣，最后選擇配準點對集最小平均絕對誤差對應的變換矩陣作為粗配準最終的輸出初始變換矩陣。

設粗配準的源點云和目標點云的關鍵點集分別為Euclid Math OnePApEuclid Math OneCAp、Euclid Math OneQApEuclid Math OneCAp，動態源點集和目標點集分別為pc、qc（pc∈Euclid Math OnePApEuclid Math OneCAp、qc∈Euclid Math OneQApEuclid Math OneCAp）。求解粗配準的輸出變換矩陣T0的步驟如下：

a）計算粗配準源關鍵點集和目標關鍵點集的質心和。

=1n∑Ni=1pci（4）

=1n∑Ni=1qci（5）

其中：pci和qci分別表示粗配準的動態源點集和目標點集中的第i點；n表示點集中點的數量。

b）計算協方差矩陣H。

H=1n∑Ni=1（pci-）T（qci-）T（6）

c）分解協方差矩陣奇異值，得到旋轉矩陣R0及平移向量t0。

H=UΣVT（7）

R0=VUT（8）

t0=-R01n∑Ni=1pci（9）

其中：U和V分別是矩陣H的左奇異向量和右奇異向量；Σ是奇異值矩陣。

d）求解初始變換矩陣T0。

T0=R0t001（10）

e）計算該變換下的平均絕對誤差E_error。

E_error=1n∑Ni=1pciT0-qci（11）

循環上述步驟，直至達到循環次數閾值停止迭代，選擇配準點對集最小平均絕對誤差對應的變換矩陣作為粗配準最終的初始變換矩陣T0的輸出。

多角度人臉點云基于DFMS粗配準的結果如圖3所示。

3? 人臉點云精配準

基于DFMS粗配準獲取初始變換矩陣對源人臉點云進行變換計算使其具有良好的初始位姿，然而未進行處理的人臉點云仍可能存在密度不均勻和偽特征點過多的問題。此外，標準ICP算法因全部點云參與迭代，相鄰點的局部特征差異較小，對過量的偽特征點進行特征提取和特征匹配會導致收斂速度慢，并產生大量的誤匹配結果，最終導致人臉點云配準失敗。

3.1? 基于二次加權法向量垂直距離的人臉三維特征點提取

為解決未進行處理的人臉點云仍可能存在密度不均勻和偽特征點過多的問題，首先對人臉點云進行濾波預處理，以去除噪聲點并降低點云復雜度。接著，結合混合搜索算法（RKNN），提出基于二次加權法向量垂直距離法，以進一步篩選局部空間幾何變化明顯，且位于重合區域內概率較大的有效三維特征點。通過減少偽特征點的數量，保證配準的精度，同時減少計算量。

3.1.1? 點云濾波

1）統計濾波

統計濾波［14］是一種基于統計學理論的點云濾波方法，用于去除點云中的離群點和噪聲。通過計算點云中每個點的鄰域點的統計屬性，如平均值、標準差等，來判斷該點是否為離群點或噪聲，并進行相應的濾波處理。本文首先對每個點的鄰域進行統計分析，設點云中的第n點坐標為Euclid Math OnePApn（Xn，Yn，Zn） ，則該點到任一點Euclid Math OnePApm（Xm，Ym，Zm）的距離為

Si=（Xn-Xm）2+（Yn-Ym）2+（Zn-Zm）2（12）

計算遍歷每點到任意點之間距離的平均值和標準差：

μ=1n∑ni=1Si（13）

σ=1n∑ni=1（Si-μ）2（14）

設標準差倍數為std，算法實現過程中僅需輸入k和std兩個閾值，當某點的k個臨近點的平均距離在標準范圍（μ-σ×std，μ+σ×std）內時，保留該點，不在該范圍內則定義離群點剔除。

2）體素濾波

經統計濾波處理后的人臉點云仍存在數據量龐大的問題，本文結合體素濾波下采樣點云，降低點云復雜度，同時保留人臉幾何特征。體素濾波是一種點云降采樣技術，通過將點云空間劃分為一系列體素，對于每個體素計算其中所有中心點坐標，然后將所有中心點作為新的稀疏點云，以減少點云數據量和噪聲。

3.1.2? 特征點選擇

經點云濾波預處理后的人臉點云降低了復雜度，并有效地保留了人臉特征，但仍存在部分偽特征點，影響配準效率和重建精度。因此，本文提出二次加權法向量垂直距離法，進一步提取人臉流形表面局部空間幾何變化明顯且位于重合區域內概率較大的三維特征點。設經點云濾波得到的人臉點云為Euclid Math OnePApEuclid Math OneCAp′，Euclid Math OnePApEuclid Math OneCAp′中的任一點pi二次加權法向量垂直距離的均值Di為

Di=1k∑kj=1e-dij×e-dic（15）

其中：dij是利用RKNN算法得到的k個和查詢中心點距離小于給定半徑的近鄰點到局部平面Ωp的中心點pi法向量的均值垂直距離，也代表點pi處的曲面變化程度；dic是任一點pi到點云質心pc的距離。局部平面Ωp可以通過基于局部擬合的法向量估計求得：

Ωp（n，d）=argmin（n，d）∑ki=1（n×pi-d）2（16）

dij=1k∑ki=1|pij-pi|（17）

其中：n為平面的法向量；d為到坐標原點的距離；e-dij作為權重函數，用于增加偏遠鄰近點的比重，易于關鍵點的篩選。然后再利用特征值分解求解點云質心pc并求解dic， e-dic作為二次權重函數用于進一步篩選出位于重合區域內概率較大的三維特征點，如式（19）所示。

pc=1k ∑ki=1pij（18）

dic=1n∑ni=1|pi-pc|? 0≤i≤n（19）

然后利用求得的二次加權法向量垂直距離Di，提出了精確關鍵點選擇的約束條件，設Euclid Math OnePApEuclid Math OneFAp為基于二次加權法向量垂直距離法提取的三維人臉關鍵點集。

Euclid Math OnePApEuclid Math OneFAp∈{pcf1，pcf2，…，pcfn}? if Di＞ε（20）

其中：ε為設定的閾值參數。當Di小于閾值ε，剔除該點；反之，則保留該點作為關鍵點。經二次加權法向量垂直距離法提取的人臉三維特征點如圖4所示。

3.2? 基于特征融合與局部特征一致性約束的ICP精配準

為解決在提取人臉三維特征點集的過程中可能存在特征點信息丟失的問題，進一步將人臉的二維關鍵點和三維特征點融合，構建精配準的人臉初始點集。然而，精配準的源初始點集和目標初始點集仍可能存在部分誤匹配的點對，因此，通過結合K最近鄰快速搜索，提出基于顏色一致性約束的局部交叉驗證方法來剔除誤匹配點對，增加特征匹配的準確性，實現最終的最優變換關系估計。

3.2.1? 人臉特征融合

為了彌補在提取三維特征點過程中可能存在的特征點信息丟失，通過融合人臉二維關鍵點補充人臉特征信息，構造精配準點集。設人臉二維和三維特征點融合后的源特征點集和目標特征點集分別為Euclid Math OnePApEuclid Math OneFAp_f和Euclid Math OneQApEuclid Math OneFAp_f。

Euclid Math OnePApEuclid Math OneFAp_f=PF+PC（21）

Euclid Math OneQApEuclid Math OneFAp_f=QF+QC（22）

3.2.2? 初始點對集求解

將人臉特征融合后的源點云和目標點云的三維特征點集作為精配準的基礎點集，根據每個點的FPFH特征，結合K最近鄰快速搜索源特征點云距離目標特征點云的最近點，計算每個點到最近鄰點的歐氏距離，并構造對應點對的人臉初始點對集合，設人臉初始點對集為Euclid Math OnePApEuclid Math OneQAp{Euclid Math OneFAp_init 。對于每個源特征點集Euclid Math OnePApEuclid Math OneFAp_f中的點pfi，其在目標點云Euclid Math OneQApEuclid Math OneFApEuclid Math OneFAp_f找到它最近的點qfj，即

qfj=argminqcfk dist（pfi，qfk）（23）

其中：dist（pfi，qfk）為（pfi，qfk）之間的距離度量。本文采用歐氏距離作為度量方式，則人臉點云初始點對集合為

Euclid Math OnePApEuclid Math OneQApEuclid Math OneFAp_init={（pfi，qfj）|pfi∈Euclid Math OnePApEuclid Math OneFAp_f，qfj∈Euclid Math OneQApEuclid Math OneFAp_f}（24）

3.2.3? 誤匹配點對剔除

針對K最近鄰得到的關鍵點對集PQEuclid Math OneFAp_init仍可能存在誤匹配點對，影響人臉點云模型重建結果的問題，本文提出基于顏色一致性約束的局部交叉驗證方法剔除誤匹配點對，可獲得更精確的關鍵匹配點對，進而提高重建精度。假設對于初始點對集Euclid Math OnePApEuclid Math OneQApEuclid Math OneFAp_init，它們分別包含n和m點，源特征點云Euclid Math OnePApEuclid Math OneFAp_f中的點pfi顏色為pci，目標特征點云Euclid Math OneQApEuclid Math OneFAp_f中點qfj顏色為qcj，本文基于顏色一致性保留顏色標簽相同的對應點對，剔除偽特征點對。

Cd=argmincd∑ni=1minmj=1‖pci-qcj‖2（25）

Euclid Math OnePApEuclid Math OneQApEuclid Math OneFApC={（pfi，qfk）|Cd＜δ}（26）

其中：‖pci-qcj‖2表示點pfi對應的顏色pci與點qfj對應的顏色qcj之間歐氏距離的平方；設置閾值δ，保留小于該閾值的點對；Euclid Math OnePApEuclid Math OneQApEuclid Math OneFApC表示保留所有源特征點云Euclid Math OnePApEuclid Math OneFAp_f 和目標特征點云Euclid Math OneQApEuclid Math OneFAp_f中顏色標簽相同的點對，即{（pfi，qfk）}。

基于顏色一致性約束剔除部分錯誤點對后，可能存在源特征點云中多個點的最近鄰點對應目標特征點云中的同一點qfj，本文提出基于局部交叉驗證，進一步剔除存在歧義的誤匹配點對，只保留一對對應點。假設源特征點云中點pfi的最近鄰點為目標特征點云中的點qfj，源特征點云中點pfk也與qfj匹配，其中i≠k。如果pfi與 qfj的歐氏距離小于pfk與qfj距離，則將pfk與qfj的匹配剔除。

具體地，設dist（pfi，qfj）表示點pfi和qfj之間的歐氏距離，dist（pfk，qfj）表示點pfk和qfj之間的距離，則使用式（27）剔除多余的點對。

（i，j）∈M（k，j）∈Mdist（pfi，qfj）≤dist（pfk，qfj）（i，j）? keptdist（pfi，qfj）＞dist（pfk，qfj）（i，j）removed（27）

其中：M表示匹配對應關系集合；（i，j）表示源點云中的點pfi與目標點云中的點qfj匹配。如果（i，j）被保留，則將（k，j）從M中移除；如果（i，j）被剔除，則將（i，j）從M中移除。最后，M中剩下的匹配對應關系即為保留下來的對應點對。

3.2.4? 最優變換關系估計

基于特征融合與局部顏色一致性約束獲取最終參與精配準的點對集，采用ICP點云配準算法實現人臉點云精配準。設最終參與精配準的點對集為Euclid Math OnePApEuclid Math OneQApfiner，作為ICP算法的初始輸入，通過對應關系計算源點云和目標點云之間的旋轉矩陣R與平移向量構成的變換矩陣T，將源點云中的所有點pfi通過變換矩陣T進行變換，得到更新的點云，直到目標函數式（28）收斂，進而完成人臉精配準。

E（R，t）=argmin（R，t）1n∑ni=1（R×pfi）+t-qf 2j（28）

其中：點pfi與qfj是對應的匹配點對。

4? 實驗結果與分析

4.1? 數據集及評價指標

為了驗證實驗，本文選用兩個RGB-D人臉數據集進行測試。英特爾D435深度相機采集的連續多幀多角度的人物數據集，包含107幀彩色圖像和對應的深度圖像，圖像分辨率為1 280×720。Biwi Kinect Head Pose Database數據集［15］采用Kinect深度相機采集的24個男性和女性的RGB-D圖像，分辨率為640×480。

三維人臉點云模型重建的結果采用均方根誤差、平均絕對誤差以及XYZ各軸方向的旋轉誤差5個指標來衡量。

a）均方根誤差（RMSE），用于衡量測量值和真實值之間的偏差。

RMSE=∑ni=1（Xi-X^i）2n（29）

其中：n為對應點對的數量；Xi為配準后對應點之間的歐氏距離；X^i為對應點之間歐氏距離的真值。

b）平均絕對誤差（MAE），可以更好地反映預測值誤差的實際情況。

MAE=1n∑ni=1|Xi-X^i|（30）

c）XYZ三軸方向的旋轉誤差，用于判斷配準后和真值間的旋轉誤差。其中，Ti，j代表變換矩陣T的第i行第j列的元素。

Rx_error=arccos（（T1，1+T2，2）/2）（31）

Ry_error=arccos（（T0，0+T2，2）/2）（32）

Rz_error=arccos（（T0，0+T1，1）/2）（33）

4.2? 數據預處理

針對英特爾D435深度相機采集的連續多角度的人物數據集進行實驗，為了獲取較為干凈的深度圖像和點云數據，對彩色圖像和深度圖像進行預處理，整體的處理流程如圖5所示。首先，采用形態學操作和閾值分割去除復雜背景，以獲取較為干凈的深度圖像，再將彩色圖像和深度圖像進行數據對齊生成點云，最后基于鼻尖分割獲取人臉點云數據。

因人物每個視角數據都存在部分缺失點云（圖6），所以需要將各個角度的人臉點云進行配準。根據經驗，本文選擇了五個角度的人臉數據作為算法的輸入，這五個角度分別是-45°、-30°、0°、30°、45°。這樣的選擇在數據分布上是均勻的，并且包含了完整的人臉信息。為了確定最佳的測試數據數量，進行可靠性考量實驗，在實驗中，分別選取RGBD-Integration-2020數據集中的3張、5張以及7張多角度人臉數據，并使用文獻［7～9］以及DSFP算法進行測試?；贒SFP算法的實驗結果如表1所示。根據表1中的結果得出結論：選擇5張多角度人臉數據進行三維人臉點云模型重建是最優的。因此，本文選擇-45°、-30°、0°、30°、45°五個角度的人臉數據作為后續消融實驗和對比實驗的基礎測試集。

4.3? 消融實驗

4.3.1? 基于動態特征矩陣的消融實驗

為了驗證動態特征矩陣求解實現粗配準的有效性，進行了相關消融實驗，相關實驗結果如表2所示，并將結果可視化，如圖7所示。由圖7結果發現，傳統基于幾何特征進行的粗配準效果較差，本文提出的動態特征矩陣求解法在粗配準過程中動態選擇部分人臉關鍵點，通過對關鍵點集多次迭代得到最優點集，避免偽特征點的干擾，實現粗配準變換矩陣的動態求解。其中RMSE達到了2.687 3 mm，僅用時6.275 8 s，相比其他算法，配準精度分別提高了59.155%、65.974%、69.065%，在保證配準精度的同時，減少了計算量。

4.3.2? 基于二次加權法向量間垂直距離的消融實驗

為證明提出的二次加權法向量垂直距離法（QWNVD）提取人臉流形表面三維特征點的有效性，進行了相關消融實驗，實驗結果如表3所示。

分析表3的結果可以發現，基于QWNVD的重建結果優于文獻［9］等算法。另外，由于在粗配準過程中通過DFMS動態選擇關鍵點求解粗配準初始變換矩陣，使得結合了DFMS和QWNVD算法的重建效果優于QWNVD等其他算法，僅用時6.785 7 s便實現了三維人臉重建，各軸方向的旋轉誤差也低于其他算法，RMSE相比其他算法分別下降了42.581%、35.599%、29.546%、17.239%，在保證配準精度的同時，減少了計算量。

4.3.3? 基于局部特征一致性約束與特征融合的ICP消融實驗

基于特征融合與局部特征一致性約束的ICP相關消融實驗的結果如表4所示。其中DFMM和QWMM分別表示CFICP融合了DFMS和QWNVD的算法。由于DFMS在粗匹配過程中動態選取關鍵點進行動態特征矩陣求解和QWNVD提取有效關鍵點的優勢，使得基于特征融合與局部特征一致性約束的ICP在DFMS和QWNVD的基礎上實現了良好的重建性能，整體上優于列舉的對比算法。DSFP算法實現三維人臉重建僅用時6.875 0 s，MAE 達到了2.410 8，RMSE相比其他算法分別下降了35.856%、41.046%、8.9565%、7.656%、2.705%，同時提高了配準效率。

4.4? 對比實驗

本文算法是在自帶NVIDIA GeForce RTX 3060顯卡的Windows 11系統上實現的，基于數據集RGBD-Integration-2020中的-45°、-30°、0°、30°、45°五個角度的人臉RGB-D數據與ISS-ICP ［7］、ANGLE-ICP ［8］、FPFH-ICP ［9］等算法進行重建對比測試，重建結果如表5所示，并將重建結果可視化，如表6所示。

表5報告了基于數據集RGBD-Integration-2020的對比實驗的結果。本文DSFP算法得益于DFMS、QWNVD和CFICP的優勢，在性能上優于其他算法，三維人臉點云模型重建僅耗時6.875 0 s，RMSE達到了1.816 5 mm。DSFP算法的重建時間比文獻［7］多花費了

0.184 3 s，可能的原因是ISS-ICP僅在粗配準過程中采用ISS提取特征點，直接采用傳統ICP算法進行精配準，減少了數據融合和誤匹配點對剔除的時間，但是重建時間相較于ANGLE-ICP、FPFH-ICP算法，分別減少了9.622 5 s、5.926 3 s。DSFP算法的RMSE性能相較于其他算法，分別下降了40.101%、47.724%、53.150%，各方向上的旋轉誤差也遠小于其他算法。DSFP算法在保證配準精度的同時，減少了計算量，驗證了其有效性。

為了進一步驗證本文DSFP算法的優越性，基于數據集Biwi Kinect Head Pose Database［15］進行相關對比實驗，結果如表7所示。表7報告了基于該數據集的對比實驗結果，可以看出本文DSFP算法在該數據集上也有很好的應用效果。在精度上明顯高于經典的ISS-ICP、ANGLE-ICP和FPFH-ICP算法，各方向上的旋轉誤差基本可以忽略，配準RMSE較ISS-ICP算法減少了30.101%，較ANGLE-ICP降低了約44.290%，較FPFH-ICP降低了47.538%，重建時間相較于ANGLE-ICP、FPFH-ICP算法分別降低了2.581 0 s和1.908 2 s。

5? 結束語

本文提出了一種基于特征點動態選擇的三維人臉點云模型重建方法，可以根據不同的人臉圖像進行自適應處理。通過在二維和三維空間進行特征點有效提取并采用動態選擇策略，有效減少了偽特征點的數量，從而降低偽特征點對重建效率和精度的影響，避免了因偽特征點過多導致的人臉點云模型重建失真的問題。為了驗證本文DSFP算法的有效性，進行了相關消融實驗和對比實驗， RMSE達到了1.816 5 mm，與其他算法相比，其RMSE分別降低了40.101%、47.724%、53.150%。實驗結果證明，DSFP算法能夠實現高精度且快速的三維人臉點云模型重建，具有良好的應用前景。下一步，將致力于研究人體全身三維模型的重建。

參考文獻：

［1］Liu Feng， Zhao Qijun， Liu Xiaoming， et al. Joint face alignment and 3D face reconstruction with application to face recognition［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2020，42（3）： 664-678.

［2］Khan K， Ali J， Ahmad K， et al. 3D head pose estimation through facial features and deep convolutional neural networks［J］. CMC-Computers， Materials & Continua， 2021，66（2）： 1757-1770.

［3］Mao Xiaoyan， Li Xiaojian， Jia J， et al. Validity and reliability of three-dimensional costal cartilage imaging for donor-site assessment and clinical application in microtia reconstruction patients： a prospective study of 22 cases［J］. Clinical Otolaryngology， 2020，45（2）： 204-210.

［4］Tran L， Liu Xiaoming. On learning 3D face morphable model from in-the-wild images［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2019，43（1）： 157-171.

［5］Feng Yao， Feng Haiwen， Black M J， et al. Learning an animatable detailed 3D face model from in-the-wild images［J］. ACM Trans on Graphics， 2021，40（4）： article No.88.

［6］Besl P J， McKay N D. A method for registration of 3D shapes［J］. IEEE Trans on Pattern Analysis & Machine Intelligence， 1992，14（2）： 239-256.

［7］黃際瑋， 陸安江. 基于特征點與改進ICP的點云配準方法［J］. 微處理機， 2022，43（6）： 38-42. （Huang Jiwei， Lu Anjiang. A method of point cloud registration based on feature points and improved ICP［J］. Microprocessors， 2022，43（6）： 38-42.）

［8］單麗杰， 岳建平， 錢煒. 基于特征點的ICP點云配準算法［J］. 甘肅科學學報， 2022，34（4）： 1-4，19. （Shan Lijie， Yue Jianping， Qian Wei. ICP point cloud registration algorithm based on feature points［J］. Journal of Gansu Sciences， 2022，34（4）： 1-4，19.）

［9］張澤鵬， 赫森奧， 張明哲， 等. 基于FPFH-ICP的三維工件點云配準方法研究［J］. 信息與電腦： 理論版， 2022， 34（13）： 54-57. （Zhang Zepeng， He Senao， Zhang Mingzhe， et al. Research on 3D artifact point cloud registration method based on FPFH-ICP［J］. Information & Computer： Theory， 2022，34（13）： 54-57.）

［10］Ahuja Y， Nitharwal T， Sundriyal U， et al. Depth reconstruction based visual SLAM using ORB feature extraction［J］. Journal of Image and Graphics， 2022，10（4）： 172-177.

［11］Jung S， Song S， Chang M， et al. Range image registration based on 2D synthetic images［J］. Computer-Aided Design， 2018，94（12）： 16-27.

［12］Zhe Ji， Fan Zhou， Xiang Tian， et al. Probabilistic 3D ICP algorithm based on ORB feature［C］//Proc of the 3rd International Conference on Information Science and Technology. Piscataway， NJ： IEEE Press， 2013： 300-304.

［13］Choi S， Zhou Q Y， Koltun V. Robust reconstruction of indoor scenes［C］//Proc of IEEE Conference on Computer Vision and Pattern Re-cognition. Piscataway， NJ： IEEE Press， 2015： 5556-5565.

［14］Rusu R B， Marton Z C， Blodow N， et al. Towards 3D point cloud based object maps for household environments［J］. Robotics and Autonomous Systems， 2008，56（11）： 927-941.

［15］Fanelli G， Dantone M， Gall J， et al. Random forests for real time 3D face analysis［J］. International Journal of Computer Vision， 2013，101（3）： 437-458.