基于雙重判別解碼器的三維點云形狀補全網絡

孫進 馬昊天 雷震霆 梁立

摘? 要：針對碗狀文物模型由于碎片缺失導致的逆向幾何重建保真度不高的問題，為此提出了一種基于雙重判別解碼器的三維點云形狀補全網絡。首先基于編碼解碼器構建基本點云生成網絡，然后根據生成對抗網絡框架優化解碼器結構，通過將全局特征進行解碼獲取目標骨架點云，保證點云的全局特征，進而在對骨架點云的基礎上進一步進行局部點云細化生成判別，保證目標點云的局部特征。最后面向特征缺失拼接模型搭建雙分支形狀補全網絡。實驗結果表明在公開數據集ShapeNet的點云補全實驗中，本文方法的平均誤差更小，相較對比網絡，本文方法在碗狀文物模型的三維形狀補全任務更好，平均倒角距離提高了20.2%，為后續的模型逼真化提供了一個基礎，具有更強的性能和良好的應用價值。

關鍵詞：幾何重建；深度學習；生成對抗網絡；雙重判別解碼器；雙分支形狀補全；倒角距離

DOI：10.15938/j.jhust.2023.05.009

中圖分類號： TP301.6

文獻標志碼： A

文章編號： 1007-2683（2023）05-0068-07

Two-branch Shape Complement Network for Feature Missing Splicing Mode

SUN Jin，? MA Haotian，? LEI Zhenting，? LIANG Li

（1.School of Mechanical Engineering， Yangzhou University， Yangzhou 225263， China;

2.Jiangdu High-end Equipment Engineering Technology Institute， Yangzhou University， Yangzhou 225263， China）

Abstract：Aiming at the problem of low fidelity of reverse geometric reconstruction of bowl-shaped cultural relics model due to the missing fragments， a 3D point cloud shape completion network based on double discrimination decoder is proposed. Firstly， a basic point cloud generation network is built based on the codec， and then the decoder structure is optimized according to the framework of generation confrontation network. By decoding the global features， the target skeleton point cloud is obtained， and the global features of the point cloud are guaranteed. Then， on the basis of the skeleton point cloud， the local point cloud generation is further refined to ensure the local features of the target point cloud. Finally， a two-branch shape completion network is built for the feature missing splicing model. The experimental results show that the average error of this method is smaller in the point cloud completion experiment of ShapeNet， an open data set. Compared with the comparison network， this method is better in completing the three-dimensional shape of the bowl-shaped cultural relics model， and the average chamfer distance is increased by 20.2%， which provides a foundation for the subsequent model fidelity， and has stronger performance and good application value.

Keywords：geometric reconstruction; deep learning; generative adversarial network; double discrimination decode; two-branch shape completion; chamfer distance

收稿日期： 2022-05-17

基金項目：

國家自然科學基金（51775484，51475409）；2020年江蘇省產學研合作項目（BY2020663）；2021年揚州市產業前瞻與共性關鍵技術項目（YZ2021020）；2020年揚州大學市校合作專項（YZ2020166）.

作者簡介：

馬昊天（1998—），男，碩士研究生；

雷震霆（1995—），男，博士研究生.

通信作者：

孫? 進（1973—），男，博士，碩士研究生導師，E-mail：sunjin1001_bzr@126.com.

0? 引? 言

我國悠久的歷史使得周圍的海域下埋藏著眾多的文化遺跡，隨著航海技術的不斷發展，打撈出大量的海底沉船，其中發掘出了許多破碎的文物碎片［1］，其中大多數為碗狀的陶瓷碎片。由于破損的文物數量眾多，利用計算機視覺技術將其數字化之后進行輔助生成，對文物保護有著十分重要的意義。目前的考古學家利用計算機輔助技術對這些文物進行數字化，進行虛擬重組與匹配實現文物模型的復現。

在歷史文物重建過程中，通常使用三維掃描儀獲取目標的數字化模型，但是當目標存在缺失或缺損的情況下，這樣通過三維掃描儀獲取的數字化模型會不完整，對文物逆向工程的效果會產生較大的影響。人們可以通過雙眼觀察文物的現有特征，并根據經驗推斷出缺失部位的信息，計算機卻很難推測缺失的部位的原始形狀信息。

現有的殘缺點云數據的補全的方法一般分為三類，第一類是基于幾何方法，這類方法是在不需要任何外部輔助數據的情況下，利用已有輸入點云的幾何信息來完成對整體形狀的補全。此類方法的優點是簡單，容易通過簡單的算法實現。但是該種方法存在對輸入點云數據要求高，泛化性較差的問題。第二類是基于對齊方法，這類方法的基本思想是通過將殘缺的輸入點云與點云形狀數據庫中的模型匹配來完成補全。雖然數據庫先驗知識的方法能夠完成較大面積的模型補全，但其主要限制仍是全局結構不容易被概括，不能推廣到任意的三維模型，需要昂貴的優化成本，并且對噪聲不魯棒。

第三類方法是基于學習的方法，從前基于學習的點云補全方法通常將點云數據轉換為體素網格或其他形式再使用卷積，但是，該種方法［2］對內存的需求特別大，并且不適合形狀不規則的物體。Pointnet［3］提出后，可以直接處理無序點云，節省了點云數據的處理時間。L-GAN［4］提出了第一個點云的深度生成模型，可以通過簡單的代數運算對點云進行形狀補全，但是其網絡架構不是專門用于點云補全的，在點云補全任務中效果不是很好。Foldingnet［5］提出了一種端到端的自動編碼器，它可以將2D網格變形到三維點云中的物體表面上，并且與直接使用完全連接的層相比，所提出的解碼器可以保持準確性。PCN［6］提出了基于深度學習的形狀補全網絡，應用Foldingnet對生成的點云進行形狀完善，通過編碼器解碼器產生粗輸出，然后使用并行多層感知器進行細輸出，這種方法能夠通過點云作為輸入生成密集和完整的結果，但是PCN不能產生高保真度的結果。

在現階段，點云生成任務中經常使用到生成對抗網絡［7］的框架，例如，3D-GAN［11］第一個將體卷積網絡與生成對抗網絡結合從概率空間生成三維對象，能夠較好的完成點云補全任務，但是，體素網格降低了精細形狀的分辨率，并且需要巨大的計算量。2018年，Li等提出了point cloud GAN［8］適用于點的完成，然而結果卻嚴重失真。為了減少細節的丟失，后續的研究［9-11］通過添加約束條件以最小化輸入形狀與其對應的輸出區域之間的距離，上述方法都不重視局部結構信息。L-GAN介紹了第一個深度生成的點云模型，雖然L-GAN能夠在一定程度上執行形狀完成任務，但其架構主要不是為完成形狀完成任務而構建的，因此其性能并不理想。PF-Net［12］提出將最終產生的預測點云與真實點云共同輸入判別器，以達到提高生成點云的逼真度，但是，其判別器用在最終生成的點云上，產生的作用較小。為了提高點云補全的準確率，MGA-PT［13-15］等提出通過嵌入Transformer、ALL-MLP的方法提高編碼器的特征提取能力，提高了點云補全的保真度。上述方法都使用生成器和鑒別器，這種結構的網絡將把生成器中產生的點云傳送給判別器，通過鑒別器確定生成點云的真假?？傮w上，基于生成對抗網絡結構的點云生成模型的保真度較高。

針對上述對點云補全網絡中，生成點云保真度不高，重建方式復雜的缺點，本文提出了一種針對編碼解碼點云生成網絡的雙重判別解碼器，其具體貢獻為：

1）提出一種雙重判別的解碼器結構，通過將全局特征進行解碼獲取目標骨架點云，進而在對骨架點云判別生成的基礎上進一步進行局部點云細化生成判別，實現對存在特征缺失模型的形狀重建，有效的保證了目標點云的全局特征。

2）提出了一種針對碗狀文物特征缺失模型的點云補全方法，優化了編碼解碼判別點云生成網絡中的解碼器結構，在三維物體數據集Shape Net及碗狀文物數據集中取得了更優的補全效果。

1? 點云生成網絡

由于碗狀文物碎片的丟失，重建碗狀文物三維模型所需的點云數據會不完整，將通過多次三維掃描儀獲取破損碎片的三維點云數據設為V，其中，V是各碎片點的信息的集合{v1，v2，v3，…}，通過點云的拼接算法將各碎片點云集V拼接成U，通過三維建模軟件或對完整碗狀文物進行三維掃描獲取完整模型所對應的點Y。

如圖1所示，本文將破碎碗狀文物三維模型重建的任務定義為：已知點云U求解相對于Y的缺失部分，通過對碗狀文物完整模型的點云Y進行隨機塊的刪除，獲取所對應的訓練數據X，本文采用基于學習的方法訓練本文的模型N，求解X相對于Y的缺失部分。

1.1? 編碼器

在編碼器網絡中，本文的輸入數據為缺失點云的三維坐標。首先，通過最遠點抽樣［16］分別在256、512和1024的標度上采樣，比例是指用于表示對象點云的點數。然后，對采樣后獲得的三個不同輸入執行特征提取。在特征提取階段，本文使用了PF-Net中的組合多層感知的方法，通過將使用三個獨立的組合多層感知將尺度為256、512和1024的點云映射為三個單獨的組合潛在向量F1、F2、F3。每個向量代表從不同分辨率點云中提取的特征。最后，將所有向量連接起來，形成1920×3大小的潛在特征映射F。

本文使用的特征提取模塊如圖2所示，左側輸入的點云是通過最遠點采樣獲取的256、512、1024維度的點云，組合多層感知代表了PFNet提出的組合多層感知，三個維度的點云通過組合多層感知分別獲取特征F1、F2、F3，對三個特征進行組合，通過全連接及支持向量機獲取最終提取的特征F。

1.2? 判別器

判別器是生成對抗網絡中常用的網絡結構，在點云生成任務中，將解碼器生成的點云輸入到判別器中，通過判別器判斷生成點云的真假，進行識別和不斷生成訓練網絡，實現生成準確的點云模型。因為解碼器的輸出是點云數據，通過線性層對鑒別器的輸入進行預處理。處理后的結果依次通過三個卷積層，這些卷積層的輸出維數分別為64、128和256，本文將每個卷積的輸出分別Y存儲在變量Ypre_64、Ypre_128、Ypre_256中。這些變量分別通過最大池化并轉換維度進行連接，最終的特征向量依次通過四個輸出維度為256、128、16和1的全連接層，結果通過最后一個全連接的層輸出。

如圖3所示，輸入為生成器生成的點云，Linear為全連接層，輸出數據分別為256×1，128×1，16×1和1×1，最后輸出0或1判斷生成點云是否符合真實點云幾何形狀特征。

2? 改進的雙分支形狀補全網絡

通過使用兩個判別器分別對生成的全局點云和細節點云進行判別，首先將第一分支生成的全局點云作為輸入數據輸入判別器，通過判別器判斷的點云作為進一步生成細化點云的骨架點云，將生成的細化點云通過判別器的二次判別，將獲取的結果與骨架點云進行整合，獲取最終的生成模型。

2.1? 雙重判別解碼器

解碼器的輸入為編碼器網絡的輸出，解碼器的輸出是輸入點云的缺失部分。以前的研究［5-7］表明使用全連接層的解碼器能夠較好的預測稀疏點集，這些生成的稀疏點集可以粗略地表示物體的三維形狀。本文的網絡解碼器的思路是先生成稀疏的骨架點云集合后進行判別，獲取缺失點云的骨架點云，在骨架點云的基礎上進行細化點云的二次生成，并對二次生成的細化點云進一步進行判別，提高生成點云的形狀信息的準確率。

解碼器的結構框圖如圖4所示。在解碼器生成點云的過程中，本文采用了由全局到局部的思想進行生成，定義兩個不同的全連接層Fc1、Fc2分別生成對應的全局特征及細節特征，輸出大小分別為1024、256。以編碼器獲取的特征F作為輸入，依次通過Fc1、Fc2。本文將每個完全連接的層的結果存儲在不同的變量中，通過這個過程，特征向量的維數降低到256，為之后的全局點云的生成做準備。

圖中的輸入是編碼器提取的特征F，Y_1代表的是生成的包含缺失部位全局形狀信息的點云，Y_2代表的是生成的細節點云，判別器判別為真的Y_1作為骨架點云，在骨架點云的基礎上進一步細化獲取Y_2，通過判別器的二次判別獲取最終包含全局特征及細節點云的缺失點云。解碼器將編碼器中提取到的全局特征和局部特征結合起來，生成一組完整的點云。

本文通過先生成少量能描述目標模型形狀特征的關鍵點作為描述物體的形狀特征的骨架點云，其次，在此基礎上進一步生成細節點云，直到最后生成密集點云數據的缺失部分。本文定義了兩個不同的全連接層，使用FC_2的輸出作為FC_1的輸入，通過對兩個輸出的整形疊加，獲取目標三維模型的生成模型。

2.2? 損失函數

雙分支缺失點云生成網絡的損失函數由雙分支補全損失和對抗網絡損失兩部分組成。補全損失是指缺失部位點云的真實值與預測點云之間的差值，用來減少真實值與生成點云之間的差異，對抗性損失通過優化生成器使預測點云數據更接近真實點云數據。CD損失衡量的是點云缺失部分的真實值與預測值之間的差異。對抗性損失試圖通過優化最大似然估計來使預測更真實。

在本網絡中，選擇CD損失作為衡量指標。CD損失計算預測點云S2和真實點云S1之間的平均最近點距離：

dCD（S1，S2）=1|S1|∑x∈S1miny∈S2‖x－y‖22+

1S2∑x∈S2miny∈S1‖y－x‖22（1）

雙分支缺失點云生成網絡的損失函數由雙分支的補全損失L1和對抗損失L2兩部分組成。通過最小化L2使得生成器產生“真實”樣本U來通過判別器的判別，而D旨在最小化L2，并對真實樣本P和生成樣本P進行區分。雙分支點云生成網絡的損失由dCD1和dCD2，并使用超參數β加權：

L1=dCD1（U1，U′1）+βdCD2（U2，U′2）（2）

其中：U1為精密點云；U2為骨架點云；U′1和U′2分別為對應的真實點云。

對抗網絡的損失函數L2通過最小平方損失表示：

L2=12［D（U）2+（D（U′）－1）2］（3）

其中：U為生成點云，U′為對應真實值。

雙分支缺失點云生成網絡的損失函數定義為：

L=θ1L1+θ2L2（4）

其中：θ1和θ2分別為補全損失與對抗損失，并且θ1+θ2=1，在訓練過程中，通過Adam優化器對G和D交替優化。

3? 實? 驗

3.1? 實驗環境

本文的網絡使用python語言，在Windows 11系統上訓練，實驗的硬件環境：掃描儀為SHINING SE，CPU AMD Ryzen 5 4600H with Radeon Graphics，主頻3.0Hz；GPU NVIDIA GeForce GTX 1650；操作系統Win10；深度學習環境為Pyorch 1.10.2，Python3.7.11，初始學習率0.0001，批量4，通過Adam優化器優化網絡。

3.2? 實驗數據

本文所構建的數據集包含兩個部分，第1個部分是通過三維掃描儀獲取碗狀文物碎片的數字化模型，通過文［17］的拼接方法獲取待補全模型。第2個部分是通過三維建模軟件繪制的三維模型，經過處理獲取碗狀文物的點云模型。

如圖5所示，本文主要通過三維建模軟件繪制的三維模型作為網絡的訓練數據，三維掃描儀獲取的碗狀文物碎片的數字化模型作為實際驗證數據。

其中，圖5（a）為通過三維掃描儀獲取碗狀文物碎片的網格模型，圖5（b）為采集的點云模型；圖5（c）為通過三維建模軟件繪制的三維模型，圖5（d）為采集的點云模型，作為網絡的訓練數據，圖5（a）（b）作為網絡驗證的數據。

3.3? 驗證集點云補全實驗

本文在驗證集上進行驗證，通過將缺失點云輸入基于雙重判別解碼器的點云補全網絡，對碗狀點云缺失部分形狀進行補全，補全效果如圖6所示。

本文的網絡輸入的數據為存在缺失的點云數據，為了滿足網絡輸入的要求，本文從不同的視點觀察構建的碗狀文物的三維點云模型，如圖6左側所示，隨機選取一個視點作為為球心，刪除球面上以R為半徑的所有點，剩下的點視為缺失點云作為網絡輸入，以刪除的點云作為真實點云。

3.4? 待補全模型缺失生成

第1個部分是通過三維掃描儀獲取碗狀文物碎片的數字化模型，拼接后的待補全模型。獲取現有的碗狀文物碎片的數字化點云，對現有的數字化碎片模型進行拼接，獲取待檢測模型，如表1所示。

從左到右分別是碗狀文物碎片邊緣碎片缺失、內部碎片缺失及多塊碎片缺失的點云生成情況，從上到下分別為待補全模型、缺失部位生成的點云、生成點云與缺失點云組合的完整點云、生成點云的封裝模型及真實的缺失部位點云。相應的本文訓練的生成網絡能夠較好的對碗狀文物缺失部位的點云進行較好的生成。同時，對生成的點云數據進行進一步點云封裝能夠滿足模型形狀重建的需求。

3.5? 結果對比

本文使用的評價指標［18］。它包含兩個指標：Pred→GT（預測點云與真實點云）誤差和GT→Pred（真實點云與預測點云）誤差。Pred→GT衡量的是預測與實際情況的差距。GT→Pred表示預測的形狀覆蓋的地面真值曲面的程度。

在表2中顯示GT→Pre和Pre→Gt誤差與經典方法在公開數據集的五個類別進行對比的比較結果（顯示的數字是［Pred→GT誤差/ GT→Pred誤差］，按比例乘以1000）。由于平均誤差值太小，無法顯示在表格中，本文將得到的GT→Pre與Pre→Gt值乘以1000，最后保留三位小數作為最終的測試結果。

由表2可見，在給定的5個類別的模型點云補全測試中，本文的雙分支點云補全網絡在形狀特征信息簡單的模型中的補全效果更好，如表2所示在杯子、桌子、帽子中，雙分支點云補全網絡生成的點云補全效果更好。

如表2所示，現有的經典網絡中PF-Net在點云完成任務中效果較好，其中，本文網絡在幾何形狀信息簡單的補全任務中效果更好。

將本文網絡在碗狀文物待補全模型中與PF-Net進行實驗對比。如表3所示，通過對PF-Net在邊沿塊、內部塊、組合塊中的補全效果對比，我們可以觀察到，本文的方法比PF-Net［6］生成的點云更致密、更均勻，由表平面部分生成的點密度更大，恢復程度也更高。表4表示對應邊沿塊、內部塊、組合塊的CD值（倒角距離 Chamfer distance）及平均倒角距離，其中，CD值越小，最終結果越好。由表4可見，在邊沿缺失補全、內部缺失補全和多塊缺失補全中分別提高了18.1%、12.6%、29.9%，相對于PF-Net本文網絡在真實點云數據的補全中平均提高了20.2%。綜上，雙重判別解碼器的結構提高了生成點云的精度，在形狀信息簡單的模型中有著較好的效果由表1所示，并且在碗狀文物的形狀重建任務中精度更高，如表4所示。

4? 結? 論

針對碗狀文物拼接模型存在特征信息缺失的修復補全問題，本文提出了一種有效的雙分支點云生成網絡。結合生成對抗網絡框架，在點云生成網絡框架的解碼器結構中使用了兩次判別器，構建了一種雙重判別解碼器結構，分別從全局特征及細節特征對缺失部位的形狀進行生成，保證點云骨架特征的同時進一步細化點云的細節特征，可以有效的提高生成點云特征的保真度。相較于傳統的文物修復方法，本文通過實驗表明深度學習的方式能夠實現缺失部位的自動補全，本文的網絡相較于已有網絡分別提高了18.1%、12.6%、29.9%，平均提高了20.2%。同時在公開數據集的實驗表明本文的網絡在其他形狀的補全任務中有著較好的泛化性能。

參 考 文 獻：

［1］? LI J， HE B， Liu S， Liu Q. Nondestructive Analysis of Jingdezhen and Longquan Celadon Wares Excavated from Nanhai No.1 Shipwreck. Spectrosc Spect Anal 36：1500.

［2］? TCHAPMI L P， KOSARAJU V， REZATOFIGHI H， et al. Topnet： Structural Point Cloud Decoder［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2019： 383.

［3］? QI C R， SU H， MO K， Guibas L J. Pointnet： Deep Learning on Point Sets for 3D Classification and Segmentation［J］. CVPR， 2017： 77.

［4］? WU J， ZHANG C， XUE T， et al. Learning a Probabilistic Latent Space of Object Shapes Via 3D Generative-Adversarial Modeling［J］. Advances in Neural Information Processing Systems， 2016：1.

［5］? YANG Y， FENG C， SHEN Y， et al.Foldingnet： Point Cloud Auto-Encoder Via Deep Grid Deformation［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 206.

［6］? YUAN W， T KHOT， D HELD， et al. PCN： Point Completion Network［C］. 3DV， 2018： 728.

［7］? CRESWELL A， WHITE T， DUMOULIN V， et al. Generative Adversarial Networks： An Overview［J］. IEEE Signal Processing Magazine， 2018， 35（1）： 53.

［8］? ACHLIOPTAS P， DIAMANTI O， MITLIAGKAS I， et al. Learning Representations and Generative Models For 3d Point Clouds［C］//International Conference on Machine Learning. PMLR， 2018： 40.

［9］? LI C L，ZAHEER M， ZHANG Y， et al. Point Cloud Gan［J］. arXiv Preprint arXiv：1810.05795， 2018： 82.

［10］SARMAD M， LEE H.J， KIM Y.M. Rl-gan-net： A Reinforcement Learning Agent Controlled Gan Network for Real-Time Point Cloud Shape Completion［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2019： 5898.

［11］GURUMURTHY S， AGRAWAL S. High Fidelity Semantic Shape Completion for Point Clouds Using Latent Optimization［C］// Proceedings of the IEEE Winter Conference on Applications of Computer Vision （WACV）， IEEE， 2019： 1099.

［12］HUANG Z， YU Y， XU J， et al. PF-Net： Point Fractal Network for 3D Point Cloud Completion［J］. （CVPR）， 2020： 7659.

［13］CHEN X， LI Y. Multi-feature Fusion Point Cloud Completion Network［J］. World Wide Web 25， 2022：1551.

［14］劉心溥，馬燕新，許可，等.嵌入Transformer結構的多尺度點云補全［J］.中國圖象圖形學報，2022，27（2）：538.

LIU Xinpu， MA Yanxin， XU Ke， et al. Multi-scale Point Cloud Completion Embedded in Transformer Structure［J］. Journal of Image and Graphics，2022，27（2）：538.

［15］張京軍，鄭燦，高瑞貞.學習點云鄰域信息的三維物體形狀補全［J］.計算機應用研究，2022，39（5）：1586.

ZHANG Jingjun， ZHENG Can， GAO Ruizhen. Shape Complement of 3D Objects by Learning Neighborhood Information of Point Clouds ［J］. Research on Computer Application，2022，39（5）：1586.

［16］QI C R，L Yi， SU H， et al. Pointnet++： Deep Hierarchical Feature Learning on Point Sets In A Metric Space［J］. Advances in Neural Information Processing Systems， 2017， 30： 5105.

［17］孫進，丁煜，王寧， 等.結合點云占比和平滑度的碗狀碎塊內表面識別算法［J］.哈爾濱理工大學學報，2020， 25（3）：157.

SUN Jin， DING Yu， WANG Ning， et al. Identification Algorithm for Inner Surface of Bowl-shaped Broken Pieces Based on Point Cloud Proportion and Smoothness［J］. Journal of Harbin University of Science and Technology，2020，25（3）：157.

［18］GADELHA M， WANG R，? MAJI S. Multiresolution Tree Networks for 3D Point Cloud Processing［C］// The 15th European Conference on Computer Vision， Munich， Germany， 2018： 105.

（編輯：溫澤宇）