點渲染方式對量化點云主觀質量的影響及算法優化

陳章,尹宇杰,,馮蕓,萬帥,3

(1. 西北工業大學電子信息學院,710129,西安; 2. 河海大學信息學部計算機與信息學院,210024,南京;3. 皇家墨爾本理工大學工程學院,VIC3001,澳大利亞墨爾本)

點云是三維空間中一系列具有空間坐標信息以及額外屬性信息的點所組成的集合。隨著數字技術與三維感知技術的高速發展,在面向人眼視覺感知的沉浸式新媒體應用中,表征三維物體或場景的點云數據已經得到廣泛應用,如虛擬現實(virtual reality, VR)、增強現實(augmented reality, AR)、數字文化遺產以及3D視頻會議等[1-2]。隨著點云相關技術的發展,如何提高用戶的觀看體驗成為目前點云研究領域內的一個關鍵問題[3]。不同于傳統圖像的呈現方式,點云在呈現過程中需要通過硬件和渲染算法進行輔助[4]。其中,點渲染是一種廣泛應用于計算機圖形學中渲染點云的技術[5-6]。與傳統的基于三角形網格重建表面的渲染方式不同,點渲染則直接渲染出離散的點集,將每個點的顏色、透明度、法向量等信息映射到屏幕上。在點渲染中,圖形對象以點的形式表示,而不是以面的形式表示,具有更好的可擴展性和動態性,能夠更好地處理復雜的幾何形狀和大規模的點云數據[7]。因此,針對點渲染方式對量化點云主觀質量的研究,既有利于提高點渲染算法實際應用效率,又可以輔助點云編碼器相關算法性能的優化。

近年來,國內外專家學者結合點渲染方式對點云的主觀質量進行了廣泛探索。瑞士聯邦理工學院的Alexiou等探究了渲染過程中各種相關因素對點云主觀質量的影響:文獻[8]將無色點云在2D顯示器上以點渲染的方式呈現,探究了八叉樹剪枝和高斯噪聲兩種失真對無色點云主觀質量的影響,利用點對點距離計算客觀質量,通過對比上述兩種失真的主觀質量分數,發現該客觀指標對高斯噪聲產生的失真評價更加準確;文獻[9]對比了絕對類別評級和雙刺激損傷評價法(double-stimulus impairment scale, DSIS)兩種主觀打分方式與點渲染失真程度的關系,結果顯示DSIS打分方式與點渲染失真程度更接近;文獻[10]將同一壓縮失真點云在不同顯示設備上進行點渲染顯示,實驗結果顯示2D顯示屏和AR頭戴式設備上渲染的失真點云得到的主觀質量分數具有差異;文獻[11]通過對失真點云進行網格重建,對比點渲染和經過表面重建點云的主觀質量差異。葡萄牙里斯本理工大學的Javaheri等[12]探究了不同點云編碼方式和渲染顯示方案對點云感知質量的影響,并在點渲染過程中,利用每個點在點云中空間距離最近的10個鄰居點計算點渲染半徑。實驗結果顯示,點渲染方式下,量化后的顏色失真會對幾何失真產生屏蔽效應。上海交通大學的Yang等[13]探究了點渲染方式下,八叉樹失真、顏色噪聲失真、幾何噪聲失真和縮放失真對主觀質量的影響,并提出了一個包含上述失真類型的點云主觀質量數據庫SJTU-PCQA[14]。中國科學院大學的Wu等[15]通過VR頭戴式顯示設備觀察V-PCC壓縮生成的失真點云,建立了一個包含17種壓縮失真的主觀質量數據庫SIAT-PCQD[16]。青島大學的Liu等[17]利用點渲染對彩色3D點云序列進行可視化,采用DSIS的打分方式評價主觀質量,并根據渲染顯示結果,提出了一種基于注意力機制和信息內容加權、結構相似性變體的新型客觀點云質量評估模型。

然而,現有大多數工作在采用基礎的點渲染時,未能考慮點渲染方式對主觀質量的影響。對于基于點的渲染方式,影響人眼視覺質量的因素主要有2個:初始渲染的基礎幾何體類型和基礎幾何體的半徑?；A幾何體半徑最為關鍵,半徑過小渲染后點云會產生空洞現象,半徑過大則會造成基礎幾何體的混疊。本文針對這一問題:首先,設計了3組不同點渲染方式的主觀質量評價實驗;其次,在對比了3組主觀質量分數后,分析了不同幾何體類型、最近鄰計算半徑算法對量化失真點云主觀質量的影響;最后,結合上述主觀實驗結果和理論分析,建立了點渲染失真面積與基礎幾何體半徑的模型,提出基于幾何八叉樹量化參數的點渲染優化算法。測試結果顯示,本文算法相比于基于最近鄰的算法渲染效果更佳,有利于提升量化點云的主客觀質量。

1 點云主觀質量評價實驗

1.1 主觀質量評價數據集構建

1.1.1 原始序列構建

選取MPEG點云數據庫[18]中的9個高質量靜態序列,其中包含5個人物序列和4個物體序列。序列縮略圖和詳細信息分別如圖1和表1所示。使用人物序列basketball player作為預實驗的評價序列,其余8個序列用于最終實驗結論分析。

表1 點云序列詳細信息Table 1 Point cloud sequence details

(a)basketball player

1.1.2 失真點云生成

失真點云序列采用基于幾何的點云壓縮標準(geometry-based point cloud compression, G-PCC)[19]對原始點云量化生成。G-PCC能夠分別對幾何和屬性設置不同的量化參數,產生不同的失真等級。量化參數的設置參考通用測試條件(common test conditions, CTC)[20],幾何量化包含無損、R02和R05這3個等級,屬性量化包含R01、R03和R05這3個等級,因此每個點云序列共有9種不同的量化失真組合,如表2所示。G-PCC編碼軟件版本為Test Model Category 13 version 14.0(TMC13v14.0)。其中,幾何編碼采用八叉樹編碼方式,屬性編碼采用預測方式。

表2 點云序列量化參數Table 2 Quantization parameters of point cloud sequence

1.2 可視化平臺及子實驗設計

為探究點渲染方式對主觀質量的影響,將點云采用3種不同點渲染方式顯示,每種點渲染方式對應一組子實驗。子實驗渲染參數如表3所示。

表3 子實驗渲染參數Table 3 Sub-experimental rendering parameters

(1)

式中:N=10。

主觀實驗的顯示設備主要參數如表4所示。環境設置參考電視主觀質量評價標準[21-22]中的建議。測試背景RGB(紅、綠、藍)三通道顏色值為 [128, 128, 128]。評分期間,受試者與屏幕的位置固定,受試者可以通過鼠標對點云序列進行自由旋轉以做到全方位觀測,受試者評分時間不做限制。實驗實施環境如圖2所示。

表4 顯示設備主要參數Table 4 Display main parameter table

圖2 實驗實施環境Fig.2 Experiment implementation environment

1.3 主觀質量評價流程

1.3.1 實驗打分方法

打分方式采用DSIS打分方式[21],原始無失真點云序列置于屏幕左邊,量化失真點云序列置于屏幕右邊。實驗評分采取五級評分制[22],如表5所示。受試者同時觀察原始參考點云和量化失真點云,依據原始參考點云序列對量化失真點云序列進行五級評分。參考點云序列作為隱藏參考出現在量化失真的測試點云序列位置,即要求受試者對每個點云模型的參考點云序列進行一次五級質量評分。在進行數據分析時,計算每個測試點云序列和其對應的隱藏參考之間的差異平均主觀分數(differential mean opinion score,DMOS)。

表5 五級評分制Table 5 Five-level grading scale

1.3.2 實驗受試者篩選

主觀質量評價過程中邀請了11名受試者參與。受試者年齡在20～40歲之間,其中10人為高校學生,1人為點云視頻領域的研究學者。受試者均通過Snellen和Ishihara視力表[23]檢測,并在正式主觀實驗之前對實驗受試者進行相關的實驗指導和預實驗演練。

1.3.3 實驗指導及預實驗

為確保主觀質量評價的準確性,所有受試者在進行實驗前均進行實驗指導及預實驗。實驗指導包含以下內容:點云相關概念以及主觀質量評價要求介紹,點云失真種類、失真類型和點云渲染的相關介紹,正式實驗與預實驗等實驗流程介紹,實驗環境與設備使用說明,實驗評分規則方式介紹。在正式實驗之前,為確保受試者熟悉正式實驗的操作過程,采用basketball player序列進行演練,失真類型、渲染類型、顯示方式、評分方式等均與正式實驗相同,預實驗評分結果不記錄在實驗數據之內。

1.3.4 正式實驗要求

正式實驗包含上述3個子實驗,每組子實驗在主觀評價過程中測試序列順序隨機,以免序列排序對主觀質量的干擾。受試者每持續評價30 min強制休息5～10 min,以避免受試者因為長時間觀察產生視覺疲勞,從而影響對失真程度的判斷。正式實驗過程中,總點云序列數目為240個(8個初始序列×(9組失真+1組無失真)×3種渲染方式),受試者人數為11,最終獲得平均意見分數(mean opinion score,MOS)為2 640個。

2 主觀質量評價結果與分析

2.1 受試者可靠性分析及DMOS計算

依據ITU-R BT.500-13[22]附件1中2.3小節推薦的受試者可靠性分析方法,剔除異常受試者數據。經驗證篩查,本次主觀質量評價3個子實驗中均無異常受試者數據。

為剔除量化失真點云序列MOS值中原始點云的隱藏參考,將點云MOS值轉化為DMOS值,做到“隱藏參刪除(hidden reference removal,HR)”。DMOS的計算參考ITU-TP.913[20]中的方法。DMOS值計算方法為

(2)

式中:t為受試者;j為測試點云序列;jref為j對應的原始參考點云序列;mtj為t對j的MOS分值,mtjref為t對jref的MOS分值;dtj為j與jref之間的質量分數差異,即DMOS值。子實驗的DMOS均值如表6所示。

表6 點云主觀質量評價DMOS均值Table 6 Point cloud subjective quality assessment DMOS distribution

2.2 幾何體類型對主觀質量的影響

為探究幾何體類型對主觀質量的影響,對子實驗1和子實驗2的主觀質量評價分數進行統計檢驗。采用威爾科克森符號秩檢驗[24]和雙獨立樣本T檢驗[25]分別對兩組實驗數據的中值和均值分布進行檢驗。為滿足雙獨立樣本T檢驗方差齊次性的先驗條件,采用萊文檢驗驗證樣本組方差齊次性。各檢驗的零假設和備擇假設如表7所示。

表7 原假設與備擇假設Table 7 Null hypothesis and alternative hypothesis

檢測結果顯示:子實驗1和子實驗2的威爾科克森符號秩檢驗P值為0.000 065,萊文檢驗P值為0.762,雙獨立樣本T檢驗P值為0.69。子實驗1和2萊文檢驗P值大于0.05,因此各個樣本組均滿足雙獨立樣本T檢驗的方差齊次性條件。由于威爾科克森符號秩檢驗的P值小于0.05,因此子實驗1和子實驗2在總體分布上存在顯著性差異。渲染幾何體類型對主觀質量存在影響。

圖3為各個量化失真類別下,子實驗2和子實驗1主觀質量分數差值的箱式圖,圖中縱坐標d2,1計算式為

圖3 子實驗2和子實驗1主觀質量差值箱式圖Fig.3 Sub-experiment 2 and sub-experiment 1 subjective quality difference compartment plots

d2,1=d2-d1

(3)

式中:d1、d2分別為子實驗1和子實驗2計算得到的DMOS值。

從圖3可知,對于各量化失真類別,整體d2,1均值高于0,即子實驗2的主觀質量優于子實驗1。同時,在相同幾何量化失真下,當屬性量化失真增大時,d2,1呈現上升趨勢,子實驗2的渲染優于子實驗1的情況在主觀質量上更加顯著。雖然兩組子實驗在渲染過程中每個基礎幾何體的渲染半徑相同,但是立方體的半徑對應立方體對角線的一半。所以,在相同的觀察視角下,圓形渲染產生的混疊面積會大于立方體,即圓形產生的幾何和屬性畸變大于立方體,如圖4所示。

圖4 圓形與立方體最近鄰點渲染比較Fig.4 Comparison of circle and cube nearest neighbour rendering

2.3 最近鄰渲染對主觀質量的影響

為探究最近鄰渲染方式對主觀質量的影響,對子實驗1和子實驗3的主觀質量評價分數進行統計檢驗。與2.2節中使用的統計方法相同,采用威爾科克森符號秩檢驗和雙獨立樣本T檢驗分別對兩組實驗數據的中值和均值進行檢驗。各個檢驗的零假設和備擇假設同表7。

檢測結果顯示:子實驗1和子實驗3的威爾科克森符號秩檢驗P值為0.354,萊文檢驗P值為0.892,雙獨立樣本T檢驗P值為0.841。子實驗1和子實驗3萊文檢驗P值大于0.05,因此樣本組均滿足雙獨立樣本T檢驗的方差齊次性條件。又因為威爾科克森符號秩檢驗和雙獨立樣本T檢驗的P值均大于0.05,因此子實驗1和子實驗3在總體分布上無顯著性差異?；谧罱徲嬎沅秩景霃降乃惴ú]有因為減少空洞現象而提升量化點云的主觀質量。

圖5為各個量化失真類別下,子實驗1和子實驗3的主觀質量分數差值,圖中縱坐標d1,3計算式為

d1,3=d1-d3

(4)

從圖5可以看出,相同幾何量化失真時,隨著屬性量化參數的增大,d1,3呈現下降趨勢,且d1,3均值會從大于0轉變成小于0的情況。在屬性量化參數為51時,子實驗3的主觀質量分數顯著高于子實驗1?；谧罱彽狞c渲染算法是利用空間中點的密度信息自適應計算基礎幾何體的渲染半徑,從而減少幾何量化產生的空洞。但是,由于基礎幾何體渲染半徑增大,在這一過程中人眼對于屬性質量的感知更加敏感,渲染結果上與屬性量化失真相關性高。因此,當屬性量化失真較小時,子實驗1中人眼感知的質量會高于子實驗3中,反之結果相同。

3 量化點云點渲染算法優化

3.1 面向八叉樹量化的點渲染優化

通過主觀實驗的分析可知,量化點云的主觀質量在點渲染過程中受基礎幾何體半徑產生的混疊和空洞影響。2.2節的實驗結果表明,在不產生空洞的前提下,較小的基礎幾何體可以減少點云渲染過程中的混疊,從而減小幾何和屬性上的畸變,提高點云的主觀質量。此外,2.3節的實驗結果顯示,基于最近鄰的點渲染算法可以有效減少空洞的產生,并在屬性量化較低的情況下表現出良好的效果。然而,當屬性量化增大時,混疊引起的失真會降低點云的主觀質量。因此,為了優化量化點云的主觀質量,應當在設置基礎幾何體半徑時避免產生空洞,并盡可能減少混疊現象的發生。

以基礎幾何體采用圓形渲染為例,假設當前點云中點的幾何坐標為(xi,yi,zi),i=1,2,,M,每個點對應的渲染半徑為ri,整個點云渲染產生的空洞面積為S1(如圖6中的藍色區域所示),整個點云渲染產生的混疊面積為S2(如圖6中的綠色區域所示),則最優的人眼感知質量下,渲染半徑滿足

圖6 點渲染空洞和混疊產生過程示意Fig.6 A diagram of the process of creating point-rendering hole and blending

minS2(r1,r2,,ri); s.t.S1(r1,r2,,ri)=0

(5)

(6)

在渲染過程中,S1由點云中每個點和其空間最近鄰點決定。八叉樹剪枝后,點云中的點在空間中的最近鄰距離近似。因此,全點云中量化后的點與其最近鄰的平均距離d近似為

(7)

令所有點的渲染半徑相同,即

r1=r2=r3==rM

(8)

此時,空洞可視為由點云中每個點與其26個鄰居點產生,則滿足S1=0約束條件的渲染半徑為

(9)

結合式(7)、(8)可知,滿足minS2的渲染半徑為

(10)

所提算法在二維屏幕上的渲染示意如圖7所示。

圖7 所提算法的點渲染過程示意Fig.7 Diagram of the proposed method point rendering process

3.2 優化算法性能測試結果

本文以渲染圖像峰值信噪比(peak signal-to-noise ratio,PSNR)、主觀質量分數和渲染時間復雜度這3種指標評價所提算法性能。其中,渲染圖像PSNR的計算是先將點云渲染后投影到包圍盒的6個平面上,再計算6個圖像PSNR的均值。

將所提算法與最近鄰渲染算法進行對比,評價指標為

(11)

ΔIDMOS=IDMOS,proposed-IDMOS,NNR

(12)

(13)

式中:IPSNR、IDMOS分別代表PSNR、DMOS值;T代表渲染時間復雜度;下標proposed、NNR分別代表本文算法、最近鄰渲染算法。

表8展示了所提算法與基于最近鄰的點渲染算法[12]的比較結果。

表8 最近鄰渲染算法與所提算法性能對比結果Table 8 The performance comparison results between the nearest neighbor rendering algorithm and the proposed algorithm

從表8可以看出,與最近鄰渲染算法相比,所提算法渲染質量提升了12.3%,主觀質量分數提升了0.5,時間復雜度顯著減少,降低了52%。這是因為所提算法在對量化后的點云渲染時僅利用幾何量化參數計算渲染半徑,減少了對量化點云中每個點的遍歷和尋找每個點最近10個鄰居點的過程。

同時,圖8展示了所提算法與最近鄰渲染算法在不同量化參數下的主觀效果對比。由結果可知,相比于最近鄰渲染算法,所提算法根據幾何量化參數計算渲染半徑,減少了基礎幾何體間的混疊,從而使渲染后的點云在細節表達上效果更好。

(a)longdress,幾何量化參數為1/4,屬性量化參數為28

4 結 論

本文通過設計不同點渲染方式的點云主觀質量評價實驗,分析了不同點渲染類型和最近鄰渲染方式對量化點云主觀質量的影響。研究結果表明:點渲染類型會因為基礎幾何體產生的混疊程度不同而影響主觀質量;最近鄰渲染的質量分數與屬性量化失真相關性更高,在屬性失真嚴重時,渲染效果更差。實驗結果顯示,點渲染中基礎幾何體半徑的合理設置是提升量化點云主觀質量的關鍵因素,需要在不產生空洞時減少混疊。

結合主觀實驗結果,本文在理論分析的基礎上,建立了點渲染半徑和渲染失真面積的優化模型。通過結合八叉樹量化后的空間相似性,將多模型參數簡化為單一參數并求解,提出一種利用幾何量化參數計算基礎幾何體半徑的渲染算法。相比基于最近鄰計算渲染半徑的算法,所提算法減少了空間最近鄰的搜索過程,時間復雜度降低了52%。同時,因為減少了渲染過程中基礎幾何體的混疊程度,所以所提算法PSNR提升了12.3%,并且主觀實驗結果反映人眼感知質量更高。