基于顯著特征分類的立體圖像重定向方法

黃悅銘，唐振華，2*

(1.廣西大學 計算機與電子信息學院，廣西 南寧 530004；2.廣西多媒體通信與網絡技術重點實驗室，廣西 南寧 530004)

0 引言

立體視覺近年來得到飛速發展。立體圖像的獲取方式有很多種[1],圖像處理領域中的立體圖像一般代指基于人類視覺立體融合機制的由計算機產生的隨機點立體圖像對,即立體雙目圖像[2],主要由左視圖、右視圖組成,三維深度感主要通過左右視圖的立體匹配而產生[3]。目前有許多針對立體圖像的深度估計方法可以實現更為精準的深度體驗感[4-5]。隨著立體視覺技術的不斷發展及各類多媒體設備的更新換代,將立體圖像或視頻在不同類型的多媒體設備中進行顯示的需求與日俱增。因此,研究如何在保持用戶觀感體驗的前提下自適應地在多媒體顯示設備中觀看不同寬高比或分辨率的立體圖像或視頻十分必要。立體圖像重定向是在保證盡量不改變圖像重要內容與可視深度的前提下改變原輸入圖像分辨率以適應觀看顯示器分辨率的技術[6-7]。

立體圖像重定向技術通?？煞譃殡x散方法及連續方法。離散方法主要通過迭代性地刪除或插入像素或補丁以達到改變圖像分辨率的目的[8]。Utsugi等[9]首次將平面線剪裁方法應用于立體圖像中,該方法將立體圖像中的左右視圖中的像素點分別分類為信任對、模糊對及覆蓋區,并對3類不同類型的像素點實行不同的線剪裁操作。Basha等[10]提出一種著重保護圖像幾何一致性的立體細縫剪裁方法,并以此為優化目標進行細縫動態規劃尋跡,然后將原視差與結果圖像的視差圖作為誤差衡量。與平面線剪裁類似,Shao等[11]提出一種基于顯著信息的立體線剪裁方法,該方法首先基于提出的立體顯著檢測方法得到能量矩陣對左視圖進行平面線剪裁,然后再使用立體匹配的方法得到對應的右視圖對應剪裁線。但是以上基于線剪裁的立體重定向方法由于對左、右視圖剪裁線的不連續性均有可能會導致結果圖像出現不連續塊。而立體智能剪裁方法能夠基于輸入圖像的顯著特性很好地保留其顯著區域。Niu等[12]提出一種基于圖像美學結構的立體智能剪裁方法,該方法通過盡可能保留符合圖像三線構圖的圖像區域實現重定向目的。Zhang等[13]設計了一種快速實現立體智能剪裁的軟件及方法,該方法以減小窗口誤差及保存顯著對象為主要目標。而Wang等[14]則通過設計一種立體顯著檢測的方法實現保護重要對象的目的。但立體智能剪裁方法在放縮尺度過大時,會導致顯著區域信息大量丟失。

連續的重定向方法中,立體非均勻映射方法首先對輸入圖像覆蓋相同大小的網格,然后根據每個網格的重要度大小實行不同程度的變形優化方程。Chang等[15]提出并設計了一種基于用戶需求對重要區域進行選擇然后實行形狀保護及深度約束保持的立體重定向方法。Lin等[16]提出了一種基于顯著物體連續性的立體圖像重定向方法,該方法在獲取重要度圖的過程中加入圖像分割的結果,并根據最終得到的重要度圖實現對重要對象的形狀保護及整體深度保持。Yoo等[17]在已有的基于內容的平面重定向基礎上分別對左右視圖進行優化,并增加對相應網格點的視差約束以保持深度。立體圖像的三維深度及觀看時的舒適度對立體圖像視覺觀感起著很大的作用[18]。Li等[19]提出了一種基于立體深度保持的重定向方法,該方法基于立體匹配將左右視圖的網格劃分為不同類型的網格,并實行不同的深度優化。Shao等[20]提出了一種以用戶體驗為導向的立體圖像重定向方法,該方法主要以提升立體圖像舒適度為目標,對不同舒適度的立體圖像實行不同類型的深度優化以達到最佳的舒適感。柴雄力等[21]提出一種能夠對深度自適應調整的網格形變圖像重定向方法,該方法在保護圖像質量的前提下可以對立體深度范圍進行針對性的調整。立體非均勻映射方法雖能較好地依據重要度圖的指導對不同重要度的網格實行非均勻形變,著重保護重要度高的網格,但其在對立體圖像進行大尺度重定向操作時還是會不可避免地導致顯著對象的擠壓形變失真。

對于現有立體圖像重定向方法,主要存在的問題有:① 現有立體重定向方法缺乏對包含不同類型的圖像具有的不同特性的考慮,對不同類型圖像均采用同一種策略進行重定向操作,可能會導致某類圖像產生嚴重的結構失真或信息丟失;② 現有的立體圖像重定向方法對顯著對象的保護與平面重定向方法類似,主要以重要度圖為依據,進行基于圖像特征的形狀保護。這種方法沒有很好地利用二維圖像特征與深度特征的關系,對顯著對象的保持效果一般甚至會導致顯著對象信息的丟失或結構扭曲。

為了解決上述問題,本文考慮對立體圖像進行相應的特征分類,并對不同類型的圖像針對性地采取不同的策略進行重定向。此外,本文采用立體智能剪裁和立體非均勻映射相結合的方法對原立體圖像進行重定向,盡可能保證顯著區域的完整性以及減小結構失真。本文的主要貢獻如下:

① 提出了基于分類的立體圖像重定向方法。該方法基于立體圖像的左視圖特征進行分類,即無顯著區域圖像與有顯著區域圖像。根據不同的圖像類型實行不同的立體圖像智能裁剪處理策略,對無顯著圖像主要采用3類衡量方式得到最佳裁剪結果,對有顯著圖像采取4種衡量方式得到最優裁剪結果。實驗證明,本文提出的方法在主觀方法結果比較及客觀質量評價指標對比中均取得了優于其他算法的結果。

② 提出一種窗口大小自適應確定的立體智能剪裁方法與立體非均勻映射方法相結合的立體圖像多算子重定向處理方法。為了減輕重要對象的擠壓形變,首先采用智能剪裁方法對圖像進行處理,通過信息丟失、深度保持和立體窗口信息誤差三方面的約束獲取尺寸大于結果圖像的裁剪圖像以保持顯著對象。為了減少信息丟失,采用立體非均勻映射方法對裁剪圖像進行重定向得到最終結果圖像。實驗表明,本文采用的分類方式與多算子重定向方法相結合的模式對不同類型的圖像效果良好,各項指標也居于前列。

③ 提出一種利用立體圖像的顯著區域及非顯著區域的深度信息差異來獲取最佳窗口的立體智能剪裁方法。對于有顯著區域圖像而言,其前景區域與背景區域的深度信息具有一定程度的差異。本文利用這種差異來獲取有明顯顯著區域圖像的最優窗口,實現保持顯著對象及相對深度的雙重目標。

1 立體圖像重定向方法

本文方法首先以立體圖像中的左視圖為分類基準對其進行分類,隨后對不同類型的圖像運用不同的智能剪裁策略進行處理,然后利用立體非均勻映射方法對由立體智能剪裁方法得到的圖像采取進一步優化處理,得到最終的重定向結果圖像。算法整體框架如圖1所示。

圖1 算法整體框架Fig.1 Overview of the proposed method

算法步驟如下:

第一步:對立體圖像進行分類。本文通過獲取左視圖的全局梯度圖以及平面顯著圖將立體圖像分為2類,即無顯著區域圖像與有顯著區域圖像,詳見1.1節。

第二步:對立體圖像進行自適應窗口的立體智能剪裁預處理。對無顯著區域圖像采取3類剪裁誤差衡量策略,對有顯著區域圖像采取4類剪裁誤差衡量策略以獲取裁剪寬度大于重定向要求的最佳窗口,詳見1.2、1.3節。

第三步:對智能裁剪結果圖像進行基于深度保持的非均勻映射優化方法處理,得到符合重定向要求的最終結果圖像,詳見1.4節。

1.1 圖像分類

圖像處理領域中的立體圖像一般指雙目圖像,即立體紅藍圖,一般由視角不同的2幅單目圖像組成。由于雙目相機拍攝視角的不同,2幅單目圖像分別被稱為左、右視圖。對于雙目圖像而言,人眼感興趣的顯著區域通常也體現在組成該立體圖像的單目圖像中,即平面顯著特性在一定程度上會對立體圖像重定向結果產生較大的影響。

本文主要以立體圖像中的左視圖平面顯著特性為分類基準對圖像進行分類。參考Tang等[22]提出的圖像分類方法,本文利用左視圖的全局梯度圖與平面顯著圖進行乘法操作得到判定圖像。若判定圖像中有明顯顯著區域,則判定為有顯著區域圖像;否則,判定為無顯著區域圖像。圖像分類結果如圖2所示。具體計算如式(1)所示。

圖2 圖像分類結果Fig.2 Image classification results

(1)

1.2 NSR

在Niu等[12]提出的方法中,其信息丟失的損失衡量主要是減小丟失信息的平均顯著值。這樣的處理方式會使窗口盡可能擴大到包含所有具有顯著度值的區域,甚至擴大到顯著值相對較低的非顯著區域,導致得到的窗口值不符合預期效果,裁剪效果不佳。不同于上述方法,本文算法優先保留平均顯著值最高的區域,再選擇性丟棄剩余區域。本文方法首先對不同類型的圖像采用不同的顯著性檢測方法,然后以窗口外和窗口內平均顯著值的差異作為衡量標準,并盡可能地增大該差異,以保留更為準確的相對顯著區域。設窗口內的像素集合為I,窗口外的像素集合為O,可以得到針對NSR的信息損失度量ECP計算如下:

(2)

立體圖像中的負視差往往意味著感知深度小于顯示屏,即觀看的物體是凸出顯示屏幕的,并且文獻[12]提到當智能剪裁窗口邊緣落于立體圖像的負視差區域時,會給大腦一個錯誤的信息,即負視差所代表的感知深度大于顯示設備,導致嚴重的視網膜競爭,極大地影響立體視覺觀感。本文通過降低立體智能剪裁窗口中的4條邊框線出現負視差的可能性來減小這種視網膜競爭的錯誤情況的產生。設窗口邊緣集合為EV,V={L,R}表示對應左、右視圖,得到立體窗口偏差衡量EED計算如下:

(3)

式中:D為以左視圖為基準得到的視差圖,Np∈EV為對應不同視圖得到的窗口邊緣像素點總數。若邊緣像素視差值為負數則fD(·)為1,否則為0。

對于立體圖像而言,左右視圖進行立體匹配得到的正視差與負視差對應的可視深度有一定區別,對于處于正視差區域的物體,感受到的可視深度往往大于觀看屏幕,而負視差則相反。同時,由于裁剪后的圖像分辨率要發生相應的變化,因此絕對視差值也會產生一定改變。為了更好地保持正、負視差帶來的不同視覺觀感,本文針對正、負視差分別進行處理。本文方法主要使原立體圖像正、負視差與裁剪窗口內對應正、負視差個數比值盡量相等來保持原立體圖像的相對可視深度?？梢缘玫结槍SR的深度扭曲衡量EDPNSR計算如下:

(4)

故對于NSR,立體智能剪裁窗口確定的ECROP計算如下:

ECROP=λCPECP+λEDEED+λDPNSREDPNSR。

(5)

為了達到保護顯著對象與保持三維可視深度的平衡,經過多次實驗,本文將權重系數λCP、λED及λDPNSR均設為1。

設輸入原圖像寬度為w,寬度重定向比例為Ratio,對于無顯著區域圖像設定的自適應窗口閾值為[CD,CT],具體計算如下:

(6)

1.3 SR

與1.2節對NSR采用3種策略獲取最優窗口方法不同的是,本節主要采用4種策略對SR進行智能剪裁操作。由于1.2節中對NSR的立體窗口偏差衡量方法與本節的SR相同,故本節省略對立體窗口偏差衡量方法的描述。

(7)

為了更好地保護SR的顯著區域和相應的感知深度,本節采用了不同于1.2節的深度保持方法。對顯著區域和非顯著區域分別考慮,并根據窗口區域中正、負視差分布狀況來保持其感知深度。方法主要通過最小化顯著區域和非顯著區域的原始立體圖像和裁剪窗口圖像中正負視差數量的比值來達到保持相對深度的目的,得到針對于SR的深度扭曲衡量EDPSR計算如下:

(8)

立體圖像中顯著區域(S-ad)和非顯著區域(NS-ad)的絕對平均視差存在一定差異,并且深度信息一般保留在立體圖像中平均絕對視差比較大的區域,通常體現在S-ad中。若S-ad與NS-ad的絕對差達到一定值,且S-ad大于NS-ad,說明深度信息主要保留在顯著對象中。為了更好地利用深度信息和顯著信息之間的關系,本文提出了一種能適當保留提供感知深度的針對NS-ad的約束,保證在裁剪過程中能夠適當保留NS-ad,這樣既能保持原有的相對深度視覺體驗,又能避免過多的信息損失。故本文提出的僅針對于SR圖像的前/背景深度信息差異誤差衡量EFVBDDR計算如下:

(9)

式中:Dp∈DSCI、Dp∈DNSCI分別表示對應視圖中窗口內的S-ad及NS-ad平均視差,Dp∈DS、Dp∈DNS分別表示原始立體圖像中S-ad及NS-ad平均視差。

故對于明顯SR,智能剪裁窗口的確定的ECROP如下:

ECROP=λCPECP+λEDEED+λDPSREDPSR+λFVBDDREFVBDDR。

(10)

與1.2節相同,本節將SR最優窗口計算的權重系數λCP、λED、λDPSR及λFVBDDR均設為1。

設圖像顯著區域寬度為WS,若WS小于Ratio×w,閾值設定與NSR相同。若WS大于Ratio×w,那么對于SR設定的自適應窗口閾值為[CD,CT],具體計算如下:

(11)

1.4 立體非均勻映射圖像重定向方法

由于上述立體智能剪裁算法中的剪裁結果尺寸未能達到重定向結果要求,故通過智能剪裁處理并得到裁剪圖像后,再進行立體非均勻映射算法處理得到最終的立體重定向圖像。本文采取Li等[19]基于網格深度劃分的立體非均勻映射方法對剪裁結果進行處理,該方法主要將原左、視圖進行網格劃分并得到對應的匹配區與非匹配區。然而,該方法設定的配對區與非配對區的非交叉的區域大部分包含重要區域,即非重要區域同時進行了配對區與非配對區的約束,導致重要區域沒有得到相應的保護。這種分類方式與約束方法會導致重要區域出現明顯的擠壓失真,造成結果圖像中的非顯著區域出現嚴重的縱向拉伸失真,影響視覺體驗。

本文在原網格劃分模式基礎上進行了如下改進:

① 對原始的網格配對模式進行了相應修改。如圖3所示,本文首先將顯著像素點占比超過50%的網格設置為顯著網格,并固定為配對網格。然后對剩余的網格實行原始的網格配對模式,保證顯著區域得到更加有效的形狀及深度保護。

圖3 網格配對方式Fig.3 Grid alignment method

② 將非配對網格中的硬約束改為比例軟約束。對非配對區域采用基于非配對像素點在網格中占比為基準的比例性軟約束,以減小縱向拉伸畸變。

故文獻[19]的改進策略整體方程如下:

(12)

2 實驗與結果

本文采用公開的數據庫NBU-SIRQA database[25]中的45組立體圖像進行對比實驗。將本文提出的方法與另外3種不同實現目標的基于非均勻映射的立體圖像重定向方法結果進行比對,以驗證本文方法的有效性和具體優勢。同時,采用主觀結果對比和客觀指標質量評價指標對比的方式對實驗結果進行分析。本文方法的實驗結果是在CPU為2.90 GHz,RAM為8 GB的計算機上采用Matlab軟件進行仿真實現。

2.1 主觀性能

本文比較了3種基于非均勻映射的立體圖像重定向方法,包括基于內容的立體圖像重定向 (CDWAR) 方法[17]、基于深度保持的立體非均勻映射重定向 (DPWAR) 方法[19]和基于用戶體驗的立體非均勻映射重定向 (QGWAR) 方法[20],對比結果如圖4所示。

圖4 寬度放縮尺度為0.5的立體圖像重定向結果對比Fig.4 Comparison of stereo image retargeting results with a width scaling of 0.5

從圖4的主觀對比可以看出,本文提出的方法(最后一列圖像)均比其他3種算法結果中對立體圖像的顯著物體有更為明顯的形狀保持能力。結果圖像的重要對象擠壓程度也明顯小于其他3種方法。由于本文提出的方法采用了立體智能裁剪和立體非均勻映射相互結合的多算子重定向方法,本文方法也能很好地保持原始立體圖像的相對感知深度。整體而言,本文方法相比其他3種方法具有更為穩固的形狀保護及深度保持能力。

2.2 用戶調查

為了更好地驗證主觀效果,本文采取用戶調查的方式更為客觀地評價本文算法的最終結果。邀請12位21～ 28歲的參與者參加本次用戶研究調查實驗,當中僅有2位了解3D視覺的相關知識,且所有受試者對實驗假設沒有任何先驗知識。

本次用戶調查使用45組圖像,采用4種立體圖像重定向方法結果以及2種不同的放縮尺度(0.5與0.75倍原始寬度)。將原始立體圖像放置頂端,2種不同的重定向方法結果分別并排顯示在其下端,重定向的結果隨機順序放置。在觀看3D圖像后,觀察者將有5 s做決定,然后選擇最符合觀感體驗的一幅圖像。本文采取的圖像對比方式為兩兩對比的方法,即每一種方法均與其他3種方法進行了對比。對于某一放縮尺度重定向方法的結果對比中,一組圖像共有6次投票的機會。由于本文共有2個放縮尺度的重定向結果進行對比,故對于一組圖像共有6×2=12次的投票機會。對某位投票者而言,共有45×12=540次投票選擇。如表1所示,本文總共收到12位投票者的45×12×12=6 480次投票,且每個方法與其他3類不同方法結果的對比次數為3 240。

表1 對不同方法的投票統計Tab.1 Votes of different methods

由表1的投票統計數據可以看出,本文方法與CDWAR方法對比時,得到的票數比為863∶217,偏好比例為79.9%;與DPWAR方法對比時,得到的票數比為837∶243,偏好比例為77.5%;與QGWAR方法對比時,得到的票數比為732∶348,偏好比例為67.8%。此外,本文提出方法的用戶主觀投票收獲了75.06%的整體偏好比例,極大優于CDWAR方法的整體偏好占比(37.56%)、DPWAR方法的整體偏好占比(31.82%)以及QGWAR方法的整體偏好占比(55.56%)。由以上分析可知,本文算法相較于其他3類算法有著更為明顯的優質視覺觀感體驗。

2.3 客觀指標

本文采用3類圖像重定向指標對結果進行評價,包括寬高比相似性(ARS)[26]、全局顯著結構扭曲(GSSD)[27]和視點轉換網格變形(VPTGD)[28]。ARS主要評價重定向前后圖像顯著區域的形變情況;GSSD主要衡量重定向后的圖像整體結構相較于重定向前的破壞情況;VPTGD主要評價立體圖像重定向前后視差(深度)變化的情況。以上3類指標值均已進行歸一化,值為0～1,越接近1表示重定向圖像相應的結構越完整,重定向效果也更好。

如表2中的客觀質量評價對比結果所示,就ARS與GSSD指標數據對比情況而言,本文方法極大地優于其他3類算法,說明本文方法在顯著對象形狀保持以及整體結構的完整性上均優于其他算法。雖然VPTGD指標在幾組圖像對比中未能達到最優值,但與最優值相差不大,說明本文算法的深度保持能力在3類算法中仍處于前列。就整體指標對比情況而言,本文算法與其列或與效果最優的方法指標數據相差無幾。

表2 對不同方法的客觀質量評價對比結果

3 結束語

本文提出了一種基于圖像顯著區域特征分類的自適應窗口立體智能剪裁方法與非均勻映射方法相結合的立體圖像多算子重定向方法。為了更好地根據不同類型的圖像特性進行重定向,本文基于圖像顯著特性將立體圖像分為2種不同類型,并針對不同類型的圖像采用了針對性的智能剪裁處理策略獲取裁剪圖像,以達到減少圖像信息丟失的目的。為了減輕重要對象幾何扭曲情況,采用非均勻映射方法對裁剪圖像進行優化重定向得到最終結果。

基于數據庫NBU-SIRQA database的主觀及客觀對比實驗表明,本文提出的方法在大部分立體圖像的測試中對重要對象的形狀及深度保持能力均優于現有的基于非均勻映射的重定向方法。