表意性方法在三維流線可視化中的應用綜述

邵緒強，程 雅，金佚鐘

表意性方法在三維流線可視化中的應用綜述

邵緒強1,2，程 雅1，金佚鐘1

(1. 華北電力大學控制與計算機工程學院，河北 保定 071003；2. 復雜能源系統智能計算教育部工程研究中心，河北 保定 071003)

流線可視化是流場可視化的重要方法，其能直觀地表達流場的結構和流動趨勢。但在三維流場使用流線可視化時，不恰當地繪制方法、選擇方法、呈現方式會導致可視化結果表達能力差，用戶很難從中高效獲取流動信息。重點對解決該類問題的表意性可視化方法進行了調研，為了全面反映表意性方法在三維流線可視化中的研究進展，對近十幾年國內外具有代表性的論文進行了系統地闡述。首先介紹了表意性可視化方法的相關概念，然后將視覺感知增強類、可見性管理類和焦點+上下文等表意性方法在三維流線可視化中的應用進行分類闡述，并討論了各種方法的優缺點。最后總結分析了表意性方法在三維流線可視化中面臨的問題和挑戰，并對未來的研究方向進行了展望。

三維流線可視化；視覺感知增強；可見性管理；焦點+上下文；三維流場可視化；表意性可視化

流場可視化是計算機圖形學在科學可視化中的一個重要應用，具有較強的學科交叉性和應用性。其應用領域涉及航空航天、醫學、氣象、復雜地理地貌研究等，這些領域存在著各種各樣的流場，如：血流場、風場等。流場可視化的主要任務是將數值模擬計算所得到的數據集，轉換成圖形圖像的表達方式，為用戶探索流動行為提供了更直觀的視覺感知[1]。從數據維度出發可以將流場可視化分為二維和三維，而生活中大部分是三維流場，因此，三維流場可視化是流場可視化的主要研究方向[2]。

三維流線可視化是使用流線來描述三維流場的流動行為，流線因其自身的結構特性，可以直觀、準確地反映出流場的流動趨勢。三維流線的可視結果與流線的繪制方法、選擇方法和呈現方式有著密不可分的關系，不恰當的方法會導致可視結果表達能力差，不利于用戶理解流動信息。視覺感知增強、可見性管理、焦點+上下文等表意性方法著重于信息傳遞，即以清晰和可理解的方式可視化數據，增強可視結果的表達能力，從而提高用戶對流動現象的認知[1]，并在一定程度上解決上述問題。表意性可視化已經廣泛地應用在醫學領域[3-6]、生物工程領域[7-8]。表意性方法在基于面的可視化[9]和二維數據可視化中[10]也有廣泛地應用。

2012年，BRAMBILLA等[11]對流場的表意性方法進行了分析。并將可視化按照數據抽象金字塔的級別進行分類歸總為：采集階段產生的原始數據、積分結構、流動特征3個層次。其中，原始數據是感興趣現象的初始表示，在每一步處理后，均對潛在的現象有一個更加抽象地描述，按此層次對表意性流場可視化方法進行了歸納總結。

本文以三維場的流線可視化為背景，將表意性可視化方法在三維流線可視化中的應用按圖1的分類進行總結。其中，從形狀、深度和不透明度3個角度總結了視覺感知增強類的方法在三維流線可視化中的應用；從相似度聚類、選擇性可視化2個角度總結了可見性管理類方法；對魔法體積、魔法鏡頭等焦點+上下文方法的應用進行了總結。表1討論了表意性方法的優缺點，表2分類匯總了使用每種方法的文獻。

圖1 表意性方法在三維流線可視化中的應用分類樹

1 表意性可視化方法相關概念

表意性可視化是一類利用數據抽象和增強技術可視化表現形式，其借鑒了傳統的藝術家繪畫和插畫的思想，側重于交互式和表達性可視化，利用視覺抽象技術最大化、有效地傳遞一定數量的信息，拓展了非真實感渲染技術[1]。表意性可視化探索了低、高級視覺抽象。將與視覺樣式相關的方法稱為低級視覺抽象[12]，主要包括線描技術、手工著色技術，如：點畫、陰影、卡通著色。在處理大量密集的數據時，使用富有表現力的技術來改變布局或使特征變形，以增加插圖的交流意圖；這些方法通常被稱為高級視覺抽象[12]，有關視覺抽象的詳細概念可查閱文獻[12-13]。選擇性可視化、剖切、特寫或分解視圖是表意性概念的例子。常見的表意性可視化方法有視覺感知增強、可見性管理、焦點+上下文。各類方法的優缺點見表1。

表1 表意性方法在三維流線可視化中的優缺點比較

表2 表意性方法在三維流線可視化中的應用匯總

1.1 低級視覺抽象

視覺感知增強類的表意性方法屬于低級視覺抽象[12]，主要指人類在感知世界時，對所有視覺信息的充分利用。視覺感知增強類的表意性方法包括基于顏色、深度、藝術風格及形狀等。其中，基于顏色的方法通過改變色調、飽和度、不透明度和亮度提高可視化結果的表達能力?；谏疃鹊姆椒?，通常用深度暈圈來傳達不透明物體的深度信息，結合深度、透明度和忠實性度量來增強深度感知?；谒囆g風格的方法包括線描、點畫、陰影、字形等，這些方法在表意性可視化中很重要，因為其使用相對較少的像素從而減輕了遮擋內部結構的問題?；谛螤畹谋硪庑苑椒ㄈ纾杭^、方向提示以提高可視結果的表達能力。目前的視覺感知增強類可視化均是結合多種表意性技術，從而展現更加完整和有趣的可視化結果。

1.2 高級視覺抽象

可見性管理[14]和焦點+上下文[15]均屬于高級視覺抽象。其中，可見性管理類是指通過聚類、選擇性可視化等手段減少混亂和遮擋以優化視覺空間來提高數據的可見性。焦點+上下文將特別感興趣的區域作為焦點并著重突出顯示，對于不太重要的區域作為上下文來提供背景，焦點+上下文技術突出顯示數據的特征而非整體結構，該類方法可以根據屬性的重要性值使用完全不同的可視技術來呈現數據集的各個部分。為了實現富有表現力的可視化，每種方法需要不同數量的領域知識作為支撐，有關表意性可視化和相關技術回顧的更多詳細信息，可參閱文獻[11,15]。

2 視覺感知增強類

王松等[16]以VCIH (vision cognition interaction hardware)模型為指導，從視覺感知增強、流場物理過程增強、探索交互式增強以及硬件依賴性增強4個方面總結了感知增強類流場可視化方法。其中從展現方式優化、流場特征增強、減少混亂和遮擋3個方面介紹了流場可視化中視覺感知增強類方法的應用。本文從視覺呈現優化的角度將視覺感知增強類的方法在三維流線可視化中的應用分為：基于形狀、深度和不透明度的方法。其中，基于形狀的方法是指通過流線的形狀增強，提高視覺感知，主要包括將流線渲染為流管、流帶等幾何圖元以提高流線的表達能力?；谏疃鹊姆椒ㄊ侵?，通過光暈、深度提示以及照明技術等方法增強流線的空間結構信息；基于不透明度的方法是指，通過將線的不透明度調整到恰當的大小，以減少遮擋。

2.1 基于形狀的方法

ANGELELLI和HAUSER[17]將流管應用于流可視化的校正，主要思想是將流動邊界管狀結構的中心線與屏幕的一個軸對齊，對不同流使用不同的流可視化技術，或通過改變所選方法的參數，對同一流進行可視化，使用流管可視化流以增強用戶的視覺感知。文獻[15]通過切割平面字形設計，探索了可視結果的深度和方向線索，證明了將基于線字形的維度增加為管狀結構可以增強其通過陰影傳達方向的能力。STEVENS等[18]對穿過切割平面的短流線進行了方向感知實驗，將流管和流線進行了比較。結果表明，環形流管和流錐能提供良好的3D方向信息。STOLL等[19]以廣義圓柱面作為線基元將流線渲染為流管，并添加了額外的視覺屬性：半徑、顏色和法線的紋理來表示方向，通過添加光暈來進一步提高深度感知，可視化結果如圖2所示。HAN等[20]提出的使用廣義管渲染3D線圖元的結合內表面不透明度，可以在一定程度上減少管可視結果之間的遮擋。該方法支持不同的半徑、分叉和正確的透明度。通過基于曲線復雜性啟發式的交叉點方法去除內部陰影來實現透明度表面。

除流管外，文獻[21]將流線渲染成流帶，該方法可以突出旋轉和扭轉，通過箭頭指示流動方向，方便用戶觀察流動。該方法適用于簡單數據集，對于大規模數據集會產生更嚴重的混亂和遮擋現象，不利于用戶觀察流動。圖3是流線變形方法的應用。

圖2 流管可視化[19]

圖3 流線變形((a)流帶[21]；(b)流錐[18])

綜上，基于形狀的方法已被證明可以提高用戶對流場流動行為的認知。單獨的流線或流線變體的可視化方法雖有一定的表達能力，但其流動結構復雜、規模較大的流場中，流線變形類的方法存在計算成本高、易造成視覺混亂、難以高效地呈現流場的流動行為等缺點。

2.2 基于深度的方法

光暈技術、深度提示、照明技術等方法應用于流線可視化能有效提高可視結果的深度感知。

首先介紹深度提示和光暈技術在三維流線可視化中的應用，MATTAUSCH等[22]使用等間距的流線繪制方法，在流線相交的部分使用暈圈、動畫和深度提示等表意性方法來增強視覺感知。使用Phong陰影模型用于流線照明，改善了空間方向和深度順序的感知，圖4是深度暈圈的應用對比圖。EVERTS等[23]以交互式幀速率進行3D線數據的表意性渲染，將深度暈圈與通過與線寬衰減的深度提示相結合增加深度感知，該方法可用于密集線數據的表意性可視化；圖5是流線應用深度提示的對比圖。EVERTS等[24]將線條劃分為可獨立控制基本視覺屬性的平行帶，用戶可以交互地創建光暈、顏色、線寬等視覺樣式，提高用戶交互探索流場的能力。

圖4 深度暈圈((a)無深度暈圈；(b)深度暈圈)[22]

圖5 深度提示((a)無深度提示；(b)深度提示)[23]

其次是照明技術，深度信息與現實世界中的照明有關，當線條成束出現時，照明可以顯著改善線條的空間感知。使用陰影、環境光遮擋等全局照明效果可以增強結構的深度感知。KANZLER等[25]使用基于體素的 GPU 光線投射方法，模擬具有透明度、陰影和環境光遮擋的線圖元。該方法將線的方向編碼為規則體素網格，并行GPU光線投射用來確定可見片段。圖6是陰影和環境遮擋條件下的線條繪制結果。雖然局部照明和陰影可用來強調線的形狀或簡單的空間關系，但不能同時顯示局部和全局細節以及空間關系；光線追蹤技術能夠提供逼真的照明模型，但不能滿足實時、交互的要求。為解決上述問題，EICHELBAUM等[26]用一種實時的環境遮擋方法改善空間和結構感知，主要思想是，將全局環境照明與周圍線條的散射光貢獻相結合，實現同時描繪局部和全局線結構，與定向局部照明的結合增強了局部特征感知，如圖7所示。

圖6 陰影和環境光遮擋的線條((a)陰影線條；(b)環境光遮擋)[25]

圖7 環境光((a)無環境光；(b)添加環境光)[26]

由于照明的計算需要表面法線來計算反射標準，故照明模型不能直接應用于流線。為解決此類問題，不少研究者使用基于面的基元渲染流線。MALLO等[27]根據Phong/Blinn模型提出了一個基于無限小圓柱面的平均照明流線模型，通過改進漫反射使用戶更好地感知流場，結合抗鋸齒、alpha混合解決流線深度感知的問題，但該方法計算開銷較大。ZHANG等[28]使用依賴于視圖的方法放置流線，基于流線是流面的樣本理論，根據Phong/Blinn模型選擇通過流線的視相關微曲面計算照明效果，該方法可以真實地呈現空間結構，性能較差。TAYLOR和HARTER[29]將流線渲染為流管，對流管應用隨機逐元素亮度調制，當流結構重疊時，隨機亮度調制可以使觀察者能感知各個線段，可視化結果如圖8所示。ROCHA等[30]使用流線型貼花結合照明、深度提示等方法可視化三維矢量場的洋流層，解決了深度問題。

圖8 隨機調制亮度((a)無調制亮度；(b)隨機亮度調制)[29]

綜上，深度提示、光暈、照明技術等的使用可以有效地提高流線的空間感知。但由于照明模型面向的是面元素，因此，在使用照明技術增強流線的空間感知時，通常將流線渲染為以面為單位的線基元，如，流管，方便法線的計算。此外，深度提示和光暈技術在密集線集上使用時，會產生光暈重疊的情況。

2.3 基于不透明度的方法

還有一部分研究者針對大規模線集，使用不透明度的方法解決密集線之間的遮擋問題。MISHCHENKO和CRAWFIS[31]使用半透明幾何圖元以提高對流可視化的感知效果。對于高遮擋的地方，執行流方向的逐像素過濾、不透明度標準化，該方法既能夠清晰地現實流線流動方向，還在一定程度從視覺上減少了遮擋。GüNTHER等[32]提出了一種解耦不透明度優化方法。將直線離散成段后，對片段鏈表、不透明度進行排序，將排序后的深度順序與重要性值進行結合并計算最佳不透明度。最后，插值每個頂點的不透明度值，實現平滑效果。該方法減輕了元素之間的遮擋問題。但其實現過程是順序相關的：確定前后重要幾何圖元的數量；按從前到后的順序合成最終的透明片段。上述過程依賴于片段鏈表的構建和排序順序，受限于內存。為了解決該問題，ROJO等[33]將解耦不透明度優化重新表達為一種順序無關的算法。通過傅里葉級數沿視線近似累計每個像素的重要性，以確定前后重要幾何圖元的數量，使用光學深度獲得前后合成的不透明度權重，并通過歸一化正確組合片段。該框架可以實現在不遮擋重要特征的情況下對大型線集進行可視化，在交互探索數據的同時保留上下文信息。KERN等[34]引入替代排序算法，提出基于透明度的桶來改進多層Alpha混合技術：基本思想是將場景離散成k個不相交的桶，這些桶在相應的深度間隔內獨立執行多層Alpha混合從而提高渲染質量。

無論使用何種繪制技術，透明線渲染無法傳達空間關系。軟陰影和環境遮擋等全局照明效果與不透明度結合可以顯著改善用戶的感知。GRO?和GUMHOLD[35]提出了一種環境光遮蔽和不透明度渲染大規模線集的方法。該方法構建于GPU的圓錐體光線投射之上，將線段以截斷圓錐體的形式繪制，并將環境遮擋效果添加到最終結果中。主要工作分為2部分：①透明度的設置。在對幾何基元和線段進行排序后，將場景分成單獨的深度切片，繪制切片并設置不透明度閾值，使用剔除方法去除透明渲染中的重疊內部結構；②通過生成網格密度的層次結構，實現體素錐跟蹤的環境遮擋效果，圖9是流數據集的可視化。

圖9 環境光遮擋和不透明度[35]

綜上，不透明度方法可以從視覺上有效緩解遮擋，提高流場特征的可見性，但是透明度的使用往往依賴于片段排序，性能消耗較大。此外，對于大規模線集，如果遮擋流線太透明，則重要區域周圍的流動上下文會丟失，且由于透明度流線之間的深度關系會更加難以辨別。

3 可見性管理類

3.1 基于相似度聚類的方法

基于相似度聚類的方法是將流線按照一定的相似性度量劃分為多個聚類簇。簇內流線的流動方向和流動趨勢較為相似，簇與簇之間則差異較大。主要從基于傳統相似度的方法和基于深度學習的方法兩方面進行討論。SHI等[36]對用于流可視化的幾種曲線聚類和簡化算法進行了深入地比較研究，為用戶提供了選擇特定方法的系統指南。

3.1.1 基于傳統相似度的方法

首先是傳統相似度的方法，此類方法進行視覺空間的簡化可以通過層次查看流場的結構和從聚類簇中提取代表性流線以最大程度上減少混亂和遮擋。YU等[37]提出了層次流線束的流場繪制方式。通過分層流線束可視化實現在不同細節級別的探索。使用最近點距離平均值(mean of closest point，MCP)作為相似性度量，對不同集群中的流線使用層次聚類依次合并2條最相似的流線，直到達到停止標準?？梢圆东@源和匯，集群的邊界流線與相鄰集群的邊界流線一起可以較好地顯示鞍，該方法通過調節不同流線的透明度，實現焦點+上下文可視化。圖10(a)展示了可視化結果。該聚類方法雖然能清晰地展示流場結構，但MCP僅限于接近的流線之間的相似性，而不同區域中存在的相似流線看起來不相似。LU等[38]使用基于分布的方法將流線上的特征度量作為描述符，并使用該描述符測量流線之間的相似性。首先對流線進行分段，使用1D直方圖構造表示流線段的特征分布，并將其連接起來生成一個2D直方圖來表示整個流線的特征。使用動態時間扭曲算法來計算直方圖之間的距離，使用層次聚類算法查看流場結構。與基于距離的MCP算法相比具有旋轉和平移不變性。文獻[21]通過基于信息熵的播種生成流線，用兩階段k-means聚類方法對流線聚類分組。第一階段使用聚類流線的起點，在中間點和終點計算流線間的空間距離；第二階段考慮流線的形狀屬性，將第一階段之后的每個簇進一步細分為簇。從每組聚類結果中選擇一條或多條代表性流線，減少數量的同時保留每個束的方向和結構信息，使用streamtape對流線進行可視化，在可視化過程中結合光照、陰影、輪廓等表意性渲染方法，提高可視化結果的表達能力，但對于大規模數據集：①流帶比流線更容易產生混亂和遮擋現象；②在第二個聚類階段應用流線的形狀屬性作為相似性度量，雖然具有旋轉、縮放和方向不變的優點，但仍存在特征提取不全面的問題。TAO等[39]將流線建模為字符串，使用FlowString將流線進行匹配。首先基于纏繞角對流線進行重采樣，使用較小的閾值捕獲相鄰采樣點之間的流線段，Procrustes距離作為成對樣本點的相似性度量，在GPU上應用2次親和力傳播聚類，生成的簇作為數據集的局部形狀并用字符表示，通過將字符串聯在一起形成單詞。這項工作是第一個對流線型段進行標簽和分類的工作。FERSTL等[40]使用主成分分析方法，將高維空間的流線降為低維空間，并在降維后執行聚類，降維后流線的復雜度明顯降低，但該方法更適合處理常規模擬氣象數據集。

基于傳統相似性度量的方法分為基于距離和形狀特征的度量?；诰嚯x的度量能夠清晰地展示流線的空間分布，但該方法僅限于空間位置接近的流線之間的相似性，距離較遠區域相似的流線不會歸到同一個簇中?；谛螤畹南嗨菩远攘糠椒◤V泛地應用在流線查詢和流線選擇領域，該方法具有旋轉和平移不變性，但在進行流線特征提取時存在特征提取不完全，不能完全捕獲流動行為的缺點。

圖10 基于聚類的方法((a)傳統聚類[37]；(b)深度學習的方法[41])

3.1.2 基于深度學習的方法

深度學習在流線聚類方面的應用有：HAN等[41]介紹了一種用于流線和流面的聚類和選擇的新方法：FlowNet。該方法基于自編碼器和卷積神經網絡，能夠以無監督的方式在單個框架內學習流線和流表面的潛在特征，生成特征描述符，描述符被用來重建輸入對象以進行誤差估計和網絡訓練。對特征描述符采用t分布-隨機鄰近嵌入(t-distributed stochastic neighbor embedding，t-SNE)進行降維，并設計了可交互的可視化界面，通過聚類、過濾和選擇代表來直觀地探索流線或曲面的集合。這種方法僅選擇簇中的代表，最大限度地減少冗余。盡管特征描述符的維度不具有可解釋性，也不能直接對應流線的某種屬性，但通過降維、聚類后其對應流線的分組符合流線的形狀、位置等特征，圖10(b)是FlowNet的應用。與文獻[42]和文獻[43]相比，文獻[41]未明確使用任何流線屬性，是第一個使用深度學習網絡在聚類和選擇之前計算流特征，從而降低了矢量場重建的誤差，但訓練網絡的時間較長。XU等[44]將腦纖維束用矢量場表示，然后用流線簡化算法進行壓縮，在經過流線歸一化和規則多面體投影后，計算每個纖維束的高維特征，通過t-SNE對特征進行降維，隨后將特征輸入自編碼器中，進行訓練，使用深度聚類將腦纖維束進行分組，用戶可以單獨查看每個聚類簇，這在最大程度上優化了視覺空間。但是該聚類算法受限于流線簡化程度，且只適用于單個數據集，未對于其他數據集的效果進行驗證。

基于深度學習的方法已被用來準確地捕獲特征區域，但也存在著一定的不足，如：①需要對數據進行二次采樣；②運行時間長；③特征的提取是針對特定數據集，需要對每個數據集進行處理。未來的努力目標是建立一個大型的數據庫來訓練神經網絡以識別流特征。

3.2 選擇性可視化

選擇性可視化在三維流線中的應用，可以分為視圖相關和視圖無關的流線選擇，旨在使用最少數量的流線來表達流場的流動特征。關于流線選擇相關更詳細地介紹參考文獻[45]。

3.2.1 視圖相關的流線選擇方法

MARCHESIN等[46]提出了一種基于流線增刪算法的三維矢量場流線選擇技術，該方法通過定義重疊值，量化雜亂程度，然后移除其投影像素上具有高重疊值的流線；并向未覆蓋區域添加流線，該流線選擇方法在減少遮擋的同時也保留了上下文的信息。LEE等[47]使用基于信息論的方法，解決最小可視化中的遮擋問題。該方法用熵測量向量場中的局部復雜度；并使用幀緩沖區存儲給定視圖的最大熵值和相應的深度，根據流特征的可見性選擇流線和視點。MA等[48]提出了一種重要性驅動的方法選擇與視圖相關的流線。通過考慮流線對大量樣本視點的貢獻來執行選擇。從流線的隨機池開始，創建一個矩陣，其中包含從所考慮的每個視點看到每個流線的概率。如果流線包含大量3D信息且給定視圖的2D投影可以很好地保留信息，則流線的概率很高。流線按照累積的流線信息排列到優先隊列中，使用MCP測量流線之間的相似性進行過濾，以避免重復的流線。MA等[49]提出了一個內部視點選擇方法，根據熵場選擇合適的內部視點，且便于從內部觀察流動特征，但由于視點的快速變化，會產生眩暈的效果。與單獨的視點相關的流線選擇方法不同的是，文獻[42]將流線選擇和視點選擇視為對稱問題，并將其表述為統一的信息論框架，在候選流線池和一組樣本視點之間建立2個相互關聯的信息通道進行最佳視點和最佳流線的選擇。該方法穩定性較好，但在數據集規模較大時，計算消耗大，圖11是3個不同視點下流線選擇的結果。LAWONN等[50]使用依賴于視圖的流線可視化血流數據，對流的旋渦特征進行提取，結合輪廓提示，重點顯示旋渦區域，該方法被證明能使用戶快速理解整體流動行為。

GüNTHER等[51]采用基于優化過程的全局線選擇方法，對覆蓋域中的每條流線均以不同的不透明度渲染，通過最小化二次誤差函數來計算線的全局最優不透明度。該方法旨在平衡信息呈現和避免遮擋，可視化結果如圖12(a)所示，但基于不透明度的方法會對上下文區域中線條間空間關系的感知產生負面影響。主要表現在：透明度的增加會導致對象顏色飽和度降低，而導致失真；在重要的前景中，不太重要的線條會完全淡出，從而丟失上下文信息；隨著透明度的增加，線之間的空間關系變得難以理解。

圖11 不同視點的流線選擇[42]

圖12 流線選擇((a)不透明度[51]；(b)線密度控制[53])

視圖相關的流線選擇方法被證明能在一定程度上優化視覺空間，但是該方法對于視點的依賴性極強，當視點發生變化時，需要重新計算。

3.2.2 視圖無關的流線選擇方法

文獻[43]使用基于信息論的流動可視化框架，向量場被建模為方向的分布，使用香農熵測量場中的信息含量?？蚣茉试S對輸入流場中的信息含量進行定量測量，流線的分布由數據信息內容控制。因此，更多信息的區域將有更多的流線。MA等[52]提出了FlowGraph，將流場轉換為圖形表示，可以觀察和探索流線簇、空間區域及其在轉換空間中的互連之間的關系，實現選擇可視化。KANZLER等[53]根據流線的重要性和屏幕空間占有率來調整線條密度。使用最小成本完美匹配算法稀疏出現明顯遮擋的線。該算法需要計算完全平衡的線層次結構，以促進在域中均勻去除流線并在運行時獲得所需的密度。圖12(b)是該方法的可視化結果，盡管此方法改善了可視化的空間感知，但其需要較長的預處理時間來構建平衡的線層次結構。LU等[54]采用改進的KD樹以減少流線之間的混亂和遮擋。首先，基于曲線復雜度構建一組直線段分別逼近每條輸入3D曲線。采用曲線復雜性啟發式方法來確定分裂平面并計算節點分裂成本，構建一個高效的KD樹。該方法是基于鄰域的線數據分析，包括交互式線條查詢、不透明度優化和線條抽象。

4 焦點+上下文

焦點+上下文技術包括魚眼視圖[55]和放大鏡[56]、魔鏡[57]等通過改變物體的呈現方式以揭示隱藏的信息。在流動可視化中，3D鏡頭已經被用于顯示具有更多細節的焦點區域[22]。

文獻[22]使用魔法體積，確定焦點區域，在焦點區域中著重顯示流的有趣部分，將標量特征映射到流線顏色密度上，聚光燈照射在焦點區域，以增強視覺感知，突出焦點區域，但該方法依賴于視點，當視點變化時，必須調整魔術鏡頭。TAO等[58]提出了一個焦點+上下文的流線變形框架。該框架是基于網格的空間變形方案，通過在域上應用粗網格，將域劃分為塊，并得出每個塊的重要性。然后將塊擴展和平滑為能量項，搜索最小化目標能量函數的變形網格，給通過重要區域的流線段分配更大的空間，流過不重要區域的流線段分配較少的空間，實現焦點+上下文可視化。該框架允許用戶自動選擇焦點區域，還允許用戶通過點擊感興趣的點或流線來手動指定焦點區域，能夠實時執行變形和恢復過程。圖13(a)是球形焦點變形的流線；圖13(b)是沙漏塊焦點變形的流線。這種探索增強了用戶與流線的互動能力。TONG等[59]提出了一個定制的流線變形算法和一個交互式可視化工具，來實現三維流線的焦點+上下文可視化。用戶在屏幕空間定義了焦點區域后，基于點模型和線模型2個變形模型，使遮擋焦點區域的流線被變形。使用魔術鏡頭，允許用戶自由地將流線從屏幕上的選定區域移開，以顯示下面的結構，該變形可在GPU中實現實時探索。如圖14所示，點模型將流線從焦點區域的中心移開，線模型沿著焦點區域的主軸切割流線并將流線移動至兩側。在該方法的基礎上，又引入了2種新的鏡頭：分層鏡頭和折線鏡頭[60]，以探索不同深度和不同屏幕位置的特征，具有更高的靈活性和適應性。分層鏡頭是一組在屏幕空間中相互堆疊的鏡頭，每個鏡頭都在特定的層中使流線在其各自的范圍內變形，通過對不同層進行變形，可以更清楚地顯示不同層的特征和上下文。折線鏡頭使聚焦區域具有更一般的形狀，主要方法是使用一系列相連的線段切割流線，并使周圍的流線平滑地向一側變形，將特征擬合到折線鏡頭的焦點區域?？梢暬Y果表明分層鏡頭和折線鏡頭在交互式探索矢量場的過程中能有效保持上下文的信息，但當用戶進行視點切換時，需要重新計算網格數據，不能實現實時可視化。

圖13 魔法體積((a)球形焦點；(b)沙漏塊焦點)[58]

圖14 魔術鏡頭((a)點模型；(b)線模型)[59]

除了上述方法外，JONES和MA[61]還使用多維投影可視化技術來強調粒子路徑和幾何圖形之間的局部關系，用戶以焦點+上下文的形式查看流線。該可視化技術使用基于位置的可視化為單個軌跡提供鄰近信息和焦點+上下文，用標準半透明渲染幫助科學家從空間和時間的角度觀察流場，從而更好地理解在計算機房模擬氣流和表面溫度之間的關系、地下水模擬流體顆粒穿過半多孔介質時的行為等數據中的趨勢和因果關系。

焦點+上下文技術也經常與光照、不透明度、形狀變形等方法結合可視化流場以提高可視結果的表達能力，如：文獻[35]，文獻[33]和文獻[41]。焦點+上下文方法在三維流線可視化中在捕捉重要特征的同時保留上下文信息，但隨著數據規模的擴大，不可避免地會出現遮擋和混亂現象，并且隨著用戶需求的提高，對焦點+上下文的實時性研究也是一個重點問題。

5 總 結

經過幾十年的研究，表意性方法在三維流線可視化中的應用已經有了很大地發展，但隨著數據規模的不斷擴大、用戶需求方面的精細化和普適性越來越高，給表意性方法在三維流線可視化中的應用帶來了新的機遇和挑戰。

5.1 視覺感知增強類

(1) 在流動結構復雜、規模較大的流場中，流線變形類的方法存在計算成本高、若選擇了不合適流線表達方法還容易加重視覺負擔，難以高效地呈現流場的流動行為。

(2) 在密集線數據集中，當流動結構重疊時，使用深度提示和光暈技術會產生嚴重的光暈重疊情況，嚴重阻礙用戶理解和探索流。此外，由于照明模型面向的是面元素，在使用照明技術增強流線的空間感知時，通常將流線渲染為以面為單位的線基元，方便法線的計算，這將大大增加計算量。

(3) 當使用不透明度的方法來減少流線之間的遮擋時，如果遮擋流線太透明，則重要區域周圍的流動上下文會丟失，并且由于透明度、流線之間的深度關系會更加難以辨別。此外，透明度方法需要深度排序才能正確渲染對象，當可視化面臨大而密集的線數據時，很難實現對大量線段進行實時排序。

因此，根據可視化需求選擇合適的流線變形方法以及照明技術。此外，對于不透明度的研究，由于在可視化過程中該方法是順序依賴，需要耗費大量的時間和內存來完成片段排序操作、且透明度的使用會導致流線之間空間關系的丟失。因此順序無關的不透明度優化算法結合深度信息是未來的研究方向。

5.2 可見性管理類

(1) 傳統的相似性度量方法從距離和特征2個方面出發，基于距離的度量僅限于空間位置接近的流線之間的相似性，在距離較遠區域中相似的流線很難聚到同一簇中?；谛螤畹亩攘吭谶M行流線特征提取時會出現特征提取不全面，不能完全捕獲流場的流動行為?；谏疃葘W習的方法需要對不同的數據集分別進行訓練，且訓練時間較長。

(2) 視圖相關和無關的流線選擇方法能在一定程度上減少流線之間的遮擋現象，但是視圖相關的流線選擇算法依賴于視點，當視點變換時需要重新計算。

因此，對于可見性管理類的方法，當使用傳統相似度聚類方法時，如何全面捕獲流線的特征、允許從流線空間位置和形狀特征等不同維度探索流動是未來的研究方向。關于深度學習的聚類方法，未來的努力目標是建立一個大型數據庫訓練深度神經網絡來識別流特征，關于深度學習在非定常流場可視化和整體計算改進中的應用，還有進一步研究的潛力。

5.3 焦點+上下文

焦點+上下文類的方法大多是視圖相關的，當視點突然變化時，需要重新調整魔術鏡頭或重新計算流線變形，當流線數目較多時，每個視點下的計算量將會非常大、實時性差。

對于焦點+上下文可視化，如何有效地將交互和可視化同步，增強可視化的實時性和準確性，是魔法鏡頭、魔法體積類的方法在三維流線可視化中的難點。

[1] 李思昆, 蔡勛, 王文珂, 等. 大規模流場科學計算可視化[M]. 北京: 國防工業出版社, 2013: 19-49.

LI S K, CAI X, WANG W K, et al. Large-scale flow field scientific visualization[M]. Beijing: National Defense Industry Press, 2013: 19-49 (in Chinese).

[2] 宋漢戈, 劉世光. 三維流場可視化綜述[J]. 系統仿真學報, 2016, 28(9): 1929-1936.

SONG H G, LIU S G. Review of 3D flow visualization[J]. Journal of System Simulation, 2016, 28(9): 1929-1936 (in Chinese).

[3] LAWONN K, GLA?ER S, VILANOVA A, et al. Occlusion-free blood flow animation with wall thickness visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(1): 728-737.

[4] MEUSCHKE M, OELTZE-JAFRA S, BEUING O, et al. Classification of blood flow patterns in cerebral aneurysms[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(7): 2404-2418.

[5] KREISER J, HERMOSILLA P, ROPINSKI T. Void space surfaces to convey depth in vessel visualizations[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(10): 3913-3925.

[6] KREISER J, MEUSCHKE M, MISTELBAUER G, et al. A survey of flattening-based medical visualization techniques[J]. Computer Graphics Forum, 2018, 37(3): 597-624.

[7] HALLADJIAN S, MIAO H C, KOURIL D, et al. Scale trotter: illustrative visual travels across negative scales[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(1): 654-664.

[8] KOU?IL D, ISENBERG T, KOZLíKOVá B, et al. HyperLabels: browsing of dense and hierarchical molecular 3D models[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(8): 3493-3504.

[9] LAWONN K, VIOLA I, PREIM B, et al. A survey of surface-based illustrative rendering for visualization[J]. Computer Graphics Forum, 2018, 37(6): 205-234.

[10] G?RTLER J, SPICKER M, SCHULZ C, et al. Stippling of 2D scalar fields[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(6): 2193-2204.

[11] BRAMBILLA A, CARNECKY R, PEIKERT R, et al. Illustrative flow visualization: state of the art, trends and challenges [EB/OL]. [2022-03-27]. https://doi.org/10.2312/ conf/eg2012/stars/075-094.

[12] VIOLA I, ISENBERG T. Pondering the concept of abstraction in (illustrative) visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(9): 2573-2588.

[13] VIOLA I, CHEN M, ISENBERG T. Visual abstraction[M]// Foundations of Data Visualization. Cham: Springer International Publishing, 2020: 15-37.

[14] ELMQVIST N, TSIGAS P. A taxonomy of 3D occlusion management for visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2008, 14(5): 1095-1109.

[15] ANDREW B, BRUCKNER S, CHEN W, et al. Interactive tools for scientific and medical illustration composition[EB/OL].[2022-03-27]. http://diglib.eg.org/handle/10.2312/egt.20081056.T8.

[16] 王松, 吳斌, 吳亞東. 感知增強類流場可視化方法研究與發展[J]. 計算機輔助設計與圖形學學報, 2018, 30(1): 30-43.

WANG S, WU B, WU Y D. Survey on perception enhanced flow visualization[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(1): 30-43 (in Chinese).

[17] ANGELELLI P, HAUSER H. Straightening tubular flow for side-by-side visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(12): 2063-2070.

[18] STEVENS A H, WARE C, BUTKIEWICZ T, et al. Hairy slices II: depth cues for visualizing 3D streamlines through cutting planes[J]. Computer Graphics Forum, 2020, 39(3): 25-35.

[19] STOLL C, GUMHOLD S, SEIDEL H P. Visualization with stylized line primitives[C]//VIS 05. IEEE Visualization. New York: IEEE Press, 2005: 695-702.

[20] HAN M J, WALD I, USHER W, et al. Ray tracing generalized tube primitives: method and applications[J]. Eurographics Workshop on Visual Computing for Biomedicine, 2019, 38(3): 467-478.

[21] CHEN C K, YAN S, YU H F, et al. An illustrative visualization framework for 3D vector fields[J]. Computer Graphics Forum, 2011, 30(7): 1941-1951.

[22] MATTAUSCH O, THEU?L T, HAUSER H, et al. Strategies for interactive exploration of 3D flow using evenly-spaced illuminated streamlines[C]//The 19th Spring Conference on Computer Graphics. Budmerice, Slovakia. New York: ACM Press, 2003: 213-222.

[23] EVERTS M H, BEKKER H, ROERDINK J B T M, et al. Depth-dependent halos: illustrative rendering of dense line data[J]. IEEE Transactions on Visualization and Computer Graphics, 2009, 15(6): 1299-1306.

[24] EVERTS M H, BEKKER H, ROERDINK J B T M, et al. Interactive illustrative line styles and line style transfer functions for flow visualization[EB/OL]. [2022-03-27]. https://arxiv.org/abs/1503.05787.

[25] KANZLER M, RAUTENHAUS M, WESTERMANN R. A voxel-based rendering pipeline for large 3D line sets[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(7): 2378-2391.

[26] EICHELBAUM S, HLAWITSCHKA M, SCHEUERMANN G. LineAO—improved three-dimensional line rendering[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(3): 433-445.

[27] MALLO O, PEIKERT R, SIGG C, et al. Illuminated lines revisited[EB/OL]. [2022-03-27]. https://ieeexplore.ieee.org/ abstract/document/1532772.

[28] ZHANG W Y, PEI Y Z, LIU B C, et al. A streamline illumination method for 3D flow fields[C]//2013 7th International Conference on Image and Graphics. New York: IEEE Press, 2013: 252-257.

[29] TAYLOR R M 2nd, HARTER J. Random per-element luminance modulation for improved visual tracking[J]. IEEE Computer Graphics and Applications, 2014, 34(6): 83-87.

[30] ROCHA A, SILVA J D, ALIM U, et al. Multivariate visualization of oceanography data using decals[C]// Proceedings of the Workshop on Visualisation in Environmental Sciences. New York: ACM Press, 2017: 31-35.

[31] MISHCHENKO O, CRAWFIS R. On perception of semi-transparent streamlines for three-dimensional flow visualization[J]. Computer Graphics Forum, 2014, 33(1): 210-221.

[32] GüNTHER T, THEISEL H, GROSS M. Decoupled opacity optimization for points, lines and surfaces[J]. Computer Graphics Forum, 2017, 36(2): 153-162.

[33] ROJO I B, GROSS M, GüNTHER T. Fourier opacity optimization for scalable exploration[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(11): 3204-3216.

[34] KERN M, NEUHAUSER C, MAACK T, et al. A comparison of rendering techniques for 3D line sets with transparency[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(8): 3361-3376.

[35] GRO? D, GUMHOLD S. Advanced rendering of line data with ambient occlusion and transparency[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(2): 614-624.

[36] SHI L Y, LARAMEE R S, CHEN G N. Integral curve clustering and simplification for flow visualization: a comparative evaluation[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(3): 1967-1985.

[37] YU H F, WANG C L, SHENE C K, et al. Hierarchical streamline bundles[J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(8): 1353-1367.

[38] LU K W, CHAUDHURI A, LEE T Y, et al. Exploring vector fields with distribution-based streamline analysis[C]//2013 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2013: 257-264.

[39] TAO J, WANG C L, SHENE C K. FlowString: partial streamline matching using shape invariant similarity measure for exploratory flow visualization[C]//2014 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2014: 9-16.

[40] FERSTL F, BüRGER K, WESTERMANN R. Streamline variability plots for characterizing the uncertainty in vector field ensembles[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(1): 767-776.

[41] HAN J, TAO J, WANG C L. FlowNet: a deep learning framework for clustering and selection of streamlines and stream surfaces[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(4): 1732-1744.

[42] TAO J, MA J, WANG C L, et al. A unified approach to streamline selection and viewpoint selection for 3D flow visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(3): 393-406.

[43] XU L J, LEE T Y, SHEN H W. An information-theoretic framework for flow visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1216-1224.

[44] XU C Q, SUN G D, LIANG R H, et al. Vector field streamline clustering framework for brain fiber tract segmentation[EB/OL]. [2022-03-27].https://ieeexplore.ieee. org/abstract/document/9474448.

[45] SANE S, BUJACK R, GARTH C, et al. A survey of seed placement and streamline selection techniques[J]. Computer Graphics Forum, 2020, 39(3): 785-809.

[46] MARCHESIN S, CHEN C K, HO C, et al. View-dependent streamlines for 3D vector fields[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1578-1586.

[47] LEE T Y, MISHCHENKO O, SHEN H W, et al. View point evaluation and streamline filtering for flow visualization[C]//2011 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2011: 83-90.

[48] MA J, WANG C L, SHENE C K. Coherent view-dependent streamline selection for importance-driven flow visualization[EB/OJ]. (2013-02-04) [2022-03-27].https://www. spiedigitallibrary.org/conference-proceedings-of-spie/8654/865407/Coherent-view-dependent-streamline-selection-for-importance-driven-flow-visualization/10.1117/12.2001887.shor.t.

[49] MA J, WALKER J, WANG C L, et al. FlowTour: an automatic Guide for exploring internal flow features[C]//2014 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2014: 25-32.

[50] LAWONN K, GüNTHER T, PREIM B. Coherent view-dependent streamlines for understanding blood flow[C]// Proceedings of the EuroVis (Short Papers). Aire-la-Ville: The Eurographics Association, 2014:19-23.

[51] GüNTHER T, R?SSL C, THEISEL H. Opacity optimization for 3D line fields[J]. ACM Transactions on Graphics, 2013, 32(4): 120.

[52] MA J, WANG C L, SHENE C K. FlowGraph: a compound hierarchical graph for flow field exploration[C]//2013 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2013: 233-240.

[53] KANZLER M, FERSTL F, WESTERMANN R. Line density control in screen-space via balanced line hierarchies[J]. Computers & Graphics, 2016, 61: 29-39.

[54] LU Y C, CHENG L Y, ISENBERG T, et al. Curve complexity heuristic KD-trees for neighborhood-based exploration of 3D curves[J]. Computer Graphics Forum, 2021, 40(2): 461-474.

[55] GANSNER E R, KOREN Y, NORTH S C. Topological fisheye views for visualizing large graphs[J]. IEEE Transactions on Visualization and Computer Graphics, 2005, 11(4): 457-468.

[56] ZHAO X, ZENG W, GU X D, et al. Conformal magnifier: a focus context technique with local shape preservation[J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(11): 1928-1941.

[57] BIER E A, STONE M C, KEN P E, et al. Toolglass and magic lenses: the see-through interface[C]//The 20th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 1993: 73-80.

[58] TAO J, WANG C L, SHENE C K, et al. A deformation framework for focus context flow visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(1): 42-55.

[59] TONG X, CHEN C M, SHEN H W, et al. Interactive streamline exploration and manipulation using deformation[C]//2015 IEEE Pacific Visualization Symposium . New York: IEEE Press, 2015: 1-8.

[60] TONG X, EDWARDS J, CHEN C M, et al. View-dependent streamline deformation and exploration[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(7): 1788-1801.

[61] JONES C, MA K L. Visualizing flow trajectories using locality-based rendering and warped curve plots[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1587-1594.

A review of the application of illustrative methods in 3D streamline visualization

SHAO Xu-qiang1,2, CHENG Ya1, JIN Yi-zhong1

(1. School of Control and Computer Engineering, North China Electric Power University, Baoding Hebei 071003, China; 2. Engineering Research Center of Intelligent Computing for Complex Energy Systems, Ministry of Education, Baoding Hebei 071003, China)

Streamline visualization is an important method of flow visualization. It can directly represent the structure and flow trend of the flow field. However, when streamline visualization is used in the three-dimensional flow field, inappropriate rendering methods, selection methods, and presentation methods will lead to poor expression ability of visual results, and it is difficult for users to efficiently obtain flow information. In order to fully reflect the research progress of illustrative methods in 3D streamline visualization, this paper systematically reviewed the representative papers at home and abroad over recent ten years ago. First, the related concepts of illustrative visualization methods were introduced, and then the applications of illustrative methods such as visual perception enhancement, visibility management, and focus + context in 3D streamline visualization were summarized and classified, and the advantages and disadvantages of each method are discussed.The illustrative method of visual perception enhancement refers to that when perceiving the world, human beings make full use of all the visual information.Visibility management refers to the improvement of the overall visibility of data by reducing confusion and occlusion through such means as clustering and selective visualization, thus optimizing the visual space.Focus + context emphasizes which part is the area of special interest, that is, focus, and highlights it. For less important areas, namely, context, it is utilized to provide background.Focus + context technology highlights the characteristics of the data rather than the overall structure. Finally, the application of illustrative methods in 3D streamline visualization is summarized and analyzed. The problems and challenges in streamline visualization were presented, and future research directions were prospected.

3D streamline visualization;visual perceptual enhancement;visibility management; focus + context;3D flow visualization; illustrative visualization

TP 391

10.11996/JG.j.2095-302X.2022050753

A

2095-302X(2022)05-0753-12

2022-03-21；

2022-05-26

21 March，2022；

26 May，2022

河北省自然科學基金項目(F2020502014)；中央高?；究蒲袠I務費專項(2021MS095)；國家自然科學基金項目(61502168)

Natural Science Foundation of Hebei Province (F2020502014); Special Fund for Basic Scientific Research Business of Central Universities (2021MS095); National Natural Science Foundation of China (61502168)

邵緒強(1982-)，男，副教授，博士。主要研究方向為計算機圖形學、虛擬現實。E-mail：shaoxuqiang@163.com

SHAO Xu-qiang (1982-), associate professor, Ph.D. His main research interests cover computer graphics and virtual reality.E-mail：shaoxuqiang@163.com