?

高動態范圍條紋結構光在機檢測技術及應用進展

2024-02-05 09:06劉澤隆李茂月盧新元張明壘
中國光學 2024年1期
關鍵詞:條紋測量圖像

劉澤隆,李茂月,盧新元,張明壘

(哈爾濱理工大學 先進制造智能化技術教育部重點實驗室,黑龍江 哈爾濱 150080)

1 引言

航空發動機渦輪葉片、核電汽輪機大葉片、大口徑光學鏡面等典型的復雜曲面零件,幾何精度和物理性能要求高,在機械加工過程中極易產生變形[1]。因此,對零件進行在機不拆卸檢測,高效地檢測加工質量,確保其加工精度滿足要求,成為近年來先進制造領域的研究熱點。傳統的測量方式是將零件從機床上卸載,置于三坐標測量機(Coordinate Measuring Machine,CMM)上,通過接觸式測量原理進行檢測。這種方法需要將工件多次拆卸重新裝夾,容易帶來定位誤差和裝夾變形,且測量探頭易對工件表面造成損傷。隨著先進制造技術的推進,出現了可對零件進行非接觸式的在機檢測,可有效避免上述缺點,在機檢測技術即在工件裝夾定位狀態不變的情況下,對工件進行原位檢測。以光學檢測為代表的非接觸式測量可有效避免反復拆卸帶來的影響,同時測量速度快,具備一定的實時性,測量結果可用于指導加工參數的修正[2]。

光學測量設備主要有激光干涉儀、結構光測量儀、顯微共焦儀、白光干涉儀等。其中,結構光技術具有測量原理簡單、硬件成本低、測量精度高、測量速度快等優點,在工業和醫學等領域受到廣泛應用。另外,結構光技術算法易于集成,相關硬件可以通過與機械臂配合進行測量視點和路徑規劃[3],受待測件尺寸的影響較小。

基于結構光技術的測量效果受到相機分辨率、投影分辨率、標定精度等因素影響。其測量精度很大程度上取決于被測物體表面的光學反射特性。由于加工過程中環境光線復雜,且金屬表面具有較強的鏡面反射,使用傳統結構光方法測量時,工業相機拍攝的條紋圖像易出現過飽和,導致條紋數據信息丟失,造成重建的點云出現大面積的波紋和孔洞,無法準確得到待測物的三維信息。在商用設備市場中,著名測量系統供應商德國GOM 和瑞典Hexagon 通過在待測件表面噴涂一種抑制強反射的涂層,來改變材料的反射特性,使其表面由鏡面反射變為漫反射,從而削弱反光,但是涂層的厚度和均勻程度主要取決于操作者的經驗,極容易帶來測量誤差,降低測量精度。國內外學者為了解決這一問題,進行了多方面的研究。研究發現相機所拍攝條紋圖像呈現過飽和現象,是因為待測件的反射強度變化程度高于相機的0~255 灰度強度范圍。因此用于高反光表面測量的方法被稱為高動態范圍(High Dynamic Range,HDR)技術。

在結構光檢測方面,現有的綜述大多介紹了不同的檢測原理和方法[4-5],針對HDR 結構光測量技術,現有文獻雖然進行了技術總結,討論了不同技術的優缺點[6-7],但未與在機加工檢測結合,且隨著智能技術的成熟,近兩年國內外學者將深度學習等智能算法應用于結構光檢測中,解決了實時在機檢測、動態物體檢測和HDR 檢測等問題。本文以機械加工在機檢測為背景,對近年來用于測量高反光表面的HDR 技術進行了全面綜述。本文將現有技術方案歸納為基于硬件設備的HDR 技術和基于條紋算法的HDR 技術兩大類,針對不同方法的特點,結合對加工場景在機檢測的需求,總結了不同方法的技術特點,并且對HDR 結構光在機檢測進行了技術展望。

下文安排如下:第二部分介紹HDR 條紋測量原理和在機檢測關鍵問題;第三、四部分分別介紹基于硬件設備的HDR 技術和基于條紋算法的HDR 技術;第五部分結合加工在機檢測方面面臨的問題,對現有方法進行分析比較,總結特點;第六部分介紹HDR 結構光在機檢測技術的潛在應用和技術展望;第七部分為結論。

2 HDR 條紋結構光在機檢測原理及關鍵問題分析

2.1 條紋結構光測量原理

與傳統接觸式測量技術相比,三維視覺測量技術具有速度快、成本低的特點,為我國先進制造、精密工程發展戰略提供新的技術支撐。如表1所示,三維視覺測量技術根據測量過程中是否投射光源,可分為被動視覺測量和主動視覺測量。其中,面結構光式測量方法在所有結構光方法中測量效率最高,廣泛應用于物體的三維測量領域。

表1 三維視覺測量技術分類Tab.1 Classification of three-dimensional visual measurement technology

結構光測量系統主要由工業相機、投影儀和計算機組成,其原理示意圖如圖1(彩圖見期刊電子版)所示。

條紋輪廓術(Fringe Projection Profilometry,FPP)是常用的面結構光測量方法。其通過計算機獲得編碼條紋,經投影儀投射到待測物表面,解析變形條紋即可得到相位信息。在經典的FPP測量系統中,常采用相移法求解相位,條紋圖案為正弦光柵,條紋強度Ii(x,y)可以表示為:

式中,(x,y)是圖像像素坐標,a(x,y)是條紋圖像的背景光強;b(x,y)是受物體表面反射率影響的調制光強;i表示相移步數;N表示相移總步數;φ(x,y)為待求相位主值,其表達式為:

得到相位主值后,通過多頻外差法獲得連續相位,將連續相位與標定數據相結合,即可得到待測物的三維信息。

2.2 HDR 結構光在機檢測技術關鍵問題分析

在信息互聯的智能制造背景下,利用AGV小車和六自由度機器人搭載結構光測量設備,對加工過程中的零件進行在機檢測(如圖2 所示)。該方法可避免反復拆卸產生定位誤差和裝夾變形,同時可提高零件整體的加工效率,有助于推進智能化加工(如圖3 所示)。

圖3 結構光在機檢測系統架構Fig.3 Architecture of on-machine detection system of structured light

在加工環境中,傳統結構光技術易受到復雜環境光線和金屬零件高反光的影響。但將HDR技術應用于結構光在機檢測中,可有效抑制相關影響,提升測量精度。結構光系統中,相機成像模型如公式(3)所示[8]:

式中:I是圖像像素強度;α是相機靈敏度系數;t是相機的曝光時間;β是待測物的反射系數;Ip是投影儀的光強;Iα1是被測物體反射的環境光;Iα2是直接進入相機的環境光;μ是相機的噪聲誤差。

根據該模型可知,通過改變相機的曝光量、條紋的光強和物體的反射特性,可以改進拍攝條紋圖像的成像效果?;诖嗽?,國內外學者通過改變相機曝光度、調整投影圖案強度,加置偏振濾光片,利用相位測量偏折術、光度立體技術,更改編碼解碼方案和深度學習智能算法等多種方法,對HDR 測量技術進行研究。在使用HDR 結構光技術進行在機檢測時,需重點考慮如下問題:

(1)零件加工時,整體處于暗房環境,但受到環境光和金屬工件鏡面反射影響,光線條件較為復雜,在抑制高反光的同時,不能忽略暗區域的影響。

(2)測量系統的硬件設備不能過于復雜,要易于配合機床、機械臂、AGV 小車,同時零件檢測的路徑要易于規劃,使檢測方案更加集成化、智能化。

(3)測量方案簡單的同時,對測量速度和效率要求較高,要具有實時性,可及時反饋測量結果,指導加工參數的補償修正。

下面結合在機檢測需求,詳細綜述各類方法的研究進展。

3 基于硬件設備的HDR 結構光在機檢測技術

基于硬件設備的HDR 技術是通過對結構光硬件設備進行改進,從而降低高反光對其測量結果的影響,主要可分為相機曝光法、偏振濾光片法、相位測量偏折術以及光度立體技術。

3.1 基于相機曝光技術

相機的曝光是成像質量的重要影響因素,若曝光過度,則圖像整體過飽和;若曝光不足,則圖像整體過暗,兩者都會使圖像丟失細節,無法準確獲得條紋信息。Zhang 等人[9]提出了一種快速自動曝光的方法。通過捕獲一次曝光的條紋圖像,來確定最佳曝光時間。所提方法雖然可以快速找到最佳曝光時間,但是適用范圍受限,對于整體偏亮或偏暗的圖像有較好的效果,對于加工過程中明暗混合的復雜場景,難以確定一個統一的最佳曝光時間,影響在機檢測質量。

多重曝光[10-11]技術是指將不同曝光時間下采集的圖像,融合成一幅圖像以避免圖像飽和,從而達到較高的信噪比(Signal Noise Ratio,SNR)。Zhang等人[12]提出將多重曝光技術應用于三維測量,通過調整相機鏡頭光圈獲得一組不同曝光程度的條紋圖像。對陶瓷花瓶檢測時,將高曝光的飽和像素用低曝光下相應的像素替換。所提方法不僅適用于相移法,對于莫爾條紋、激光干涉法同樣適用。

在傳統多重曝光技術中,對于曝光度的選擇主要依靠經驗。若曝光范圍選取不好,直接影響最終測量結果。為了避免依據經驗選擇曝光度的不可靠性,國內外學者通過相機響應函數曲線選擇適合的曝光時間。Song 等人[13]提出利用相機響應函數來壓縮動態范圍,使用中等曝光數據作為參考進行圖像融合。對不銹鋼沖壓件通過6 次曝光進行檢測實驗,平均偏差(Mean Absolute Error,MAE)為0.06 mm。Feng 等人[14]基于灰度直方圖分布將測量出的表面反射率細分為幾個組。根據相機響應函數自適應地預測每個組的最佳曝光時間。Cui 等人[15]利用不同曝光時間的序列圖像,標定相機響應曲線函數?;谧罡呋叶戎岛妥畹突叶戎惦p閾值原理,提出了曝光時間的自適應選擇算法。實驗表明,所提方法自動計算了4 次曝光時間,避免了基于經驗調整曝光時間的缺點,提高了曝光的自動化水平和測量精度。

考慮獲取相機響應曲線并記錄曝光時間較為繁瑣,且相機響應曲線受環境光影響較大,存在誤差。Rao[16]通過分析每個像素的條紋調制強度,設定調制閾值來自動計算多個曝光時間。實驗表明,該方法最多在5 次曝光下,即可完成HDR 三維測量。Wu 等人[17]提出了一種曝光融合方法,在水平和豎直兩個方向投射二值格雷碼,算法流程如圖4 所示。通過拉普拉斯金字塔分解圖像的加權平均值,以高斯金字塔分解圖像權重,得到融合金字塔,從而獲得最終圖像。實驗對圓柱形電池通過8 次曝光進行檢測,MAE 值為0.088 0 mm,測量時間為1 436 s,所提方法雖然無需擬合相機響應曲線,但是需要多組曝光數據,較為耗時。

圖4 曝光融合算法流程[17]Fig.4 The process of exposure fusion algorithm[17]

基于相機曝光技術進行結構光在機檢測時,無需額外添加硬件,只需對圖像進行融合處理。其核心在于曝光參數的選擇,單次最佳曝光難以適用于復雜場景,而利用多重曝光的方式,需要合理選擇曝光時間實現對待測工件的多次測量,影響了檢測效率,且曝光時間不能隨意設定,應保證與投影儀的刷新率精確同步。

3.2 偏振濾光片法

自然光經物體反射會變為部分偏振光,利用偏振成像獲得反射光的偏振狀態成為近年來計算機視覺的熱點方向。將偏振片置于工業相機鏡頭前進行在機檢測,可有效地達到過濾高光的目的。

使用單組偏振片會將圖像整體的亮度降低,影響圖像的SNR,國內外學者采用多組偏振片和圖像融合的方式,來實現對高光的抑制并提高條紋圖像的SNR。Salahieh 等人[18]通過選擇不同的偏振測量值或偏振角和曝光時間的正確組合,消除飽和或低對比度條紋區域,以保持條紋良好的可見性。平茜茜等人[19]在兩個CCD 相機前加裝偏振片,將一個固定成0°,另一個調成4 個角度。通過4 幅圖像的偏振信息得到梯度信息,對其積分后得到用于重構的深度信息。根據雜散光和漫反射光具有不同的光譜特性和偏振特性,郝婧蕾[20]對待測目標進行高光消除預處理,從而提高三維重構精度。Wang 等人[21]基于條紋圖像生成輔助圖像,確定最佳曝光時間和偏振方向,在適當的曝光時間內提取4 種偏振方向生成復合相移圖像,消除飽和以及低對比度區域。Zhu 等人[22]建立了相機在偏振系統下的強度響應函數,避免了復雜的偏振雙向反射分布模型,可直接計算偏振片之間的角度,通過圖像融合算法生成最佳條紋。該方法顯著消除了高光的影響,并減少了黑白條紋之間的模糊過渡區域。

上述方式與多重曝光類似,需要相機進行多次拍攝,影響在機檢測的效率。因此,國內外學者利用不同偏振方向的多組相機和投影儀,同時獲取不同偏振角度的條紋圖像。Maeda 等人[23]將偏振相機前的偏振片以0°、45°、90°和135°放置,通過1/4 波形板和空間光調制器與投影儀組合產生空間變換的偏振圖案。偏振相機可同時獲取4 個偏振方向的相移圖像,從而得到三維信息,MAE 結果為0.04 mm。Xiang 等人[24]設計了一種由兩個相機和兩個投影儀構成的偏振測量系統,如圖5 所示。在測量過程中,利用入射光偏振的特性,使用兩個同軸排列的偏振相機同時捕獲被測表面上的變形條紋。采用兩步相移算法計算相位,得到三維形狀。實驗均方根偏差(Root Mean Square Error,RMSE)為0.17 mm。

圖5 Xiang 設計的偏振測量系統[24]Fig.5 Polarization measurement system designed by Xiang[24]

基于偏振濾光片的HDR 技術易降低圖像的整體亮度。這是因為其在削弱鏡面反射的同時也削弱了漫反射,導致圖像SNR 下降。由于加工環境光線較為復雜,此類方法不適用于加工現場的在機檢測。雖可通過選擇多組偏振片進行數據融合的方式得到較好的條紋圖像,但是降低了整體的測量效率。另外,對于偏振片角度的選擇,需依靠人為經驗并仔細調整光路,整體結構較為復雜。

3.3 相位測量偏折術法

工業生產中的鏡面和類鏡面零件具有極強的鏡面反射,傳統結構光技術中,工業相機無法直接清晰捕獲投影儀投射的條紋結構光。相位測量偏折術(Phase Measuring Deflectometry,PMD)是基于條紋反射原理,將傳統的結構光測量系統中的投影儀用一個LCD 顯示屏代替,使計算機生成的條紋圖顯示在LCD 顯示屏上。相機通過被測物的鏡面反射,捕捉所顯示條紋圖案的反射圖像,再通過對捕獲的圖像求解相位信息,來重建被測物形狀[25]。

傳統的PMD 技術中,LCD 顯示屏必須與被測物平行放置,占用了很大的測量空間,不適合緊湊的在機測量。Zhuang 等人[26]提出了一種緊湊的在機PMD 技術。該方法將液晶屏垂直于被測鏡面放置,用于實時測量表面形狀畸變(如圖6 所示)。該方法顯著擴展了傳統PMD 方法的應用范圍,適用于封閉式激光設備和組裝式激光系統中的實時測量。Gao 等人[27]利用平板分束器使系統更加緊湊。與傳統配置相比顯著減小了系統體積,測量精度在0.001 mm 之內。傳統的PMD 系統中,通常采用平面LCD 顯示屏,這限制了被測表面的可測量曲率。針對這一問題,Han 等人[28]將彎曲的液晶顯示器用于PMD 系統中,并利用標定參數和種子點將兩個攝像頭視角下重建的三維模型進行點云配準。通過仿真分析,驗證了系統的曲率測量范圍大于平面LCD 顯示屏的曲率測量范圍。

圖6 封閉激光腔內COPMD 測量系統[26]Fig.6 COPMD measurement system in an enclosed laser cavity[26]

在大口徑光學鏡面的加工檢測領域,美國亞利桑那大學Su 等人[29]在2010 年基于條紋反射原理,首次提出了軟件可調式光學檢測系統(Software Configurable Optical Test System,SCOTS)。在對130 mm 離軸拋物面進行測量時,得到了RMSE 為1 μm 的測量結果。中國科學院長春光學精密機械與物理研究所的邵山川團隊[30]利用條紋反射法對超精密金剛石車削反射鏡進行在位面形檢測。對口徑為100 mm 凹球面金屬反射鏡進行檢測,結果表明:面形檢測精度(峰谷值)優于1 μm;與干涉儀檢測結果相比,RMSE 測量結果為0.089 μm,其檢測系統裝置如圖7 所示。在大口徑非球面鏡面測量方面,袁婷[31]等人用條紋反射法對口徑為821.65 mm 拋物面反射鏡進行了檢測,實驗裝置如圖8 所示。檢測結果與干涉測量結果偏差僅為0.183 μm。這證明條紋反射法應用于大口徑非球面檢測的可行性。Navarro 等人[32]利用SCOTS 對直徑為4.2 m 的Daniel K.Inouye太陽望遠鏡進行檢測,其RMSE 結果小于20 nm。

圖7 條紋反射在位面形檢測系統中的裝置[30]Fig.7 Fringe reflection setup in on-machine surface measurement system[30]

圖8 大口徑拋物面反射鏡實驗裝置圖[31]Fig.8 Experimental device diagram of large diameter parabolic reflector[31]

由于PMD 技術測量原理特殊,一般用于測量連續的鏡面工件,如手機屏幕、天文望遠鏡鏡面等時,測量精度較高,可達到亞微米級別,且不需太多的前期準備和后續處理工作。通過合理設計硬件布置方案,即可實現鏡面工件的在機檢測。但對于具有復雜特征的金屬零件的加工過程,零件表面反射特性表現為鏡面反射與漫反射相結合,此時,無法反射出變形的條紋,在這種情況下,此類方法不適用。

3.4 光度立體技術

光度立體(Photometric Stereo,PS)技術于上世紀80 年代由Woodham 提出[33],其原理是保持觀察方向不變,在不同方向照明下,將多個圖像的深度信息與法向信息相結合,重建物體表面的三維形貌。

光度立體技術的重點在于對物體表面法向量的計算。Lu 等人[34]使用卷積神經網絡(Convolutional Neural Network,CNN)預測物體的初始法線,在多光譜光度立體框架中進行迭代優化。近年來,國內外學者將雙向反射分布函數(Bidirectional Reflectance Distribution Function,BRDF)應用于光度立體技術中,進行法向量求解,用于檢測和分離高反射成分[35-36]。

國內外學者還對照明系統進行了重點研究,通過合理設計光源數量和角度,得到準確的法線信息。Pei 等人[37]提出的測量系統由投影儀、工業相機和29 個發光二極管構成。利用FPP 測量得到待測物點云,通過近場光度立體系統得到像素的法向信息,將兩者融合,進而得到完整的點云。測量結果與CMM 測量數據相比,RMSE僅為0.006 9 mm,峰谷值偏差為0.009 4 mm。Meng等人[38]將照明系統放置在30 個不同方向上,所得均方根誤差為0.005 3 mm。然而,由于系統測量角度約為±7°,限制了可以重建的曲面范圍。

光度立體技術具有多個照明光路,能夠實現相互補盲,精度可達到0.01 mm 之內,有助于實現HDR 測量。但是,測量結果依賴于反射模型,對于加工過程中的零件,由于其表面的反射情況復雜及形狀未知,對反射模型進行標定不具有普適性,容易帶來測量誤差,且測量系統較為復雜,測量場景具有較大的限制性,難以與加工機床和機械臂配合實現在機測量。

基于硬件設備的HDR 技術在硬件上對傳統FPP 技術進行了改進,使相機可以拍攝到較為清晰的條紋圖像,從而降低了反光對測量精度的影響。表2 分析了上述技術的測量精度以及有無額外硬件方面的對比情況。對于測量精度,本文僅對各參考文獻中的精度進行了總結。由于不同實驗時,所測工件尺寸、表面反射屬性和測量環境不同,因此測量精度的比較不具有普遍性。

表2 基于硬件設備的HDR 技術對比Tab.2 Comparison of HDR technologies based on hardware devices

4 基于條紋算法的HDR 結構光在機檢測技術

基于條紋算法的HDR 結構光在機檢測技術不依賴于硬件設備,主要是在算法層面改進條紋成像質量,從而提高測量精度。目前,國內外學者通過改變條紋圖案亮度、顏色、頻率以及更改條紋編碼和解碼等方式展開了深入研究。

4.1 調整條紋強度的HDR 技術

調整條紋圖案強度是根據物體表面反射強度的不同,逐像素確定投影條紋的灰度,從而使整體圖像具有較好的SNR 且未達到飽和狀態,也稱為自適應條紋法。

Waddington 等人[39]首次提出自適應調整投影條紋圖最大輸入灰度的方法,并合成了不同強度的圖像,以避免圖像飽和。然而,機械加工環境大多屬于暗房環境,僅改變條紋的最大灰度值雖可削弱金屬工件反光的效果,但同時也降低了暗區亮度,導致在機檢測精度降低。該團隊還根據物體的局部反射率,將適當強度的條紋投影到物體的相應區域[40],但這需要進行復雜的預校準。Jiang 等人[41]開發了一種自動選擇參數(曝光時間、條紋顏色、條紋調制強度)的方法。他們通過調整不同相機曝光時間和不同強度的條紋,提高最終條紋圖像的SNR,算法處理參數及效果如圖9 所示。

圖9 Jiang 所提方法的測量結果[41]Fig.9 The measurement results by Jiang’s method[41]

實驗測量結果的MAE 為0.003 mm,并且對環境光不敏感。但是此種方法需要6 組條紋才能合成出一組SNR 較好的條紋,基于三頻四步相移的方法,雙目相機需要拍攝144(2×6×12=144)張圖像,需30 s 完成,測量效率低且參數選擇的程序較為復雜。Wang 等人[42]在測量前先投影48 幅圖像,以建立投影與捕獲圖像之間的像素映射關系,然后投影了兩幅圖像灰度分別為0 和100 的圖像,來估計反射率和背景強度。該方法的測量實驗結果顯示RMSE 為0.109 mm。這種方法的測量效率依賴于硬件設備,為了滿足在機檢測的實時性需求。需要高速相機以及高刷新率的投影儀才能在短時間內完成映射關系。Sun 等人[43]通過對投影儀像素建立投影強度模型,在高曝光和低曝光下分別拍攝兩幅圖像,以計算投影強度,再將亞像素坐標映射到投影儀圖像上,并對其進行濾波,以實現精確的坐標對應。同時,提出了點云完整性(Point Cloud Integrality,PCI)作為評價量化指標。在采用三頻四步相移方法的情況下,通過38 幅圖像獲得了被測物的完整三維信息,高反射區域PCI 指標達到94.1%。

除了通過投影一系列條紋計算最佳強度外,國內外學者還提出利用多次迭代和多項式擬合等方法獲得最優的投影強度。Babaie 等人[44]使用多次迭代來計算適當的投影強度,并在小范圍內測量有光澤的物體,但測量精度取決于迭代次數。Chen 等人[45]通過擬合多項式函數將捕獲的強度轉換為投影強度,確定每個飽和像素簇對應的最佳投影強度。當簇中飽和像素對應的曲面區域反射率變化較大時,該函數將不準確。馮維等人[46]首先估計物體表面反射率、環境光和表面結構相互作用產生的反射光后,建立相機-投影儀間的強度關系式,以求解像素點的最佳投影灰度值。相較于傳統方法,該方法的平均誤差減少了61.9%,標準偏差減少了67.7%。李乾等人[47]依據待測元件表面的反射率分布情況,利用相機響應曲線逐像素計算元件上每一點對應的投影灰度值范圍和最低投影灰度。實驗RMSE 值為0.103 mm,可完成金屬材質高光工件的三維形貌測量。

調整投影圖案強度的優點在于無需額外添置硬件,算法容易集成,可以逐像素地進行灰度調整,避免了圖像SNR 整體降低的問題,因此測量精度較高,但由于需要投影多組條紋來確定最佳強度和映射關系,影響了測量效率,實時性較差。隨著硬件設備的提升,可通過采用高刷新率的投影儀和相機改善這一問題,以滿足在機檢測的要求。

4.2 基于顏色信息的HDR 技術

通過顏色特征的鏡面反射分離方法是由Shafer[48]提出的。該方法基于雙色反射模型,對光線和顏色進行了討論,認為像素點的顏色由物體表面的顏色和光源的顏色決定,由此分離出像素點的鏡面反射部分。

彩色圖像通過拜耳濾波器可分離成R、G、B 三個通道,不同通道的亮度衰減程度不同。對于單色照明,以藍光為例,如圖10(彩圖見期刊電子版)所示,其量子效率存在以下關系eb>eg>er,高衰減紅色通道可以接受非常高的亮度而不飽和,而低衰減藍色通道則對低亮度更敏感。因此,國內外學者研究了彩色條紋和彩色相機,用于HDR測量。

圖10 彩色圖像不同通道亮度衰減原理圖[51]Fig.10 Schematic diagram of brightness attenuation in different channels of color image[51]

Wang 等人[49]在保持相機曝光度不變的前提下,通過投射7 組不同顏色的條紋,從中選擇灰度范圍分布較大的4 組條紋(藍色、黃色、青色和白色)進行合成。該方法的缺點是對于投影儀的刷新率有較高的要求。Chua 等人[50]使用RGB 通道控制投影強度,來隔離不同顏色通道,將通道分為最高強度通道(藍色通道)、中等強度通道(綠色通道)和最低強度通道(紅色通道)。在每個通道下都可獨立計算3D 數據,達到增加測量動態范圍的目的。

使用不同顏色條紋進行多次投影時,需要高刷新率的投影儀才能保證測量效率,對硬件要求較高。因此,國內外學者還提出利用彩色相機拍攝單色條紋,再通過分離不同顏色通道實現HDR 測量。Yin 等人[51]從條紋圖像中分離出R、G、G 和B 通道的4 個單色子圖像,校準R&G、G&B 通道之間的衰減比后,用4 個子圖像合成一幅HDR 的圖像,從而避免了不良曝光的影響。實驗分析相位平均誤差(Phase Average Error,PAE)在0.03 rad 內。Zheng 等人[52]將綠色二值條紋投射到被測物上,使用彩色相機拍攝兩張不同強度的條紋圖像,進而分離出6 張單通道圖像,合成出1 幅HDR 圖像后進行解碼。Liu 等人[53]將藍色條紋投影到待測物上,并利用彩色相機采集圖像。利用R、G、B 三通道對光線的響應不同這一特性,將1 幅條紋圖像和1 幅常規圖像分成6 幅具有不同亮度級別的單色圖像。從每組圖像中選擇最亮但不飽和的對應像素生成最終的HDR 圖案,對其進行傅立葉解碼,可以對具有光澤表面的動態物體進行測量,實驗對撕A4 紙的過程進行測量,測量效果如圖11(彩圖見期刊電子版)所示。

圖11 Liu 所提方法的動態物體測量結果[53]Fig.11 The measurement results of dynamic objects by Liu’s method[53]

基于顏色信息的HDR 技術需要對不同顏色通道進行條紋編碼,后續還需逐個通道對相位信息進行求解,再最終融合,因此算法編程復雜程度較高。但編程后算法運行較快,可在一定程度上抑制反光的影響,滿足在機檢測的需求。當被測的加工件具有復雜的紋理特征和多種顏色時,此類方法會受到限制,測量精度有所下降。

4.3 基于圖案編碼、解碼方案的HDR 技術

除了對條紋圖案亮度進行調整之外,國內外學者還通過對投影圖案的編碼和解碼進行調整,從而防止高反射引起的相位丟失。

Zhang 等人[8]首次提出了混合質量的概念,以更全面地評估相位質量。在混合質量這一概念的指導下,對所有初始相位進行加權融合,以獲得更精確的相位作為最終相位。Chen 等人[54]提出了一種相位求解方法,將同一頻率下存在飽和現象的幀去除,至少保留3 張有效條紋,用余下條紋進行相位求解,其PAE 結果可在0.01 rad 內。Jiang 等人[55]利用反向條紋和常規條紋的組合代替飽和條紋進行相位恢復,以減少相位誤差,相位RMSE 結果從0.29 rad 減少到0.02 rad。然而,在估算飽和像素時,缺乏通用的公式。在Jiang 方法基礎上,Wang 等人[56]將反轉條紋和常規條紋的互補技術與廣義相移算法相結合,投影規則條紋和反向條紋兩組互補相移條紋。從兩組條紋圖中選擇相同相機像素處的所有非飽和強度值,并使用廣義相移算法檢索相位,可以同時減少因飽和像素和伽馬效應引起的誤差。

使用正弦條紋投射時,與條紋圖像在飽和區域的灰度值達到255 時,出現截斷現象,不滿足正弦規律,使該區域的相位信息丟失,引起相位求解誤差。對于這一情況,在文獻[57]中提到,當絕對相位范圍在[0,2π)時,相位誤差σΦ可以表示為:

式中,σ是高斯分布噪聲的方差;N是相移步長;f是條紋頻率;B是條紋調制。

根據式(4)可知,在條紋調制固定的情況下,可以通過增加相移步長和條紋頻率的方式降低相位誤差?;诖嗽?,Chen 等人[58]通過模擬分析得出以下結論:當相移步數N與條紋頻率P滿足整數倍關系時,飽和情況下的條紋也可恢復精確的相位。He 等人[59]設計了一種棋盤式的高頻條紋圖案,在解碼過程中,通過交叉位置而不是單個圖像強度來提取編碼信息。所提方法具有較好的魯棒性,其測量精度在0.04 mm 內。對于顯微結構光三維測量方法,由于其景深較小,密集的高頻條紋容易出現散焦,從而影響測量結果。針對這一問題,Hu 等人[60]提出一種多頻相移方案,采用相位融合的方式,用密度較低的條紋圖像計算絕對相位,代替飽和區域中不可用的相位,從而降低相位誤差的影響。所提方法可有效用于手表零件、封裝的芯片等微小反光物體的測量,測量結果如圖12(彩圖見期刊電子版)所示。

圖12 Hu 所提方法對微小反光物體測量結果[60]Fig.12 The measurement results of tiny reflective objects by Hu’s method[60]

除此之外,國內外學者還曾通過投射格雷碼圖案,解決因高反光引起的解碼誤差。格雷碼采用的是二值編碼方式,具有較好的保邊性,能很好地測量具有非均勻反射率和高亮區域表面的三維形貌[61]。Song 等人[62]在傳統格雷碼的基礎上,額外投影了一組黑白翻轉的條紋圖像。他們利用改進的邊緣檢測算法實現了亞像素定位,解決了因高反光導致條紋周期性模糊的問題。Lu 等人[63]提出一種錯位格雷碼的編碼策略。通過獲取邊界相互交錯的編碼圖案,并通過降低單周期解碼次序的子域解相階數,獲取正確的條紋階次順序。該方法有效降低了不均勻反射所導致的格雷碼邊界相位的階躍誤差。

對于條紋圖像編碼和解碼的方式,雖然無需復雜的算法,但是對于加工場景的復雜光線環境適用性較差。格雷碼作為一種二值化編碼方式所含信息量較少,且邊緣部分易產生階躍誤差,不適合高精度的測量。此外,利用高頻率正弦條紋和增加相移的方法,會使整體測量時間增加,不利于在機檢測。

4.4 基于智能方法的HDR 技術

近些年,隨著人工智能的快速發展,國內外學者將深度學習等方法應用于結構光測量領域[64]。在圖像預處理[65-66]、彩色條紋顏色通道分離[67-68]、高速動態測量[69]等方面進行了大量研究。深度學習的應用,將基于物理模型的傳統思維轉為基于數據模型驅動的智能化思維,為HDR 結構光在機測量提供了新的解決方案。

Liu 等人[70]提出了一種基于支持向量機算法的智能條紋投影技術。通過訓練不同表面的曝光時間和飽和像素數,僅將一個灰度模式投影到測試表面上,即可預測合適的曝光時間。所提方法用于電子束增材制造(Electron Beam Additive Manufacturing,EBAM)的在機檢測中(如圖13 所示),該方法可以有效測量高反光曲面的金屬粉末熔化狀態和表面缺陷,并將測量結果反饋到制造過程中,從而提高了加工質量。

圖13 EBAM 機床結構光在機檢測設備[70]Fig.13 On-machine detection equipment with structured light in EBAM machine tool[70]

彭廣澤等人[71]基于CNN 對條紋高光圖像進行修復。將兩個曝光條件下的條紋圖像進行融合,確定迭代修復算法的初值,然后通過所提算法對局部高光區域進行快速修復。Yang 等人[72]設計了一種基于條紋調制的“檢測-修復”網絡結構(如圖14 所示)。該結構由低調制區檢測模塊和條紋增強模塊組成。通過低調制區檢測模塊準確分割出低調制區域,然后引入到條紋增強模塊中,再將條紋圖的高階特征和低階特征進行融合,從而可以預測低調制區的條紋分布。兩個模塊的結合可以恢復條紋圖的飽和區,增強暗區的條紋信息。對量塊的測量結果表明,采用該結構可以使RMSE 結果由0.55 mm 降至0.06 mm。

圖14 高動態范圍條紋圖像改善網絡[72]Fig.14 High dynamic range fringe pattern improvement network[72]

上述文獻是通過深度學習的方法對高動態條紋圖像進行修復,以消除高反射和低亮度的影響,從而根據修復的條紋圖像求解準確的相位,得到三維模型。除此類方法之外,國內外學者還提出通過直接預測相位的方式實現HDR 測量。Qiao 等人[73]將深度學習應用于PMD 技術中,從單個條紋圖中提取鏡面的相位信息,該方法用到兩個神經網絡(CNN1 和CNN2)。CNN1 用于預測輸入條紋圖像的背景強度,再將原條紋和背景強度輸入到CNN2 中,預測相位主值的分子和分母。Zhang 等人[74]利用深度學習強大的計算能力,基于CNN 預測相位主值,消除HDR 引起的相位誤差。訓練的數據集為2 880 個條紋圖像。所提方法不僅適用于高反射率的被測物,而且對低反射率物體也適用。RMSE 測量結果為0.057 8 mm,與三步相移法相比降低了53.5%,同時滿足高速動態測量要求。

通過深度學習方法解決HDR 測量,可以提高測量效率,并在一定程度上提高測量精度,可用于加工時的在機檢測。但是,相關算法的復雜程度較高,建立數據集和神經網絡模型需要大量時間。而且,前期準備工作量較大,且測量結果過于依賴訓練模型的種類和數量;訓練模型少會導致測量精度降低;當訓練模型足夠多時,又會增加訓練時間以及其他成本。

根據算法思路、算法復雜程度和測量精度,對基于條紋算法的HDR 技術對比列于表3。由于不同學者采用的精度指標有所差異,根據不同文獻從平均偏差、相位偏差、均方根偏差方面對精度范圍進行了總結。

表3 基于條紋算法的HDR 技術對比Tab.3 Comparison of HDR technologies based on fringe algorithm

5 各類HDR 在機檢測技術的比較

上述已對HDR 結構光測量技術從硬件設備和條紋算法兩方面進行了分類和綜述。表4 結合加工零件在機檢測的關鍵問題,如光線條件適應性、系統硬件設備和檢測效率,對技術特點進行總結。

表4 各類HDR 測量技術總結Tab.4 Summary of various HDR measurement technologies

6 潛在應用及技術展望

將HDR 結構光測量技術應用于在機檢測中,與傳統的FPP 技術相比,該技術更為靈活,可實現對復雜場景的檢測。應用于機械加工、航空航天、汽車裝備等領域時,可提高作業效率,推動工業智能化,具有較高的應用價值。

6.1 潛在應用

(1)智能制造加工-檢測一體化

機械制造業是工業發展的基礎,將結構光設備與機床配合,應用于工件的切削、拋光、輪廓識別、裝配等工藝中,實現加工-檢測一體化,避免了零件反復拆卸產生變形和定位誤差,從而提高了加工效率和精度。HDR 技術可有效抑制反光帶來的不利影響,有助于判斷刀具磨損、零件過切、欠切和表面質量,實現超精密加工和無人化智能工廠。

(2)極端尺寸工件的精密測量

對極大和極小零件進行精密測量是儀器測量領域的難點。對于飛機機翼、汽車車身、汽輪機葉片等極大尺寸的待測件,無需將零件拆卸,可通過結構光設備與機械臂配合,進行路徑規劃后逐視點檢測,所測數據再通過點云拼接得到完整三維模型;而對于芯片、光學鏡片等毫米級尺寸的待測件,可將FPP 技術與顯微鏡結合,實現小視場高精度的測量[75]。HDR 技術可有效提高測量精度,為零件缺陷檢測及維護、增材制造提供準確的三維數據。

(3)醫工結合領域的精密測量

FPP 技術廣泛應用于生物醫學領域,為人臉識別、醫學診斷提供了新的技術支持。相關學者采用雙目結構光自適應光柵算法對術中肝臟表面進行三維重建,并對腫瘤進行精確定位[76]。使用HDR 條紋投影技術對口腔、骨骼等部位進行三維重建,可直接應用于臨床診斷和手術中,無需指定暗房場地進行掃描,提高了診斷效率和建模精度,為后續治療提供了新的途徑。

(4)大口徑鏡面、類鏡面物體精密測量

天文望遠鏡鏡片、反射鏡鏡片等大口徑鏡面、類鏡面物體在軍用、民用、天文等領域起到重要作用,其加工主要包括銑磨成型、研磨和拋光三個階段,每道工序完成后,都需對表面進行精密測量,判斷是否滿足加工要求。研磨階段后常采用輪廓檢測法進行面型測量,拋光后采用光學干涉法進行測量。對于從研磨到拋光的過渡階段,輪廓檢測儀受到精度限制,且測量時間較長;而光學干涉儀動態范圍小,難以覆蓋全口徑檢測,兩種方法都具有局限性。此時,考慮到條紋反射法具有成本低、精度高、測量速度快的特點,可有效銜接輪廓檢測和光學干涉檢測的面形誤差測量范圍,實現對大口徑鏡面、類鏡面物體的全口徑在機檢測。

6.2 技術展望

(1)復雜屬性及復雜光照環境的適應性

復雜屬性表面和復雜光照環境對HDR 結構光技術的影響是具有重要研究意義和挑戰性的課題。在未來技術研究中,針對被測物尺寸(極大、極?。?、表面屬性(如純鏡面反射、鏡面反射與漫反射結合、大曲率鏡面以及透明屬性等)和測量環境(日光環境、暗房環境、環境光影響等)進行參數選擇,使所研究技術具有更高的適用性是重要突破方向。

(2)使用機械臂進行視點、路徑規劃

結構光設備與機械臂配合是實現在機檢測的重要條件,對待測件進行合理的視點、路徑規劃,可提高檢測效率。在已知CAD 模型的條件下,需要綜合考慮視點數量和測量精度,要在保證測量精度的前提下保證測量效率。在未知CAD 模型的條件下,需要準確預判下一視點范圍,保證視點選擇的合理性。同時,如何在機械臂運動時避免機床顫振、機械臂抖動對測量精度的影響,也是近些年的研究熱點。

(3)深度學習智能算法的應用

深度學習技術的成熟也為工業領域提供了新的解決方案。在HDR 結構光技術中,將深度學習應用于位置標定、圖像處理和相位預測,對于數據集的采集、訓練機制和優化等方面都是重點研究對象。目前,此類方法處于研究初期,雖然給結構光測量技術帶來了實質性的改進,但同時也需評估在特定任務中使用大量數據和計算資源的經濟性與可靠性。

(4)動態測量與在機檢測結合

結合結構光系統的測量原理,目前的在機加工測量更多是針對某道工序結束后,暫停加工,在短時間內進行形貌等質量檢測。使用現有的商用硬件設備進行在機檢測時,常采用相移法模式,且對于具有高反光特性的金屬零件需在表面噴涂層,影響了加工效率、自動化和智能化程度,實時性較差,不利于及時反饋測量結果以及對加工參數進行補償修正。將動態測量應用于在機檢測中,可邊加工邊檢測,克服了現有力傳感器等的安裝尺寸的局限,有助于進一步提高效率并及時修正加工參數。使用傅立葉輪廓術(Fourier Transform Profilometry,FTP),可通過單張條紋圖像求解得到三維模型,但是測量精度較低。在未來的研究中,可將高速相機、高速投影儀的硬件設備與深度學習、HDR 技術、FTP 技術等算法相結合。在完成動態測量的同時,進一步提高測量精度。

7 結束語

近年來,FPP 測量技術廣泛應用于航空發動機葉片、汽輪機葉片等復雜曲面零件的在機檢測中,是以滿足國家需求為導向的先進制造技術。針對金屬零件加工時,所處環境光線復雜且自身具有高反光的問題,采用HDR 技術與FPP 在機測量技術結合,可有效抑制相關影響。

本文首先介紹了條紋結構光的測量原理,總結出HDR 結構光在機檢測面臨的重點問題。其次,回顧了國內外學者近幾年對HDR 結構光技術的研究進展,將其綜述為基于硬件設備的HDR 技術和基于條紋算法的HDR 技術兩大類。然后,結合在機檢測的條件需求,對各類技術進行總結,比較不同方法的優缺點和在機檢測的適用性,為不同技術的應用提供一定的指導。最后,結合近年來工業制造和精密測量的研究熱點,進行潛在應用分析,并提出技術展望。HDR 結構光在機檢測技術是一種極具研究價值的測量技術,對智能制造、精密測量的發展起到推動作用。在未來,進一步提高HDR 結構光在機檢測技術的測量效率和精度,具有更高的研究價值和發展潛力。

猜你喜歡
條紋測量圖像
改進的LapSRN遙感圖像超分辨重建
有趣的圖像詩
把握四個“三” 測量變簡單
誰是窮橫條紋衣服的人
滑動摩擦力的測量和計算
別急!丟了條紋的斑馬(上)
別急!丟了條紋的斑馬(下)
滑動摩擦力的測量與計算
測量
條紋,條紋,發現啦
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合