基于嵌入式系統的表面劃痕測量裝置的設計與實現

李 艷, 賈志婷, 瞿劍蘇, 馬曉蘇, 王 霽

(中國航空工業集團公司北京長城計量測試技術研究所，北京 100095)

1 引 言

在飛機制造、使用、維修等多個環節中,容易在飛機蒙皮、座艙玻璃等部位產生劃痕,通常表現為細長且伴有表面材料損失的損傷。一旦產生劃痕,飛機高速運動過程中空氣將在劃痕附近產生集中應力,若這些應力位于飛機的某些關鍵部位,則會影響飛機的飛行質量,甚至會影響飛行安全。

現行適航性條例明確規定,對新、老飛機必須按照損傷容限原理進行設計和評估,保證飛機在整個使用壽命期內,一旦發生疲勞、腐蝕或意外損傷時,在被檢出前,飛機結構仍能承受規定的載荷而不出現損壞或者過度的結構變形[1]。外場人員需要明確損傷的深度、寬度等信息,查找允許損傷的容限值,如果在允許損傷的范圍內,則可以正常放行,如果超出損傷容限,則需要進行維修處理。因此,對表面劃痕的定量檢測需求較為迫切。

目前,用于測量劃痕的方法有目視、觸摸等定性判斷方法,以及翻模法、測針法、激光三角法、調焦景深法等定量測量方法[2,3],這些方法存在測量精度低、易造成二次損傷、測量效率低、現場操作困難等缺點。針對該問題,馬曉蘇等研制了一種用于物體表面劃痕損傷深度測量的設備[4,5],并將人眼瞄準讀數改進為相機成像測量,實現了表面劃痕的數字化定量測量。目前,該設備已在飛機維修廠、主機廠、汽車、鐵路機車、核電等多家單位得到應用。根據客戶反饋及調研,該設備測量精度高、測量結果容易溯源、可靠性好,能夠解決現場微小劃痕的準確測量問題。但同時,也存在以下明顯不足:

1) 設備需要連接計算機使用,在測量現場,當測量位置不方便攜帶計算機時,就需要一名操作者和一名圖像觀察人員配合完成測量任務:操作者需要根據觀察人員的反饋調整設備位置、相機參數等,再由觀察人員完成劃痕圖像采集工作,降低了測量效率;

2) 光強對測量結果有一定的影響,在不同的環境、不同的曝光時間、不同的增益情況下測得的結果之間存在一定程度的差異。

針對上述問題,對上述劃痕測量設備進行了改型,將基于ARM(advanced RISC machines)的微型計算機集成于設備中,配備觸摸顯示屏,形成嵌入式一體化設備,增加使用的便攜性、提高測量效率;同時,優化圖像處理算法,增強算法的抗干擾性,提高測量精度和測量結果的一致性。

2 系統方案設計

基于嵌入式系統的表面劃痕測量裝置基于光切原理設計[6],主要由光條投射模塊、成像模塊、嵌入式處理模塊、供電模塊及裝置機械結構件等組成。系統的組成框圖如圖1所示。

圖1 系統組成框圖Fig.1 System composition diagram

光條投射模塊主要包括光源及光源開關、光條投射鏡組、鏡筒等組成,用于生成平行光帶,投射到被測表面。

圖像觀察模塊主要由顯微鏡組、鏡筒、工業相機等組成。光帶照射到被測表面后,反射至觀察光路,經過顯微鏡組放大后由工業相機成像。

裝置機械結構件用于將光條投射模塊、焦距調節機構、圖像觀察模塊、嵌入式模塊等各部分進行定位安裝。此部分實現裝置支撐及相機焦距調節的作用。

嵌入式處理模塊主要包括嵌入式處理器、觸摸式顯示屏、嵌入式操作系統及嵌入式操作軟件等[7]。工業相機采集放大后的劃痕圖像,經由圖像采集模塊傳送到嵌入式處理系統中進行處理,觸摸式顯示屏可顯示用戶操作界面。用戶操作軟件實現劃痕圖像的處理并保存計算結果。

2.1 系統測量原理

系統測量原理如圖2所示。光源S0發出的光經過聚光鏡O0、狹縫光闌S,投射物鏡O1組成的光路后,生成平行光束,以θ=45°方向投射到零件被測表面上形成光切面。如果被測表面存在劃痕,光束分別在被測表面和劃痕底部產生反射,反射光通過觀察物鏡O2,在攝像機中成像,得到劃痕的放大影像。劃痕深度h的理論計算公式為:

(1)

1—投射光軸;2—光源;3—狹縫光闌;4—光學鏡組;5—攝像機;6—被測劃痕;7—觀察視場

圖3 NanoPC-T4布局Fig.3 NanoPC-T4 layout

劃痕寬度w的理論公式為:

(2)

式(1)、式(2)中:設攝像機成像傳感器的像素尺寸為p×p,N為劃痕深度成像物理距離,深度像素距離為n,則N=np;M為劃痕寬度成像物理距離,設深度像素距離為m,則M=mp;V為觀察光路系統的放大倍數;θ為攝像機光路傾斜的角度。

由式(1)、式(2)可知,在p、V及θ固定不變的情況下,劃痕的深度及寬度與劃痕圖像中深度及寬度的像素距離成比例關系,即可將式(1)、式(2)分別寫為:

(3)

(4)

式(3)、式(4)中:k1、k2為比例系數,即測量系統的放大倍數。

2.2 硬件系統設計

2.2.1 核心器件選型

測量裝置的嵌入式硬件平臺選用了友善之臂NanoPC-T4 ARM開發板。該開發板采用RockChip RK3399處理器,以64位雙核Cortex-A72及四核Cortex-A53為內核,主頻最高2.0 GHz,標配4 GB內存和16 GB閃存,帶有HDMI、USB3.0/2.0、Type-C、GPIO等接口;內置圖像處理器Mali-T860,支持運行Android和Lubuntu Desktop操作系統[8,9],滿足圖像傳感器連接、觸摸式顯示屏連接、圖像實時傳輸與快速圖像處理的功能要求。整體尺寸為100 mm×64 mm,滿足裝置小型化要求。

選用了大恒圖像的MER2-302-56U3C-L USB3.0彩色工業相機,分辨率2048×1536,幀率56fps(frames per second,每秒幀數),像元尺寸3.45μm×3.45μm。相機可采用USB供電方式,不需要外部電源,提高了系統的便攜性。相機的驅動程序支持Linux、ARMv7、ARMv8和Mac OS等操作系統及架構,并且具有免費的SDK和二次開發實例源碼[10,11],可在此基礎上實現軟件的快速二次開發。

觸摸屏選用微雪電子5.5英寸(1英寸=2.54cm)電容屏,分辨率為1080×1920,顯示接口為HDMI,顯示面板為AMOLED,觸摸接口為USB接口,觸摸面板可實現5點觸控[12]。

電源模塊選用可充電式鋰電池,為光源及嵌入式開發板供電。在非工作狀態下,可通過外接電源對電源模塊進行充電;充電完畢即可脫離外接電源進行使用,使得測量系統能夠成為便攜式移動設備。

光源選用LED發光二極管,亮度高,耗電量小,持續工作時間長,使用安全。

2.2.2 光學系統設計

光條投射模塊與圖像觀察模塊中的光路部分關系到測量裝置能否獲取理想光帶,制約著測量裝置的測量范圍,對裝置性能有重要影響。將投射光路傾斜角度與觀察光路角度θ設計為45°[13]。為了滿足0.005～2.000 mm的測量范圍要求,結合相機選型,所設計系統的鏡頭放大倍數為2倍。經光學仿真設計,確定了光學系統由2組透鏡及半五棱鏡組成。從被測物至成像區域,光路總長度確定為101.967 mm;每組透鏡由正負2個單獨透鏡組成,各個透鏡的弧度和厚度也可由仿真結果獲得。

圖4 光學系統仿真優化設計結果Fig.4 Simulation and optimization design result of optical system

2.2.3 機械結構設計

機械結構設計主要包括光學鏡片鏡筒設計、鏡筒基座結構設計、焦距調節及升降結構設計等。本文不作為重點進行詳述。機械結構整體設計及裝配效果如圖5所示。

圖5 機械結構整體設計Fig.5 Overall design of mechanical structure

綜上,基于嵌入式系統的表面劃痕測量裝置的硬件組成、硬件相互之間的連接關系及接口如圖6所示。

圖6 硬件連接示意圖Fig.6 Hardware connection diagram

2.3 軟件系統設計

2.3.1 嵌入式操作系統

考慮到后續所開發程序的普適性,選擇Android系統作為嵌入式軟件開發平臺,在該平臺下開發Android應用程序,實現裝置測量與用戶交互等功能。

在開發過程中,涉及到對Android源代碼的修改和系統編譯。主要過程如圖7所示。

圖7 嵌入式操作系統移植過程Fig.7 Embedded operating system migration process

2.3.2 劃痕測量軟件工作流程設計

劃痕測量軟件主要實現相機連接、圖像采集、相機參數調節、圖像存儲、劃痕計算、結果保存及查看等功能。軟件工作流程如圖8所示。

圖8 劃痕測量軟件工作流程圖Fig.8 Scratch measurement software workflow diagram

采集的劃痕圖像及處理后的結果圖像保存至Android系統相冊;圖像名稱、劃痕測量結果等信息以xml文件形式存儲。

3 系統實現

3.1 系統標定

3.1.1 劃痕深度及寬度的像素距離的定義

由于被測劃痕的形態、劃痕所處表面的材料類型及外形輪廓等的不同,會使劃痕成像后呈現出的特征具有多種不同的特點,因此需要提煉出劃痕圖像的本質特征,在圖像中對劃痕深度及寬度的像素距離給出明確定義。根據采集到的大量劃痕圖像,由光切法得到的劃痕圖像的幾點要素總結如下:

1) 劃痕基線:劃痕基線定義為由光切截面與被測劃痕所在的表面(劃痕基準面)的交線構成的基準線。在劃痕圖像中,在被測表面成像表現為直線(平面或曲率較小的曲面)或具有一定弧度的弧線(曲率大的曲面)。

2) 劃痕底部輪廓:光條在有劃痕的位置會產生一個凹凸,體現劃痕的不同形態。

3) 光帶的不連續性:光帶在有劃痕的位置會在劃痕寬度方向兩側位置產生不連續段。

根據以上分析的劃痕成像的共同特點,對光切法所得劃痕圖像中劃痕深度及寬度像素距離的定義為:

1) 劃痕深度的像素距離:劃痕基線到劃痕底部的最大距離。

2) 劃痕寬度的像素距離:光帶由劃痕造成的不連續段的最大距離。

基于以上定義,劃痕光帶圖像處理的主要目的即為提取劃痕特征、計算劃痕深度和劃痕寬度的像素距離。

3.1.2 系統放大倍數標定

由測量模型可知,劃痕測量結果與劃痕深度及寬度的像素距離直接成比例關系,事先將該比例系數標定出來,在確定像素距離的情況下,即可給出劃痕測量結果。將式(3)、式(4)分別寫為:

(5)

(6)

可以根據光學系統設計參數和工業相機選型參數計算出k1、k2的理論值。然而,由于圖像傳感器存在機械、電學以及光學等方面的誤差,因此在微小尺寸的高精度測量中不能直接使用廠家提供的像素尺寸p,需要對其校準;另外,由于加工、裝配等各種因素的影響,光路系統的顯微鏡放大倍數V和光路傾斜角度θ的設計值與實際值之間也存在一定的誤差,因此放大倍數的理論值是不準確的,需要進行準確的標定。

由式(5)、式(6)可知,可以通過對已知深度和寬度的標準劃痕對測量系統的放大倍數k1、k2值進行標定,減小測量系統的放大倍數對結果造成的干擾。本文利用具有標準刻線寬度的寬度樣板對系統放大倍數進行標定。對該樣板進行了重復6次測量,記錄測量標準寬度時的像素距離值,如表1所示。

表1 系統放大倍數的標定數據Tab.1 Data for calibrating system parameters

6次測量結果取平均,并對測量平均值與標準寬度值進行線性擬合,擬合結果如圖9所示,R2=0.999999,線性度佳。擬合曲線的斜率即為k2,k2=1.459 μm/pixel。采用同樣方法可標定出k1=1.032 μm/pixel。

圖9 實際距離與像素距離之間的線性關系Fig.9 Linear relationship between actual distance and pixel distance

3.2 圖像處理算法

劃痕光帶圖像處理技術主要目的是獲取亮度適中、清晰度高的劃痕圖像,并對劃痕圖像進行處理,根據上文給出的定義計算出劃痕深度及寬度的像素距離。如圖10所示,為了減小不同測量環境和相機參數對測量結果的影響,在用戶觀測劃痕圖像時加入了亮度評價和清晰度評價函數,輔助用戶調節相機參數和鏡頭焦距,提高圖像質量以及測量精度。

圖10 劃痕圖像采集及處理工作流程Fig.10 The workflow of scratch image acquisition and processing

3.2.1 亮度評價函數

本文以目標區域的灰度均值GAVE作為亮度評價參數,函數定義為:

(7)

式中:s是圖像評價窗口的面積;fk(x,y)表示圖像視頻中第k幀圖像中像素(x,y)處的灰度值。GAVE(k)的最佳取值需要根據實際經驗確認。經試驗,圖像亮度評價函數GAVE取值范圍為170～230(灰度飽和值為255)時,成像效果較佳。

3.2.2 清晰度評價函數

綜合考慮清晰度評價函數的單峰性、無偏性和靈敏性要求,本文采取基于梯度函數的評價方法對圖像清晰度進行評價[14～16]?；谀繕舜翱诘哪芰刻荻仍u價函數D(fk)定義如下:

D(fk)=∑x∑yIk(x,y)

(8)

其中,

Ik(x,y)=[fk(x,y)-fk(x+1,y)]·

[fk(x,y)-fk(x,y+1)]

(9)

式中fk(x,y)表示圖像視頻中第k幀圖像中像素(x,y)處的灰度值。清晰度評價函數的值越大表明圖像灰度差越大,圖像越清晰。試驗證明,當測量系統偏移焦距的范圍在±0.2 mm范圍內時,能夠保證圖像清晰,示值誤差較小。

3.2.3 圖像評價窗口的選取

圖像評價窗口是圖像中的感興趣區域,亮度及清晰度評價都是對感興趣區域的評價。圖像評價窗口的選擇直接影響評價算法的復雜度、計算量和精確度。如圖11所示,在計算亮度評價函數時,本文選取最具代表性的劃痕不連續段上部中的光條區域作為評價窗口;在計算清晰度評價函數時,選取能夠反映圖像清晰度的劃痕邊緣區域作為評價窗口。

圖11 圖像評價窗口Fig.11 Image evaluation window

3.2.4 劃痕特征提取及邊緣輪廓擬合技術

劃痕圖像處理主要可分為圖像預處理、圖像分割、邊緣檢測、劃痕特征提取、劃痕寬度及深度計算等過程,如圖12所示。具體過程如下:

1) 圖像預處理。圖像采集過程中,光源照度不穩定、圖像傳感器噪聲、像素抖動等會給圖像造成一定的噪聲污染。圖像預處理可有效去除圖像噪聲。劃痕圖像處理需要保留邊界信息,因此選用中值濾波方法對圖像進行預處理,濾波效果更為平滑,邊界保留效果好。

2) 圖像二值化。利用彩色圖像顏色分離方法將RGB圖轉化為灰度圖,并利用自動閾值方法對圖像進行二值化。

3) 形態學運算?？紤]毛刺、表面凹凸等噪聲對劃痕輪廓邊緣的影響,使用形態學運算方法對劃痕光帶進行毛刺去除和表面凹凸的平滑。首先通過孔洞填充等方法連接相鄰連通區域,使用腐蝕運算去除離散區域和毛刺,再利用圖像膨脹對劃痕光帶進行邊界平滑。

4) 邊緣檢測。使用Canny算子進行邊緣檢測。Canny邊緣檢測不容易受到噪聲干擾,能夠檢測到真正的弱邊緣。使用2種不同的閾值分別檢測強邊緣和弱邊緣,并且當弱邊緣與強邊緣相連時,才將弱邊緣包含在邊緣檢測結果中。

5) 基線提取。多數情況下,被測劃痕所在的小區域是相對平坦的,此時劃痕基線在經過平滑后近似1條直線,可以采用霍夫變換(Hough transform)方法提取直線特征。為提高計算效率,使用累計概率霍夫變換(progressive probability Hough transform, PPHT)方法對提取到的邊緣輪廓進行處理,來獲取1條或多條連續的直線,通過對直線長度和直線位置的判斷,得到1條基線。

6) 輪廓邊緣擬合。當被測劃痕位于大曲率表面處,光帶帶有一定弧度,基線將不再是1條直線,此時應通過多項式擬合方法獲取基線[17,18]。另外,在對劃痕底部進行特征提取時,也需要針對底部特征進行直線擬合或多項式擬合。擬合后的劃痕方程為:

(10)

式中t為擬合次數。

7) 劃痕深度與寬度的計算

以基線為直線為例,假設基線方程為:

y=kx+b

(11)

于是劃痕深度的像素距離n可表示為:

(12)

式中(xt,yt)表示輪廓邊緣上的點集。由劃痕深度計算公式(3)可知,已知像素距離n和系統放大倍數標定值k1,即可求出劃痕深度h。同理,可計算出劃痕寬度。

4 實 驗

本文設計的基于嵌入式系統的表面劃痕測量裝置的實物圖如圖13所示,裝置整體尺寸為:長×寬×高:175 mm×85 mm×125 mm;整體重量為1.3 kg。觸摸屏大小5.5英寸,可翻轉角度10°～90°。裝置左側面為按鍵及接口區,從上到下依次為充電接口、開關按鈕、底部照明開關、數據傳輸(調試)接口。底部照明燈便于用戶在現場環境中更好地觀察被測對象表面。

圖13 基于嵌入式系統的表面劃痕測量裝置實物圖Fig.13 Surface scratch measurement device based on embedded system

通過前述方法對該裝置進行標定后,利用該嵌入式表面劃痕系統進行測量實驗。

4.1 不同材料表面劃痕的測量實驗

為驗證本文研制的嵌入式劃痕測量系統可測量多種材料表面的劃痕,選取了由鋁合金、座艙玻璃、碳纖維等材料制作的樣件,樣件尺寸無特殊要求,樣件表面刻劃了若干條深淺不一、任意方向的劃痕(圖14);在每塊樣件上任意選取一條劃痕,使用本文研制的劃痕測量裝置進行測量,得到的劃痕圖像及測量結果如圖15所示,裝置對劃痕特征進行了準確提取,計算出了劃痕深度及寬度。

圖14 具有劃痕的多種材料Fig.14 Multiple materials with scratches

圖15 不同材料表面的劃痕圖像(截取部分劃痕成像區域,大小:900 pixels×600 pixels)Fig.15 Scratch images on surfaces of different materials

4.2 系統示值誤差評估

分別使用單刻線樣板和量塊評估系統在0.005～0.06 mm和0.06～2 mm范圍內的劃痕深度測量示值誤差[19,20]。利用本文研制的劃痕測量裝置對單刻線樣板的刻線深度和不同尺寸量塊構成的量塊階梯差進行測量,測量結果如表2所示。

表2 深度測量結果Tab.2 Depth measurement results

使用具有標準刻線寬度的寬度樣板評估系統在0.005～2 mm范圍內的劃痕寬度測量示值誤差。如圖16所示,寬度樣板采用光學玻璃作為基板,表面鍍鉻,刻線處透光?？叹€寬度見圖17,線寬的均勻性不超過0.5 μm;刻線長度為8 mm,刻線間隔為4 mm;玻璃基板尺寸為50 mm×50 mm。測量結果如表3所示。

表3 寬度測量結果Tab.3 Width measurement results

圖16 寬度樣板實物Fig.16 Standard width specimen

圖17 寬度樣板的刻線寬度Fig.17 Widths of the grooves on the standard width specimen

試驗結果表明,系統在0.005～0.060 mm測量范圍內的示值誤差不超過±2.0 μm;在0.060～2.000 mm范圍內的相對示值誤差優于±4%。

4.3 實際應用場景中表面劃痕測量

在實際應用場景中,材料表面劃痕可能更具復雜性,本文給出了2個復雜劃痕的測量實例。

實例1：材料表面存在多條劃痕相互交錯且深淺不一。圖14(a)中金屬樣件表面有多條深淺、寬度不一且相互交錯的劃痕,獲取某處的劃痕圖像如圖18(a)所示。由于此處劃痕較多,劃痕基線難以準確獲取,測量軟件提供輔助測量模式,利用該模式可在系統焦距不變的情況下根據光帶位置確定1條輔助基線作為劃痕基線,參與后續圖像處理(圖18(b)、圖18(c))。

圖18 復雜劃痕測量示例Fig.18 Example of measuring complex scratche

實例2：軸類零件表面劃痕的測量。如圖19所示為某管件上沿軸向方向的劃痕,圖20(a)為劃痕測量裝置獲取的劃痕圖像,光帶呈一定程度的彎曲;如圖20(b)所示,測量軟件可根據劃痕輪廓進行曲線擬合并將該曲線作為劃痕基線,參與后續計算,減小測量誤差;測量結果如圖20(c)所示。

圖19 管件表面劃痕Fig.19 Scratch on the surface of a tube

圖20 管件表面劃痕測量示例Fig.20 Example of measuring scratch on the tube surface

5 結 論

本文設計了以嵌入式RK 3399開發板為核心的表面劃痕測量系統,通過觸摸顯示屏,用戶可直接觀測基于光切法獲取的劃痕圖像,實現圖像采集、劃痕圖像處理和計算等操作,與原有以計算機為主機的劃痕測量裝置相比,系統體積小、集成化高、功耗低、成本低廉,便于應用到便攜式環境中,節省人力、提高測量效率。另外,對系統參數進行了準確標定,引入圖像質量評價參數以幫助用戶獲取劃痕圖像的本質特征,優化圖像處理算法,提高測量精度。試驗表明,本文設計的嵌入式劃痕測量系統適用于金屬、復合材料、玻璃等多種材料表面劃痕的測量,且測量精度能夠滿足實際使用要求。