基于物理信息神經網絡的激光超聲波場研究

顏 鑫,應愷寧,戴鷺楠,譚鈞夫,沈中華,倪辰蔭*

(1.南京理工大學 電子工程與光電技術學院,南京 210094,中國;2.南京理工大學 理學院,南京 210094,中國;3.南京理工大學 計算機科學與工程學院,南京 210094,中國)

0 引 言

激光技術在檢測領域[1]應用十分廣泛,其中激光超聲[2-4]技術是無損檢測[5-8]領域的重要研究工具。激光超聲與傳統超聲[7]相比有許多優點:激光超聲不僅能夠在固體中產生,同樣可以在液體、氣體中產生;并且依據材料的不同性質,激光聲源能激發出縱波、橫波和表面波等多模態波,是一種理想的聲源。波場成像[9-13]方法可用于表征和研究各種材料系統中的彈性場相互作用。其中基于激光超聲的波場成像方法,即使用掃描激光測振系統[11]來檢測由超聲激發源產生的材料表面上的運動,通過重復的激發超聲,測振系統在不同的檢測點能夠得到一組離散的時間序列信號(離面位移-時間信號),這些隨時間變化的數據顯示了超聲在材料內部傳播的細節?；诩す獬暤牟▓龀上窦夹g,利用可視化的超聲波場圖像對材料性質進行分析,并且有著激光超聲無損檢測高精度、非接觸和無損傷的優點,因此有著重要的意義和應用背景。

近年來,隨著深度學習算法的更新迭代和數據的爆炸式增長,深度學習已經在生物醫學[14]、自動駕駛[15]、圖像識別[16]、自然語言處理[17]等領域取得了突破性進展。傳統深度學習算法的任務就是建立輸入數據到輸出數據直接的映射關系,即提供一個訓練集,包括輸入和其對應的輸出,如果神經網絡的輸出結果是錯的,它將會調整計算,并在訓練集上不斷重復計算,直至得到期望的結果。為了找出這種映射關系,通常需要數據對網絡進行訓練。當數據量過少時,模型無法得到準確的結果;而當數據量過于龐大時,又會導致模型的泛化能力過差,模型陷入過擬合。因此最終訓練出來的模型好壞與數據息息相關。在許多物理模型之中,訓練的數據之中往往暗含著物理定律,但是這些都沒有體現在傳統的深度學習算法之中。因此,為了規避數據稀疏性的影響,讓神經網絡也能夠利用物理定律,布朗大學RAISSI等人[18-20]提出了一種基于物理信息的神經網絡(physical-informed neural networks,PINN),結合了數據驅動和物理模型的優勢,能在少量數據下訓練出符合物理規律的模型,避免了模型過擬合并提高了其泛化能力;在此基礎上,RAISSI教授證明了在構建物理系統的正向問題和反向問題上,可以使用偏微分方程作為先驗信息來約束最小化過程,即PINN可以用于解決物理模型的正反問題。在正向問題中,可以得到偏微分方程的近似解;而在反向問題中,可以計算出偏微分方程所涉及的參數甚至是未知的函數。由于可在PINN中引入基于物理規律的表達式,許多學者已經將其在不同的領域進行了應用,例如流體力學[21]、生物醫學[22]、材料領域[23]等。PINN在激光超聲無損檢測領域的應用目前仍處于起步階段,但是激光超聲信號滿足波傳播的物理定律,因此可以以此建立物理模型。

針對上述問題,本文作者開展了正向重建激光超聲波場圖像和反向推演波速的研究。首先,基于聲波波動方程建立了PINN模型,并使用數值計算實驗獲得的激光超聲信號作為輸入數據,對所建模型進行了訓練;其次,利用神經網絡作為函數逼近器,在數值計算模型的表面波波場數據基礎上,正向訓練出表面波波場圖像,減小了數據稀疏性對于神經網絡的影響;最后,利用表面波數據進行PINN參數反演,神經網絡自動推演出表面波波速,即建立的PINN模型可以用于反演偏微分方程(波動方程)里面的參數。

1 基于波動方程的PINN基本理論

1.1 PINN基本理論

傳統神經網絡[24-25]為一個多層的網絡結構,分為“輸入層”、“隱藏層”和“輸出層”,如圖1所示。在這3層結構中,“輸入層”接收待訓練的數據;“隱藏層”可以不止一層,每一層有多個神經元,其接收前一層的數據進行非線性運算,運算的結果為“輸出層”的輸入;最后“輸出層”輸出結果。其中“輸入層”、“隱藏層”和“輸出層”兩兩連接。

圖1 神經網絡結構Fig.1 Structure of Neural network

圖1中,x1～xn為“輸入層”的輸入值,輸入值在經過神經元后會進行非線性變化,如下式所示:

(1)

式中:σ(·)表示激活函數;j表示該層的神經元的個數;n表示輸入的個數;wj表示該層第j個神經元為輸入值賦予的權重;xj為第j個神經元的輸入,即為上一層的輸出值;b表示該隱藏層神經元帶有的偏置;Zj為該層的輸出值,也是下一層的輸入值。

本文中基于波動方程建立PINN模型,與普通的神經網絡相比,在激活函數的選擇上面需要注意以下幾點:首先,由于波動方程涉及到偏微分方程的運算,所以需要激活函數的2階導數存在、且不為0,例如激活函數ReLU就不能運用;其次,例如sigmoid和tanh等存在2階導數且不為0的激活函數都可以使用,而在實際訓練模型的時候,由于檢測到的振動幅度較小,使用sigmoid激活函數容易出現梯度消失的問題,因此實際使用中tanh較好,表達式如下式所示:

(2)

在神經網絡中,“輸入層”到“隱藏層”都會進行這種非線性變換,而在“隱藏層”到“輸出層”中將進行線性變換,如下式所示:

(3)

“隱藏層”到“輸出層”進行運算時,如式(3)所示,只進行線性運算。經由神經網絡模型計算出來的預測值,將繼續作為偏微分方程的輸入,計算殘差。

PINN將利用控制超聲波傳播的線性2階偏微分方程[26-27],如下式所示:

u″=c2Δu,(x∈Ω,t∈[0,T])

(4)

式中:u(t,x)是偏微分方程的解;t是時間;c表示波速;Ω是表示實數集;u″是離面位移u對時間t求2次導數;Δu表示對u進行拉普拉斯運算;T代表求解時間域。網絡結構原理如圖2所示。

圖2 PINN結構圖Fig.2 Structure of PINN

圖2表示PINN先建立一個神經網絡的位移逼近函數u(t,x),之后建立偏微分方程的殘差f,f的值越趨近于0表示神經網絡的預測值越符合物理模型,表達式為:

f:=u″-c2(x)Δu

(5)

式中:“:=”表示更新參數。定義PINN的損失函數為:

L=λMu+Mf

(6)

式中:λ>0為懲罰項系數,通過改變λ,可以調整神經網絡的逼近函數,從而達到幫助神經網絡快速收斂的效果;Mu為神經網絡預測值up和真實值u的均方根誤差;Mf為偏微分方程的殘差f的均方根誤差,其表達式分別為:

(7)

(8)

式中:Nu表示預測值的總個數;Nf表示偏微分方程采集點的個數。

1.2 優化算法

由第1.1節可知,多層神經網絡在訓練中需要經過多次迭代計算,每次迭代根據當前神經網絡的權重和偏置計算輸入數據前向運算的結果,根據建立的損失函數來計算神經網絡的輸出與目標輸出之間的誤差,此時需要反向傳播計算損失相對于參數的梯度,使用梯度下降算法更新參數以減少下一次迭代的損失。

梯度下降算法更新公式為:

(9)

式中:θ為待更新參數;α為學習率,決定了梯度更新的步長;L為損失誤差;?為偏導數符號;上標k為迭代的次數;由于神經網絡之中需要迭代更新的參數往往為多個,下標i對應不同的參數。由式(9)可以看出,如果學習率過小,損失函數的變化速度會很慢;如果學習率過大,可能會使損失函數直接越過全局最優解,陷入局部最優解。本文中采用自適應矩估計(adaptive moment estimation,Adam)優化算法[28],收斂速度比傳統的梯度下降算法更快,不易陷入局部最優。

本文中均采用4層神經網絡,每層有128個神經元,激活函數為tanh,優化器為Adam。

2 激光超聲數值計算模型及參數設置

為利用PINN進行波場成像及參數反演,首先使用仿真軟件進行數值計算以獲取波場數據。在數值計算模型中,利用固體力學和固體傳熱兩個模塊[29],模擬了激光入射在鋁材料上導致局部吸收能量形成熱彈激光超聲這一過程[30-31]。本文中通過固定超聲激發點,會在材料表面產生超聲信號,而通過移動掃查探測點可以測得不同位置的離面位移信號,即物體表面質點震動離開表面原位的距離,從而進行數值計算實驗研究。通過設置不同的激發點位置和探測點掃查范圍,得到了兩組數據。

數值計算的第1組數據如圖3中激發位置與掃查范圍1所示。樣品材料設置為鋁,長度為6.0 mm,厚度為1.0 mm,其中激發點位于上表面中心處,位置設為0點。測量范圍在整個上表面[-3.0 mm,3.0 mm]區域,每步掃描步長為50.0 μm,共包含121個掃描點,時間步長數據采集間隔為0.02 μs,101個總時間步長點共2.0 μs。數據以(Nx,Nt)的形式排列,大小為(121×101),其中Nx為x方向的網格點,Nt為總時間步長。B掃圖像u(t,x)如圖4a所示,其中橫坐標表示時間,縱坐標表示探測點的位置,兩條直線分別為掠面縱波、表面波。直線的斜率表示為該波的波速?？梢园l現:在x=0.0 mm處,由激發光輻照產生的熱膨脹離面位移遠遠大于其它探測點的離面位移,由熱膨脹引起的離面位移為納米級,圖4a中為一條黃綠色的橫線(即圖4a中激發點處熱膨脹信號),而超聲傳播過程中的離面位移數量級為0.01 nm,熱膨脹信號至少比超聲信號引起的離面位移大兩個數量級。

圖3 數值計算模型(固定激發、多點探測)Fig.3 Numerical calculation setup for fixed generation and multiple point detection

圖4 激光超聲多模態B掃圖像a—探測點包含激發點 b—探測點不包含激發點Fig.4 B-scan image of laser ultrasonic multi-modea—when detection points include the excitation point b—when detection points exclude the excitation point

數值計算的第2組數據如圖3中激發位置與掃查范圍2所示。樣品表面寬度為6.0 mm,深度為1.0 mm,其中激發點位于上表面中心點左側1.0 mm處。波場成像測量范圍在上表面[0.0 mm,3.0 mm]區域,模擬掃描步長100.0 μm(31個掃描點),時間步長數據采集間隔為0.02 μs(101個總時間步長點共2.0 μs)。B掃圖如圖4b所示,與圖4a的區別在于此時的探測點不包含激發點,但都有掠面縱波和表面波,其斜率代表各自的波速。其中熱膨脹處的離面位移為納米級,而由于超聲傳播特性而引起的離面位移也為納米級,因此,激發點無法體現出超聲傳播所引起的離面位移變化。

需要指出的是,激光超聲具有多模態激發的特性,針對這一特性,本文作者提出的PINN模型可以加入不同的控制方程表示不同模態的特點。為了研究方便,先從單模態超聲傳播著手,研究激光超聲中波場成像原理。因此,本文中PINN模型只對單個波進行建模分析,由此,作者先對波場數據進行預處理操作。由圖4可知,B掃圖像包含掠面縱波、表面波等多個超聲波模態。從時域信號幅值來看,除激發點外,表面波幅值比其它模態聲波大一個數量級,所以選取表面波模態進行分析。取表面波信號最大幅值處為其到達時間,處理后的單模態數據如圖5所示。橫坐標均為時間,縱坐標均為探測點的位置,直線的斜率為波速。

圖5 激光超聲單模態B掃圖像Fig.5 B-scan image of laser ultrasonic single-mode

在訓練PINN模型時,為驗證PINN模型能用少量數據重建波場的可行性,在均勻采樣、掃描距離和總時長均一定的前提下,增大掃描步長和時間步長,再將少量數據輸入PINN中進行訓練,最后與原始掃描步長和時間步長的波場數據進行對比。

3 結果與討論

本節中使用數值模型中獲得的2組計算數據,對上文建立的基于波動方程的PINN模型進行訓練,從而正向得到激光超聲單模態(表面波)波場圖像的結果,進而反向推演激光超聲單模態波場參數。

3.1 單模態激光超聲波場的正向計算

為了利用少量的波場u(t,x)數據重建波場圖像,首先進行第1組數值計算數據(數據大小為121×101,共12221個數據點)訓練PINN模型。圖6a為正向PINN模型重建出來的B掃圖像,其中橫坐標為時間,縱坐標為探測點的位置。從圖6a中可明顯看出,在x=0.0 mm處的離面位移遠遠大于其它探測點處的離面位移,這是由于數值模型中激發點的離面位移遠遠大于其它點,在訓練模型過程中被作為了主要特征。

圖6 探測點包含激發點時前向PINN訓練結果Fig.6 Forward PINN training results when detection points include the excitation point

圖6b中給出了PINN模型訓練過程中的損失函數的變化過程。圖中橫坐標表示迭代次數,縱坐標表示損失函數的值。由圖6b可知,訓練數據包含探測點時,損失函數的值基本平穩無法下降。這是由于x=0.0 mm處的離面位移主要由激發源導致的熱膨脹引起,其幅值比其它探測點處獲得的離面位移高了一個數量級,因此PINN模型會將x=0.0 mm點的數據作為主要訓練特征。而PINN模型是基于波動方程構建殘差損失的,x=0.0 mm處的熱膨脹引起的離面位移并不能在波動方程中體現,因此與損失函數矛盾且損失函數無法下降。

針對這一問題,使用掃查路徑不包含激發點的第2組數值計算數據(大小為31×101,共3131個數據點,掃描步長為100.0 μm,時間步長為0.02 μs)中約10%的數據(大小為16×21,共336個數據點,掃描步長為200.0 μm,時間步長為0.1 μs)訓練PINN模型。與上述情況不同,其損失函數可以收斂,下降趨勢如圖7所示。

圖7 探測點不包含激發點時的正向PINN模型損失函數Fig.7 Loss function of forward PINN model when detection points do not contain the excitation point

圖7表示第2組數據作為訓練數據時,PINN模型訓練過程中的損失函數的變化過程。除個別跳變點之外,PINN模型的損失函數逐漸接近零,平穩地趨近于收斂。這表明當探測點不包含激發點時,第1組數據中作為主要干擾信息的熱膨脹源不存在,正向PINN模型可以利用波場數據重建波場圖像。對于訓練出來的PINN模型,圖8表現了其重建B掃圖像的結果。其中圖8a表示PINN模型重建出來的B掃圖像,圖8b表示PINN模型預測的數據與數值計算數據的相對誤差圖。由圖8b可知,將PINN計算的數據與數值計算數據進行對比,誤差主要集中在表面波到達時刻點附近,波場數據u(t,x)的平均誤差為0.0123 nm,其誤差相比于原始波場數據下降了一個數量級(超聲傳播過程中引起的離面位移為納米級)。圖8c和圖8d為隨機選取了x=0.5 mm,x=1.0 mm的時間-位移波形圖像?？梢钥闯?PINN擬合的表面波與數值模擬實驗的表面波數據的波形基本一致。

圖8 探測點不包含激發點時前向PINN訓練結果Fig.8 Forward PINN training results when detection points do not contain the excitation point

由上述可知,在訓練正向PINN模型時,探測點包含激發點時,由于激發點處產生的大幅度熱膨脹,導致待訓練數據的內部數據規律與PINN模型內置的波動方程信息不對應。由此可知,訓練PINN模型時主要特征需要符合模型中作為判據的物理信息(在本例中,是式(5)的波動方程)。本文中,當與物理規律無關的干擾源高于波場數據引起的離面位移一個數據量級乃至以上時,式(6)中的損失項Mu中激發點的數據將作為主要特征,與損失項Mf中的波動方程相矛盾,PINN模型將不收斂。

3.2 單模態激光超聲參數的反向推演

在正向利用PINN模型重建波場圖像之后,下面進行單模態激光超聲信號參數的反向推演。對于給定的波場u(t,x),目標是識別未知參數波速c。反向PINN模型對于噪聲信息有著更好的魯棒性,因此,即使探測點包含了激發點,也可以反演出波速c。使用第1組數值計算模型的數據中約25%的數據量(大小為61×51,共3111個數據點,掃描步長為100.0 μm,時間步長為0.04 μs)進行訓練反向PINN模型。圖9a中給出了PINN重建出來的B掃圖像,橫坐標為時間,縱坐標表示探測點的位置,圖中的斜線為表面波到達每個探測點時刻,在x=0.0 mm處為激發點。圖9b表示PINN模型預測的波場數據與真實數據的絕對誤差分布。由圖9b可知,其誤差主要也是集中在激發點附近和表面波到達時刻附近,這是由于訓練的數據之中包含一部分噪聲的干擾,波場數據u(t,x)的平均絕對誤差為0.0046 nm,計算誤差與原波場數據相比下降了4個數量級。圖9c和圖9d為隨機選取x=-1.5 mm,x=2.5 mm時的時間-位移圖像,波形基本一致。

圖9 探測點包含激發點時反向PINN訓練結果Fig.9 Inverse PINN training results when detection points include the excitation point

表1中給出了反向推演的波速結果。從表中可知,PINN反演出來的波速與真實波速相比,誤差為3.28%。

表1 真實波速和PINN反演波速(包含激發點)Table 1 True wave velocity and velocity inversed by PINN (including the excitatiion point)

由于已經證明了反向推演參數對于干擾數據有更好的魯棒性,接下來討論小數據訓練PINN模型時波場成像質量的問題。利用給定的波場數據u(t,x),在數據中不包含激發點數據的情況下,識別未知參數波速c。本次使用了第2組數值計算模型的數據中約21%的數據量進行訓練PINN模型(大小為31×21,共651個數據點,掃描步長為100.0 μm,時間步長為0.1 μs)。圖10a為PINN模型重建的B掃圖像;圖10b表示PINN預測的波場數據與真實數據的絕對誤差。平均絕對誤差為0.0046 nm,相比于原波場數據,平均絕對誤差下降了一個數量級。圖10c和圖10d為隨機選取的x=1.0 mm,x=2.0 mm時的時間-位移波形圖像,將PINN預測的數據與真實的數據進行對比,PINN擬合的表面波與真實數據的表面波基本一致。

圖10 探測點不包含激發點時反向PINN訓練結果Fig.10 Inverse PINN training results when detection points do not contain the excitation point

如表2所示,PINN反演出來表面波波速,與真實表面波波速誤差為1.80%。

表2 真實波速和PINN反演波速(不含激發點)Table 2 True wave velocity and velocity inversed by PINN (excluding the excitation point)

經過兩組不同的數據訓練出來的PINN模型均可以反演出波速,且誤差均在5.00%以內。第1組數據其探測點包含了激發點,PINN模型仍可以反演出模型;第2組數據訓練出的反向PINN模型的誤差比正向PINN模型的誤差低了一個數量級,顯示出了PINN對噪聲的魯棒性(抗干擾性)很強。這是由于反向訓練PINN模型時,波速是未知參數,參與訓練時以波動方程為主要特征進行訓練,通過調節懲罰項系數λ調節神經網絡模型,而在正向訓練PINN時,由于激發點處熱膨脹導致離面位移比其它探測點高了多個數量級,波動方程的殘差損失無法作為主要特征,因此,在正向過程中無法重建包含探測點的波場圖像。同時,由于波動方程作為主要特征學習時,神經網絡能夠減小其它干擾噪聲的影響,所以第2組數據的反向成像質量也優于正向過程。

需要指出的是,本文中目前只利用描述激光超聲傳播的波動方程進行波場重建以及反演內部參數,并依此對單模態超聲信號進行分析。在激光超聲檢測技術中,還可進一步針對激光超聲多模態特性,分別對不同模態的激光超聲信號建立獨立的控制方程來重建不同模態激光超聲信號的波場及參數反演。此外,在其它光學研究領域,這一將物理信息嵌入神經網絡的方法同樣適用于基于麥克斯韋方程物理信息的研究場景,如光電器件仿真領域。這些基于物理信息的神經網絡模型可為激光仿真技術的研究提供其它可行思路。

4 結 論

介紹了PINN用于正向求解波動方程和反向推演參數的原理,利用神經網絡的逼近理論和自動微分技術,PINN可以幫助人們避免許多傳統神經網絡會遇到的問題,例如:數據量過于稀少、模型的泛化性不夠等;進一步證明了PINN求解波動方程時,在數據量稀疏的情況下完成對波場的正向重建,以及自動反向求解波動方程的波速;最后,將其應用到激光超聲領域,實現了對于表面波波場的正向重建和反向波速推演,并將結果與數值計算模型的數據進行對比。研究結果表明:重建的波場數據精確度較高,與原波場數據的絕對誤差下降了至少一個數量級;在反向的過程中,PINN模型自動推演表面波波速,無需進行人為分析,且對噪聲有著抗干擾性。