局域線性小波神經網絡在原子鐘信號預測中的應用

熊擇正，袁志超，賀軒,方聲偉，王青，齊向暉，陳徐宗

(北京大學 電子學院量子電子學研究所，北京 100871)

0 引言

鐘差預報技術在守時授時領域具有重要的意義：衛星導航系統等精密授時應用需要獲取原子鐘與地面基準或協調世界時UTC等參考間的鐘差數據以提高精確度，研究鐘差預報能以相對較小的代價提高數據的精度和可靠性[1]；同時，鐘差預報技術應用在原子鐘駕馭時可以明顯提高所馴服原子鐘的長期穩定度[2]；在建立時間基準的過程中，也需要對所用多臺原子鐘之間的鐘差數據進行預測[3]。目前衛星鐘差的預報算法得到了比較深入的研究，并有各類針對不同數據特點的預報模型被提出。典型的衛星鐘差預報模型包括多項式模型[4]、灰色模型GM(1,1)[5]、卡爾曼模型[6]、神經網絡模型[7]等。

目前被廣泛研究的鐘差數據是原子鐘與時間基準之間或者多臺原子鐘之間的計時差，因此鐘差預報理論不能直接應用于單個原子鐘的性能提升。但是從原子鐘內部也可以讀取出一些與鐘差數據具有相似的波動特征的信號，例如表示原子鐘內訊問信號頻率與參考譜線頻率差值的誤差信號等。使用和鐘差預報算法類似的方法可以對誤差信號進行預測，預測結果可以應用于調節原子鐘的鎖定方式并提升其性能。此外，銫爐溫度、微波功率、C場電流等參數的波動會顯著影響原子鐘的穩定性[8]，對這些參數進行實時的監測和預報也有助于采取更加合適的頻率反饋方式，有望提高原子鐘的頻率穩定度。

本文針對原子鐘內部誤差信號的預報展開研究，采用神經網絡模型對誤差信號進行預報，并對所使用的神經網絡模型的預測性能進行了評估和優化。論文提出一種基于局域線性小波神經網絡(local linear wavelet neural network，LLWNN)的原子鐘內部信號預測算法，利用北京大學原子鐘小組光抽運小銫鐘內的誤差信號數據對神經網絡進行訓練和測試，并構建了基于BP(back propagation)神經網絡的信號預測算法作為對比。論文對基于LLWNN和BP神經網絡的兩種算法進行了性能評估和優化，在各自優化到最佳結構之后，基于LLWNN的預測算法表現出了更高的預測精度和更好的預測穩定度，有望在未來應用中提升原子鐘的頻率穩定度。

1 LLWNN 神經網絡預報算法

1.1 誤差信號的特點

銫原子鐘內的誤差信號可以近似地表示為

S=-K(vLO-vREF)+δs=-K[vLO-(vhfs+δv)]+δs,

(1)

式(1)中：vLO是微波訊問信號的頻率值，而微波訊問信號由本地晶振經過頻率綜合電路產生，其頻率和晶振頻率成正比；vREF=vhfs+δv是銫鐘內晶振鎖定參考譜線的中心頻率，受到光功率和微波功率漂移、環境溫度變化等因素的影響，vREF相對于銫鐘超精細躍遷頻率的標稱值vhfs具有偏離量δv，其波動以長期噪聲為主。原子鐘內部通過一系列調制解調過程來測量vLO與vREF的頻率差并將其以誤差信號的形式在電路中輸出，這些過程的總增益K在頻率波動很小時可以近似成常數；但是，原子數散彈噪聲、光功率和微波功率波動、光子散彈噪聲等還會為上述測量帶來不確定度δs[9],這些噪聲會同時帶來短期和長期上的測量誤差，并且在短期產生尤其顯著的影響?？傮w而言，銫原子鐘內的誤差信號包含白相位噪聲、閃變相位噪聲、白頻率噪聲、閃變頻率噪聲和隨機行走頻率噪聲5類噪聲的疊加[10],而且短期波動的幅度很大。在原子鐘的反饋機制調節下，誤差信號的長期波動已經很小，本文主要對誤差信號進行較短時間尺度下的預報，這與鐘差信號的中長期預報相比具有很多新的困難。

從原子鐘相位的角度來看，Δt時間內原子鐘的輸出相位變化可以表示為

(2)

在鐘差預報中一般是已知了歷史相位數據，通過歷史相位數據預測未來的鐘差偏移以提前做出修正，這種方式的前提是通過一個外部的時間基準作為參考測量出原子鐘的歷史相位。本文討論的場景是在原子鐘的內部系統分析參數，此時沒有與外部參考比對而得出的歷史相位數據，但是分析誤差信號也可以在一定程度上獲取原子鐘的頻率和相位偏移信息；在δs,δv都是小量的中長期范圍內，預測誤差信號并對本振頻率做出相應的調整也有利于提高原子鐘的頻率穩定度。

在影響銫束原子鐘內部誤差信號的諸多參數中，微波功率、光功率變化等因素導致的信號波動規律相對簡單一些，對這類信號波動進行預報的難度相對較低；其他類型的信號波動則很難預報，例如溫度、振動等因素則可能通過多種機制以更復雜的方式來擾動信號，原子數散彈噪聲、光子散彈噪聲等白頻率噪聲則具有相當復雜的波動模式。為了更好地預報前一類信號波動，本文采用理論上可以逼近任意非線性時間序列的神經網絡[11]來模擬這些波動函數。

1.2 LLWNN神經網絡模型

圖1 BP 神經網絡和LLWNN 神經網絡的結構示意圖

在后期研究中我們希望將神經網絡的訓練和預測過程在原子鐘的嵌入式系統中實現，同時該系統也需要控制原子鐘的工作，這導致神經網絡可以使用的計算資源會比較受限。 因此，本文采用由WNN改進而來的LLWNN神經網絡[13]，這種神經網絡只需要一層隱藏層即可實現比較高效的計算。如圖1(b)所示，LLWNN神經網絡的隱藏層由感知器和一類新的神經元(小波神經元)組成，每個小波神經元都和一個感知器對應。小波神經元對每個輸入元素都進行小波變換，并將變換的結果相乘作為多元小波函數Ψj(x1,x2,…,xm)輸出：

(3)

式(3)中,

(4)

式(4)中,A={aj,i},D={dj,i}分別是小波函數的伸縮因子和平移因子。每個小波神經元有一個感知器與其對應，感知器的激活函數均為f(x)=x，它們的輸出vj作為對應小波神經元輸出值的權重。設神經網絡中小波神經元的數量為L，則最終輸出的預測值為

(5)

1.3 網絡參數的訓練

為了應用神經網絡對誤差信號演化的過程進行模擬，需要對神經網絡的參數進行訓練使建立起來的人工神經網絡模型接近真實的演化機制。在LLWNN神經網絡中，需要訓練的參數包括小波函數的伸縮和平移因子A,D以及感知器的輸入權重與偏置W={wj,i},b={bj}。訓練過程采用N組參考信號作為訓練集{xn,yR,n}，使神經網絡在輸入{xn}時輸出的預報信號{yn}盡量接近{yR,n}。為此，將訓練的評價函數設定為

(6)

上述訓練過程實際是在求解無約束的最優化問題，這種問題有兩類比較成熟的解法：一類是梯度下降法及衍生的各種改進算法，另一類是包括遺傳算法、粒子群優化算法、退火算法在內的啟發式算法。梯度下降法的普適性較好，但是在處理高維問題時很容易受到局域極值問題的阻礙；各種啟發式算法可以獲得問題的全局最優解，但是需要根據特定的問題類型來選擇合適的算法并設定恰當的參數。本文采用動量梯度下降算法(momentum gradient decent，MGD)[14]對LLWNN神經網絡進行迭代訓練，第t+1次訓練后的網絡參數為

θt+1=θt+vt+1。

(7)

式(7)中：

vt+1=βvt-αθE。

(8)

式(7)和(8)中,參數β取為動量梯度下降法應用中最常用的值0.9[15]，α取為訓練效果較好時的值0.001。動量vt是上次迭代參數的改變量，這一項在梯度較小時加速迭代過程，梯度較大時則可以避免振蕩。此外，我們也采用了粒子群優化算法[13](particle swarm optimization，PSO)來驗證網絡的訓練效果。

2 數據驗證及分析

2.1 數據預分析

為了驗證LLWNN神經網絡模型的預報效果，本文利用北京大學原子鐘小組研制的光抽運小銫鐘[8]進行實驗，由原子鐘內的單片機每秒采集一次誤差信號，并通過LabVIEW通信程序傳遞給電腦端的Matlab程序。為便于分析，本文使用的誤差信號都按照增益系數換算成了相對頻率偏差，這一線性變換不影響信號預測過程。在訓練神經網絡前，本文使用擅長預測數據漂移趨勢的卡爾曼濾波算法[3]分析了一段長度為150 ks的誤差信號：先對這一長段信號進行百秒平均處理，再將得到的1 500個數據依次輸入卡爾曼濾波模型并與實際值比較。由于卡爾曼模型含有協方差矩陣等未知參數，也使用PSO算法對這些參數進行了訓練，使得預測誤差的均方差最小。圖2是參數訓練至最佳后的效果，卡爾曼模型輸出的預測值除了開始一小段之外，主要在誤差信號的平均值附近小幅波動；對未經過平均處理的信號用卡爾曼模型處理也可以得到類似的結果。這驗證了前文的分析：誤差信號的主要成份是短期噪聲，長期波動和漂移很弱，更適合通過神經網絡模型來預測。

圖2 經過卡爾曼濾波算法處理的誤差信號 圖3 MGD和PSO訓練算法的迭代過程

2.2 LLWNN神經網絡的訓練

根據歷史信號預測下一個信號的過程實際是對信號變化量即一次差的預報[7]，為了更清晰地描述預測結果，此后的訓練和預測過程都是對誤差信號一次差進行處理。在數據預處理中，首先得出上述150 ks誤差信號的一次差，此后從這一段數據中抽取連續的406個數據點，取最前方7個點為第一組數據，此后依次后移共得到400組數據，每組的前6個數據作為神經網絡的輸入值，第7個數據則作為實際參考值與神經網絡的輸出比較。這400組數據的前350組用于訓練神經網絡，訓練效果使用神經網絡的輸出值與實際值相比的均方根誤差來衡量。本文在LLWNN神經網絡中使用的小波基函數是

(9)

訓練LLWNN神經網絡時，先隨機對參數θ進行初始化，此后再應用MGD算法或者PSO算法迭代尋找最優參數直到網絡收斂。圖3所示是神經網絡訓練中一次典型的迭代過程，其中MGD算法在100次迭代以內就能穩定收斂，且訓練結束后的均方根誤差略小于PSO算法的結果。由于PSO是全局性算法，這表明小波函數的應用確實幫助解決了局域極值的問題，因此梯度下降算法能找到全局最優參數；梯度下降算法擅長求解極值問題，所以MGD算法得出的訓練結果略優于PSO算法。

神經網絡訓練完成之后，利用后50組數據測試網絡模型的預測能力：將每組前6個數據輸入神經網絡，將得到的50個預測值和對應的實際參考值作比較。圖4所示是一次典型的預測結果，大部分預測值和實際值比較符合。計算得到圖4中實際值的標準差為1.81×10-11，而預測誤差的均方根1.12×10-11相比起來有明顯減小。在理想條件下，如果能精準預測下一周期的誤差信號，并通過伺服機制精準調節原子鐘本振的頻率，可以使下一周期的誤差信號降到零；在不完美預測的條件下，精準伺服的方式可以根據預測值提前將本振頻率調節對應的值，則下一周期的誤差信號變成原本的真實值減去預測值，即預測誤差值。因此預測誤差的波動限制了利用神經網絡輸出的預測值提升原子鐘穩定度的上限，例如圖4的數據表明利用這一輪預測結果最多可以將誤差信號的標準差降低到原來的0.62倍，近似于將原子鐘的短期頻率穩定度提升到1.6倍。

圖4 LLWNN神經網絡的預報結果 圖5 神經網絡預測性能隨隱藏層節點數的變化情況

2.3 神經網絡的結構優化以及測試結果

作為比較的參考對象，我們也在實驗中對BP神經網絡的預測效果進行了測試。由于神經網絡的訓練復雜度會隨著隱藏層數的增加而迅速增大，我們選擇單層隱藏層的BP神經網絡進行測試，從而控制使兩種神經網絡在訓練中使用的計算資源不會相差太多。實際測試了使用不同類型激活函數的效果后，我們使用Tan-Sigmoid函數:

(10)

作為BP神經網絡隱藏層神經元的激活函數，使用線性函數作為輸出層神經元的激活函數。BP神經網絡的訓練算法也采用MGD算法。

為了評估神經網絡的預測效果，我們在上述15萬個數據點中隨機抽取了100個訓練-預測數據段，其中每個訓練-預測數據段由前述的400組輸入-輸出數據組成，在每個數據段中都可以對神經網絡模型進行一輪訓練-測試的處理過程。每個數據段中都完成訓練-測試操作之后，我們再將這100輪處理中的預測誤差結合起來評估，以盡量減小偶有特殊的規律性數據噪聲對神經網絡預測性能的影響。在每個數據段內的測試中，神經網絡會輸出50組預測值，這些預測值和實際值之間的均方根誤差體現了這一輪的預測效果。由于不同數據段內被預測數據本身的噪聲大小互有差異，這些差異也會影響到均方根誤差的值；而后續分析中需要綜合考慮神經網絡在不同數據段中的預測性能，因此我們在每個數據段內的一輪測試后先計算預測值和實際值之間的均方根誤差，再取其與當前數據段內實際值的標準差這二者之比，將結果作為當前數據段內測試結果的評價指標，本文中我們將這一指標簡單地稱為“相對預測誤差”。在完成所有數據段中的訓練和測試操作后，我們求出這100輪測試的相對預測誤差的平均值，將其作為評估神經網絡性能的統一指標，本文中我們將這一指標簡單地稱為“相對預測誤差平均值”。以相對預測誤差平均值為依據，我們對不同神經網絡的性能做了比較，同時也對單個神經網絡的結構進行了優化，將使得相對預測誤差平均值最小的神經元數目作為最佳神經元數目。如圖5所示，當隱藏層的節點數增加時，BP神經網絡和LLWNN神經網絡的相對預測誤差平均值都有先減小后增大的趨勢，這是因為隨著節點數增多，神經網絡的可學習參數更多、結構更加復雜，可以在更大范圍的函數空間內搜索合適的預測模型；但在同時，搜索空間的增大也意味著搜索復雜度的提升，這對訓練神經網絡時的計算資源和計算精度都提出了挑戰。對于我們實現的BP神經網絡，在隱藏層具有8個神經元時取得最佳的預測性能；引入小波神經元的LLWNN神經網絡在隱藏層的小波神經元數小于8時都能實現較好的預測效果，在小波神經元數目過多時，計算復雜度的增大會導致預測誤差變大，其中小波神經元數目為6時的預測誤差最小。

圖6描述了兩種神經網絡各自設定到最佳的隱藏層節點數時，在每個數據段測試中的相對預測誤差。在少數數據段中BP神經網絡的預測效果也可以接近甚至超過LLWNN神經網絡，但是BP神經網絡的預測結果不穩定；在一些數據段內，BP神經網絡的相對預測誤差大于1，即預測誤差的波動比原始數據更大，這些情況下若將神經網絡的輸出反饋到原子鐘反而會惡化穩定度。在100個數據段的測試中，BP神經網絡相對預測誤差的平均值為0.887 3，最大值為1.029 1；LLWNN神經網絡相對預測誤差的平均值為0.789 0，最大值為0.936 9。LLWNN神經網絡的預測效果與BP神經網絡相比有了較大進步，但是這離應用到原子鐘的要求還有一段距離。如果希望把預測結果應用于原子鐘內參與頻率調節的過程，可能需要使用輸出信號能夠反饋回輸入端的循環神經網絡(recurrent neural network，RNN)進一步分析；此外，也還需要對噪聲中晶振頻率波動的成分與其他波動成分做出更清晰的區分。

圖6 BP與LLWNN神經網絡預測效果對比圖

3 結語

本文采用基于LLWNN神經網絡模型的算法對銫原子鐘的內部信號進行預報，并應用光抽運銫原子鐘的誤差信號進行了測試和驗證；神經網絡的參數訓練采用了MGD算法，訓練結果表現出了較好的全局性。論文還評估和比較了BP神經網絡和LLWNN神經網絡的預報性能，在兩種神經網絡都優化至最佳結構時，LLWNN神經網絡表現出了更高的預報精度，且預報穩定性更好。但是目前對誤差信號的預報精度還不夠高，也無法區分組成誤差信號噪聲的各類成份及來源；在未來進一步的研究中，還可以考慮建立循環神經網絡來模擬將預測結果加入原子鐘頻率控制環路的過程，建立起合適的反饋模型并尋找最佳的反饋參數。