自適應光學系統迭代控制算法超參數優化

羅宇湘，楊慧珍，何源烽，張之光

（1.江蘇海洋大學 電子工程學院，江蘇 連云港 222005；2.金陵科技學院 網絡與通信工程學院，江蘇 南京 211169）

引言

自適應光學（adaptive optics，AO）技術采用變形鏡或空間光調制器校正光波前畸變，改善光學系統性能，已經在天文領域[1]、生物領域[2]、醫學領域[3]和半導體領域[4]得到應用。傳統自適應光學系統需要獨立的波前傳感器，系統結構復雜；而以系統性能指標作為目標函數，使用優化算法迭代控制變形鏡電壓，則能夠在無需波前傳感器的條件下實現波前畸變校正（也稱為無波前探測自適應光學技術）。無波前探測自適應光學系統中，迭代控制算法的超參數選取決定了自適應光學系統的校正能力。例如在隨機并行梯度下降（stochastic parallel gradient descent algorithm，SPGD）算法中，超參數選取過小時，會使得系統的收斂速度慢，在結束既定步數的迭代后，未能達到穩定收斂；超參數選取過大時，在迭代開始階段收斂較快，但算法容易陷入局部極值[5]。自適應光學系統迭代控制算法一般依靠遍歷或者經驗來確定超參數。近年來，隨著機器學習領域中越來越多的優化器被應用于自適應光學系統的迭代控制，采用的優化器包括Momentum[6]、Nesterov accelerated gradient（NAG）[7]、AdaGrad[8]、RMSprop[9]、Adam[10-11]、Nadam 等[12]，迭代控制算法的超參數數目顯著增長，通過遍歷來確定超參數最優值所需的運算量激增。針對這一問題，本文提出一種基于貝葉斯優化的自適應光學系統迭代控制算法的超參數選取方法，能夠以較小的運算量確定超參數的最優值。

超參數搜索可以看作是黑箱函數的優化問題，該函數往往具有非凸特征。采用常規的遍歷法搜索超參數可能因為找到一個局部最優值而錯過全局最優值。PELIKAN M 等于1998 年提出貝葉斯優化[13]，SNOEK J 等于2012 年將貝葉斯優化調整超參數用于機器學習領域[14]。貝葉斯優化具有迭代次數少、速度快和針對非凸問題依然穩健等優點，在應用于超參數優化實踐中，已被證明[14-15]與網格搜索[16]和隨機搜索[17]相比，能在更少的評估中獲得更好的結果。和傳統的遍歷法不同，貝葉斯優化是一種能夠利用有限的函數采樣值，以較少的評估次數獲得復雜目標函數最優值的方法[18]。為了避免陷入局部極值，貝葉斯優化通常會加入一定的隨機性，在隨機探索和根據后驗分布取值之間做出權衡。

本文采用貝葉斯優化方法，選擇適合自適應光學系統迭代控制算法的超參數。分別以常用的SPGD、Momentum-SPGD 和CoolMomentum-SPGD控制算法為研究對象，以迭代優化控制算法的超參數作為輸入，斯特列耳比（Strehl ratio，SR）值作為輸出，采用貝葉斯優化選擇合適的超參數。分析采用貝葉斯優化選擇超參數的迭代控制算法的校正效果，并將校正結果與遍歷法的結果進行比較。

1 自適應光學系統迭代控制算法

傳統的隨機并行梯度下降算法（SPGD）是美國陸軍研究實驗室的VORONTSOV M A 于1998 年提出[19]，隨后被廣泛研究[20-22]。SPGD 算法直接對光學系統的性能評價函數J進行優化。當前驅動器控制電壓為 {uj}(j=1,···,N)，第n次迭代時，隨機擾動 {δuj}(j=1,···,N)被并行施加到波前校正器的N個驅動器，此時系統性能指標的變化量為 δJ，SPGD 算法的迭代過程可以表示為

式中：γ為增益系數。本文采用斯特列耳比SR 作為性能評價函數J，用于表征畸變波前的校正效果[23]，性能評價函數J越接近于1，表示波前畸變校正效果越好。

隨著深度學習的發展，越來越多的優化器被提出，并且已經成功與SPGD 算法結合用于自適應光學系統控制，如Momentum-SPGD 算法[7]、CoolMomentum-SPGD 算法[24]、RMSprop-SPGD 算法[10]和Adam-SPGD 算法[12]等。傳統的SPGD 算法只有1 個超參數即增益系數 γ，Momentum-SPGD 算法和CoolMomentum-SPGD 算法有2 個超參數，分別是學習率和動量系數，表1 比較了3 種迭代控制算法的超參數。

表1 不同迭代控制算法的超參數比較Table 1 Comparison of hyperparameter of different iterative control algorithms

2 超參數優化方法

超參數向量x到模型性能指標的映射記作f(x)，其中x∈Rd，超參數優化的目標是在超參數空間內尋找使得模型性能最優的d維超參數x*，記作：

在機器學習中，現有的超參數優化方法主要是網格搜索[25]、隨機搜索[17]和貝葉斯優化方法[14]。貝葉斯優化方法只需要幾個已知樣本點，通過高斯過程回歸計算已知樣本點的后驗概率分布，得到每一個超參數在每一個取值點的期望均值和方差。其中均值代表這個點最終的期望效果；方差表示這個點的效果的不確定性，方差越大，代表值要用更多的樣本點去探索。

貝葉斯優化方法主要有兩個核心：高斯過程回歸模型和采集函數。高斯過程回歸模型用于近似表示黑箱目標函數。令隨機向量X=[x1,x2,···,xn]，服從多元高斯分布X～N(μ,Σ)，μ為方差，Σ為協方差矩陣，其中：X1=[x1,···,xm]為已知觀測變量，X2=[xm+1,···,xn]為需要預測的未知變量，則：

均值和協方差矩陣為

根據貝葉斯公式：P(X2|X1)=P(X2)P(X1|X2)/∫P(X1|X2)P(X2)dX2可得X2的后驗分布：

式中：μ2|1為預測的未知變量的均值；Σ2|1為預測的未知變量的協方差矩陣。采集函數用于估計在已知數據條件下最優點最有可能出現的位置，主要作用在于平衡探索與利用，使其既能利用先前的已知觀測值加快收斂，又能探索決策空間中不確定性強的地方，避免陷入局部最優。

3 自適應光學系統迭代控制算法超參數優化

評價迭代控制算法時，既要考慮到迭代控制算法的收斂精度（迭代收斂后的SR 值），也要考慮到控制算法的收斂速度，因此將迭代過程中的SR 值加入性能指標，用SR0表示性能指標：

式中：SRinter表示控制算法迭代過程中的SR 值；SRend表示控制算法迭代結束后的SR 值；c表示權重系數。本文分別以迭代300 步、1 000 步時的SR值作為SRinter和SRend，c取值0.6。應根據具體應用的需求設定考察SR 值的步數、中間過程與結束時SR 值的權重。

本文以自適應光學系統迭代控制算法中的超參數作為貝葉斯優化方法中目標函數的輸入，每組超參數對應的加權SR 值作為貝葉斯優化方法中目標函數的輸出。先是獲得初始點個數，對初始點進行高斯過程回歸，預測出目標函數的曲線，本文高斯過程中核函數選擇Matérn 協方差函數。然后選擇合適的采集函數評估下一個采樣點，常見的采集函數有概率提升函數（PI）、期望提升函數（EI）、置信上界函數（UCB）。采用單一采集函數的貝葉斯優化算法不可能在所有問題上都表現出最好的性能，因此，還有使用對沖策略組合多種采集函數的貝葉斯優化算法，比如GP-Hedge 算法[26]。本文為尋找目標函數最大值，采用置信上界作為采集函數：

式中：μ()表示數學期望；σ()表示方差；κ為調節參數，通過控制調節參數實現對探索未知和已知數據信息之間的平衡。采用概率提升作為采集函數：

式中：Φ()表示正態累積分布函數；?是用來平衡探索和利用的隨機參數；f(x+)表示現有的最大值。采用期望提升作為采集函數：

式中：z=(μ(x)-f(x+))/σ(x)表示對當前最優點取值的歸一化。GP-Hedge 算法是在每次迭代中，把從每種采集函數得到的候選點組成候選點集合，然后根據對沖策略從候選點集合中選取評估點。此時，貝葉斯優化會猜測出一個或多個采集函數取得最大值的函數值，判斷該結果是否滿足結束條件，如果滿足就結束優化過程，否則將此結果加入初始點，繼續進行高斯過程回歸，預測出新的目標函數曲線，再利用采集函數選出下一個采樣點，直到滿足結束條件。

采用貝葉斯優化方法選擇超參數的具體實現過程如圖1 所示。首先是確定域空間，在SPGD 算法中，超參數 γ的域空間為(0,6]，在Momentum-SPGD 和CoolMomentum-SPGD 算法中，超參數lr和ρ的域空間都為(0,1]；再設置加權SR 值作為性能指標；然后獲得樣本點（超參數值及其對應的加權SR 值），對樣本點進行高斯過程回歸，獲得目標函數的預測曲線，完成對超參數空間的建模；在每次迭代中，計算每個樣本點的采集函數，即置信上界，并選擇置信上界最大的點作為下一個采樣點，即在超參數空間中選擇一個新的點進行實驗，得到其目標函數值，并將其添加到已有的樣本點中。通過不斷迭代更新模型和選擇下一個采樣點，直到達到結束條件（達到最大迭代次數），完成超參數的優化。

圖1 自適應光學系統迭代控制算法采用貝葉斯優化方法選擇超參數的實現流程Fig.1 Implementation flow of hyperparameter selection using Bayesian optimization method in iterative control algorithm for adaptive optics systems

4 結果與分析

模擬實驗所用計算機為Windows10 系統，硬件環境為：11th Gen Intel(R) Core(TM) i5-1135G7 CPU，主頻2.4 GHz，16.0 GB DDR3 RAM。模擬實驗中采用Fran?ois Assémat 提出的方法[27]生成相屏模擬待校正像差，生成的相屏統計屬性符合Kolmogorov 譜，且相屏間不具有相關性。湍流強度大小用D/r0表示，D為望遠鏡的口徑，r0為大氣相干長度。本文在湍流強度D/r0=5的條件下隨機選擇1 幀相屏進行模擬實驗。在貝葉斯優化方法中，采集函數為置信上界函數時，參數 κ設置為1；為概率提升函數時，參數 ?設置為0.1；隨機探索步數為2，貝葉斯優化步數為10。在驗證該方法對于迭代控制算法性能影響時，以SR 值達到0.8 時的迭代步數作為校正速度的評判標準，穩定收斂時達到的SR 值作為收斂精度的判斷標準，以下3 種控制算法在迭代1 000 步時均已穩定收斂。

4.1 SPGD 算法超參數選取

SPGD 算法中有1 個超參數即增益系數 γ，以增益系數 γ作為輸入，γ的取值范圍為(0,6]，加權SR 值作為輸出。圖2 為SPGD 算法中迭代6 次后的預測目標函數圖及其采集函數圖，采樣函數選擇置信上界函數。圖2（a）中圓點標記為采樣點，虛線標記為預測的目標函數，陰影范圍為95%置信區間。圖2（b）中實線標記為采集函數，星形標記為下一個采樣點。

圖2 SPGD 算法中迭代6 次后的預測目標函數圖及其采集函數圖Fig.2 Diagram of prediction objective function and its acquisition function after 6 iterations in SPGD algorithm

遍歷法中 γ以0.1 為間距，在(0,6]范圍內等間距取值共60 組超參數。從遍歷法的60 組超參數中人工選取校正效果最理想的一組和貝葉斯優化方法進行對比，對比結果如表2 所示。表2 中貝葉斯優化方法采用了不同的采集函數。BO_UCB 表示在貝葉斯優化方法中采集函數選擇置信上界函數，BO_PI 表示在貝葉斯優化方法中采集函數選擇概率提升函數，BO_EI 表示在貝葉斯優化方法中采集函數選擇期望提升函數，BO_GP 表示在貝葉斯優化方法中采用GP-Hedge 算法確定下一個采樣點。BO_UCB 方法所需樣本實例數量最少為6，BO_GP方法所需樣本實例數量最多為10。在迭代到206步時，BO_GP 方法中的SR 值達到0.8，而BO_UCB方法需要迭代223 步；在迭代1 000 步后，BO_UCB方法中的SR 值達到0.924 4，而BO_GP 方法中的SR 值只有0.901 4。表明在貝葉斯優化算法中采用不同的采集函數對SPGD 算法的收斂效果是有影響的，其中BO_UCB 方法所需樣本實例數量最少，迭代1 000 步后，SR 值最大。因此，在仿真實驗中選取BO_UCB 方法與遍歷法進行對比。從表2 可以看出，貝葉斯優化方法的樣本實例數量是遍歷法的10%，采用貝葉斯優化方法選擇超參數的迭代控制算法，收斂速度和收斂精度均優于遍歷法。

表2 SPGD 算法采用遍歷法與貝葉斯優化方法選擇超參數的結果對比Table 2 Comparison of results of SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

為了更直觀地評價貝葉斯優化方法的性能，分別采用遍歷法和貝葉斯優化方法選擇超參數的迭代控制算法，收斂效果如圖3 所示。圖3 中虛線標記“--”代表貝葉斯優化方法，實線標記“-”代表遍歷法，標記“-·”表示人工挑選的遍歷法中校正效果最佳的3 組參數對應的SR 曲線。從圖3 中可以看出，采用貝葉斯優化方法選擇超參數的SPGD 算法在迭代到223 步時，SR 值達到0.8；迭代1 000 步后，SR 值達到0.924 4。結果表明，采用貝葉斯優化方法選擇超參數的迭代控制算法不僅收斂速度較快，收斂精度也得到保障。

圖3 采用遍歷法和貝葉斯優化方法選擇超參數的SPGD算法的SR 曲線Fig.3 SR curves of SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

4.2 Momentum-SPGD 算法超參數選取

Momentum-SPGD 算法中有2 個超參數，即學習率lr和動量系數 ρ，lr和 ρ的取值范圍都為(0,1]。遍歷法中lr和 ρ以0.1 為間距，在(0,1]范圍等間距取值共100 組超參數。從遍歷法的100 組超參數中人工選取校正效果最理想的一組和貝葉斯優化方法進行對比，結果如表3 所示。表3 中還給出了貝葉斯優化算法在采用不同采集函數時所需的樣本實例數量，以及Momentum-SPGD 算法在SR 值達到0.8 時的迭代步數和迭代1 000 步時的收斂精度。貝葉斯優化方法的樣本實例數量為7。從表3可以看出，貝葉斯優化方法在樣本實例數量是遍歷法的7%的情況下，采用貝葉斯優化方法選擇超參數的迭代控制算法收斂速度優于遍歷法，收斂效果和遍歷法基本一致。

表3 Momentum-SPGD 算法采用遍歷法與貝葉斯優化方法選擇超參數的結果對比Table 3 Comparison of results of Momentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

采用遍歷法與貝葉斯優化方法選擇超參數的Momentum-SPGD 算法收斂效果如圖4 所示。從圖4 中可以看出，采用貝葉斯優化方法選擇超參數的Momentum-SPGD 算法在迭代到233 步時，SR值達到0.8；迭代1 000 步后，SR 值達到0.933 4。結果表明，采用貝葉斯優化方法選擇超參數的迭代控制算法收斂速度相對較快，最終的收斂效果也較好。

圖4 采用遍歷法和貝葉斯優化方法選擇超參數的Momentum-SPGD 算法的SR 曲線Fig.4 SR curves of Momentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

4.3 CoolMomentum-SPGD 算法超參數選取

CoolMomentum-SPGD 算法中有2 個超參數即學習率lr和動量系數 ρ0，lr和 ρ0的取值范圍都為(0,1]。遍歷法中lr和 ρ0以0.1 為間距，在(0,1]范圍等間距取值共100 組超參數。從遍歷法的100 組超參數中人工選取校正效果最理想的一組和貝葉斯優化方法進行對比，對比結果如表4 所示。表4 中還給出了貝葉斯優化算法在采用不同采集函數時所需的樣本實例數量，以及CoolMomentum-SPGD 算法在SR 值達到0.8 時的迭代步數和迭代1 000 步時的收斂精度。貝葉斯優化方法的樣本實例數量為9，是遍歷法的9%。由表4 可知，采用貝葉斯優化方法選擇超參數的迭代控制算法收斂速度和收斂精度上均優于遍歷法。

表4 CoolMomentum-SPGD 算法采用遍歷法與貝葉斯優化方法選擇超參數的結果對比Table 4 Comparison of results of CoolMomentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

采用遍歷法與貝葉斯優化方法選擇超參數的CoolMomentum-SPGD 算法收斂效果如圖5 所示。從圖5 中可以看出，采用貝葉斯優化方法選擇超參數的CoolMomentum-SPGD 算法在迭代到205 步時，SR 值達到0.8；迭代1 000 步后，SR 值達到0.937 2，結果表明，采用貝葉斯優化方法選擇超參數的迭代控制算法收斂速度快，最終的收斂效果也相對較好。

圖5 采用遍歷法和貝葉斯優化方法選擇超參數的CoolMomentum-SPGD 算法的SR 曲線Fig.5 SR curves of CoolMomentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

5 結論

在無波前探測自適應光學系統中，超參數的選擇一定程度上決定著迭代控制算法的校正能力?，F有的迭代控制算法的超參數設置一般采用遍歷法，計算量大，耗時較長。本文提出將貝葉斯優化方法用于選擇適合自適應光學系統迭代控制算法的超參數。分別以常用的SPGD、Momentum-SPGD和CoolMomentum-SPGD 控制算法為例，以迭代控制算法的超參數作為輸入，斯特列耳比值作為輸出，采用貝葉斯優化選擇超參數。研究結果表明，對于SPGD 控制算法，取得相同收斂效果時，貝葉斯優化方法所需樣本實例數量是遍歷法的10%；對于Momentum-SPGD 和CoolMomentum-SPGD 控 制算法，貝葉斯優化方法所需樣本實例數量分別是遍歷法的7%和9%。且迭代控制算法本身超參數越多，采用貝葉斯優化進行超參數調優的優勢越明顯。后續將本方法拓展至超參數數目更多的迭代控制算法。本文研究結果可為自適應光學系統迭代控制算法的實際應用提供超參數設置理論基礎。