基于數據驅動的無人機編隊最優控制算法設計

董睿沖，徐 濤，王曉麗*

（哈爾濱工業大學（威海）信息科學與工程學院，山東 威海 264209）

0 引言

最近幾年來，無人機技術的迅猛發展使得固定翼無人機和旋翼無人機在各個領域得到了廣泛的應用[1]。無人機的海陸空協同作戰在海洋作戰中具有多個優勢。首先，無人機能夠在復雜的海洋環境中迅速響應和部署；其次，無人機能夠通過高空俯瞰和遠距離偵察，提供全面的情報支持，提升作戰主體的感知能力和對戰場情況的認知；此外，無人機在海洋作戰中能夠執行風險較高的任務，減少人員傷亡風險，提高作戰效能和安全性。無人機編隊的協同作戰將在海洋作戰中發揮重要作用，為作戰指揮和決策提供更多的選擇和靈活性。多無人機編隊控制問題一直是無人機領域中備受關注的研究方向，國內外眾多學者投入了大量的研究工作。南京信息工程大學自動化學院莊亞楠團隊在有向拓撲結構下，針對無人機之間存在通信噪聲干擾，研究了基于事件觸發的多無人機群快速編隊控制[2]。南京郵電大學的LEI JI教授團隊研究了通信帶寬有限情況下多無人機系統的編隊控制問題，利用位置和速度的組合誤差，協同設計了具有事件觸發機制的一致性控制協議，以減少網絡上的信息傳輸量[3]。在國外，俄羅斯科學院Pereslavl-Zalessky 程序系統研究所的學者論述并考慮了在不穩定環境下運行的一組無人機編隊控制，提出了一種基于自適應Kohonen神經網絡的方法，應用了智能幾何控制的原理，為在復雜環境中實現無人機群的運動提供了理論支撐[4]。沙特阿卜杜勒阿齊茲國王大學航空航天工程系的學者提出了一種新的二階非線性多智能體系統（MAS）的分布式共識算法用于解決多架無人機協同控制的問題[5]。

領航–跟隨法是無人機編隊控制領域的一個研究重點，具有廣泛的應用前景。該研究方向旨在實現一個或多個無人機作為領航者，引導其他無人機進行協同飛行。國內外許多學者在這一領域開展了深入的研究，并提出了各類創新方法和技術。在文獻[6]中，將旋翼無人機設定為跟隨者，地面小車設定為領航者，并采用線性二次調節器（LQR）方法和滑?？刂圃O計了控制器，成功實現了編隊控制。另一方面，在文獻[7]中，基于虛擬領航–跟隨者模型，提出了一種創新的反步控制方法，能夠快速實現編隊狀態的穩定。在文獻[8]中，研究者在領航–跟隨者結構下，通過設計適當的滑模面和滑?？刂坡?，能夠實現對群體系統的集中控制，使得每個個體能夠按照預定的規則和策略行動?；？刂品椒ǖ姆€定性和魯棒性使得群體控制可以在各種環境和條件下有效工作，具有一定的魯棒性和適應性[9]。

雖然目前該領域成果豐碩，但現有研究仍存在一些問題。其一為對無人機進行建模時缺乏足夠的精確性。目前大部分研究在建立模型或線性化運動學和動力學模型的過程中。由于簡化程度較高，無法完全考慮許多不確定因素，實際控制過程中模型存在不確定性，這使得控制精度的進一步提高受到限制。

數據驅動控制（Data-driven Control）是一種在控制器設計中不依賴于受控系統的數學模型信息，而是僅使用系統的離線/在線數據和經過數據處理得到的信息的方法。通過嚴格的數學分析，其穩定性和收斂性可以保證其魯棒性[10]。為了解決無人機編隊模型建立不準確的問題[11-12]，使用數據驅動的方法來控制無人機和編隊被證明是有效的，具有實際重要意義[13-14]。

本文提出了針對控制器設計過程中需要求解一個復雜的代數黎卡提方程的問題，提出一種基于數據驅動的算法，近似得到黎卡提方程（ARE）唯一解。同時，本文針對無人機編隊中由于內部參數攝動導致的模型不精確問題并提出了數據驅動的方法。在適用于明確已知的線性系統模型的同時，只需要一段時間內的輸入和狀態信息，即可求解出最優的反饋控制策略。

1 無人機系統模型

本文研究多無人機編隊系統在實際應用中的問題，例如無人機集群對抗和多無人機協同搜索。研究對象為十字形四旋翼無人機?；谔摂M領航-跟隨者模型，考慮到存在系統參數攝動的情況下，論文探討了由多個四旋翼無人機組成的編隊最優控制問題。四旋翼無人機是強耦合和欠驅動系統，它有6 個自由度。

常見的四旋翼無人機非線性動力學模型被表示為

式中：(x,y,z）分別表示無人機對地的空間位置；α表示沿機體坐標系OEXE軸旋轉的滾轉角；β表示沿機體坐標系OEYE軸旋轉的俯仰角；γ表示沿機體坐標系OEZE軸旋轉的偏航角；m表示無人機的總質量；g表示重力加速度；l表示無人機結構軸的長度；Ji(i＝x,y,z)表示無人機的三軸轉動慣量，Ui(i＝ 1, 2, 3, 4 ）的定義如下：

式中：U1為所有轉子產生的推力之和；U2,U3,U4是同滾轉、俯仰和偏航運動相關聯的量；Fi(i＝1,2,3,4）表示4 個電機的推力；Ti(i＝ 1, 2, 3, 4 ）表示4 個電機的扭矩。

本文的控制目標：針對每個四旋翼無人機（1），設計最優編隊控制器ui(i＝ 1, 2, …,N），使整個編隊系統在指定隊形下飛行。為達到這一目標，本文的設計方法在傳統線性二次型調節的基礎上，融合了數據驅動的思想。

2 基于數據驅動的編隊控制算法設計

2.1 非線性系統解耦

為了簡化控制器設計并更真實地模擬四旋翼無人機的飛行過程，我們將無人機的強耦合非線性模型進行解耦。這種解耦后的線性系統能夠更好地描述無人機的飛行行為。

同時，我們重新定義了狀態變量，以利于對無人機編隊控制器的設計：

式中：

為了確保解唯一性，在小振蕩模型下進行線性化。利用常用近似：

在無人機姿態角很小的情況下，這種簡化方法是合理的。

定義平衡點：

平衡時固定的控制輸入：

這個輸入量所代表的為無人機的 4 個轉子產生的用于抵消無人機自身重力的上升力，它使無人機平穩地懸停在規定的平衡點處。從而可以得知該無人機的線性動力學模型的狀態空間表達式為

式中：

由式（10）可得，狀態x和y僅與姿態角β,α相關，與控制輸入U1無關。以此簡化后的系統如下：

通過解耦簡化的4 個線性子系統，我們可以觀察到根據卡爾曼提出的系統能控能觀性判據，這些線性子系統都具備能夠被控制和被觀察的性質。

2.2 編隊線性模型

根據3.1 的內容，對于無人機的編隊控制器，需要對4 個子系統單獨設計。下面以位置子系統x為例，第i架無人機的數學模型為

式中：

這架無人機與理想狀態間的誤差表示為

式中：ρ0表示無人機的期望飛行狀態；ρi0表示第i架無人機與期望飛行狀態之間的差值，可將其假設成[xi0vi00 0]T。

對誤差變量進行求導可得：

以無人機編隊為整體來說：

式中：N表示編隊中受控制無人機數量；n表示控制對象狀態變量的維數；輸入變量的維度為m，狀態子系統位置x中，m＝ 1,n＝ 4。

在實際應用中，無人機的負荷與理想情況存在差異，有些時候無人機沒法查清負荷的情況。所以模型中的質量和轉動慣量不是已知的?；谶@些情況，我們可以改寫編隊的誤差狀態空間如下：

ΔA, ΔΒ為攝動的動力學參數，定義范數有界的不確定參數：

式中：Gi,Ei(i＝1,2)是由常數組成的矩陣，Mi(i= 1， 2）是一個有界未知的矩陣且滿足：

2.3 線性二次型最優控制器設計

在這一節中，我們著重解決多無人機系統自適應最優控制問題，其主要內容為“領航者–跟隨者”網絡拓撲結構。我們通過數據驅動策略，對無人機的輸入信號、擾動信號及狀態信息進行采樣，并進行一些處理操作即可解決在無人機模型未知的情況下，多無人機編隊的控制問題。這意味著我們能夠實現高效的編隊控制，無論無人機內部參數的變動或模型信息的不確定性如何。

設計編隊模型狀態反饋分布式控制器：

式中：c為一個常系數；K*為狀態反饋矩陣；dij表示系統矩陣A對應的入度矩陣D中的元素，將式（19）代入式(21)，可以得到：

將式（26）改寫為編隊整體：

式中：L為編隊的拉普拉斯矩陣；為對角矩陣，維數與L相等；此外對于i＝ 1,2…N，?i＞0，使得ai≠ 0。

L?cK*使各無人機的運動和位置狀態盡量一致；使各無人機和期望狀態之間的誤差盡可能小，這樣能夠使各個無人機都盡量跟蹤領航者。

本文結合編隊控制器的設計，考慮了具體的線性二次型問題。對于此類受控系統被假設為線性系統的問題，用控制輸入狀態變量和組成的二次型函數表示系統的性能指標。通過將自適應動態規劃融入線性二次型設計方法，利用無人機的輸入數據和狀態數據進行迭代學習，以近似求解最優控制器的問題。這樣，我們能夠得到一個能夠有效解決線性二次型最優控制問題的控制器設計方法。

對于系統來說，線性狀態反饋ui＝-K*ζi被期待用來使下面的性能指標函數成立：

式中：Q＝QT≥0,R＝RT≥0，Q,R均為已知的定常矩陣，且是可觀測的。

將ui＝-K*ζi代入式（28）有：

為了求取K*，不妨假設存在一個常量矩陣P，使得：

將上式代入：

將式（30）中的等式左側微分形式展開：

式中：Ac＝A-BK*。 若上式等號恒成立， 則的值為0。

令K*＝R-1BTP*，有：

式中，P*＝P*T＞0（矩陣正定）對于上述黎卡提方程來說是唯一存在的解。

公式（34）是一個非線性方程，其解為矩陣P，通過解析方法求得方程的解非常困難。

針對式（34）中P*的求解問題，本文提出一種基于數據驅動的算法，若初始狀態反饋矩陣給定，通過求解對應tk(k＝ 0,1,..,)時刻的Pk矩陣，迭代更新線性反饋矩陣Kk＋1，最終近似得到黎卡提方程（ARE）唯一解P*。

引理1：在任意給定一個穩定的狀態反饋矩陣后，我們將在k＝ 0,1,2... 的情況下重復以下步驟：

1）實對稱正定矩陣Pk由下述方程求解：

式中：Ak＝A-BKk。

2）反饋矩陣可以通過式（36）進行代換：

有以下3 個性質成立：

1）A-BKk是赫爾維茨穩定的。

以上使用了策略迭代方法，可以對策線性連續系統。最開始提供初始輸入策略K0，該策略可以使系統穩定。然后通過式（35）求取Pk實現策略評估，在式（31）中不難發現Pk和初始狀態是與性能指標J相關聯的。為了更新策略，通過式（36）代換得到下一個循環中的Kk＋1。不過必須有較為精準的線性系統A,B的信息來實現引理 1 中的迭代循環過程，本文已給出2 個與其相關的矩陣。若無人機系統存在參數攝動，則精確的矩陣信息將無法獲得，所以引理1 所提出的策略迭代方法實用性較差。

在這篇論文中，結合了引理1 和自適應動態規劃的思想，基于數據驅動，我們提出一種自適應最優控制算法。這種方法在適用于明確已知的線性系統模型的同時，只需要一段時間內的輸入和狀態信息，即可求解出最優的反饋控制策略。這意味著我們可以通過數據驅動的方法來實現無人機的最優控制，無需依賴于準確的系統模型。

將第i架無人機與期望位置之間的誤差變量的數學模型改寫如下：

將上式中的系統參數代入可轉移性能指標函數，以克朗克積的形式表示內部多項式如下：

式中：0 ≤ti,0＜ti,1＜…＜ti,s＜ti＋1,0＜ti＋1,1＜… ,s表示在ti與ti＋1之間的采樣次數。

將式（39）擴展成如下形式：

式中：

在利用最小二乘法求解式（40）Kk＋1時，解的唯一性是非常關鍵的因素，而滿秩是確定解唯一性的充分條件，即Θk必須做到滿秩。使Θk滿秩的充分條件如下。

引理2：對于每次迭代k＝ 0,1…，存在一個充分大的lk＞ 0，如果有下面的秩條件成立：

那么式（40）中Θk滿秩。為了節省空間，此處省略證明。

式（41）成立時，式（40）有唯一解，應用最小二乘法求解，式（40）進一步寫成：

假設每個區間 [ti, 0,ti,s]為一個采樣周期，在解決上述方程時，必須有充足的樣本數據，即迭代過程中，都應該存在充分大的s進行預處理以確保數據的可靠。首先，考慮到零輸入時本文解耦得到的子系統具有發散性，為使系統保持穩定，我們可以使用初始控制策略K0；其次，選擇探測噪聲也是非常重要的。一般而言，計算秩條件可以檢查最小二乘法中的秩問題，但無法通過分析進行確認。

為了滿足秩條件，應確保每個迭代步驟至少有10 個相對應的采樣周期的數據，即s≥10。當探測噪聲有周期性時，其周期應遠小于采樣時間間隔。

由控制器設計ui＝-K*ζi、式（40）以及式（50）構成基于數據驅動的自適應最優控制算法，流程圖如圖1 所示。其中c為常數，表示Pk需要達到的誤差精度，ω表示控制輸入的參數攝動。

圖1 基于數據驅動的自適應最優控制算法流程圖Fig. 1 Flowchart of data-driven adaptive optimal control algorithm

對于具有 “領航者–跟隨者” 有向通信拓撲結構的多無人機系統，上述基于數據驅動的自適應最優控制器能夠有效地解決在系統內部參數攝動情況下的編隊控制器設計問題。接下來，我們將提供該控制算法的可行性證明，以驗證該算法的有效性和可行性。

定理1：若有初始控制策略使系統穩定的同時滿足引理2 中的秩條件，那么方程式的解迭代序列可以收斂到相應的P*,K*。

首先證明該策略迭代方法的收斂性。

由式（30）可得：

可以推出：

或者：

當k＝0時，K1＝R-1BP0，代入上式：

根據式（45）有：

因此，P*≤P1≤P0。又因為P*是黎卡提方程的解，必為正定矩陣，P0正定且有界，所以A-BK1是符合Hurwitz 穩定性判據的。令k＝ 0,1…，通過上式反復進行驗證，可得P*≤Pk+1≤Pk。由于Pk為遞減的矩陣序列且有下界P*，故存在，P∞滿足式（34）且是該方程的唯一解。因此有，該迭代策略是收斂的。

當給定一個使系統穩定的狀態反饋矩陣Kk，如果Pk是式（ 33 ） 的解， 并且Kk+1通過唯一決定。由式（38）可得，Kk、Pk滿足引理1 中提到的3 個性質。另一方面，如果令Pk＝P，且K使下式成立：

3 穩定性分析

定理2：對于公式（21），當P*,K*為3.3 節中求出的線性二次型最優反饋矩陣時，線性反饋控制器u＝-K*ζ可以使編隊穩定，且使無人機編隊系統性能指標能夠達到最小。

針對公式（21）選取李雅普諾夫函數：

對等式兩邊進行求導，并代入式（21）可得：

得到：

由此可得，所選的Lyapunov 函數V(t) ＞ 0且。本文提出的編隊控制器可以使編隊狀態穩定，即

在上述控制策略下的無人機編隊系統性能指標為

又因為P*是黎卡提方程（ARE）的唯一解，K*＝R-1BTP*，由LQR 的原理可知，u＝-K*ζ為最優控制器，可使上述系統性能指標達到最小。

4 仿真分析

為了驗證本文提出的控制方法的有效性，在本節中，我們進行了基于數據驅動的自適應最優控制編隊的仿真實驗。實驗假設無人機可以對狀態數據進行交換，并確保編隊網絡中至少存在一個有向連通圖。

在本實驗中，我們驗證了一個由4 架四旋翼無人機構成的編隊。該系統的通信拓撲圖如圖2 所示。

圖2 編隊通信拓撲圖Fig. 2 Formation communication topology diagram

圖中：UAV0 表示虛擬領航者，UAV1～UAV4表示跟隨者無人機。假定只有UAV2 與UAV0 有信息交換。

圖2 所對應的入度矩陣與鄰接矩陣為

由此得到該編隊系統的拉普拉斯矩陣為

由信息交換能夠進行與否， 可以判斷ai＝ 0(i＝ 1,3,4),a2＝ 2。其中a2的數值決定了編隊狀態趨近于期望狀態的速度，故應在允許范圍內選擇盡量大的值。

假設編隊隊形是一個平面正方形，其中領航者位于正方形的幾何中心。

在上述假設下隊形矩陣如下描述：

跟隨者與領航者的距離矩陣為

各個跟隨者相對于虛擬領航者的的初始狀態信息。

表1 各無人機初始狀態Table 1 Initial state of each UAV

首先，求解位置子系統x方向，假設在求解時Q＝I4,R＝1。無人機的初始狀態數據為xi＝ [5,2,2,1]T。采樣周期設定為T＝ 0.01 s，采樣時間設定為5 s，初始的狀態反饋矩陣為K0＝ [1,3,4,3]，探測噪聲由周期信號疊加：

仿真結果如下：

從圖3 可以觀察到，在給定初始狀態的條件下，無人機最終趨于穩定。因此，整個過程收集到的數據均有效，并滿足引理 2 對數據矩陣秩的要求。圖5 具體表現了反饋增益矩陣的迭代過程，即每次迭代得到的反饋增益矩陣與期望的差值。三次迭代后算法基本收斂，這成功地驗證了定理1。得出最優反饋增益矩陣如下：

圖3 位置x 數據采集時的狀態響應曲線Fig. 3 Status response curve for data acquisition of position x

圖4 位置x 子系統最優反饋增益迭代過程Fig. 4 Optimal feedback gain iteration process of position x subsystem

圖5 編隊位置狀態x 的誤差變量響應曲線Fig. 5 Error variable response curve for formation position state x

圖6 位置z 數據采集時的狀態響應曲線Fig. 6 Status response curve for data acquisition of position z

下面給出編隊的狀態響應曲線：

從圖5 可以看出，編隊能在15 s 內收斂到期望狀態。

由對稱性可知，狀態子系統x與y是一致的，受篇幅所限，不在此給出位置狀態y的仿真結果。

對于位置狀態z的控制器，其簡化后是一個二階系統，與x，y均不同，所以必要獲得的未知參數變少。

假設該最優狀態控制器的Q＝I2,R＝ 1。在線數據采集時無人機的初始狀態數據為zi＝ [3, -2]T。數據采集的步驟中，采樣周期和采樣時間分別設置為0.01 s、2 s，迭代開始的狀態反饋矩陣為K0＝ [1,1.5]，探測噪聲同樣選擇周期信號的疊加：

圖7 展示的是狀態z控制器的迭代過程。因為系統的階數相對較低，所以狀態的收斂速度更快，第二次迭代后，得到了最優狀態增益矩陣：

圖7 位置z 子系統最優反饋增益迭代過程Fig. 7 Optimal feedback gain iteration process of position z subsystem

觀察圖8 后發現，在z方向只需8 s 的調整即可使狀態達到穩定。

圖8 狀態z 的誤差變量響應曲線Fig. 8 Error variable response curve for state z

當虛擬領航者的期望狀態如下：

圖9 顯示了編隊運動的仿真結果，圖像化了編隊實現懸停的調節過程。因為簡化后偏航角子系統的模型與狀態z子系統相似，受篇幅所限，不在此給出編隊姿態角的誤差仿真結果。

圖9 編隊懸停三維飛行軌跡Fig. 9 Formation hovers over a three-dimensional flight trajectory

5 結束語

本文研究了在存在系統參數攝動情況下的四旋翼無人機編隊問題，考慮到無人機編隊在實際應用中的廣闊前景以及對復雜任務需求的完成。通過結合分布式一致性和線性二次型理論，為了解決無人機參數攝動導致的模型參數未知問題，利用數據驅動構造了自適應動態規劃的最優編隊控制器的方法。該方法對每個子系統進行編隊控制設計，從而采用了虛擬領航–跟隨者模型，并簡化了四旋翼無人機動力學的非線性系統，將其簡化為4 個線性子系統，隨后提供了詳細的設計步驟和證明。最后，通過Lyapunov 方法分析論證了算法的穩定性，并給出了仿真驗證的結果。這為以后在真實環境中實現四旋翼無人機編隊飛行提供了堅實的理論支持。