有損信道下網絡化系統的均方最優漸近跟蹤

盧潔瑩, 李俊輝, 蘇為洲

(華南理工大學自動化科學與工程學院,廣東廣州 510640)

1 引言

過去十幾年,網絡化控制在無人機及其編隊控制、機器人遠程控制、多智能體協調控制、工業網絡控制等領域得到了廣泛應用,并對這些領域的發展產生了深遠的影響[1-3].網絡化控制系統是指系統組成單元如傳感器、控制器、執行裝置等的信號是通過有線或者無線通信信道來傳輸的一種控制系統.與傳統控制系統的區別在于網絡化控制系統用通訊信道代替了傳統的信號線,因此控制系統可以通過網絡獲取更多的信息并且進行更有效的信息交換,以完成更加復雜的任務,同時在系統構建和維護上具有更大的靈活性和便利性.由于信號是通過通訊信道進行傳輸的,因此信道隨機時延[4-5]、隨機丟包[6-7]、量化誤差[8-11]等不確定性對反饋系統的穩定性和品質產生負面影響.近20年來,人們對上述不確定性的機理和應對方法進行了深入的研究.Martins等[12]討論了當信道中存在噪聲、畸變等信道不確定性的情況下,反饋系統穩定性與對象極點、對象不確定性以及信道不確定性之間的關系;Nair等[8]研究了在數據率約束下,信道與網絡化系統均方穩定性之間的關系;Elia等[13]研究了隨機丟包對網絡化反饋系統穩定性的約束;Lu等[14]分析了信道中存在信噪比約束以及隨機丟包、固定時延等不確定性時,系統均方穩定的充分必要條件.

為了更全面地描述通訊信道不確定性的特征,根據這些特征來分析和設計系統,本文要對通訊信道進行建模.網絡控制的最新發展表明,信道不確定性可以是并行無記憶噪聲通信信道,用零均值的隨機乘性噪聲可以有效地描述信道不確定性.Elia[6]的研究表明,隨機乘性噪聲為通訊信道不確定性(如丟包、時延等)的描述提供了一個合適框架;Xiao等[7]用乘性噪聲模型來描述多輸入信道丟包產生的不確定性;Sinopoli等[15]研究了通信信道中丟包的Kalman濾波問題,將丟包引起的信道不確定性建模為隨機乘性不確定性;Su等[4-5]針對網絡化反饋系統中具有隨機時延的情形用乘性噪聲模型進行了描述,并且根據這一模型采用均方準則研究了網絡化反饋控制系統的穩定性和其他性能.另一方面,隨機乘性不確定性線性時不變系統研究有著很長的歷史[16-19].在其早期的研究中,Willems和Blankenship[17]針對單輸入單輸出(single input single output,SISO)隨機乘性不確定性的線性系統給出了均方穩定的充分必要條件,進而可知均方可鎮定性可以運用H2最優控制方法進行分析;隨后Lu和Skelton[18]得到了多輸入多輸出(multiple input multiple output,MIMO)系統均方穩定的充分必要條件;Su和Qi[20]研究了乘性噪聲系統在多信道下的均方可鎮定性問題,均方可鎮定條件可以轉化為求系統閉環傳遞函數矩陣譜半徑的優化問題,并給出了均方意義下最大的乘性噪聲方差可容許范圍.

對于網絡化反饋系統而言,除了均方穩定性和均方可鎮定性問題之外,性能的最優設計是另一個基礎性研究問題.在過去十幾年里,二次最優設計問題是性能最優設計的一個熱門話題.Nair[21]考慮了在系統量化效應下的二次最優設計問題;Ishii[9]討論了在編碼器約束影響下的二次最優問題.對于隨機丟包等可擦除信道而言,乘性噪聲是描述這類信道中信道不確定性的有效模型.利用乘性噪聲模型,Elia[6]考慮信道中存在隨機丟包等情形下的二次最優調節問題.這一問題可以追隨到上世紀60年代,Wonham[16]研究了一個具有隨機乘性不確定性線性時不變系統的最優二次狀態反饋調節問題,并且根據一個廣義代數黎卡提方程(modified algebraic Riccati equation,MARE)的半正定解得到了最優狀態反饋控制律.但是,這個狀態反饋控制律不一定能使得系統均方穩定.具有隨機乘性不確定性的線性時不變系統的最優控制主要有兩個方面的問題:一方面是設計最優反饋控制器使得系統能在隨機乘性不確定性下均方穩定,另一方面是使得系統的H2性能最優.正如Wonham[16]在文中指出的那樣:上述最優狀態反饋控制律并不能完全保證系統穩定性.而后,Willems等[22]也研究了類似乘性不確定系統的最優設計問題.他們發現,若狀態和控制輸入的二次調節的權重矩陣滿秩,當且僅當MARE有正定解時,所設計的狀態反饋控制器能使得系統在均方意義下穩定.最近,Su等[23]運用乘性噪聲模型研究了網絡化反饋系統的最優設計問題,并給出了廣義代數黎卡提方程(MARE)均方鎮定解的充分必要條件,并證明了利用該鎮定解得到的均方最優狀態反饋控制律能保證所得的網絡化反饋系統系統均方穩定.

盡管,過去的研究在網絡化反饋系統的均方穩定性分析、均方鎮定問題以及均方二次最優設計問題中取得了許多重大的進展,但網絡化反饋系統的均方最優跟蹤問題很少人涉獵.對傳統的反饋系統而言,Davidson[24]提出了內模原理,解決了傳統反饋系統的漸近跟蹤問題;Chen等[25]給出了離散二次跟蹤控制問題的最優解.對于網絡化反饋系統而言,通訊信道不確定性給反饋系統中的信號帶來了新的非完整性和間隙特性,這些特性給反饋系統漸進跟蹤設計提出了新的問題[26-27].

本文研究了具有丟包的網絡化反饋系統的均方最優漸近跟蹤問題,運用乘性噪聲模型描述丟包這一信道不確定性.根據網絡化反饋系統的特點,本文提出一種保證網絡化反饋系統漸近跟蹤特性的控制器結構,針對這種結構討論了網絡化系統的均方可鎮定性問題和漸近跟蹤控制器存在性之間的等價關系.在此基礎上,運用隨機均方最優控制理論給出了上述漸近跟蹤控制器的均方最優設計方法.由于均方最優控制器的設計取決于廣義代數黎卡提方程的均方鎮定解,為此提出了一種新的求解算法,該算法簡化了已有的結果[23].通過仿真例子,本文驗證了運用本文提出的最優漸近跟蹤設計方法得到的網絡化反饋系統的均方穩定性和均方漸近跟蹤特性.

本文的結構如下:第2節給出問題描述;第3節提出一種適合網絡化反饋系統的漸近跟蹤控制器結構,并討論實現漸近跟蹤的條件;第4節將研究漸近跟蹤控制器的最優設計;第5節給出仿真例子;最后,總結本文的主要結果.

2 問題描述

漸近跟蹤問題是反饋控制系統中的一個經典設計問題.其基本要求有兩點:一是設計控制器保證反饋系統的穩定性;二是使得系統的輸出能漸近跟蹤外部的指令信號.在傳統的漸近跟蹤問題中,狀態反饋控制系統的結構如圖1所示,其中外部指令信號通常為階躍信號.根據內模原理,為了使得系統輸出能漸近跟蹤階躍信號,本文需要在反饋系統的前向通道中加入一個積分器,積分器的系數kI為可調參數.由于控制器的輸出與被控對象的輸入是由信號線直接連接,所以控制器輸出信號u和被控對象的輸入信號ud相等.當系統達到漸近跟蹤時,跟蹤誤差e=0,控制信號u為常值.這里,可以運用傳統的二次最優設計方法設計最優的積分系數kI和狀態反饋增益陣K.

圖1 傳統狀態反饋控制系統Fig.1 A traditional state feedback control system

對于網絡化控制系統而言,其控制信號u將通過網絡傳輸到被控對象輸入端,由于網絡中傳輸信道的不可靠性,控制信號在傳輸過程中會產生畸變,因此信號u和信號ud可能不相等.傳統跟蹤控制系統的漸近跟蹤特性和穩定性可能因引入網絡通訊信道而受到損害.本文將著重研究當通訊信道中存在隨機丟包情形下,網絡化反饋系統的漸近跟蹤問題.如果本文采用如圖1中傳統漸近跟蹤控制器的結構,由于通訊信道存在隨機丟包,當信道出現丟包時,被控對象的輸入信號ud為0,進而導致控制輸出z偏離期望值,使得跟蹤誤差e ?=0,從而破壞了系統的漸近跟蹤特性.如果丟包情況嚴重,有可能會影響系統穩定性.

為了更加精確地分析信道隨機丟包對漸近跟蹤問題產生的影響,本文用序列{α(k),k=0,1,2,··· ,∞}來描述信號傳輸過程中丟包情形.該序列的第k個元素α(k)表示k時刻的信號u(k)是否傳輸成功.當α(k)=1時表示被控對象收到了k時刻的控制信號u(k),當α(k)=0表示信號丟失,即

ud(k)=α(k)u(k), k=0,1,2,··· ,∞.

進一步,本文假設序列{α(k),k=0,1,2,··· ,∞}滿足下面隨機特性:

假設1 信道丟包序列{α(k),k=0,1,2,···,∞}是一個獨立同分布的伯努力過程,即i.i.d隨機過程.對于所有非負整數k,α(k)=0的概率為p.

由假設1可知序列{α(k),k=0,1,2,··· ,∞}的均值為1?p,即:對任意非負整數k滿足

由上式可知,信號ud(k)包含兩部分:第1部分是隨機序列{α(k), k=0,1,2,··· ,∞}的均值1?p和被傳輸信號乘積;另一部分是信道不確定性ω(k)和被傳輸信號的乘積.上述均值1?p可以看成是信道的平均增益;信道不確定性ω(k)=α(k)?(1?p)為信道增益的隨機偏差,也可以看成是系統的一個乘性噪聲.因為序列{α(k), k=0,1,2,··· ,∞}滿足假設1,所以序列{ω(k), k=0,1,2,··· ,∞}也是一個獨立同分布過程.其均值為0,方差為(1?p)p,即

其中:x(k)∈Rn為系統狀態,ud∈R是控制輸入,z∈R是控制輸出.本文研究在網絡化反饋系統通訊信道存在丟包情形下的控制器設計,以達到下面3個目的:1)閉環系統均方穩定;2)系統控制輸出z在均方意義下漸近跟蹤參考信號r;3)均方二次性能指標達到最優.下面將給出系統均方穩定性與均方性能指標的定義:

定義1 圖1所示的閉環系統,其控制律為K,若其跟蹤參考信號r(k)≡0且任意初始狀態有界,對于任意時間k,該系統狀態的協方差有界且漸近收斂到0,則稱該系統為均方穩定.

本文考慮的跟蹤參考信號r是幅值為1的單位階躍信號,即

設計控制器使得閉環系統達到均方穩定則稱為是均方鎮定問題;若使系統輸出跟蹤誤差的協方差漸近收斂到零則稱為均方漸近跟蹤問題;若使系統跟蹤誤差的平均能量達到最小則稱為均方最優漸近跟蹤問題.本文將著重討論均方鎮定問題、均方漸近跟蹤問題和均方最優漸近跟蹤問題三者之間的關系,并給出均方最優漸近跟蹤問題的控制器設計方法.

3 均方穩定與漸近跟蹤

為了應對上一節提到網絡信道中丟包現象對反饋系統產生的負面作用,保證系統實現漸近跟蹤,本文提出了如圖2所示網絡化反饋系統的結構.通過在被控對象的輸入端加入一個積分器,使得控制信號u的穩態值為零以避免信道丟包對系統漸近跟蹤特性的影響,即當系統達到穩態時,控制器K的輸出信號u(k)=0,積分器輸入端的信號ud(k)=0,通過設計控制器來調整積分器的穩態輸出信號以保證系統對階躍參考信號的漸近跟蹤.

圖2 丟包信道上的狀態反饋控制系統Fig.2 A state feedback system over a channel with packet loss

下面,本文將研究該系統的均方穩定性并利用其均方穩定性來分析該系統的漸近跟蹤性質.

在圖2所示系統中,積分器的輸出為v,對象P和積分器的狀態方程表示如下:

本節主要研究如圖2所示的閉環系統在跟蹤單位階躍參考信號r(k)時的均方最優漸近跟蹤控制問題.把對象和積分器看成一個擴展對象,其狀態空間模型如下:

其中xe(0)=0.

圖2所示的反饋系統中,控制器K采用參考信號前饋加狀態反饋的結構,相應的控制律如下:

為了研究系統達到漸近跟蹤時的性質,本文定義如下變量x(k),xI(k),v(k),z(k),ud(k),u(k)的穩態值分別為xss,xI,ss,vss,zss,ud,ss,uss.當控制器輸出z(k)漸近跟蹤階躍參考信號時,由式(6)和式(8)可知

另一方面,為了避免在系統達到漸近跟蹤后,信道丟包對控制信號傳輸產生的影響,本文選擇K0使得控制器的輸出uss=0,即K0=?Kxss?KIxI,ss.

令?x(k)=x(k)?xss,?xI(k)=xI(k)?xI,ss,?v(k)=v(k)?vss,?z(k)=z(k)?zss和?u(k)=u(k)?uss.上述變量分別為系統(7)跟蹤階躍信號r(k)過程中,該系統狀態、積分器狀態、積分器輸出和控制器輸出的瞬態響應.利用這些變量本文可得到該系統瞬態響應的狀態方程如下:

由于u(k)和ud(k)的穩態值均為零,所以閉環系統偏差狀態方程中,信道的輸入輸出依然可用u(k)和ud(k)之間的關系(10)來描述.

偏差狀態方程(14)、狀態反饋控制器(16)和信道模型(9)-(10)是圖2中網絡化反饋系統的另一個等價模型.其特點是把原系統模型(7)-(8)中的狀態變量xe(k)、控制輸出z(k)等用相應的偏差狀態?xe(k)、偏差輸出?z(k)來表示.在新的狀態變量表示下,跟蹤參考信號r(k)轉換為偏差狀態方程初始狀態?xe(0)的一個比例系數.當偏差狀態的協方差趨向零時,偏差輸出方差也趨向零,系統到達均方意義下的漸近跟蹤.因此,閉環系統(7)-(10)均方意義下的跟蹤問題被轉化為系統(14)(16)(9)-(10)的均方鎮定問題.

為了研究系統(14)(16)(9)-(10)的均方鎮定問題(即:設計狀態反饋控制器使得閉環系統達到均方穩定),本文把該系統分解為確定性部分T和乘性噪聲部分ω,如圖3所示.

圖3 具有乘性噪聲的線性系統Fig.3 A Linear feedback system with multiplicative noise

其中確定性部分由方程(14)(16)(10)描述(其傳遞函數與由方程(7)-(8)和方程(10)描述的系統傳遞函數相同),T為方程中信號d(k)到信號u(k)的傳遞函數,即

假設系統{Ae,Be}可鎮定,記所有鎮定確定性系統T的狀態反饋控制器組成的集合為ˉK ?K.則上述網絡化反饋系統均方鎮定問題的可解性(即:存在狀態反饋控制器使得該系統均方穩定)可由均方小增益定理給出:

其中λi,i=1,··· ,m為對象所有不穩定極點.

注意到擴展對象(7)和對象(3)具有相同不穩定極點.由引理1和等式(19)本文可以得到圖2所示系統均方漸近跟蹤的基本條件.

定理1 若圖2所示網絡化反饋系統的被控對象P可鎮定,則該網絡化反饋系統能達到均方漸近跟蹤階躍信號的充要條件為對象P的不穩定極點λi,i=1,··· ,m和信道丟包率p滿足下面不等式:

定理1描述了均方漸近跟蹤問題中對象特征參數與信道特征參數之間的基本約束,即只有當不等式(20)成立時,才可能找到使得跟蹤性能指標函數J達到最小的狀態反饋控制律.在下一節,本文將進一步討論漸近跟蹤的最優設計問題.

4 均方最優漸近跟蹤設計

在上一節中,本文針對具有丟包現象的網絡信道提出了保證網絡化反饋系統漸近跟蹤階躍信號的控制器結構(如圖2所示).根據這個結構,通過把由對象模型(3)、控制器模型(8)和信道模型(2)組成的原系統模型變換為由偏差狀態方程(14)、狀態反饋控制器(16)和信道模型(9)-(10)描述的偏差模型,從而把均方漸近跟蹤問題轉化為均方鎮定問題.這一節將根據偏差模型進一步討論該系統的均方最優漸近跟蹤控制問題.

由式(11)和式(13)可知,偏差模型(14)的輸出?z表示為參考信號r與對象(3)輸出z之差,即

因此,式(5)中的跟蹤性能指標J可表示為偏差狀態的二次函數,

因此,原系統的均方最優漸近跟蹤問題可以轉化成為偏差模型的均方最優調節問題.下面引理給出了偏差模型均方最優調節問題的狀態反饋解:

引理2 對于偏差系統(14)(16)(9)-(10),使得性能指標J達到最小的狀態反饋控制器為

注1引理2中廣義代數黎卡提方程(23)的均方鎮定解X指的是:若該方程的解X產生的最優控制器(22)能鎮定由(14)(16)(9)-(10)組成的偏差系統,則X稱為是該方程的均方鎮定解.

正如文獻[22]指出的那樣,狀態反饋控制器(22)不一定能使得偏差系統(14)(16)(9)-(10)達到均方穩定.只有當X為廣義代數黎卡提方程(23)的均方鎮定解時,狀態反饋控制器(22)才能均方鎮定該系統.廣義代數黎卡提方程(23)具有均方鎮定解的充要條件由下面引理給出:

引理3[23]若{ω(k),k=0,1,2,··· ,∞}是均值為零、方差為(1?p)p的獨立同分布隨機過程,廣義代數黎卡提方程(23)存在唯一均方鎮定解的充要條件是:

1) 系統

均方可鎮定;2){Ae,Ce}在單位圓上沒有不能觀極點.

上述引理給出廣義代數廣義黎卡提方程(23)具有均方鎮定解的一般條件.對于單輸入系統來說,其均方可鎮定的充要條件為系統不穩定極點和丟包率p滿足不等式(20).進而,本文可得到均方漸近最優跟蹤設計的主要結果:

定理2 假設乘性噪聲序列{ω(k),k=0,1,2,··· ,∞}滿足假設1.對象P和信道丟包率p滿足以下條件:

1) 對象P的所有不穩定極點λ1,··· ,λm和丟包率p滿足不等式(20);

2){A,B}可鎮定;

3){A,C}在單位圓上沒有不能觀極點;

4) 對象P沒有z=1的零點.

則廣義代數黎卡提方程(23)存在均方鎮定解,狀態反饋控制器(22)能均方鎮定偏差系統(14)(16)(9)-(10),原系統(7)-(10)能達到最優漸近跟蹤單位階躍信號.此時,跟蹤性能指標最小值為

其中xss和xI,ss由式(13)給出.

證 由于假設{A,B}可鎮定,即在單位圓外沒有不可控極點,所以對于單位圓外的任意λ,矩陣[A?λI B]行滿秩.下面將證明在上述假設下,對于單位圓外的任意λ矩陣[Ae?λI Be]行滿秩.若對于單位圓外的某個λ,存在一個非零行向量ve滿足

根據式(28)可得v0(λ ?2)=0.當λ ?=2時,v0=0.從而得到v[A ?λI B]=0,即λ是{A,B}的不能控極點.這與{A,B}可鎮定的假設矛盾.另一方面,當λ=2時,由式(28)可得v0=0.因此λ=2是{A,B}的不能控極點,同樣與{A,B}可鎮定的假設矛盾.綜上所述,{Ae,Be}在單位圓外沒有不可控極點,即擴展對象是可鎮定的.

另一方面,從式(7)和式(3)很容易看出擴展對象(7)和對象(3)具有相同的不穩定極點,因此當對象P的所有不穩定極點λ1,··· ,λm和丟包率p滿足于不等式(20)時,擴展對象的不穩定極點也滿足該不等式.從而由引理1可知,圖2中的閉環系統均方可鎮定.由于對

因此,系統(7)-(10)達到均方漸近跟蹤.

同時由引理2可知,均方最優狀態反饋控制器(22)使得圖2所示系統的均方二次指標函數J達到最小.由于擴展偏差系統的初始狀態由式(15)給出,將式(15)代入式(24),可得均方二次指標最小值,即式(26)成立.

證畢.

定理2給出了上述系統的均方最優跟蹤狀態反饋控制器的設計方法,該設計方法的核心問題是求解廣義代數黎卡提方程(23)的均方可鎮定解,下面將給出該方程均方鎮定解的具體求解算法.

為此,重寫方程(23)如下:

其中X為廣義代數黎卡提方程(31)的解,則矩陣不等式Q(X)≥0成立.根據引理4可知,二次矩陣不等式Q(X)≥0的最大解等于代數黎卡提方程(32)的最大解.因此,本文可以把求解廣義代數黎卡提方程(23)均方鎮定解問題轉化為基于代數黎卡提方程(32)最大解(或不等式Q(X)≥0最大解)的尋優問題,即下面定理成立:

定理3 若信道不確定性模型(9)中的乘性噪聲ω滿足假設1,對象P滿足定理2中的假設1-4.廣義代數黎卡提方程(23)的均方鎮定解可由下面線搜索方法求得

證 考慮擴展黎卡提方程(23).對任意滿足以下不等式的γ

由引理4可知,線性矩陣不等式(40)的最大解為代數黎卡提方程(32)的最大解.由于代數黎卡提方程(32)的最大解隨γ減小而減小,當γ取最小時,不等式(36)等號成立.相應的矩陣X+是廣義代數黎卡提方程(23)的均方鎮定解.證畢.

下面給出定理3的算法流程圖,見圖4.

圖4 MARE的均方鎮定解求解算法流程圖Fig.4 The algorithm flow chart of mean-square stabilization solution

上面算法中γ2搜索區間[a,b]初始化的原則如下:當γ2=a時,線性矩陣不等式(37)的最大解不滿足不等式(36).a=0是一個簡單的選擇.另一方面,當γ2=b時,線性矩陣不等式(37)的最大解滿足不等式(36).由于廣義代數黎卡提方程(23)存在均方鎮定解,當γ足夠大時,這一條件一定可以滿足.

5 仿真算例

系統(42)的采樣周期為0.01 s.在仿真中,仿真步長為200 次.圖4 給出了對丟包率p分別為0.01,0.02,0.03,0.04,0.05,0.06時,系統跟蹤誤差?z(k)的曲線.

圖5 系統在不同丟包率下的跟蹤誤差曲線Fig.5 Tracking error curve of the system under different packet loss rates

可以看出,丟包率取不同值時,系統跟蹤誤差?z(k)都能收斂到0,但是隨著丟包率變大,跟蹤誤差收斂的速度變慢,同時響應曲線中出現了由于丟包產生的跟蹤誤差“毛刺”.

進一步,本文運用蒙特卡洛方法,本文對丟包率p分別為0.01,0.02,0.03,0.04,0.05,0.06的情況進行了100000次仿真.因此表1給出了不同丟包率下系統跟蹤誤差平均能量J的仿真計算結果.

表1 不同丟包率下的跟蹤誤差平均能量Table 1 The tracking costs under different packet loss rates

從表1中可以看出,隨著丟包率的增大,系統跟蹤誤差的平均能量在不斷增加.

為了更直觀地分析不同丟包率下的跟蹤誤差平均能量,圖6給出了系統跟蹤誤差的平均能量與丟包率的關系.圖中實線給出了系統跟蹤誤差平均能量的理論值,即由定理2中的式(26).表1中由運用蒙特卡洛方法得到的不同丟包率下系統跟蹤誤差平均能量在圖6中以?表示.圖中實線給出的系統跟蹤誤差平均能量的理論值和不同丟包率下的仿真值基本一致.

圖6 不同丟包率下跟蹤誤差的平均能量Fig.6 Tracking costs with different packet loss rates

6 結論

本文研究了網絡化反饋系統中控制信號在傳輸過程存在隨機丟包情形下的均方最優漸近跟蹤問題.為了有效地分析信道隨機丟包對漸近跟蹤問題產生的影響,運用乘性噪聲模型來描述信道丟包產生的不確定性.為了保證系統實現漸近跟蹤,提出了一種網絡化反饋系統的結構.在該結構下,討論了系統均方可鎮定性、均方漸近跟蹤問題以及均方最優漸近跟蹤問題三者之間的關系和等價性.在此基礎上,給出系統均方最優漸近跟蹤方案,即通過求解廣義代數黎卡提

方程(MARE)的均方鎮定解來實現.同時給出了該系統均方鎮定的充分必要條件以及求解廣義代數黎卡提方程均方鎮定解的新算法.最后的仿真例子說明對于信道具有隨機丟包的網絡化反饋系統,本文所提網絡化反饋系統漸近跟蹤結構以及均方最優漸近跟蹤方案的有效性.

附錄