燃料電池汽車動力系統及能量管理策略研究進展

陳家一，高帷韜，賈璐，陰亞楠，王誠，歐陽鴻武

(1.中南大學 機電工程學院，湖南 長沙，410083；2.清華大學 核能與新能源技術研究院，北京，100084；3.浙江鋒源氫能科技有限公司，浙江 嘉興，314200)

當前，全球能源危機與環境污染問題日益嚴重，汽車電動化與能源清潔化是未來發展趨勢。氫能是理想的可再生能源，氫能汽車的推廣應用對于改善我國能源結構、推動交通領域低碳轉型具有特殊的戰略意義。其中，燃料電池汽車(fuel cell vehicle, FCV)憑借能量轉化效率高、碳排放接近零等優勢，被譽為汽車節能減排的終極解決方案之一，已成為世界各國規劃與發展的重點技術以及各大汽車廠商與研究機構的研發熱點和競爭高地[1-3]。

在FCV的動力系統中，燃料電池系統(fuel cell system, FCS)是核心能量源，通過燃料電池堆內部的電化學反應產生電能。在FCS響應速度偏慢、輸出特性偏“軟”等因素的驅動下，將儲能單元作為輔助電源與FCS配合，已成為業界的主流選擇。同時，這也產生了針對混合動力系統的多能量源協調管理問題，對能量管理策略(energy management strategy, EMS)提出了要求。在過去十余年里，相關研究持續升溫，這些研究大都立足于FCV動力系統的特性，圍繞行駛性、經濟性、耐久性等優化目標展開，總體上呈現算法多樣化、復合化、智能化的特點。本文首先對FCV動力系統進行構型分類與特點概述；之后，從燃料電池混合動力電動汽車(fuel cell hybrid electric vehicle,FCHEV)能量管理的理論基礎出發，對FCHEV的EMS進行分類，并綜述最新研究進展以及各類EMS的優勢和劣勢；最后，總結FCHEV能量管理技術的研究現狀，并展望未來發展趨勢，以期為未來的FCHEV能量管理策略研究提供參考。

1 FCV動力系統概述

FCV動力系統主要由燃料電池系統(fuel cell system, FCS)、DC/DC變換器、DC/AC變換器、驅動電機以及變速齒輪箱等部件組成，如圖1所示。根據是否引入輔助電源，可將其分為單一式系統和混合動力系統兩類。燃料電池系統通過電化學反應，高效地將氫氣中的化學能轉化為電能。DC/DC變換器可完成直流電壓的智能升降，是實現動力系統精確控制的關鍵部件，分為單向DC/DC與雙向DC/DC兩類。其中，單向DC/DC主要用于對燃料電池的輸出電壓進行升壓，一般集成于FCS中；而雙向DC/DC可實現雙向的電能轉換與傳輸，主要用于控制輔助電源的能量輸出與回收。DC/AC變換器則是驅動電機的控制核心，可將直流總線中的直流電轉換為驅動電機所需的交流電，并對電機實施精準控制。在驅動車輛時，電機將電能轉化為機械能，并經變速齒輪箱和半軸輸出至車輪；而當混合動力系統進行制動能量回收時，能量的傳輸與轉換過程則正好相反。

圖1 FCV動力系統示意圖Fig.1 Diagram of FCV powertrain system

1.1 單一式系統

在早期的原理驗證與技術探索階段，FCV的全部功率需求均由燃料電池提供，DC/DC對FCS的輸出電壓進行升壓，完成與直流總線的匹配，屬于單一式系統。這種系統方案要求FCS的峰值功率足夠高，且輸出功率的頻繁變化對燃料電池堆、電力電子變換器的性能和壽命影響較大，FCS也無法實現全工況下的高效運行。此外，由于燃料電池無法接收電能，車輛也無法進行能量回收。因此，如今單一式系統的應用較少。

1.2 混合動力系統

2003年，PEDE等[4]提出了燃料電池混合動力系統，其優勢如下：1) 燃料電池堆的體積減小，總體成本降低(電堆成本一般高于動力電池等其他儲能單元成本)；2) 實現能量回收，提高能量利用率；3) 動態/瞬態功率由輔助電源提供/吸收，解決FCS響應偏慢和頻繁啟停影響壽命等問題；4) 實現冷啟動輔助等功能，提升啟動性能。此后，采用混合動力系統的FCHEV逐漸成為技術主流。

根據輔助電源的類型，可將FCHEV混合動力系統設計方案分為3類：燃料電池(fuel cell)+動力電池(battery)方案(FC+B)、燃料電池+超級電容(supercapacitor)方案(FC+SC)、燃料電池+動力電池+超級電容方案(FC+B+SC)[5-6]。其中，FC+B方案應用最廣泛，可采用的電池類型有鎳氫電池、鋰離子電池等；FC+SC方案憑借超級電容在充放電速度、通流能力、低溫適應性等方面的優點，也展現出了較好的應用前景；而FC+B+SC方案則結合了前兩者的特點，能夠進一步使FCS的工況趨向穩定，同時也對提高部件壽命有利(超級電容的加入可顯著提升電池壽命[7])，但勢必帶來成本的增加以及EMS復雜程度的提升。FCS或輔助電源接入動力總線的方式有兩種：直接式和間接式，也稱被動混合與主動混合[8]。在直接式方案中，組件直接接入直流總線，通過含開關或二極管等元件的輔助電路進行通斷控制、電流限幅等，具有低成本優勢，但要求電源電壓與總線電壓相匹配，對部件的參數設計與選型有一定限制，并且在直連情況下的參數只能被動匹配，控制精度較低。間接式方案則是采用DC/DC，具有更大的設計靈活度，并可依據EMS對組件的電流、電壓或功率進行主動控制(分別對應于DC/DC的電流控制、電壓控制和功率控制模式)，可使效率和精度顯著提高，一般被視為優選方案[9]。

另外，也可根據FCS與輔助電源之間功率的差異，將混合式系統分為功率混合型與能量混合型。前者采用的輔助電源功率較小，運行時主要由FCS提供功率；后者的FCS與輔助電源功率則更接近，FCS的作用側重于通過發電延長續航里程(即增程器)。最具代表性的功率混合型FCHEV車型為豐田MIRAI，其動力系統為FC+B方案，第一代與第二代車型分別采用鎳氫電池和鋰離子電池，電量均低于2 kW·h，二代車型的FCS峰值功率為128 kW，運行過程中，FCS的輸出占據主導地位。除此之外，現代NEXO、本田CLARITY-FCV也都是具有競爭力的FCHEV車型，二者均采用FC+B方案，且均為功率混合型系統，其中，CLARITYFCV在早期采用FC+SC方案，但后期改為鋰離子電池。而我國目前運行的FCHEV車型以能量混合型為主，例如：我國首款量產氫燃料電池轎車長安深藍SL03氫電版的FCS峰值功率為160 kW，動力電池電量達到了28.39 kW·h，超過了許多插電式油電混動轎車的動力電池電量；北汽福田旗下的歐輝BJ6126系列氫燃料電池客車采用120.2 kW的電堆，而動力電池電量則接近150 kW·h。

2 FCHEV能量管理策略(EMS)研究進展

能量管理策略(EMS)是混合動力汽車進行能量協調分配與組件高效控制的基礎，也是實現較高行駛品質及低能耗、長壽命運行的關鍵。但是，由于動力系統之間存在根本差異，FCHEV的能量管理有別于油電混動汽車，其EMS也具有特殊性。一方面，FCS直接輸出電能，故FCHEV屬于典型的串聯式“電-電”混動架構，而油電混動則具有多種系統架構可供選擇；另一方面，FCS的響應特性也與內燃機的不同，盡管如今FCS的加載響應速度加快，但其卸載速度仍存在一定滯后；此外，FCS的壽命受工況影響較大，快速變載、頻繁啟停等工況對壽命的影響更為明顯，這使得壽命優化在FCHEV能量管理問題中占據著核心地位。近10年來，人們針對FCHEV能量管理策略進行了大量研究，本文將這些策略分為了3種基本類型：基于規則定義的策略、基于最優化方法的策略以及基于機器學習的策略，如表1所示。

表1 能量管理策略分類與性能對比Table 1 Energy management strategy classification and performance comparison

2.1 基于規則定義的策略

基于規則定義的EMS (rule based energy management strategy, RB-EMS)是目前最成熟、應用最廣泛的策略，通過劃分工作模式、制定運行規則來滿足隨工況變化的功率需求以及電池組荷電狀態(state of charge, SOC)的維持等要求，特點是架構簡單、運算時間短，適合實時應用[10]。但由于規則的制定一般基于直覺或工程經驗，無法進行優化控制。根據規則制定手段的不同，RB-EMS可分為兩類：基于確定規則的策略、基于模糊邏輯的策略。

2.1.1 基于確定規則的策略

確定規則即通過設定門限值為系統劃分出若干工作模式，而由于FCHEV本質上屬于串聯式混動架構，其模式劃分規則也與串聯式油電混動汽車的類似。較為經典的是恒溫器策略(即開關式控制策略)，依據輔助電源SOC來控制FCS的啟停，從而維持電量與總線電壓，可令FCS更多地運行于預先設定的高效區，但開關頻次較高，會影響FCS和輔助電源的壽命，且當SOC處于某些特殊區間內時，整車的動力性也將受到一定影響。另一種典型策略是功率跟隨策略[11]，即FCS的開關由輔助電源SOC來判定，而功率輸出跟隨總線需求功率動態變化，能夠較大程度地解決輔助電源SOC偏低而FCS未開機時的動力不足等問題，同時也減少了FCS的開關頻率，從而減少了其對電池壽命的影響，但對FCS以及DC/DC的性能與控制策略要求更高。另外，除需求功率和SOC以外，基于狀態估計等手段得到的健康狀態(state of health, SOH)、能量效率等參數，也可作為額外的依據參數，在RB-EMS中發揮重要作用。

2.1.2 基于模糊邏輯的策略

相比于確定規則策略，基于模糊邏輯(fuzzy logic, FL)的策略對于處理多參數、時變性、非線性的能量管理問題更具優勢[12]。HEMI等[13]制定了以需求功率和輔助電源SOC為輸入變量、FCS功率為輸出變量的FL策略，并分別針對FC+B、FC+SC、FC+B+SC這3類FCHEV進行了仿真，分析了策略的可行性、實時性及其對于不同類型系統的適用性。GAO等[14]則針對某FC+B+SC構型FCHEV制定了FL策略，在輸入變量中進一步考慮了SC的參數，使其更具精度和效率優勢，并在實車試驗中進行了驗證。制定FL策略的關鍵在于模糊控制器的設計，其控制過程包含模糊化、模糊推理、解模糊化3個基本步驟，核心步驟為模糊推理，其中所涉及的模糊規則與隸屬度函數將極大地影響策略的有效性和遷移性。因此，也有眾多學者結合其他算法來優化模糊知識庫。在已被報道的方法中，遺傳算法(genetic algorithm, GA)[15-17]憑借較強的搜索能力、自適應性和可拓展性等優點得到了廣泛應用。GA優化的模糊邏輯策略如圖2所示。

圖2 GA優化的模糊邏輯策略示意圖Fig.2 Schematic diagram of GA optimizing fuzzy logic strategy

2.2 基于最優化方法的策略

基于最優化方法的EMS(optimization based energy management strategy, OB-EMS)將能量管理問題描述如下：基于優化算法，對預先定義的指定約束條件下的成本函數進行求解，得到一系列最優控制動作，如組件工作點等。OB-EMS理論優化性能好于RB-EMS理論優化性能，但算法更復雜、實現難度更大，在實時應用層面也需進行取舍?？傮w上，OB-EMS可分為基于全局最優的策略以及針對瞬時優化的策略這2類，但從對問題的描述與求解方法的角度來看，二者并非對立關系。

2.2.1 基于全局最優的策略

基于全局最優的策略建立在已知全局工況信息的前提下，根據全局工況求解最優動作。常見的全局優化方法有動態規劃(dynamic programming,DP)、龐特里亞金極大值原理(Pontryagin's maximum principle, PMP)以及元啟發式算法。由于全局最優策略依賴于對全局工況的掌握程度，而實際駕駛工況并非固定不變，故其很難實時應用，但可用于離線求解最優基準以協助其他策略的改進。

動態規劃(DP)將整體決策過程分為多個階段并逐個求取最優解，求解結果為全局最優。FARES等[18]以氫耗和FCS與電池的壽命為優化目標，通過加權的方式實現了基于DP的多目標優化，仿真結果表明，相較于RB-EMS，該優化方法在highway循環和FUDS循環下的氫耗分別下降了15%和50%，但未體現出對壽命的優化效果。另一方面，DP也存在計算量大、耗時長，且容易出現插值泄漏、維數災難等問題，不適合實時應用。對此，ZHOU等[19]提出了基于DP解決FCHEV能量管理問題的統一框架(簡稱為SJTU DP)，并在NEDC工況下將其與2種典型DP策略(分別簡稱為Basic DP和Level-Set DP)進行了仿真對比，結果表明：在限制FCS常開的情況下，SJTU DP的計算時間相較于另外2種典型DP策略分別縮短22.36%和53.55%，氫耗也有一定程度降低；若允許FCS停機，Basic DP將發生插值泄露，而SJTU DP比Level-Set DP的計算時間縮短了94.30%，這使得基于DP的實時能量管理成為可能。HU等[20]則是以離線全局優化結果為參照，為基于DP的實時能量管理提供了另一種思路：采用DP優化等效氫耗(包含能耗與組件老化程度)并實施仿真，參照仿真得到的FCS工作點、開關頻率等指標制定了簡單而高效的規則型策略，即soft-run策略，這一策略也在FCS老化分析[21]與耐久性試驗[22]等工作中發揮了重要作用。

相比之下，極大值原理(PMP)則是通過構建哈密頓函數求解局部極值，無需實施全局尋優，具備實時控制的可能性。眾多學者基于PMP實現了FCHEV的實時能量管理[23-24]，同時，為了增加先驗信息，將工況預測、駕駛模式識別等與PMP結合[25-26]。ZHENG等[27]將DP策略和PMP策略進行仿真對比并得出結論：PMP策略的優化結果接近DP的最優解，且計算更快，適用于實時優化。此外，基于元啟發式算法的優化算法也時常用于規則策略參數的尋優，有時也與神經網絡相結合，例如采用GA從DP數據集中篩選合適的樣本來訓練神經網絡[28]，如圖3所示。元啟發式算法適合處理復雜優化問題且具有良好的收斂性，但求解的迭代搜索過程耗時較長且存在局部最優的問題，對參數調節的要求也較高。

圖3 DP與GA和神經網絡結合的策略示意圖Fig.3 Schematic diagram of DP strategy combined with GA and neural network

2.2.2 針對瞬時優化的策略

與全局優化策略不同，瞬時優化策略的出發點是保證瞬時或未來短時域內處于最優，雖然無法達到全局最優，但計算量更小，也無需掌握全局工況，更適合實時應用。常用的瞬時優化算法框架有2類：等效消耗最小策略(equivalent consumption minimization strategy, ECMS)與模型預測控制(model predictive control, MPC)。

ECMS框架下的FCHEV能量管理的基本出發點是通過等效因子將各項待優化指標轉化為等效氫耗并累加，從而建立起總成本函數，再利用最優化方法進行求解。等效因子對ECMS策略性能的影響較大，對于等效因子的預估與修正，主要有2類方法：一是基于工況信息，采用全局優化方法求出其最優軌跡[29]；二是基于系統指標對其進行反饋修正[30-32]等。MPC框架下的FCHEV能量管理也是以多約束目標函數的形式實現，通過在有限時域內進行局部優化，為下一時域提供運行狀態與參數，實現滾動優化。HE等[33-34]在MPC框架下實現了氫耗與壽命的共同優化，后者在構建成本函數時選擇了包含氫耗和FCS衰退率在內的7項指標進行加權組合，并采用模糊認知圖(fuzzy cognitive maps, FCM)調節權重。另外，預測模型的優劣對于MPC策略的性能影響較大，因此，神經網絡[35-37]、馬爾科夫鏈[38-39]等也被廣泛用于MPC框架下的參數預測或工況識別，如圖4所示。

圖4 結合馬爾科夫鏈的MPC策略示意圖Fig.4 Schematic diagram of MPC strategy combined with Markov chain

2.3 基于機器學習的策略

在基于機器學習的策略中，強化學習(reinforcement learning, RL)框架下的策略相對獨立，且有望實現最優性與實時性之間的平衡。按照學習方式的不同，機器學習算法可分為監督學習、無監督學習和強化學習(RL)3類，其中，監督學習一般適用于分類和回歸，無監督學習只適用于聚類，二者往往作為輔助手段，應用于RB-EMS或OB-EMS的框架中，而RL的獨特性在于其適用于優化和控制。因此，近年來，包含經典強化學習和深度強化學習(deep reinforcement learning,DRL)在內的RL算法框架成為混動系統能量分配與控制問題中的研究熱點。

RL包含智能體和環境2個交互對象以及狀態、獎勵與動作3個關鍵要素，其基本原理與分類分別如圖5(a)和5(b)所示。由于同樣基于Bellman方程，RL在理論上具有與DP接近的性能。另外，RL的無模型特性使之可靈活適應不同系統和駕駛風格；并且根據狀態到動作的映射關系來進行能量管理，也可大大減少計算量，故其在線應用潛力巨大[40]。但是，由于RL的訓練過程始終伴隨著與環境的交互試錯，一方面，現實世界試錯代價高昂，使其更多局限于虛擬仿真；另一方面，與環境的交互有限、采樣效率偏低，也必然導致訓練耗時長。因此，基于RL的策略要實現實車層面的應用還存在諸多挑戰。

圖5 強化學習基本原理與分類Fig.5 Schematic and classification of reinforcement learning

典型的無模型RL算法為Q-Learning，其理論基礎為馬爾科夫決策過程(MDP)，通過在狀態轉移中不斷試錯來評估函數(Q表)的迭代更新，能夠保證最終收斂到最優。LI等[41]在標準Q-Learning下實現了氫耗與壽命的共同優化，并通過預定義功率分配規則來初始化Q表，使收斂速度提高69%。尹燕莉等[42-43]在構建等效氫耗的基礎上設計了標準Q-Learning策略，仿真結果接近DP的最優值。SUN等[44]也實現了ECMS框架下的Q-Learning策略，還采用數據驅動方法輔助提取不同車速區間內的轉移概率矩陣(transition probability matrix,TPM)，計算時間相對于標準Q-Learning策略縮短近60%，基本原理如圖6所示。Dyna則是一種有模型的RL算法框架，在與環境交互的基礎上加入基于模型的搜索，增加數據來源，提高算法效率，但對模型準確性的要求較高。LEE等[45]在QLearning算法中加入對FCHEV動力系統模型的學習環節，獲得了比標準Q-Learning策略更優的經濟性仿真結果，雖然單次迭代時間更長，但累計成本顯著降低，不過并未對二者收斂性與穩定性的差異進行量化。

經典RL框架下的狀態與動作空間都是離散的形式(如Q表)，數據維數增加將引起計算量指數上升，即存在“維數災難”問題。對此，研究者通過引入深度神經網絡(deep neural network, DNN)來擬合評估函數，提升其對高維非線性問題的處理能力，其中較為典型的是將Q-Learning與DNN結合的深度Q網絡(deep Q network, DQN)。進一步地，深度確定性策略梯度(deep deterministic policy gradient, DDPG)又將DQN擴展到連續的動作空間，將動作輸出由概率轉為確定值，提高了穩定性和收斂性。HUANG等[46-47]設計了基于DDPG的EMS，顯著降低了氫耗與FCS的輸出波動。有時，優先經驗回放(prioritized experience replay, PER)也被用于改進采樣[48-50]，以提高訓練效率。ZHENG等[51]在相同獎勵函數下分別設計了基于標準QLearning、DQN和DDPG的3種EMS并進行仿真對比，結果表明：采用PER的DQN和DDQG的FCS耐久性和經濟性最好。

此外，還有諸多從DQN衍生而來的算法被應用于FCHEV能量管理，如Double DQN[52]和TD3[53-55]，這二者均是基于Double Q-Learning的思想，將動作選擇與評估分離以解決DQN存在的過估計問題。TD3由DDPG發展而來，處于“演員-評論家”(actor-critic, AC)框架下，本質上是策略梯度(policy gradient, PG)與DQN的結合。也有學者對同框架下的近端策略優化(proximal policy optimization, PPO)[56]進行了研究，結合FC退化經驗模型實現了氫耗與耐久性共同優化。此外，另一變種SAC(soft actor-critic)算法中加入了熵的概念，通過熵增趨向來增強策略的隨機性，能夠提升學習效率與魯棒性，這種算法已經在純電或油電混動汽車的能量管理問題中得到廣泛探討，但在FCHEV中的應用還較少。

3 總結與展望

1) 不同類型的EMS具有各自的優勢和劣勢，適用范圍也不同。RB-EMS雖然最優性欠佳，但具有相對最低的實現難度以及較好的實時性與穩定性，因此，在工程界應用廣泛；OB-EMS雖然可保證最優性(或接近最優性)，但實時性欠佳，因此，通常作為最優基準來輔助其他算法的改進。

2) 多算法協同并形成優勢互補，已成為解決FCHEV能量管理問題的重要手段。例如，借助最優化算法或機器學習等手段對規則型策略進行參數優化，能夠在確保實時性的前提下提升策略的優化性能，這一方法在FCHEV能量管理策略中的應用已較普遍。

3) 壽命優化(尤其是針對FCS耐久性的優化)在FCHEV能量管理策略的研究中占據了重要地位。不論是對于RB-EMS中運行規則或模糊邏輯的制定，還是OB-EMS中約束條件的選擇與目標函數的構建，FCS的工作區和輸出平穩性都受到了重點關注，且燃料電池的各類退化模型也在MPC與RL等算法框架中得到了廣泛應用。

4) RL憑借無模型特性以及在線應用的潛力，在FCHEV的能量管理問題中展現出獨特的優勢。為了提升RL算法的收斂性、穩定性和訓練效率，人們對經典RL采取了許多改進措施，例如引入DNN，提升對高維非線性問題的處理能力；使用AC框架，提升對連續動作問題的處理能力；采用PER改進采樣等。

5) 功率混合型系統是FCV動力系統的未來發展方向。相比于能量混合型系統，功率混合型系統中FCS的輸出占主導地位，在充分發揮燃料電池優勢的前提下，通過輔助電源進行協調，實現揚長避短，既可與純電、油電插混等車型形成差異化競爭，也更有利于從需求端推進氫能“制—運—儲—用”全產業鏈的發展。

6) 需根據使用場景開發EMS，助力燃料電池汽車加速推廣。我國《氫能產業發展中長期規劃(2021—2035年)》將氫燃料電池中、重型車輛作為未來發展重點?；诖?，立足于客、貨車輛(如城市公交、物流車輛、園區專用車輛等)的不同工況，結合駕駛風格的差異，開發具有個性化的EMS，進一步提升智能化程度、降低使用成本，將對燃料電池汽車的推廣起到顯著作用。

7) 亟需建立關于FCHEV能量管理策略的綜合評價體系，而非局限于氫耗等常規評價指標。壽命成本是FCHEV運營成本的重要組成部分，而FCS的壽命對工況又具有較高敏感性，因此，需要著重考察EMS對系統壽命的影響及EMS在系統全生命周期中的綜合性能。