概率密度函數信息融合概述

李建勛　于興凱

摘要：概率密度函數不僅包含了一階、 二階統計量信息， 還包含高階統計量及更為復雜的特征信息。 多傳感器的概率密度函數信息融合是信號處理領域一個復雜待解決的難題， 尤其是隨著自動駕駛、 無人系統等領域對于多傳感器多尺度信息融合的需求， 該問題的重要性逐漸凸顯， 如何設計融合準則、 如何形成統一的融合框架是科學家和工程師們一直致力于解決的課題。 本文針對隨機變量的多傳感器獲得的多概率密度函數融合問題， 調研了現有的融合理論和方法， 提供了一些融合設計規則、 準則、 原理和定理等， 如公理化方法、 優化方法和超貝葉斯方法， 期望能夠為該問題的有效解決提供一定的方向性指導。

關鍵詞：概率密度函數； 信息融合； 公理化； 池化函數； 超貝葉斯； 機器學習； 目標跟蹤

中圖分類號：? TJ760文獻標識碼：A文章編號： 1673-5048（2023）03-0001-10

DOI： 10.12132/ISSN.1673-5048.2022.0205

0引言

目前， 針對狀態信息的信息融合表達較多是以變量（標量、 向量、 矩陣）及隨機變量的形式表示。 通過對變量的加權平均求融合中心或者通過對隨機變量的均值和方差進行加權平均， 從而實現對多狀態信息的融合。 然而， 均值和方差僅僅代表隨機變量的一階和二階統計量信息， 高階統計量信息及其內在的概率分布形態特征等信息， 在現實中大多被忽略， 進而導致融合效果欠佳。 典型的例子是非線性濾波問題。 通過泰勒展開得到的擴展卡爾曼濾波精度低， 而無跡卡爾曼濾波和粒子濾波通過估計狀態的概率密度函數， 結合貝葉斯推理， 得到更為精確的狀態估計值。 因而， 通過將不同傳感器的狀態和觀測量等特征信息統一到概率密度函數上進行求解與融合， 是一條實現多尺度融合的有效之路。

多傳感器概率密度函數信息融合是一項富有挑戰的技術難題， 并且在眾多領域展示出較高的應用價值， 如航空航天［1-4］、 多傳感器信息處理［5］、 機器人［6］、 環境感知［7］、 自動駕駛［8］、 經濟與金融工程等［9-10］。 該難題在過去幾十年中引起廣泛的重視， 然而針對該問題的研究仍處于起步階段， 有很多的障礙需要去跨越， 難以形成統一的融合框架［11］。 基于應用需求及理論難度， 本文從現有文獻方法綜述的角度， 簡述現有思路與方法， 希望能拋磚引玉， 給廣大科研工作者與工程師們以啟示， 期許能夠最終解決該問題， 形成一套完美的融合理論框架， 并能在工程中得到廣泛應用。

1概率密度函數

連續型隨機變量的概率密度函數是一個描述該隨機變量輸出值， 在某個確定取值點附近的可能性函數。 相較于隨機變量的一階二階統計量（均值和方差）， 隨機變量的概率密度函數也包含高階信息及整個特征信息［12-15］， 主要表現在以下幾方面：

（1） 概率密度函數構成了針對隨機變量完整的概率描述。 除了可以表述一階統計量（均值）和二階統計量（方差）， 還包括其他高階統計量等重要特征信息， 如有效規模、 多模態、 尾部衰減、 重尾［16］， 及其在均值周圍的“離散”特征。

（2） 概率密度函數提供了傳感器狀態信息的標準化和“無關來源”描述， 即它是來自于傳感器對原始數據復雜處理的抽象。 這種特性使得異類傳感器、 不同感知方式以及不同類型數據之間能夠進行融合［17］。 另外， 在具有高度隱私的工程應用中， 保密性是一個理想的特性， 也是概率密度函數能夠提供的。

（3） 因概率密度函數提供了一種標準化、 與起源無關的描述， 所以其融合非常適合分布式（點對點）網絡拓撲。 在分布式、 可自組網絡中， 通常一個智能體只與其鄰居節點進行通信， 非鄰居節點的特征信息無法獲得。 另外， 概率密度函數信息便于通過網絡進行信息傳播。

（4） 基于參數化表示的概率密度函數融合算法計算效率更高。 例如， 高斯分布的融合可退化到融合相應的均值和協方差矩陣； 高斯混合的概率密度函數融合能夠表示為任意概率分布［15］。 在分布式的實現方式下， 參數化概率密度函數的描述能夠以較低或中等通信成本實現概率密度函數信息融合， 因而概率密度函數信息融合以其較為適中的計算代價和通信復雜度成為關注的焦點。

以信號處理中的噪聲參數采用概率密度函數進行刻畫處理為實例， 分析采用概率密度函數進行信息處理的研究進展。

利用概率密度函數刻畫噪聲方差的動態特征， 進而對其與狀態聯合估計， 是近年來解決濾波噪聲方差未知問題的有效手段， 并發表了大量的研究成果。 針對加性觀測噪聲未知的情形， Simo 等采用逆伽馬分布（Inverse-Gamma）［18］ 和逆威沙特分布（Inverse-Wishart） ［19］ 來刻畫動態時變的加性觀測噪聲方差， 并利用變分貝葉斯推理對其進行估計。 針對狀態噪聲和觀測噪聲方差均未知的情形， Huang等采用逆威沙特分布刻畫， 基于變分貝葉斯推理， 可對其進行迭代估計［20］。? 針對狀態噪聲和觀測噪聲為重尾非高斯的情形， Huang等用學生t （Students t）分布對其進行刻畫， 并推導出相應的線性及非線性濾波器和平滑器［21-22］。 另外， 針對非平穩重尾狀態和觀測噪聲情形， Zhu等通過對觀測似然函數和一步預測建模為兩個高斯分布的混合形式， 對其進行估計［23］。 針對非高斯噪聲所表現的重尾或偏態分布特性， Huang等利用廣義高斯尺度混合分布對其進行刻畫， 提出魯棒Rauch-Tung-Striebel平滑器框架［16］。? 之后基于統計相似性度量， 又提出重尾魯棒卡爾曼濾波框架［24］。 針對非穩態高斯分布具有強不確定性噪聲方差陣的情形， Huang等利用Gaussian-Inverse-Wishart 混合分布對其進行刻畫， 并提出相應的變分自適應濾波器［25］。 針對觀測噪聲非高斯且統計量未知的情形， Zhu等利用高斯混合概率模型對其進行刻畫， 結合變分貝葉斯推理對其與狀態進行聯合估計［26］。? 針對乘性噪聲的方差估計問題， Yu等用概率密度函數對其進行刻畫， 結合卡爾曼濾波及變分貝葉斯推理， 對方差與狀態進行聯合迭代估計［27］， 并擴展到加性噪聲與乘性噪聲方差皆未知的情形［28］。 針對目標跟蹤系統中的觀測噪聲方差未知且含有不確定性參數的估計問題， Yu等基于概率密度函數刻畫未知變量， 聯合狀態對其進行迭代估計［29-31］。

另外在紅外目標跟蹤、 圖像處理［32-37］、 天氣預測［38-43］、 概率機器學習［44-47］等領域， 用概率密度函數對目標狀態進行處理也是極為常見的。

2融合規則與方法

概率密度函數信息融合規則有很多， 現有融合方法都是基于各自領域、 特定對象進行考量， 選取的融合規則和差異度量取決于場景和應用對象， 并未形成統一有效的方案。 由于不同融合規則在不同場景對象下可能導致差異性很大， 因而形成統一或多元化的方案迫在眉睫。

區別于融合（非隨機）變量（標量、 向量、 矩陣）， 概率密度函數信息融合是直接對隨機變量的概率密度函數進行融合， 而不是它的點估計。 該融合問題目標是為了尋找融合規則或者池化函數（Pooling Function）。 為此， 研究者提出各類型池化函數， 典型的有線性池化函數（加權算數平均， 也即算術平均密度）［48］、 對數線性池化函數（加權幾何平均值， 也稱為切爾諾夫融合或幾何平均密度）等［49-50］。 需注意的一個特例： 對于高斯概率分布， 方差交叉融合技術是對數線性池化函數的一種特例［51］。 盡管有眾多類型池化函數， 但仍沒有一個被廣泛認可。 現有池化函數主要概括為以下幾類［10］： （1）線性池化函數（Linear Pooling）； （2）廣義線性池化函數（Generalized Linear Pooling）； （3）對數線性化池化函數（Log-Linear Pooling）； （4）廣義對數線性化池化函數（Generalized Log-Linear Pooling）； （5） Holder池化函數（Holder Pooling）； （6） 逆線性池化函數（Inverse-Linear Pooling）； （7）乘性池化函數（Multiplicative Pooling）； （8）廣義乘性池化函數（Generalized Multiplicative Pooling）； （9） Dictatorship 池化函數（Dictatorship Pooling）； （10）教條池化函數（Dogmatic Pooling）。

基于現有文獻調研， 設計概率密度函數信息融合池化函數需要遵循以下準則： 公理化方法、 優化方法和超貝葉斯方法。

2.1公理化方法

公理化方法就是要設計符合各種公理性質的融合規則（池化函數）， 并期望池化函數能夠使各傳感器概率密度函數信息遵循這些基本公理。 這是概率池化函數所必備的性質， 融合的目的也是尋求滿足一定期望屬性（公理）的池化函數。

2.1.1公理（Axiom）

（1） 公理1： 對稱性（Symmetry）。 基本屬性為對稱性， 池化函數是一個對稱函數。 由于融合中心的所有個體概率密度函數是平等的， 沒有位次排序， 因而一個對稱的池化函數是極其自然合理的。

（2） 公理2： 零保性能（Zero Preservation）。 如果每個傳感器都認為某個事件是一個空事件， 即所有傳感器都認為該事件的概率為0， 那么該事件的融合概率密度函數也應該是0， 此屬性稱為零保存屬性。

（3） 公理3： 一致性（Unanimity Preservation）。? 池化函數的另一個基本屬性是保持個體間的一致性。 如果個體間的意見相同（即每個傳感器對同一個事件的概率相同）， 則融合后的概率密度函數應一致符合該意見。

（4） 公理4： 強集合函數性（Strong Set-Wise Function Property， SSFP）。 一個池化函數需具備的一個特性是強集合函數性， 即根據融合概率密度函數， 一個事件的概率可以表示為基于每個個體事件概率的函數形式。

（5） 公理5： 弱集合函數性（Weak Set-Wise Function Property）。 相較于SSFP， 一個更寬松的標準為弱集合函數性， 根據融合概率密度函數， 一個事件的概率是一個關于每個個體事件和事件自身的概率函數。

（6） 公理6： 似然準則（Likelihood Principle）。 另一個SSFP的寬松條件為似然準則， 即融合概率密度函數在一些隨機變量上的值， 是基于所有個體概率密度函數在同一隨機變量上的值的一個標準化常數， 該常數取決于判定標準。

（7） 公理7： 弱似然準則（Weak Likelihood Principle）。 一個似然準則弱化版是融合概率密度函數關于隨機變量獨立。

（8） 公理8： 獨立性（Independence Preservation）。 池化函數另一個需要確保的特性是獨立性， 即所有個體皆認可兩個事件是獨立的， 那么融合概率密度函數也應認為這兩個事件獨立。

（9） 公理9： 因式分解（Factorization Preservation）。 兩個獨立事件的融合概率密度函數可在形式上分解為各自概率密度函數的乘積。

（10） 公理10： 外部貝葉斯特性（External Bayesianity）。 基于概率的貝葉斯更新， 假設所有的概率密度函數是正數， 外部貝葉斯特性描述了概率的更新和融合是交換運算。 該特性可滿足當個體之間雖具有不同先驗分布但仍共享相同數據（即全局似然函數）。

（11） 公理 11： 個性化貝葉斯特性（Individualized Bayesianity）。 該公理基于融合后驗概率的思想， 即每個個體的后驗概率基于各自數據（局部似然函數）， 而不是所有個體共享的相同數據。? 個性化貝葉斯特性表示為在單個個體上概率密度函數的更新以及融合是交換運算。

（12） 公理12： 廣義貝葉斯特性（Generalized Bayesianity）。 該公理表示概率密度函數的融合等價為融合似然函數。

2.1.2公理與池化函數的關系

概率密度函數融合所尋求的不同池化函數與各公理的相互適應性可概括為表1所示的公理滿足性。

2.2優化法

設計的概率密度融合規則首先要選擇滿足某些公理特性的池化函數， 則如何融合， 即如何通過對池化函數進行優化求解得到融合結果。 該優化方法通過最小化個體概率密度函數和融合概率之間的某種概率化差異度量的加權平均值來獲得融合池化函數， 其基本思想是使融合概率密度函數盡可能類似于所有個體的概率密度函數。

目標跟蹤問題的另一個重要分支是多目標跟蹤， 涉及未知的時變目標數量和更為復雜的觀測模型［64-65］。 具體地， 目標隨機出現和消失， 并且存在漏檢、 雜波或虛警觀測， 以及觀測源不確定性（即傳感器不知道給定觀測源是否來自目標， 以及來自哪個目標， 或者是僅僅是雜波）。 概率池化函數既可用于“基于向量”的多目標跟蹤方法， 該方法通過隨機向量描述目標的聯合狀態， 也可用于基于“集合”的方法， “集合”方法通過隨機有限集或等效的有限點過程來描述聯合狀態。 在基于向量方法下， 通常使用對數線性池化函數或協方差交互來融合目標狀態。

另一方面， 在基于集合方法中， 概率密度函數信息融合應用于傳感器的后驗多目標概率密度函數或后驗概率假設密度（PHD）之中， 這提供了所有目標狀態的兩種備選聯合描述。 既使用對數線性池化、 指數混合密度、 廣義協方差交互， 也使用了Kullback-Leibler平均和線性池化（也稱為算術平均融合和最小信息損失融合）［66-70］。 對數線性池化函數對漏檢更敏感， 而線性池化函數對雜波更敏感。 關于這種敏感性權衡，? Holder池化函數族提供了介于線性和對數線性之間的池化函數選擇。

最后， 對數線性和線性池化函數已推廣到基于標記隨機有限集的多目標跟蹤方法， 該方法除了能跟蹤目標的狀態外， 還跟蹤目標的身份標簽［71-75］。 其中一些方法需要一個標簽關聯步驟， 該步驟本質上類似于基于向量方法中的目標關聯步。

3.2概率機器學習

概率機器學習在眾多領域得到廣泛應用［44］， 包括量子動力學［76］、 疾病檢測［77］、 醫學診斷［78］和場景理解［79］。 在概率機器學習中， 涉及風險評估的問題需要用預測模型的不確定性對其進行量化。 然而， 經典機器學習模型沒有考慮參數的不確定性， 使得在處理不可見、 不相關數據時更容易出錯， 這是深度學習模型的一個突出問題。 解釋機器學習中預測不確定性的一種方法是采用貝葉斯框架， 使用訓練數據， 更新模型參數的先驗概率密度函數以獲得后驗概率密度函數。然后， 該后驗概率密度函數用于計算未觀測數據（測試數據）的預測概率密度函數。 該概率密度函數通常以參數形式表示（高斯概率密度函數通過其均值和協方差矩陣）或一組樣本進行參數化。 貝葉斯機器學習模型的應用示例包括貝葉斯線性回歸、 貝葉斯神經網絡［80-82］、 高斯過程［83］和深度高斯過程［84］。

在概率機器學習的某些場景中， 概率池化函數可用于解決實際挑戰。 例如， 模型的選擇通常不明顯， 因此必須考慮模型不確定性， 以確保穩健性和通用性。 處理這個問題的一類典型方法稱為集成學習。 通過基于不同模型的一組算法進行學習， 基于組合各個結果獲得分類、 回歸或聚類的最終結果。 融合各個概率學習算法產生的預測性概率密度函數可以通過概率意見池來實現［85-86］。 圖5展示了概率融合產生預測后驗概率密度函數的實例。 集成學習中的概率意見池已成功應用眾多領域， 例如， 深度集成［87］、 神經網絡集成［88］和集成高斯過程［89］等。 在集成學習中， 與多傳感器信號處理不同， 特別是與之前的目標跟蹤方法不同， 所有算法都可對同一組數據進行操作。

機器學習中的另一個挑戰是隱私敏感場景。 在單個傳感器節點處觀察到的本地隱私數據， 可能不會跨節點傳播或傳播到融合中心， 因此只能用于各個傳感器節點處訓練本傳感器局部模型。 該框架通常稱為聯合學習， 需要在融合中心融合局部模型。 雖然在聯邦學習中， 更新是從融合中心傳遞到節點， 但仍有概率池沿線設置問題。 例如， 公平聯邦學習將在隱私數據上訓練得到的概率分布的樣本表示為融合概率分布。

最后， 將機器學習方法應用于“大數據”場景需要分而治之的策略， 即將數據劃分為更小的子集合， 對每個子集合執行學習， 并融合得到相應的預測或后驗分布。 例如， 文獻［80］為每個小數據集生成一個“子后驗”， 并使用乘性池化函數組合子后驗。 每個子后驗最初由馬爾可夫鏈蒙特卡洛采樣器產生的一組樣本表示， 但隨后轉換為由核密度估計給出的連續概率密度函數。 最后融合不同概率密度函數以形成對整體后驗概率密度的近似。 這種方法是在條件獨立性假設下， 以及在后驗概率密度的基礎上， 對后驗概率分布函數進行乘法運算。

目前概率機器學習仍受到許多流行機器學習方法不提供概率結果這一事實的限制。 期望新研究將會消除這一限制， 從而提高概率池化函數即概率密度函數信息融合在該領域的成功應用。

4展望總結

不同類型傳感器的多尺度融合在自動駕駛、 SLAM、 雷達目標跟蹤、 圖像處理、 機器學習、 醫療機器人等眾多領域中一直是一個難題， 因為不同傳感器信息難以在統一尺度上進行處理， 進而難以形成統一的融合框架。 基于本文概率密度函數信息融合方法， 不同類型傳感器、 不同尺度的融合可以轉化到概率密度函數這個統一框架下進行融合： 不同/相同類型多傳感器信息處理也可以將數據統一到概率密度函數框架下進行融合處理； 不同類型攝像機獲得的高光譜圖像、 紅外圖像等也可以統一轉化成概率密度函數形式， 通過基準轉換， 實現差異化數據統一化處理。

參考文獻：

［1］ Maddern W，? Newman P. Real－Time Probabilistic Fusion of Sparse 3D LIDAR and Dense Stereo［C］∥IEEE/RSJ International Confe－rence on Intelligent Robots and Systems （IROS），? 2016： 2181-2188.

［2］ Fantacci C，? Vo B N，? Vo B T，? et al. Robust Fusion for Multisensor Multiobject Tracking［J］. IEEE Signal Processing Letters，? 2018，? 25（5）： 640-644.

［3］ Meyer F，? Hlinka O，? Wymeersch H，? et al. Distributed Localization and Tracking of Mobile Networks Including Noncooperative Objects［J］. IEEE Transactions on Signal and Information Processing over Networks，? 2016 （1）： 57-71.

［4］ Uney M，? Clark D E，? Julier S J. Distributed Fusion of PHD Filters via Exponential Mixture Densities［J］. IEEE Journal of Selected Topics in Signal Processing，? 2013，? 7（3）： 521-531.

［5］ Bandyopadhyay S，? Chung S J. Distributed Bayesian Filtering Using Logarithmic Opinion Pool for Dynamic Sensor Networks［J］. Automatica，? 2018，? 97： 7-17.

［6］ Da K，? Li T C，? Zhu Y F，? et al. Recent Advances in Multisensor Multitarget Tracking Using Random Finite Set［J］. Frontiers of Information Technology & Electronic Engineering，? 2021，? 22（1）： 5-24.

［7］ Alam F，? Mehmood R，? Katib I，? et al. Data Fusion and IoT for Smart Ubiquitous Environments： A Survey［J］. IEEE Access，? 2017，? 5： 9533-9554.

［8］ Koloz B，? Grant－Muller S M，? Djemame K. Modelling Uncertainty in the Sustainability of Intelligent Transport Systems for Highways Using Probabilistic Data Fusion［J］. Environmental Modelling & Software，? 2013，? 49： 78-97.

［9］ Moral－Benito E. Model Averaging in Economics： An Overview［J］. Journal of Economic Surveys，? 2015，? 29（1）： 46-75.

［10］ ?Koliander G，? El－Laham Y，? Djuric′ P M，? et al. Fusion of Probabi－lity Density Functions［EB/OL］.（2022-02-23）［2022-09-25］.https：∥arxiv.org/abs/2202.11633v1.

［11］ ?Barak S，? Arjmand A，? Ortobelli S. Fusion of Multiple Diverse Predictors in Stock Market［J］. Information Fusion，? 2017，? 36： 90-102.

［12］ ?Mitchell J，? Hall S G. Evaluating，? Comparing and Combining Density Forecasts Using the KLIC with an Application to the Bank of England and NIESR ‘Fan Charts of Inflation［J］. Oxford Bulletin of Economics & Statistics，? 2005，? 67（S1）： 995-1033.

［13］ ?Hall S，? Mitchell J. Combining Density Forecasts［J］.International Journal of Forecasting，? 2007，? 23（1）： 1-13.

［14］ ?Gneiting T. Editorial： Probabilistic Forecasting［J］. Journal of the Royal Statistical Society Series A，? 2008，? 171（2）： 319-321.

［15］ ?Battistelli G，? Chisci L. Kullback－Leibler Average，? Consensus on Probability Densities，? and Distributed State Estimation with Guaran－teed Stability［J］. Automatica，? 2014，? 50（3）： 707-718.

［16］ ?Huang Y L，? Zhang Y G，? Zhao Y X，? et al. Robust Rauch－Tung－Striebel Smoothing Framework for Heavy－Tailed and/or Skew Noises［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2020，? 56（1）： 415-441.

［17］ Yeong J，? Velasco－Hernandez G，? Barry J，? et al. Sensor and Sensor Fusion Technology in Autonomous Vehicles： A Review［J］. Sensors，? 2021，? 21（6）： 2140.

［18］ ?Sarkka S，? Nummenmaa A. Recursive Noise Adaptive Kalman Filtering by Variational Bayesian Approximations［J］. IEEE Transactions on Automatic Control，? 2009，? 54（3）： 54.

［19］ ?Sarkka S，? Hartikainen J. Non－Linear Noise Adaptive Kalman Filtering via Variational Bayes［C］∥IEEE International Workshop on Machine Learning for Signal Processing （MLSP），? 2013： 1-6.

［20］ ?Huang Y L，? Zhang Y G，? Wu Z M，? et al. A Novel Adaptive Kalman Filter with Inaccurate Process and Measurement Noise Cova－riance Matrices［J］. IEEE Transactions on Automatic Control，? 2018，? 63（2）： 594-601.

［21］ ?Huang Y L，? Zhang Y G，? Li N，? et al. A Novel Robust Students t－Based Kalman Filter［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2017，? 53（3）： 1545-1554.

［22］ ?Huang Y L，? Zhang Y G，? Li N，? et al. Robust Students? t Based Nonlinear Filter and Smoother［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2016，? 52（5）： 2586-2596.

［23］ ?Zhu H，? Zhang G R，? Li Y F，? et al. A Novel Robust Kalman Filter with Unknown Non－Stationary Heavy－Tailed Noise［J］. Automatica，? 2021，? 127（2）： 109511.

［24］ ?Huang Y L，? Zhang Y G，? Zhao Y X，? et al. A Novel Outlier－Robust Kalman Filtering Framework Based on Statistical Similarity Measure［J］. IEEE Transactions on Automatic Control，? 2021，? 66（6）： 2677-2692.

［25］ ?Huang Y L，? Zhang Y G，? Shi P，? et al. Variational Adaptive Kalman Filter with Gaussian－Inverse－Wishart Mixture Distribution［J］. IEEE Transactions on Automatic Control，? 2020，? 66（4）： 1786-1793.

［26］ ?Zhu H，? Leung H，? He Z S. State Estimation in Unknown Non－Gaussian Measurement Noise Using Variational Bayesian Technique［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2013，? 49（4）： 2601-2614.

［27］ Yu X K，? Meng Z Y. Robust Kalman Filters with Unknown Cova－riance of Multiplicative Noise［EB/OL］.（2021-10-17）［2022-09-25］.https：∥arxiv.org/abs/2110.08740.

［28］ ?Yu X，? Li J. Adaptive Kalman Filtering for Recursive Both Additive Noise and Multiplicative Noise［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2021，? 58（3）： 1634-1649.

［29］ ?Yu X K，? Jin G M，? Li J X. Target Tracking Algorithm for System with Gaussian/Non－Gaussian Multiplicative Noise［J］. IEEE Transactions on Vehicular Technology，? 2020，? 69（1）： 90-100.

［30］ ?Yu X K，? Li J X，? Xu J. Robust Adaptive Algorithm for Nonlinear Systems with Unknown Measurement Noise and Uncertain Parameters by Variational Bayesian Inference［J］. International Journal of Robust and Nonlinear Control，? 2017，? 28（10）： 3475-3500.

［31］ ?Yu X K，? Li J X，? Xu J. Nonlinear Filtering in Unknown Measurement Noise and Target Tracking System by Variational Bayesian Inference［J］. Aerospace Science and Technology，? 2019，? 84： 37-55.

［32］ Claici S，? Yurochkin M，? Ghosh S，? et al. Model Fusion with Kullback－Leibler Divergence［EB/OL］. （2020-07-13）［2022-09-25］.https：∥www.xueshufan.com/publication/304124 3646.

［33］ ?Delon J，? Desolneux A. A Wasserstein－Type Distance in the Space of Gaussian Mixture Models［J］. SIAM Journal on Imaging Sciences，? 2020，? 13（2）： 936-970.

［34］ Cuturi M，? Doucet A. Fast Computation of Wasserstein Barycenters［C］∥31st International Conference on Machine Learning，? 2014： 2146-2154.

［35］ Merigot Q，? Santambrogio F，? Sarrazin C. Non－Asymptotic Convergence Bounds for Wasserstein Approximation Using Point Clouds［EB/OL］. （2021-06-15）［2022-09-25］.https：∥www.xueshufan.com/publication/3170414829.

［36］ ?Solomon J M，? De Goes F，? Peyré G，? et al. Convolutional Wasserstein Distances： Efficient Optimal Transportation on Geometric Domains［J］. ACM Transactions on Graphics，? 2015，? 34（4）： 1-11.

［37］ Bonneel N，? Rabin J，? Peyré G，? et al. Sliced and Radon Wasserstein Barycenters of Measures［J］. Journal of Mathematical Imaging and Vision，? 2015，? 51（1）： 22-45.

［38］ ?Brockwell P J，? Davi R A. Introduction to Time Series and Forecasting［M］. 3rd ed. Basel： Springer，? 2016.

［39］ ?Winkler R L，? Grushka－Cockayne Y，? Lichtendahl K C，? et al. Probability Forecasts and Their Combination： A Research Perspective［J］. Decision Analysis，? 2019，? 16（4）： 239-260.

［40］ Gneiting T，? Ranjan R. Combining Predictive Distributions［EB/OL］.（2011-06-08）［2022-09-25］. https：∥arxiv.org/pdf/1106.1638.pdf.

［41］ ?Wallis K F. Combining Density and Interval Forecasts： A Modest Proposal［J］. Oxford Bulletin of Economics and Statistics，? 2005，? 67（S1）： 983-994.

［42］ ?Bassetti F，? Casarin R，? Ravazzolo F. Bayesian Nonparametric Calibration and Combination of Predictive Distributions［J］. Journal of the American Statistical Association，? 2018，? 113（522）： 675-685.

［43］ ?Ranjan R，? Gneiting T. Combining Probability Forecasts［J］. Journal of the Royal Statistical Society： Series B （Statistical Methodo－logy），? 2010，? 72（1）： 71-91.

［44］ Ghahramani Z. Probabilistic Machine Learning and Artificial Intelligence［J］. Nature，? 2015，? 521（7553）： 452-459.

［45］ ?Ching J Y，? Phoon K K. Constructing Site－Specific Multivariate Probability Distribution Model Using Bayesian Machine Learning［J］. Journal of Engineering Mechanics，? 2019，? 145（1）： 04018126.

［46］ Thorgeirsson A T，? Gauterin F. Probabilistic Predictions with Fe－derated Learning［J］. Entropy，? 2020，? 23（1）： 41.

［47］ Li T，? Sahu A K，? Talwalkar A，? et al. Federated Learning： Challenges，? Methods，? and Future Directions［J］. IEEE Signal Processing Magazine，? 2020，? 37（3）： 50-60.

［48］ ?Bailey T，? Julier S，? Agamennoni G. On Conservative Fusion of Information with Unknown Non－Gaussian Dependence［C］∥ 15th International Conference on Information Fusion（FUSION），? 2012.

［49］ ?Gunay M，? Orguner U，? Demirekler M. Chernoff Fusion of Gaussian Mixtures Based on Sigma－Point Approximation［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2016，? 52（6）： 2732-2746.

［50］ ?Carmi A，? Tslil O，? Lehrer N. Log－linear Chernoff Fusion for Distributed Particle Filtering［C］∥ 22th International Conference on Information Fusion （FUSION），? 2019.

［51］ ?Hurley M B. An Information Theoretic Justification for Covariance Intersection and Its Generalization［C］∥ 5th International Conference on Information Fusion（FUSION），? 2002.

［52］ ?Puccetti G，? Rüschendorf L，? Vanduffel S. On the Computation of Wasserstein Barycenters［J］. Journal of Multivariate Analysis，? 2020，? 176： 104581.

［53］ Claici S，? Chien E，? Solomon J. Stochastic Wasserstein Barycenters［EB/OL］. （2018-06-07）［2022-09-25］. https：∥arxiv.org/pdf/1802.05757.pdf.

［54］ ?Peyré G，? Cuturi M，? Solomon J. Gromov－Wasserstein Averaging of Kernel and Distance Matrices［C］∥ International Conference on Machine Learning，? 2016.

［55］ ?Bonneel N，? Peyré G，? Cuturi M. Wasserstein Barycentric Coordinates： Histogram Regression Using Optimal Transport［J］. ACM Transactions on Graphics，? 2016，? 35（4）： 1-10.

［56］ Yang S S，? Baum M，? Granstrom K. Metrics for Performance Evalua－tion of Elliptic Extended Object Tracking Methods［C］∥IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems，? 2016.

［57］ ?Thormann K，? Baum M. Fusion of Elliptical Extended Object Estimates Parameterized with Orientation and Axes Lengths［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2021，? 57（4）： 2369-2382.

［58］ ?Wang S X，? Ye Z S. Distributionally Robust State Estimation for Linear Systems Subject to Uncertainty and Outlier［J］. IEEE Transactions on Signal Processing，? 2021，? 70： 452-467.

［59］ ?Wang S X，? Wu Z M，? Lim A. Robust State Estimation for Linear Systems under Distributional Uncertainty［J］. IEEE Transactions on Signal Processing，? 2021，? 69： 5963-5978.

［60］ ?Zorzi M. Robust Kalman Filtering under Model Perturbations［J］. IEEE Transactions on Automatic Control，? 2017，? 62（6）： 2902-2907.

［61］ Shafieezadeh－Abadeh S， ?Nguyen V A，? Kuhn D，? et al. Wassers－tein Distributionally Robust Kalman Filtering ［EB/OL］.（2018-10-01）［2022-09-25］. https：∥arxiv. org/pdf/1809.08830.pdf.

［62］ ?Winkler R L. The Consensus of Subjective Probability Distributions［J］. Management Science，? 1968，? 15（2）： B-61-B-75.

［63］ ?Morris P A. Combining Expert Judgments： A Bayesian Approach［J］. Management Science，? 1977，? 23（7）： 679-693.

［64］ ?Mahler R P S. Statistical Multisource－Multitarget Information Fusion［M］. Boston： Artech House，? 2007.

［65］ ?Mahler R P S. Advances in Statistical Multisource－Multitarget Information Fusion［M］. Boston： Artech House，? 2014.

［66］ ?Li T C，? Wang X X，? Liang Y，? et al.On Arithmetic Average Fusion and Its Application for Distributed Multi－Bernoulli Multitarget Tracking［J］. IEEE Transactions on Signal Processing，? 2020，? 68： 2883-2896.

［67］ ?Gao L，? Battistelli G，? Chisci L. Multiobject Fusion with Minimum Information Loss［J］. IEEE Signal Processing Letters，? 2020，? 27： 201-205

［68］ ?Li G C，? Battistelli G，? Chisci L，? et al. Distributed Multi－View Multi－Target Tracking Based on CPHD Filtering［J］. Signal Processing，? 2021，? 188（4）： 108210.

［69］ ?Mahler R P S，? Hall D，? Chong C Y，? et al. Toward a Theoretical Foundation for Distributed Fusion［M］. Boca Raton： CRC Press，? 2012： 199-224.

［70］ ?Li T C，? Fan H Q，? García J，? et al. Second－Order Statistics Analysis and Comparison Between Arithmetic and Geometric Average Fusion： Application to Multi－Sensor Target Tracking［J］. Information Fusion，? 2019，? 51： 233-243.

［71］ ?Gao L，? Battistelli G，? Chisci L. Fusion of Labeled RFS Densities with Minimum Information Loss［J］. IEEE Transactions on Signal Processing，? 2020，? 68： 5855-5868.

［72］ ?Li S Q，? Battistelli G，? Chisci L，? et al. Computationally Efficient Multi－Agent Multi－Object Tracking with Labeled Random Finite Sets［J］. IEEE Transactions on Signal Processing，? 2019，? 67（1）： 260-275.

［73］ Fantacci C，? Vo B N，? Vo B T，? et al. Consensus Labeled Random Finite Set Filtering for Distributed Multi－Object Tracking［EB/OL］. （2016-06-09） ［2022- 09-25］. http：∥de.arxiv.org/pdf/1501.01579.

［74］ Li S Q，? Yi W，? Hoseinnezhad R，? et al. Robust Distributed Fusion with Labeled Random Finite Sets［J］. IEEE Transactions on Signal Processing，? 2018， 66（2）： 278-293.

［75］ ?Kropfreiter T，? Hlawatsch F. A Probabilistic Label Association Algorithm for Distributed Labeled Multi－Bernoulli Filtering［C］∥ 23rd International Conference on Information Fusion（FUSION），? 2020.

［76］ Krems R V. Bayesian Machine Learning for Quantum Molecular Dynamics［J］. Physical Chemistry Chemical Physics，? 2019，? 21（25）： 13392-13410.

［77］ Leibig C，? Allken V，? Ayhan M S，? et al. Leveraging Uncertainty Information from Deep Neural Networks for Disease Detection［J］. Scientific Reports，? 2017，? 7（1）： 17816.

［78］ ?Begoli E，? Bhattacharya T，? Kusnezov D. The Need for Uncertainty Quantification in Machine－Assisted Medical Decision Making［J］. Nature Machine Intelligence，? 2019，? 1： 20-23.

［79］ ?Kendall A，? Badrinarayanan V，? Cipolla R. Bayesian SegNet： Mo－del Uncertainty in Deep Convolutional Encoder－Decoder Architectures for Scene Understanding［EB/OL］.（2016-10-10）［2022-09-25］. https：∥arxiv.org/pdf/1511.02680.pdf.

［80］ Neiswanger W，? Wang C，? Xing E. Asymptotically Exact，? Embarrassingly Parallel MCMC［EB/OL］. （2014-03-21）［2022-09-25］. https：∥arxiv.org/pdf/1311.4780.pdf.

［81］ ?Wang H，? Yeung D Y. Towards Bayesian Deep Learning： A Framework and Some Existing Methods［J］. IEEE Transactions on Knowledge and Data Engineering，? 2016，? 28（12）： 3395-3408.

［82］ Wilson A G，? Izmailov P. Bayesian Deep Learning and a Probabilistic Perspective of Generalization［EB/OL］. （2020-04-27）［2022-09-25］. https：∥arxiv.org/ pdf/2002. 08791v3.pdf.

［83］ ?Rasmussen C E，? Williams C K. Gaussian Processes for Machine Learning［M］. Cambridge： MIT Press，? 2006.

［84］ Salimbeni H，? Deisenroth M P. Doubly Stochastic Variational Inference for Deep Gaussian Processes ［EB/OL］. （2017-11-13）［2022-09-25］. https：∥arxiv.org/pdf/1705.08933.pdf.

［85］ ?Murphy K P. Machine Learning： A Probabilistic Perspective［M］. Cambridge： MIT Press，? 2012.

［86］ ?Sagi O，? Rokach L. Ensemble Learning： A Survey［J］. Wiley Interdisciplinary Reviews： Data Mining and Knowledge Discovery，? 2018，? 8（4）： e1249.

［87］ ?Lakshminarayanan B，? Pritzel A，? Blundell C. Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles［C］∥ 31st International Conference on Neural Information Processing Systems，? 2017： 6405-6416.

［88］ ?Lee H，? Hong S，? Kim E. Neural Network Ensemble with Probabilistic Fusion and Its Application to Gait Recognition［J］. Neurocomputing，? 2009，? 72（7/9）： 1557-1564.

［89］ ?Lu Q，? Karanikolas G，? Shen Y，? et al. Ensemble Gaussian Processes with Spectral Features for Online Interactive Learning with Scalability［C］∥International Conference on Artificial Intelligence and Statistics，? 2020.

Survey on Information Fusion of Probability Density Functions

Li Jianxun1， Yu Xingkai 2

（1. Department of Automation，? Shanghai Jiao Tong University，? Shanghai 200240， China; 2. Department of Precision Instrument，? Tsinghua University， Beijing 100084， China）

Abstract： The probability density function contains not only the first－order and the second－order statistics，? but also the higher－order statistics and more complex feature information. Information fusion on probability density functions for multi－sensor is a challenging problem to be solved in the field of signal processing，? especially in the application prospect of multi－sensor multi－scale information fusion for automatic driving and unmanned system，? this problem has gradually attracted much attention. How to design fusion criteria and how to form a unified fusion framework are the to－pics that scientists and engineers are committed to solving. Aiming at the fusion of multiple probability density functions from multi－sensor of random variables （vectors），? this paper investigates the existing relevant fusion theories and methods，? and provides some design rules，? criteria，? principles and theorems，? such as axiomatic method，? optimization method and super Bayesian method. The study is expected to provide some directional guide for the effective solution of the fusion problem.

Key words： probability density function; information fusion; axiomatization; pooling function; supra－Bayesian; machine learning; target tracking

收稿日期： 2022-09-26

基金項目： ?國家自然科學基金項目（61673265； 62103222）； 國家重點研究開發項目（2020YFC1512203）

*作者簡介： 李建勛（1969-）， 男， 河北蔚縣人， 教授， 博士生導師。