基于多傳感器融合的協同感知方法

王秉路 靳 楊 張 磊 鄭 樂 周天飛

①(西安建筑科技大學信息與控制工程學院 西安 710399)

②(北京理工大學信息與電子學院 北京 100081)

③(西北工業大學自動化學院 西安 710129)

④(北京理工大學計算機學院 北京 100081)

1 引言

協同感知是自動駕駛領域中的一個關鍵問題，它允許自動駕駛車輛通過車載傳感器收集環境信息并通過車對車(Vehicle-to-Vehicle,V2V)無線通信技術與其他車輛進行實時共享，從而實現更強大和全面的環境感知能力[1-3]。協同感知任務的目標是利用多個車輛作為移動傳感器網構建高精度的多點觀測場景表征，以增強車輛在車隊協同、交通流優化、自動駕駛輔助和自動駕駛等應用場景下的感知能力[4]。相對于傳統的單車智能，多車協同感知可以更好地應對復雜的交通場景，提高自動駕駛系統的決策準確性和行駛安全性。

早期的研究主要基于單一傳感器模式，如僅使用激光雷達[5-14]或僅使用相機[15,16]進行環境感知。然而，這些單模態方法未能充分利用兩種傳感器的互補優勢，限制了感知系統的性能。例如，基于純激光雷達的方法可能會忽略相機傳感器捕捉到的細粒度視覺細節，這些細節對于一些特殊情境的目標檢測和識別至關重要。此外，相機可以捕捉到顏色、紋理和形狀等物體的視覺特征，這些特征對于識別特定類別的目標非常有幫助，如識別交通標志或行人。另外，基于純相機的方法雖然能夠提供豐富的語義信息，但通常缺乏對于精確目標定位至關重要的準確深度信息，這導致了在三維環境感知方面的一些挑戰，如避免碰撞或進行高精度的車道保持，而激光雷達能夠提供準確的距離和深度測量。此外，在低光或惡劣天氣條件下，相機可能受到限制，而激光雷達(Light Detection and Ranging,LiDAR)能夠繼續提供有用的幾何信息，因此在這些場景中具有獨特的優勢[17]。

為了克服單傳感器的局限性，近年來，研究人員開始探索基于多傳感器融合的感知方法[18-23]。這些方法旨在將LiDAR和相機的優勢結合起來，以獲得更全面、準確的環境感知。PointPainting[19]首次將圖像上的語義信息附加到激光雷達點上實現不同模態的點級融合。BEVFusion[20,21]探索了適合多模態特征融合的統一表示，即將LiDAR模態和相機模態轉換到一個共享的鳥瞰(Bird’s Eye View,BEV)空間實現融合。

先前的研究已經證明了融合LiDAR和相機數據的優勢，包括改進的目標檢測、增強的場景理解以及在具有挑戰性的環境條件下的穩健性能。然而，當涉及多車協同感知任務時，在多模態融合方面的探索仍然非常有限。最近提出的HM-ViT[24]是多車協同感知在多模態融合方面的初期探索，它假設每個車輛只能獲取任意一種模態，并基于此設定來實現不同車輛之間的異構模態融合。

盡管現有文獻中已有大量關于多模態的研究，但在協同感知領域中，對于多模態交互的深入探討仍顯不足。為了更全面地利用不同類型傳感器的互補優勢，本文構建了一個多模態融合的基線系統，作為實現協同感知的基礎框架。該基線系統采用了一種集成激光雷達和相機數據的方法，通過將兩種傳感器的數據融合到同一表示空間中，能夠利用激光雷達提供的精確深度信息和相機提供的豐富視覺特征，實現更準確、更穩健的環境感知。在構建該基線系統時，本文考慮了多種不同的融合策略，并進行了深入的分析。首先，采用了通道級拼接和元素級求和方法，這兩種方法簡單直觀，能夠將來自不同傳感器的特征直接拼接在一起，形成一個統一的特征表示。雖然這種方法在某些情況下能夠取得良好的性能，但它也有一定的局限性，主要表現在不能充分考慮到不同傳感器數據之間的相關性。為了解決這一問題，本文進一步探索了基于注意力機制的融合方法，這種方法能夠自適應地調整不同傳感器數據的權重，從而更好地捕捉它們之間的相關性。通過多頭自注意力機制，所提算法能夠在不同的傳感器特征之間建立復雜的關聯，從而實現更精細的融合。在OPV2V[8]數據集上的實驗結果表明，這種基于注意力機制的融合方法相比傳統的融合方法，在協同感知任務中展現出更優越的性能和更強的魯棒性。

2 傳統協同感知范式回顧

考慮了一個具有N個智能網聯車的協同感知場景，其中每個車輛配有車載傳感器(LiDAR或相機)獲取局部觀測數據(3D點云或圖像)并通過無線通信網絡進行交互和協作。具體來說，假設A={a1,a2,...,aN}為所有N個車輛的集合，集合中的第i個車輛ai為中心車輛，則與其進行協作的其他車輛集合定義為J={aj}j∈[N]{i}。傳統的協同感知范式主要由特征提取、特征融合以及檢測頭網絡組成。假設車輛ai的局部觀測數據為Oi，首先，特征提取負責根據Oi提取相應的中間層特征表示Fi：

然后，車輛ai將自身的特征Fi與來自其他車輛的特征{Fj}j∈J通過特征融合獲得更全面的特征表示Hi：

最后，將融合后的特征Hi送入檢測頭網絡生成預測結果Yi：

然而，現有的協同感知范式存在一些局限性。首先，模態的單一性忽略了其他模態所提供的有用信息。其次，現有特征融合策略都相對簡單，通常是簡單的平均或者加權平均，這可能會導致某些重要的特征在融合過程中被淡化或丟失。這些局限性為進一步的研究和優化提供了機會。

3 多模態融合的協同感知方法

本節，對所提出的多模態融合協同感知框架進行了概述。圖1展示了該框架的核心組成部分，涵蓋多模態特征提取、多模態特征融合以及檢測頭網絡。各組成部分共同協作，實現LiDAR與相機數據的有效整合，充分挖掘二者的互補性，以提高V2V場景下的感知準確性。

圖1 多傳感器融合的協同感知框架Fig.1 Multisensor fusion collaborative perception framework

3.1 多模態特征提取

為了捕捉和保留來自不同模態的獨特線索，本文使用單獨的分支進行特征提取并生成統一的BEV表示。

對于多視角圖像數據，本文采用CaDDN (Categorical Depth Distribution Network)[25]架構，該架構包含4個主要模塊：編碼器、深度估計、體素變換和折疊，確保從輸入圖像中捕捉到盡可能豐富和準確的信息。為了將2D圖像特征和3D點云特征這兩種異構特征進行融合，需要顯式地預測圖像特征中每個像素的深度來將2D平面提升到3D空間，最終轉換到統一的BEV空間。以車輛ai為例，首先，編碼器模塊對原始的輸入圖像Ii ∈Rh×w×3進行初步的特征抽取，生成維度為X×Y×D的圖像特征該過程可以表示為

然后，深度估計模塊為每個像素預測出一個深度概率分布P，可以表示為

該分布反映了該像素的深度信息。之后，體素轉換模塊將先前抽取的特征從2D投影到3D空間。它根據所有可能的深度分布和圖像的校準矩陣，生成的相應的3D體素特征：

最后，折疊模塊將3D體素特征合并到一個高度平面上

BiI其中，為生成的BEV特征圖，H和W表示圖像BEV網格的高度和寬度，C表示通道數。該過程可以有效地獲取語義豐富的視覺特征。

在處理點云數據時，由于其特有的稀疏性與三維結構，直接利用傳統的3D卷積網絡很可能引發計算和內存的巨大開銷。為了有效而高效地從這種數據中提取特征，本文將PointPillar[26]作為點云數據的特征提取器。首先，對于給定的3D點p ∈R3，其在柱狀坐標系中的位置可以被定位為p=(i,j,l)。這里，i和j分別是二維網格的x和y坐標，而l表示其垂直方向上的高度。然后，將這三維空間劃分為一系列均勻間隔的柱狀結構。形式上，這種劃分可以表示為

其中，Wpillar和Hpillar分別表示柱狀體在x和y方向上的寬度和高度。通過這種方式可以將復雜的3D數據轉換為2D的結構，每一個柱子內的點共享相同的高度信息。隨后，所有柱狀體沿其高度方向被壓平，生成一個偽圖像。對于柱狀體內的所有3D點，其對應的3D特征為

(其中，Np是柱體中點的數量，Cp是點云特征的維度)被轉化為2D柱體特征

其中，φ(·)是轉換函數，用于將柱體內所有的點轉換為該柱體的整體表示。最后，通過一系列二維卷積對Fpillar進行進一步的特征編碼與整合，得到維度為H×W×C的BEV特征其維度與圖像BEV特征相同。

3.2 多模態特征融合

隨著從激光雷達和相機中提取的BEV特征的獲取，特征融合環節成為關鍵。在這一階段，各車輛首先對自身的BEV特征進行壓縮編碼，然后向中心車輛發送。當中心車輛成功接收來自所有其他車輛的BEV特征后，將這些多模態信息進行有策略的融合，生成一個更為全局和詳盡的場景表示。該融合過程主要涉及兩個關鍵步驟：同構特征融合與異構特征融合。其中同構特征融合主要處理來自相同傳感器類型的信息，而異構特征融合則旨在結合不同類型傳感器的信息，充分挖掘不同模態之間的互補性。

3.2.1 同構模態特征融合

在多模態間的特征融合中，同構特征的融合顯然比異構特征更為直觀和簡單，因為它們來自相同的數據源，共享相似的特性和分布。針對這一特點，本文為圖像BEV特征和點云BEV特征分別設計了不同的融合策略，以更直接的方式整合同一模態下的多源信息。

首先，受文獻[16]的啟發，本文采用了元素級的最大化操作來融合不同車輛的圖像BEV特征。其背后的原理是：在多車協同的環境中，某些車輛觀察到的某些特征可能比其他車輛更為明顯或清晰。而通過比較每個車輛的圖像BEV特征，并采用元素級的最大值，可以確保最終融合的特征包含了所有車輛觀察到的最顯著特點。具體來說，當中心車輛收到其他車輛發送的圖像BEV特征時，會逐元素地將其與自身的圖像BEV特征進行逐元素比較，然后選取最大值作為融合結果。該過程可表示為

其中，max(·)操作是逐元素執行的，這種方式確保融合后的特征繼承了多個車輛中最為顯著和豐富的部分。

對于點云BEV特征，本文遵循文獻[8]利用自注意力機制進行融合。點云BEV特征的融合首先涉及構建本地圖的構建。本地圖連接了來自不同車輛但處于相同空間位置的特征向量。在這個過程中，每個特征向量被視為一個節點，兩個特征向量之間的邊用于連接來自不同車輛的相同空間位置的特征向量，這樣的連接不僅有助于融合來自不同數據源的信息，同時也為后續的自注意力機制處理提供了基礎。

然后，對該本地圖應用自注意力機制進行點云BEV特征融合。自注意力機制的核心在于其能夠賦予不同特征向量以不同的權重，這些權重反映了特征之間的相互依賴關系。在點云BEV特征的情境下，這意味著每個特征點不僅被其自身屬性所定義，還受到周圍特征點的影響。具體而言，對于每個車輛的點云BEV特征將該二維特征圖展開為維度為M×C的一維特征向量，其中M=H×W。接著，該特征向量會被轉換成查詢(Q)、鍵(K)和值(V)3部分，進而通過自注意力公式計算得到更新后的特征向量這一過程可以描述為

其中，dk是鍵向量的維度，softmax(·)函數則確保所有權重加起來為1。最后將更新后的特征向量變換為原始維度H×W×C。按照以上方式更新所有車輛的BEV特征并堆疊起來得到融合結果RH×W×3C。

通過多源同構模態特征的融合，所得到的融合特征更好地整合和表達了來自多個車輛相同傳感器的觀測信息，從多個角度捕獲了環境細節的豐富性和多樣性。同時，這也為后續進行異構特征融合奠定了堅實基礎。深度融合不同傳感模態之間的互補信息可以進一步豐富環境描述，充分發揮各類傳感資源的價值。

3.2.2 異構模態特征融合

在異構模態融合階段，本文整合了不同模態的融合BEV特征，以利用激光雷達和相機數據之間的互補信息。本文采用3種常見的融合策略：通道級拼接、元素級求和以及Transformer融合，以有效地組合模態并生成綜合表示。具體來說，給定融合后的圖像特征和點云特征融合過程如下：

(1) 通道級拼接融合。通道級拼接是一種直觀且廣泛應用的特征融合方法。這種方法主要依賴于特征的空間一致性，即相同的空間位置上來自不同模態的特征被認為是相關的。在通道級拼接融合中，首先將圖像和點云特征沿通道維度拼接，得到一個維度為H×W×4C的特征張量Bcat。然后將拼接后的特征送入兩個卷積層進行進一步處理。其中，第1個卷積層用于捕捉空間關系并從拼接數據中提取有價值的特征。隨后，第2個卷積層將通道維度降低到C來進一步細化融合特征。

(2) 元素級求和融合。元素級求和旨在保持空間結構的同時融合兩種模態的互補信息。在逐元素求和融合模塊中，首先將LiDAR特征送入一個1×1卷積層對通道維度進行降采樣。然后，對圖像特征和變換后的LiDAR特征進行逐元素相加，得到融合特征Bfused∈RH×W×C。這種元素及求和的特征融合策略確保了兩種模態對最終融合結果的貢獻是相等的。

(3) Transformer融合。近年來，Transformer[27]架構在自然語言處理領域取得了很大的成功，尤其是在捕獲序列數據中的長距離依賴關系方面。在多模態融合中，Transformer因其卓越的性能和對長距離依賴關系的處理能力而受到廣泛關注[28]。特別是，其內部的自注意機制為不同模態特征之間的相互作用和交互提供了一個強大的框架。在異構模態特征融合的過程中，每種模態的特征都可視為一個“序列”，其中每個“元素”都代表著空間信息的一部分。

首先，將圖像和點云的BEV特征沿通道維度連接，形成一個聯合特征張量

考慮到原始的Transformer的結構不包含關于元素位置的任何信息，需要為此聯合特征添加位置編碼，確保模型能夠識別特征在空間上的位置

接著，為了捕獲兩種模態之間的復雜交互，本文引入了多頭自注意力機制。這種機制使模型能夠為不同模態的每個部分分配不同的權重，多頭的設計可以使模型從多個角度或來捕捉不同模態特征之間的相關性

然后，通過前饋網絡進一步強化模型的非線性處理能力

最后，為確保模型的穩定性并維持特征規模，在每一步后都采用了殘差連接和層歸一化技術得到最終的融合特征

整體來說，這種基于Transformer的融合策略允許算法充分考慮和利用兩種模態之間的復雜交互和依賴關系，從而為下游任務提供一個高度豐富和代表性的特征表示。

3.3 檢測頭網絡

檢測頭網絡負責根據融合特征來預測目標的類別和位置。該網絡包含3個反卷積層，這些層負責上采樣特征圖，從而為后續的類別和位置預測提供更細粒度的信息。之后是檢測頭中的兩個分支：類別預測分支和邊界框回歸分支。類別預測分支為每個錨框輸出一個分數，指示該錨框內是否存在某一特定類別的對象，以及存在的概率。這些輸出分數經過激活函數處理后，可以轉化為各個類別的概率分布。另一方面，邊界框回歸分支則負責細化目標的位置信息。它為每個錨框預測4個值，這4個值代表中心位置的偏移量以及框的寬度和高度的變化。通過這些預測值，可以校正錨框的位置，使其更緊密地圍繞目標對象。綜合兩個分支的輸出，檢測頭網絡輸出每個錨框中目標類別和調整后的位置信息。

4 實驗

4.1 實驗設置

本文實驗是在OPV2V[8]數據集上進行的。OPV2V數據集匯集了由仿真框架OpenCDA[29]以及CARLA[30]模擬器所模擬的LiDAR點云與RGB圖像的大量數據。數據集總計11464幀，主要分為兩個子集：CARLA默認城鎮子集和Culver City數字城鎮子集。其中，CARLA默認城鎮子集占10914幀，按6764幀、1980幀和2170幀的比例分為訓練、驗證和測試3部分。該子集覆蓋了不同復雜程度的多種場景，為協同感知模型提供了充足的訓練與評估數據。相對而言，Culver City子集只有550幀，但其目標在于評估模型在現實世界場景的泛化表現，特別是那些對模型感知能力構成挑戰的實際城市環境。

在實現細節方面，所提算法基于PyTorch框架，并在配有24 GB RAM的NVIDIA RTX 4090 GPU的PC上進行訓練。在訓練過程中，隨機選擇了一組能夠在場景中建立通信的車輛，并規定每個車輛的通信范圍為70 m。同時，點云的范圍被設定為沿x,y與z軸的[-140.8,14.8]×[-40,40]×[-3,1]。體素的分辨率為0.4 m。為了提升訓練數據的多樣性，采用了一系列數據增強技術，如隨機翻轉、±0.05范圍內縮放以及±45°范圍內旋轉。利用Adam優化器對模型進行訓練，設定模型的初始學習率為0.002，批量大小為2。此外，利用了基于驗證損失的早停策略以防止模型過擬合。本文算法的詳細架構和其他參數如圖2所示。

圖2 模型詳細架構與參數細節Fig.2 Detailed model architecture and parameter specifics

性能評價指標方面，本文采用了標準的評價指標來評估算法的性能，即平均精度(Average Precision,AP)。平均精度是一種常用的目標檢測性能指標，用于衡量算法在不同交并比(Intersection over Union,IoU)閾值下的準確性。在計算平均精度時，需事先設定交并比IoU的閾值，即預測框和真值框的重合面積占預測框和真值框面積總和的比例，如果大于設定閾值則認為檢測正確。本文分別計算模型在IoU閾值為0.5和0.7時的AP值，即AP@0.5和AP@0.7。這兩個指標能夠提供對算法在不同嚴格程度下的性能評估，從而更全面地衡量算法在目標檢測任務中的表現。

根據不同的異構模態融合策略，本文構建了3個版本的多模態融合模型：“Ours-C”表示通道級拼接融合，“Ours-S”對應于元素級求和融合，“Ours-T”代表Transformer融合。此外，為了更全面地驗證所提多模態融合模型的效果，本文算法還與多種現有先進算法進行了對比，包括Cooper[5],F-Cooper[6],V2VNet[7],AttFuse[8]以及CoBEVT[15]。

除了考慮所有車輛都可以同時獲得點云和圖像兩種模態的數據這種一般場景以外，本文還考慮了更加現實和復雜的異構模態場景。在這種異構模態場景下，每個車輛只能獲取點云和圖像中的任意一種模態，用于模擬所提算法在各種模態缺失情況下的性能表現。

4.2 定量實驗

在表1中，本文將多種SOTA算法在OPV2V數據集上的表現進行了綜合對比。首先，所有的協同感知算法都在不同場景的不同指標上顯著優于單車感知(No Fusion)，這表明多車之間的相互協作有利于彼此更好地感知周圍環境。其次，可以發現前期融合(Early Fusion)策略在大多數情況下均表現優于后期融合(Late Fusion)。這表明在不考慮通信帶寬的情況下，數據在初期的融合能夠更好地保留原始場景信息。值得注意的是，本文算法采用不同融合策略的3種實現版本(即元素級求和融合(Ours-S)、通道級拼接融合(Ours-C)和Transformer融合(Ours-T))的性能在所有對比算法中均具有較強競爭力，尤其是使用了Transformer架構的多模態融合模型Ours-T，在兩種IoU閾值下均取得更高的AP分數。盡管在Default子集中，Ours-T在AP@0.7指標上略低于CoBEVT[15]，但在更具挑戰性的Culver City子集中，其在AP@0.5和AP@0.7兩個指標上均領先于其他所有對比算法。

表1 與SOTA算法的綜合性能對比(%)Tab.1 Comprehensive performance comparison with SOTA algorithms (%)

表2展示了本文算法在異構模態場景中的性能比較。其中，Camera-only表示所有車輛只能獲取圖像數據。而LiDAR-only表示所有車輛只能訪問點云數據。此外，還考慮了Camera-only與LiDARonly混合的情況：Hybrid-C表示所有車輛中一半只能獲取圖像數據(包括中心車輛)，另一半只能獲取點云數據；與之不同的是，Hybrid-C表示一半數量的車輛只能獲取點云數據。從表2可以看出，純圖像模式(Camera-only)下的性能明顯較低，特別是在Culver City場景中的AP@0.7，只有8.6%。這可能是由于單一的圖像模態無法很好地提供3D檢測所需要的信息，因為根據2D圖像預測在3D空間中的深度信息本身就存在一定的不確定性。而純點云模式(LiDAR-only)的性能則明顯優于Cameraonly，主要是因為3D點云可以提供準確的場景深度測量，因此更適用于3D目標檢測任務。進一步考慮到異構模態的混合情況，Hybrid-C和Hybrid-L都表現出了相對較好的性能。特別是在中心車輛只能獲取點云數據的情況下(Hybrid-L)，其性能接近LiDAR-only，說明中心車輛的數據模態在V2V協同檢測中起到了關鍵的作用。而對于Hybrid-C，盡管其性能略低于Hybrid-L，但仍然明顯優于Camera-only，這表明即使在一半車輛只能獲取圖像數據的情況下，點云數據的存在仍然能大大增強系統的檢測性能。表2的實驗結果驗證了所提算法在不同的異構模態場景下都具有相對穩健的性能，特別是在模態數據丟失的情況下。此外，這也再次突顯了點云數據在V2V協同檢測任務中的重要性，以及中心車輛對整體檢測性能的影響。

表2 所提算法不同異構模態場景下的性能對比(%)Tab.2 Performance comparison of the proposed algorithm under different heterogeneous modal scenarios (%)

定位誤差是現實場景中需要考慮的復雜因素之一。為了分析模型對定位誤差的魯棒性，本文從高斯分布中分別采樣坐標噪聲(σxyz ∈[0,1.0] m)和角度噪聲(σheading∈[0°,1.0°])，并將其添加到準確的定位數據上來模擬定位誤差。圖3給出了所提多模態融合算法(Ours-T)與其他兩種單模態方案(LiDAR-only,Camera-only)在不同定位誤差情況下的性能對比?？梢钥闯?，隨著定位噪聲的增加，3種模型的性能整體均趨于下降，尤其是純點云模式(LiDAR-only)對定位誤差最敏感：當誤差增加到0.2時，性能下降超過4%；誤差為0.4時，下降超過10%。相比之下，純圖像模式(Camera-only)受定位誤差較小，性能下降平緩。其主要原因是LiDAR數據提取的三維幾何特征對坐標軸的偏移比圖像提取的視覺特征更加敏感。此外，由于多模態融合模型Ours-T中包含一定的冗余信息使其不會過于依賴某種單一模態，因此其在保持較高性能的同時對于定位誤差具有較強的容忍能力。

圖3 定位誤差對模型性能的影響Fig.3 Impact of positioning error on model performance

4.3 定性實驗

圖4展示了3種不同方案在OPV2V數據集上的可視化檢測結果。如圖4所示，純相機和純激光雷達模型會在不同程度上受到語義模糊和不確定性等因素的影響，從而導致漏檢和誤檢等問題。相比之下，本文提出的多傳感器融合模型在檢測精度和魯棒性方面有了顯著改進。通過利用激光雷達和相機模式的互補優勢，融合模型有效地解決了單個傳感器的局限性，實現了更精確、更可靠的物體檢測。

5 結語

本文提出并實現了一種集成激光雷達和相機數據的多模態融合協同感知基線系統，該系統突破了單一傳感器模式的限制，有效地融合了兩種傳感器的優勢，為實現更精確、更穩健的環境感知奠定了基礎。特別地，本研究首次深入探討了幾種先進的融合策略在多模態協同感知任務中的適用性和有效性，尤其是引入了基于注意力機制的融合方法，這一創新策略在提高感知系統準確性和魯棒性方面表現出色。這種方法通過多頭自注意力機制，在不同傳感器特征之間建立了復雜的關聯，提高了融合的精細度，并在OPV2V數據集上展現出卓越的性能和魯棒性。此外，在更具挑戰性的異構模態場景下的實驗再次驗證了多模態融合的有效性，這也為現實世界中實際應用提供了一種經濟可行的方案。未來的工作將集中在進一步優化融合策略，并探索V2V協同感知中更多傳感器模態的應用潛力，以進一步推動自動駕駛和智能交通系統的發展。

利益沖突所有作者均聲明不存在利益沖突

Conflict of InterestsThe authors declare that there is no conflict of interests