基于相機激光雷達融合的目標檢測方法

周沫 張春城 何超

摘要：針對單一傳感器在自動駕駛車輛環境感知系統中易受環境干擾的問題，通過融合激光雷達點云數據和相機圖像數據，提出一種強魯棒性的目標檢測方法。首先，通過YOLOv4和Pointpillars分別實現相機的2D目標檢測和激光雷達的3D目標檢測；然后將點云從3D投影到2D笛卡爾坐標下并計算相機幀下的3D邊框；進而將相機幀中的3D邊界框轉換為圖像上的2D邊框；最后，計算在同一圖像上顯示的相機和激光雷達檢測框的IOU指標后進行邊框融合并修正融合后的目標置信度，最終輸出目標的融合框、類別和距離信息。在KITTI數據集上的實驗結果表明，相較單一傳感器的目標檢測方法，所提出的方法通過點云和圖像數據的優勢互補提高了目標檢測的精度。

關鍵詞：點云圖像；后期融合；置信度修正；目標檢測

中圖分類號：U472.9；TP391.4? 收稿日期：2023-11-20

DOI：10.19999/j.cnki.1004-0226.2024.02.019

1 前言

由于自動駕駛車輛環境感知系統中傳感器本身硬件性能的局限性，基于單一傳感器的目標檢測技術有很大的局限性，多傳感器融合目標檢測技術可以實現不同傳感器間的優勢互補，因此近年來多傳感器融合技術受到了廣泛的關注。傳感器融合可以分為前期、中期和后期融合[1]。前融合即數據級融合，直接融合不同傳感器的原始數據，具有較高的準確性，但不易將不同維度的數據統一，數據處理量大，實時性較低。中期融合即特征級融合，對不同數據分別提取原始特征，再融合多個特征，根據目標已有特征對融合特征進行匹配，獲得目標的信息。后融合即結果級融合，分別在不同的原始數據下檢測得到在該數據類型下的目標包絡框、類別、位置等信息，然后對目標的包絡框等信息進行融合。后融合的方法具有較高的魯棒性且不受傳感器類別的影響。

國內外學者近年來對傳感器融合技術已經有了一定的研究。陳俊英等[2]通過使用VoxelNet和ResNet的深度特征學習方法得到點云特征和圖像特征后，基于互注意力模塊挖掘模態間的互補信息，得到融合特征后使用區域提案網絡和多任務學習網絡實現了特征級融合3D目標檢測及定位，但該方法數據處理量大，實時性難以保證。

張青春等[3]提出了一種基于直線與平面擬合的算法，完成了相機與激光雷達的融合，更好地完成了機器人的環境識別任務。該方法使用的是單線激光雷達，檢測精確度仍有待提升。

WEI等[4]提出一種減少激光雷達假陽性檢測的融合方法，利用在相機圖像上放置信標通過神經網絡實現相機到LiDAR的投影，信標能夠提高激光雷達檢測目標的能力從而實現避免假陽性的檢測，該方法有效提升目標位置的檢測性和信息標記能力。

鄭少武等[5]提出了一種基于激光點云與圖像信息融合的交通環境車輛檢測算法，通過對圖像和點云原始數據分別進行目標檢測與跟蹤，利用匈牙利算法對檢測結果進行最優匹配，并結合點云到圖像的投影對未匹配的圖像檢測框進行進一步篩選，最終對融合列表進行分類后擇優輸出。

張堡瑞等[6]針對水面這種特殊環境及激光雷達在水面介質中的點云反射特點，提出點云與圖像融合的方法來解決水面漂浮物檢測問題。有效消除水面漂浮物倒影或水面波紋造成的誤識別情況，彌補了相機檢測對光照依賴的短板，但該方法僅適用于特定場景，有一定的局限性。

CHAVEZ-GARCIA[7]采用兩次聚類算法聚類點云數據，并采用快速Adaboost分類器基于Haar-like特征識別車輛目標。

陳毅等[8]首先將點云數據前向投影形成二維深度圖，并通過深度補全方法將深度圖的分辨率提高至與圖像分辨率一致，然后使用YOLOv3算法分別檢測彩色圖和深度圖中的車輛目標，最后根據改進的D-S證據理論對檢測結果進行特征級融合，但對較小目標的識別效果有待提高。

常昕[9]提出了一種基于激光雷達和相機的信息融合的目標檢測及追蹤算法。利用激光點云數據聚類方法對可通行區域的障礙物進行檢測，并投影到圖片上，確定跟蹤目標后在粒子濾波的算法基礎上，利用顏色信息追蹤目標，采用激光雷達的目標檢測結果對目標追蹤結果進行修正，減小了光照、遮擋、背景干擾等因素的影響，提高目標追蹤效果。

針對以上問題，在環境感知系統中保證實時性的前提下，為了提高目標檢測精度、降低誤檢率，本文提出一種通用的基于激光點云與圖像信息后融合的目標檢測方法，選取性能優異的目標檢測算法作為基礎網絡，充分利用點云空間坐標與圖像像素坐標的相互轉換關系，實現三維目標與二維目標的最優匹配，輸出可靠的融合結果。

2 融合方法概述

僅使用相機對道路目標進行檢測，易受到光照條件等因素影響，且無法獲得目標的距離位置信息；僅使用激光雷達傳感器進行目標檢測，受激光雷達自身線束及探測距離影響較大。為此，本文提出一種相機和激光雷達融合的目標檢測方法，整個系統流程如圖1所示。

傳感器的融合采用后融合（late fusion）的方法。首先分別將圖像和點云數據送入YOLOv4和Pointpillars網絡中，得到目標的邊界框、類別和置信度；然后將點云坐標轉換為笛卡爾坐標，并計算相機幀下的3D邊框；進而將相機幀中的3D邊界框投影到圖像上并繪制激光雷達在圖像上的2D邊框；最后，計算在同一圖像上顯示的相機和激光雷達檢測框的IOU指標，對符合閾值的框進行融合并修正目標置信度，最終輸出目標融合框、類別和距離信息。

3 基于相機的目標檢測

YOLOv4算法是從YOLOv3發展而來的，YOLOv4在與EfficientDet[10]網絡性能相當的情況下，推理速度是EfficientDet的2倍左右，比上一代YOLOv3算法的平均精度AP和FPS分別提高了10%和12%。YOLOv4的網絡結構如圖2，該算法由主干特征提取網絡CSPDarknet53、特征金字塔SPPNet和檢測結構YOLO-Head構成如圖2所示。主干網絡CSPDarknet53在YOLOv3主干網絡Darknet53基礎上，借鑒了CSPNet的思想，在減少參數計算量的同時保證了準確率。YOLOv4算法在特征金字塔模塊中采用了SPPNet結構，進一步提高了算法的特征提取能力，而YOLO Head特征層則繼續使用YOLOv3的結構。

本文使用KITTI數據集中圖片對神經網絡進行訓練，通過YOLOv4網絡識別得到目標邊框和置信度如圖3所示。該網絡能夠在豐富的圖像信息中準確地識別到車輛和行人目標。

4 基于激光雷達的目標檢測

激光雷達部分的目標檢測采用Pointpillars算法，使用全新的編碼器來學習點云柱上面的特征，來預測點云數據中目標的三維邊界框。Pointpillars保留了VoxelNet的基本框架，主要由特征提取層、二維卷積層和檢測輸出層組成，如圖4所示。特征提取層對點云數據進行柱狀編碼，并提取柱狀體特征；二維卷積層對特征進行多尺度捕獲；最后通過SSD（Single Shot Detector）檢測輸出目標。

該方法有幾個優點。a.通過學習特征而不是依賴固定的編碼器，PointPillars可以利用點云表示的全部信息。b.通過對柱而不是體素進行操作，不需要手動調整。c.柱子是高效的，因為所有關鍵操作都可以公式化為2D卷積，在GPU上計算非常高效，檢測在圖像上的可視化結果如圖5所示。

5 后融合方法

本文從結果的層面對相機激光雷達的檢測結果進行融合，相機和激光雷達分別通過深度學習網絡得到目標在圖像數據和點云數據中的檢測框。然后需要進行時間和空間同步將激光雷達的三維檢測框投影到圖像上，對同一幀圖片中的不同傳感器檢測框利用交并比進行篩選，最終輸出融合結果。

5.1 時空匹配

時間同步因相機和激光雷達的采樣頻率不同，正常情況相機的采樣頻率為30 Hz，激光雷達的采樣頻率為10～20 Hz。相機完成3幀圖像的采集，激光雷達才可以完成1幀的點云數據采集，所以同一時刻下相機和激光雷達的數據會出現不對應的現象，影響融合檢測結果，所以需要進行時間同步。本文利用ROS平臺的時間同步函數，以激光雷達時間為基準，選擇與該時刻最近的相機數據保留為對應的圖像幀。

空間同步即相機和激光雷達聯合標定過程，激光雷達坐標系的點云數據投影到相機二維坐標系下需要求取相機外部參數。相機坐標系到像素坐標系的轉換需要求取相機的內部參數。設空間一點Ｐ在激光雷達坐標系為[XL，YL，ZL]，在相機坐標系坐標為[XC，Yc，Zc]，在圖像坐標系下為[xp，yp]，在像素坐標系坐標為[u，v]。

激光雷達轉換為像素坐標系的關系表示為：

[ZCuv1=1dx0u001dyv0001f000f0001? ? 000RCL? tCL01XLYLZL1]? ?（1）

式中，[RCL? tCL01]為相機外參矩陣；f為相機焦距；[dx]、[dy]為x、y軸的像素轉換單位；[u0]、[v0]為投影屏幕中心相對于光軸出現的偏移。則激光雷達三維坐標系下的點[XL，YL，ZL]轉換為像素坐標下點[u，v]的問題，轉化為求取相機內外參數的過程。

本文通過Autoware內部的標定工具進行標定，標定過程通過手眼選取圖像和點云的對應關系如圖6所示。

5.2 邊框融合

在完成傳感器的時空同步后，融合激光雷達點云檢測結果與相機檢測結果。如圖7所示，相機和激光雷達檢測框顯示在同一幀圖片上，紅色為激光雷達檢測投影框，黃色為相機檢測目標框。接著對激光雷達檢測的投影邊界框和相機檢測的邊界框通過IOU進行關聯匹配，當重疊面積大于等于設定的閾值0.5時，會被認為匹配成功，輸出融合激光雷達的距離信息與相機傳感器的類別信息；當重疊面積小于設定的閾值0.5時，只輸出相機檢測到的目標信息。

由于在使用深度學習網絡對圖像和點云數據的目標進行檢測時，設置的置信度概率閾值會過濾掉一部分置信度不高的目標。但在實際實驗過程中，一部分被識別出的目標會因為設置的置信度閾值而被濾除，所以本文采用sigmoid函數對檢測到的目標進行置信度修正，其公式如下：

[P2=sigmoid（P1+C）]? ? ? ? ? ? ? ? ? ? ? ?（2）

[P2=eP1+C1+eP1+C]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

式中，[P1]為圖像識別目標輸出的目標置信度；[P2]為融合后修正的目標置信度；[C]為調整系數。

6 實驗結果分析

為了驗證本文融合目標檢測算法的有效性，在公開的自動駕駛數據集KITTI上進行主要實驗探究。KITTI數據集是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數據集。該數據集用于評測立體圖像、光流、視覺測距、3D物體檢測和3D跟蹤等計算機視覺技術在車載環境下的性能。KITTI包含市區、鄉村和高速公路等場景采集的真實圖像數據，每張圖像中最多達15輛車和30個行人，還有各種程度的遮擋與截斷。

在訓練模型時，采用KITTI數據集中的3D目標檢測數據集。因此，本文將KITTI數據集中7 481幀圖像和點云對應數據按照8∶1∶1的比例隨機劃分訓練集、測試集和驗證集。本文主要對轎車和行人進行研究。圖8為在KITTI數據集中測試的可視化結果，紅色框為融合后的目標檢測框，標簽分別為目標的類別和距離信息。

為定量分析融合算法的性能，分別在KITTI中將融合算法分別與單一的YOLOv4檢測方法和單一Pointpillars方法進行對比，由表1中可以看出，融合算法識別目標的平均準確率分別較YOLOv4和Pointpillars提高了2.76%和17.90%。

7 結語

本文提出了一種基于相機與激光雷達決策級融合的道路行人、車輛目標檢測方法。通過YOLOv4和Pointpillars分別得到目標在圖像和點云數據中的檢測框，然后經過時間和空間的同步將不同的目標檢測框統一在同一幀圖片上，通過檢測框之間交并比建立關聯并進行篩選，最終輸出融合檢測的結果。在KITTI數據集上的實驗結果證明，本文所提方法相對于單一傳感器的目標檢測方法有效提高了對行人和車輛的檢測精度。

參考文獻：

[1]LI S，KANG X，FANG L，et al.Pixel-level image fusion： a survey of the state of the art[J/OL].?Information Fusion，2017，33：100-112.

[2]陳俊英.互注意力融合圖像和點云數據的3D目標檢測[J].光學精密工程，2021（9）：2247-2254.

[3]張青春.基于ROS機器人的相機與激光雷達融合技術研究[J].中國測試，2021（12）：120-123.

[4]WEI P，CAGLE L， REZA T，et al.Lidar and camera detection fusion in a real time industrial multi-sensor collision avoidance system[M/OL].arXiv，2018.

[5]鄭少武.基于激光點云與圖像信息融合的交通環境車輛檢測[J].儀器儀表學報，2019（12）：143-151.

[6]張堡瑞.基于激光雷達與視覺融合的水面漂浮物檢測[J].應用激光，2021（3）：619-628.

[7]CHAVEZ GARCIA R.?Multiple sensor fusion for detection，classification and tracking of moving objects in driving environments[D].Universite De Gremoble，2014.

[8]陳毅，張帥，汪貴平.基于激光雷達和攝像頭信息融合的車輛檢測算法[J].機械與電子，2020，38（1）：52-56.

[9]常昕.基于激光雷達和相機信息融合的目標檢測及跟蹤[J].光電工程，2019（7）：85-95.

[10]TAN M，PANG R，LE Q V.EfficientDet： scalable and efficient object detection[C]//2020 IEEE/CVF comference on computer vision and pattern recognition，2020：10778-10787.

作者簡介：

周沫，男，1998年生，碩士研究生，研究方向為多傳感器融合目標檢測。