BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework

要約

カメラと LiDAR 情報を融合することは、3D オブジェクト検出タスクのデファクト スタンダードになりました。
現在の方法は、画像空間から機能を活用するためのクエリとして、LiDAR センサーからの点群に依存しています。
しかし、この根本的な仮定により、現在の融合フレームワークでは、LiDAR の誤動作が発生した場合に、マイナーまたはメジャーに関係なく、予測を生成することが不可能になることが発見されました。
これにより、展開機能が現実的な自動運転シナリオに根本的に制限されます。
対照的に、BEVFusion と呼ばれる驚くほどシンプルでありながら斬新な融合フレームワークを提案します。これは、カメラ ストリームが LiDAR データの入力に依存しないため、以前の方法の欠点に対処しています。
私たちのフレームワークが、通常のトレーニング設定の下で最先端の方法を凌駕することを経験的に示しています。
さまざまなLiDARの誤動作をシミュレートするロバストネストレーニング設定の下で、私たちのフレームワークは最先端の方法を15.7%から28.9%のmAPで大幅に上回っています。
私たちの知る限りでは、現実的な LiDAR の誤動作を処理した最初の企業であり、後処理手順なしで現実的なシナリオに展開できます。
コードは https://github.com/ADLab-AutoDrive/BEVFusion で入手できます。

要約(オリジナル)

Fusing the camera and LiDAR information has become a de-facto standard for 3D object detection tasks. Current methods rely on point clouds from the LiDAR sensor as queries to leverage the feature from the image space. However, people discovered that this underlying assumption makes the current fusion framework infeasible to produce any prediction when there is a LiDAR malfunction, regardless of minor or major. This fundamentally limits the deployment capability to realistic autonomous driving scenarios. In contrast, we propose a surprisingly simple yet novel fusion framework, dubbed BEVFusion, whose camera stream does not depend on the input of LiDAR data, thus addressing the downside of previous methods. We empirically show that our framework surpasses the state-of-the-art methods under the normal training settings. Under the robustness training settings that simulate various LiDAR malfunctions, our framework significantly surpasses the state-of-the-art methods by 15.7% to 28.9% mAP. To the best of our knowledge, we are the first to handle realistic LiDAR malfunction and can be deployed to realistic scenarios without any post-processing procedure. The code is available at https://github.com/ADLab-AutoDrive/BEVFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google