GOOD: General Optimization-based Fusion for 3D Object Detection via LiDAR-Camera Object Candidates

要約

3D オブジェクト検出は、自動運転における認識タスクのコア基盤として機能します。
近年、より堅牢で正確な 3D オブジェクト検出のためのマルチモーダル フュージョン戦略が急速に進歩しています。
しかし、ロバストフュージョンの現在の研究はすべて学習ベースのフレームワークであり、大量のトレーニングデータを必要とし、新しいシーンでの実装には不便です。
このホワイトペーパーでは、追加のモデルをトレーニングすることなく満足のいく検出を実現でき、3D 検出の精度とロバスト性を向上させるために 2D 検出器と 3D 検出器の任意の組み合わせに使用できる、一般的な最適化ベースの融合フレームワークである GOOD を提案します。
最初に、両側最近傍確率モデルを適用して、3D-2D データの関連付けを実現します。
次に、マッチング結果に基づいて、さまざまな種類のインスタンスを個別に最適化できる最適化パイプラインを設計します。
これとは別に、3D MOT メソッドも導入され、以前のフレームによって支援されたパフォーマンスを強化します。
私たちの知る限りでは、これはマルチモーダル 3D オブジェクト検出のための最初の最適化ベースの後期融合フレームワークであり、その後の研究のベースラインとして使用できます。
nuScenes と KITTI データセットの両方で実験が行われ、結果は、GOOD が PointPillars と比較して mAP スコアで 9.1\% 優れており、学習ベースの後期融合 CLOC と競合する結果を達成することを示しています。

要約(オリジナル)

3D object detection serves as the core basis of the perception tasks in autonomous driving. Recent years have seen the rapid progress of multi-modal fusion strategies for more robust and accurate 3D object detection. However, current researches for robust fusion are all learning-based frameworks, which demand a large amount of training data and are inconvenient to implement in new scenes. In this paper, we propose GOOD, a general optimization-based fusion framework that can achieve satisfying detection without training additional models and is available for any combinations of 2D and 3D detectors to improve the accuracy and robustness of 3D detection. First we apply the mutual-sided nearest-neighbor probability model to achieve the 3D-2D data association. Then we design an optimization pipeline that can optimize different kinds of instances separately based on the matching result. Apart from this, the 3D MOT method is also introduced to enhance the performance aided by previous frames. To the best of our knowledge, this is the first optimization-based late fusion framework for multi-modal 3D object detection which can be served as a baseline for subsequent research. Experiments on both nuScenes and KITTI datasets are carried out and the results show that GOOD outperforms by 9.1\% on mAP score compared with PointPillars and achieves competitive results with the learning-based late fusion CLOCs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google