mmFUSION: Multimodal Fusion for 3D Objects Detection

要約

マルチセンサー フュージョンは、自動運転システムにおける正確な 3D オブジェクト検出に不可欠です。
カメラと LiDAR は最も一般的に使用されるセンサーであり、通常、それらの融合は、関心領域 (RoI) の助けを借りて 3D 検出器の初期段階または後期段階で行われます。
一方、中間レベルでの融合は、モダリティからの RoI を必要としないため適応性が高くなりますが、両方のモダリティの特徴が異なる観点から提示されるため複雑になります。
本稿では、これらの課題を克服するための新しい中間レベルマルチモーダルフュージョン（mmFUSION）アプローチを提案します。
まず、mmFUSION はモダリティごとに個別のエンコーダーを使用して、望ましいより低い空間体積での特徴を計算します。
第二に、これらの機能は、mmFUSION で提案されているクロスモダリティおよびマルチモダリティの注意メカニズムを通じて融合されます。
mmFUSION フレームワークは、マルチモーダル情報を保存し、アテンション ウェイトを通じてモダリティの欠陥を補うことを学習します。
mmFUSION フレームワークの強力なマルチモーダル機能は、3D 予測のためのシンプルな 3D 検出ヘッドに供給されます。
KITTI および NuScenes データセットで mmFUSION を評価すると、利用可能な初期、中間、後期、さらには 2 段階ベースの融合スキームよりも優れたパフォーマンスが得られます。
mmdetection3D プロジェクト プラグインを使用したコードは間もなく公開される予定です。

要約(オリジナル)

Multi-sensor fusion is essential for accurate 3D object detection in self-driving systems. Camera and LiDAR are the most commonly used sensors, and usually, their fusion happens at the early or late stages of 3D detectors with the help of regions of interest (RoIs). On the other hand, fusion at the intermediate level is more adaptive because it does not need RoIs from modalities but is complex as the features of both modalities are presented from different points of view. In this paper, we propose a new intermediate-level multi-modal fusion (mmFUSION) approach to overcome these challenges. First, the mmFUSION uses separate encoders for each modality to compute features at a desired lower space volume. Second, these features are fused through cross-modality and multi-modality attention mechanisms proposed in mmFUSION. The mmFUSION framework preserves multi-modal information and learns to complement modalities’ deficiencies through attention weights. The strong multi-modal features from the mmFUSION framework are fed to a simple 3D detection head for 3D predictions. We evaluate mmFUSION on the KITTI and NuScenes dataset where it performs better than available early, intermediate, late, and even two-stage based fusion schemes. The code with the mmdetection3D project plugin will be publicly available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google