Fully Sparse Fusion for 3D Object Detection

要約

タイトル：3Dオブジェクト検出のためのフルスパースフュージョン
要約：

・現在、広く採用されているマルチモーダル3D検出手法は、通常、密なBird’s-Eye-View（BEV）フィーチャーマップを使用するLiDARベースの検出器に基づいて構築されている。
・しかし、そのようなBEVフィーチャーマップのコストは検出範囲の二乗に比例するため、長距離検出には適していない。
・フルスパースアーキテクチャは長距離知覚に非常に効率的であるため、注目を集めている。
・本論文では、新興フルスパースアーキテクチャにおける画像モダリティの効果的な活用方法を検討する。
・特に、インスタンスクエリを利用して、当社のフレームワークは、LiDAR側によく研究されている2Dインスタンスセグメンテーションを統合し、完全なスパースディテクターの3Dインスタンスセグメンテーション部分に並行して配置することができる。
・この設計により、2D側と3D側の両方でクエリベースのフュージョンフレームワークを実現し、完全にスパースな特徴を維持する。
・広範な実験により、広く使用されているnuScenesデータセットと長距離Argoverse 2データセットで最先端の結果を実現している。
・特に、長距離LiDAR知覚設定下で提案手法の推論速度は、他の最先端のマルチモーダル3D検出手法よりも2.7倍高速である。
・コードは\ url {https://github.com/BraveGroup/FullySparseFusion}で公開されます。

要約(オリジナル)

Currently prevalent multimodal 3D detection methods are built upon LiDAR-based detectors that usually use dense Bird’s-Eye-View (BEV) feature maps. However, the cost of such BEV feature maps is quadratic to the detection range, making it not suitable for long-range detection. Fully sparse architecture is gaining attention as they are highly efficient in long-range perception. In this paper, we study how to effectively leverage image modality in the emerging fully sparse architecture. Particularly, utilizing instance queries, our framework integrates the well-studied 2D instance segmentation into the LiDAR side, which is parallel to the 3D instance segmentation part in the fully sparse detector. This design achieves a uniform query-based fusion framework in both the 2D and 3D sides while maintaining the fully sparse characteristic. Extensive experiments showcase state-of-the-art results on the widely used nuScenes dataset and the long-range Argoverse 2 dataset. Notably, the inference speed of the proposed method under the long-range LiDAR perception setting is 2.7 $\times$ faster than that of other state-of-the-art multimodal 3D detection methods. Code will be released at \url{https://github.com/BraveGroup/FullySparseFusion}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI