IS-Fusion: Instance-Scene Collaborative Fusion for Multimodal 3D Object Detection

要約

鳥瞰図 (BEV) 表現は、自動運転シナリオで 3D 空間を記述するための主要なソリューションとして浮上しています。
ただし、BEV 表現内のオブジェクトは通常、サイズが小さく、関連する点群コンテキストは本質的にまばらであるため、信頼性の高い 3D 認識には大きな課題が生じます。
この論文では、インスタンス レベルとシーン レベルのコンテキスト情報を共同で取得する革新的なマルチモーダル フュージョン フレームワークである IS-Fusion を提案します。
IS-Fusion は、インスタンス レベルのマルチモーダル情報を明示的に組み込むことで、BEV シーン レベルのフュージョンのみに焦点を当てた既存のアプローチとは本質的に異なり、3D オブジェクト検出などのインスタンス中心のタスクを容易にします。
これは、Hierarchical Scene Fusion (HSF) モジュールと Instance-Guided Fusion (IGF) モジュールで構成されます。
HSF は、Point-to-Grid および Grid-to-Region トランスフォーマーを適用して、さまざまな粒度でマルチモーダル シーン コンテキストをキャプチャします。
IGF はインスタンスの候補をマイニングし、それらの関係を調査し、各インスタンスのローカルのマルチモーダル コンテキストを集約します。
これらのインスタンスは、シーンの機能を強化し、インスタンスを認識した BEV 表現を生成するためのガイダンスとして機能します。
挑戦的な nuScenes ベンチマークでは、IS-Fusion はこれまでに公開されたすべてのマルチモーダル作品を上回っています。
コードは https://github.com/yinjunbo/IS-Fusion で入手できます。

要約(オリジナル)

Bird’s eye view (BEV) representation has emerged as a dominant solution for describing 3D space in autonomous driving scenarios. However, objects in the BEV representation typically exhibit small sizes, and the associated point cloud context is inherently sparse, which leads to great challenges for reliable 3D perception. In this paper, we propose IS-Fusion, an innovative multimodal fusion framework that jointly captures the Instance- and Scene-level contextual information. IS-Fusion essentially differs from existing approaches that only focus on the BEV scene-level fusion by explicitly incorporating instance-level multimodal information, thus facilitating the instance-centric tasks like 3D object detection. It comprises a Hierarchical Scene Fusion (HSF) module and an Instance-Guided Fusion (IGF) module. HSF applies Point-to-Grid and Grid-to-Region transformers to capture the multimodal scene context at different granularities. IGF mines instance candidates, explores their relationships, and aggregates the local multimodal context for each instance. These instances then serve as guidance to enhance the scene feature and yield an instance-aware BEV representation. On the challenging nuScenes benchmark, IS-Fusion outperforms all the published multimodal works to date. Code is available at: https://github.com/yinjunbo/IS-Fusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google