CrossFusion: Interleaving Cross-modal Complementation for Noise-resistant 3D Object Detection

要約

タイトル：CrossFusion：ノイズに強い3Dオブジェクト検出のための交互クロスモーダル補完

要約：

– LiDARとカメラの組み合わせは、最近の研究によると、3Dオブジェクト検出に必要で一般的なことが示されています。
– 既存の融合戦略は、本質的にLiDARモーダルに過度に依存する傾向があり、カメラセンサから豊富な意味を不十分に活用しています。
– ただし、LiDARフィーチャの破損により大幅なドメインギャップが生じるため、既存の方法は他のモダリティからの情報に依存できません。
– このため、クロスフュージョンという、設計されたクロスモーダル補完戦略を使用して、カメラとLiDARフィーチャを最大限活用するより堅牢でノイズに強いスキームを提案しています。
– 実施した広範な実験は、当社の方法が、追加の深度推定ネットワークを導入することなく最新技術を上回り、5.2％のmAPと2.4％のNDSを増加させることを示して、モデルの耐ノイズ性を実証しています。

要約(オリジナル)

The combination of LiDAR and camera modalities is proven to be necessary and typical for 3D object detection according to recent studies. Existing fusion strategies tend to overly rely on the LiDAR modal in essence, which exploits the abundant semantics from the camera sensor insufficiently. However, existing methods cannot rely on information from other modalities because the corruption of LiDAR features results in a large domain gap. Following this, we propose CrossFusion, a more robust and noise-resistant scheme that makes full use of the camera and LiDAR features with the designed cross-modal complementation strategy. Extensive experiments we conducted show that our method not only outperforms the state-of-the-art methods under the setting without introducing an extra depth estimation network but also demonstrates our model’s noise resistance without re-training for the specific malfunction scenarios by increasing 5.2\% mAP and 2.4\% NDS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI