ImLiDAR: Cross-Sensor Dynamic Message Propagation Network for 3D Object Detection

要約

LiDAR とカメラは、2 つの異なるセンサーとして、3D シーンの幾何学的 (点群) およびセマンティック (RGB 画像) 情報を提供します。
ただし、既存の方法では、2 つのクロス センサーからのデータを融合して、高品質の 3D オブジェクト検出 (3OD) を補完することは依然として困難です。
カメラ画像とLiDAR点群のマルチスケール機能を徐々に融合することにより、クロスセンサーの不一致を狭める新しい3ODパラダイムであるImLiDARを提案します。
ImLiDAR を使用すると、検出ヘッドにクロスセンサーを備えながらも堅牢に融合された機能を提供できます。
これを実現するために、ImLiDAR には 2 つのコア設計が存在します。
まず、クロスセンサーの動的メッセージ伝播モジュールを提案して、マルチスケールの画像とポイントの特徴を組み合わせます。
次に、効果的なセットベースの検出器を設計して、分類とローカリゼーションの信頼性の不一致、および手動で調整されたハイパーパラメーターの感度に取り組むことを可能にする直接セット予測問題を提起します。
さらに、新しいセットベースの検出器は取り外し可能で、さまざまな検出ネットワークに簡単に統合できます。
KITTI と SUN-RGBD の両方のデータセットを比較すると、23 の最先端の 3OD メソッドを超える ImLiDAR の明確な視覚的および数値的な改善が示されています。

要約(オリジナル)

LiDAR and camera, as two different sensors, supply geometric (point clouds) and semantic (RGB images) information of 3D scenes. However, it is still challenging for existing methods to fuse data from the two cross sensors, making them complementary for quality 3D object detection (3OD). We propose ImLiDAR, a new 3OD paradigm to narrow the cross-sensor discrepancies by progressively fusing the multi-scale features of camera Images and LiDAR point clouds. ImLiDAR enables to provide the detection head with cross-sensor yet robustly fused features. To achieve this, two core designs exist in ImLiDAR. First, we propose a cross-sensor dynamic message propagation module to combine the best of the multi-scale image and point features. Second, we raise a direct set prediction problem that allows designing an effective set-based detector to tackle the inconsistency of the classification and localization confidences, and the sensitivity of hand-tuned hyperparameters. Besides, the novel set-based detector can be detachable and easily integrated into various detection networks. Comparisons on both the KITTI and SUN-RGBD datasets show clear visual and numerical improvements of our ImLiDAR over twenty-three state-of-the-art 3OD methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google