BroadBEV: Collaborative LiDAR-camera Fusion for Broad-sighted Bird’s Eye View Map Construction

要約

Bird’s Eye View (BEV) 空間における最近のセンサー フュージョンは、3D 検出、マップ セグメンテーションなどのさまざまなタスクでの有用性を示しています。ただし、このアプローチは、不正確なカメラ BEV 推定と、
LiDAR ポイントのまばらさ。
本稿では、クロスモダリティの空間同期アプローチの問題に対処するブロードBEV融合（BroadBEV）を提案します。
私たちの戦略は、BEV 空間全体における LiDAR のスパース性の完成度を向上させると同時に、カメラの BEV 推定を強化して広い視野で認識できるようにすることを目的としています。
そのために、LiDAR BEV 分布をカメラの深度分布に分散させるポイント散乱を考案しました。
この方法は、カメラ ブランチの深度推定の学習を強化し、BEV 空間内の密集したカメラの特徴の正確な位置を誘導します。
空間的に同期された機能間の効果的な BEV 融合のために、LiDAR とカメラの BEV 機能のセルフ アテンション ウェイトを相互に適用する ColFusion を提案します。
私たちの広範な実験により、BroadBEV が広範囲にわたる BEV 認識を提供し、パフォーマンスが大幅に向上することが実証されました。

要約(オリジナル)

A recent sensor fusion in a Bird’s Eye View (BEV) space has shown its utility in various tasks such as 3D detection, map segmentation, etc. However, the approach struggles with inaccurate camera BEV estimation, and a perception of distant areas due to the sparsity of LiDAR points. In this paper, we propose a broad BEV fusion (BroadBEV) that addresses the problems with a spatial synchronization approach of cross-modality. Our strategy aims to enhance camera BEV estimation for a broad-sighted perception while simultaneously improving the completion of LiDAR’s sparsity in the entire BEV space. Toward that end, we devise Point-scattering that scatters LiDAR BEV distribution to camera depth distribution. The method boosts the learning of depth estimation of the camera branch and induces accurate location of dense camera features in BEV space. For an effective BEV fusion between the spatially synchronized features, we suggest ColFusion that applies self-attention weights of LiDAR and camera BEV features to each other. Our extensive experiments demonstrate that BroadBEV provides a broad-sighted BEV perception with remarkable performance gains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google