BEVCar: Camera-Radar Fusion for BEV Map and Object Segmentation

要約

鳥瞰図 (BEV) の観点からのセマンティックなシーンのセグメンテーションは、移動ロボットの計画と意思決定を促進する上で重要な役割を果たします。
最近の視覚のみの方法は、性能において顕著な進歩を示していますが、雨や夜間などの不利な照明条件下では困難が多いです。
アクティブセンサーはこの課題に対する解決策を提供しますが、LiDAR の法外に高いコストが依然として制限要因となっています。
カメラデータと自動車レーダーを融合することは、より安価な代替手段となるが、先行研究ではあまり注目されていない。
この研究では、BEV オブジェクトとマップの統合セグメンテーションのための新しいアプローチである BEVCar を導入することで、この有望な道を前進させることを目指しています。
私たちのアプローチの核となる新しさは、最初に生のレーダー データのポイントベースのエンコーディングを学習することにあり、その後、それを利用して画像特徴を BEV 空間に効率的にリフティングする初期化が行われます。
私たちは nuScenes データセットに対して広範な実験を実行し、BEVCar が現在の最先端技術を上回るパフォーマンスを実証しました。
さらに、レーダー情報を組み込むことで、困難な環境条件における堅牢性が大幅に向上し、遠くの物体のセグメンテーション性能が向上することを示します。
将来の研究を促進するために、実験で使用した nuScenes データセットの気象分割とコードおよびトレーニング済みモデルを http://bevcar.cs.uni-freiburg.de で提供します。

要約(オリジナル)

Semantic scene segmentation from a bird’s-eye-view (BEV) perspective plays a crucial role in facilitating planning and decision-making for mobile robots. Although recent vision-only methods have demonstrated notable advancements in performance, they often struggle under adverse illumination conditions such as rain or nighttime. While active sensors offer a solution to this challenge, the prohibitively high cost of LiDARs remains a limiting factor. Fusing camera data with automotive radars poses a more inexpensive alternative but has received less attention in prior research. In this work, we aim to advance this promising avenue by introducing BEVCar, a novel approach for joint BEV object and map segmentation. The core novelty of our approach lies in first learning a point-based encoding of raw radar data, which is then leveraged to efficiently initialize the lifting of image features into the BEV space. We perform extensive experiments on the nuScenes dataset and demonstrate that BEVCar outperforms the current state of the art. Moreover, we show that incorporating radar information significantly enhances robustness in challenging environmental conditions and improves segmentation performance for distant objects. To foster future research, we provide the weather split of the nuScenes dataset used in our experiments, along with our code and trained models at http://bevcar.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google