SA-BEV: Generating Semantic-Aware Bird’s-Eye-View Feature for Multi-view 3D Object Detection

要約

最近では、純粋なカメラベースの鳥瞰図 (BEV) 認識が、経済的な自動運転のための実現可能なソリューションを提供します。
しかし、既存の BEV ベースの多視点 3D 検出器は、一般に、大部分の背景情報によってオブジェクト情報が埋もれてしまう可能性があるという問題を考慮せずに、すべての画像特徴を BEV 特徴に変換します。
本稿では、画像特徴のセマンティックセグメンテーションに従って背景情報をフィルタリングし、画像特徴をセマンティック認識BEV特徴に変換できるSemantic-Aware BEV Pooling（SA-BEVPool）を提案します。
したがって、セマンティックを意識した BEV 機能と密接に一致する効果的なデータ拡張戦略である BEV-Paste を提案します。
さらに、タスク固有の情報とクロスタスク情報を組み合わせて深度分布とセマンティック セグメンテーションをより正確に予測するマルチスケール クロスタスク (MSCT) ヘッドを設計し、セマンティック認識 BEV 機能の品質をさらに向上させます。
最後に、上記のモジュールを新しいマルチビュー 3D オブジェクト検出フレームワーク、つまり SA-BEV に統合します。
nuScenes での実験では、SA-BEV が最先端のパフォーマンスを達成することが示されています。
コードは https://github.com/mengtan00/SA-BEV.git で入手できます。

要約(オリジナル)

Recently, the pure camera-based Bird’s-Eye-View (BEV) perception provides a feasible solution for economical autonomous driving. However, the existing BEV-based multi-view 3D detectors generally transform all image features into BEV features, without considering the problem that the large proportion of background information may submerge the object information. In this paper, we propose Semantic-Aware BEV Pooling (SA-BEVPool), which can filter out background information according to the semantic segmentation of image features and transform image features into semantic-aware BEV features. Accordingly, we propose BEV-Paste, an effective data augmentation strategy that closely matches with semantic-aware BEV feature. In addition, we design a Multi-Scale Cross-Task (MSCT) head, which combines task-specific and cross-task information to predict depth distribution and semantic segmentation more accurately, further improving the quality of semantic-aware BEV feature. Finally, we integrate the above modules into a novel multi-view 3D object detection framework, namely SA-BEV. Experiments on nuScenes show that SA-BEV achieves state-of-the-art performance. Code has been available at https://github.com/mengtan00/SA-BEV.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google