SRCN3D: Sparse R-CNN 3D Surround-View Camera Object Detection and Tracking for Autonomous Driving

要約

移動物体の検出と追跡（DATMO）は、自動運転の環境認識に不可欠なコンポーネントです。
サラウンドビューカメラを使用する3D検出器は繁栄しているだけですが、さまざまなトランスベースの方法を使用して、パースビューの2Dフィーチャマップから3D空間のクエリを学習する傾向が高まっています。
この論文では、サラウンドビューカメラの検出と追跡のための新しい2ステージの完全畳み込みマッピングパイプラインであるスパースR-CNN 3D（SRCN3D）を提案します。
SRCN3Dは、固定数のプロポーザルボックスとプロポーザル潜在機能の両方のツイントラック更新を備えたカスケード構造を採用しています。
プロポーザルボックスは、関心領域（RoI）のローカル機能を集約するためにパースビューに投影されます。
これに基づいて、提案機能は動的インスタンスのインタラクティブヘッドを介して洗練され、分類と元のバウンディングボックスに適用されるオフセットが生成されます。
従来技術と比較して、私たちのスパース特徴サンプリングモジュールは、対応する各3D提案ボックスの調整にローカル2D特徴のみを利用し、完全なスパースパラダイムをもたらします。
提案機能と外観機能は両方とも、複数の仮説の3Dマルチオブジェクト追跡アプローチのデータ関連付けプロセスで使用されます。
nuScenesデータセットでの広範な実験は、提案されたSRCN3D検出器およびトラッカーの有効性を示しています。
コードはhttps://github.com/synsin0/SRCN3Dで入手できます。

要約(オリジナル)

Detection And Tracking of Moving Objects (DATMO) is an essential component in environmental perception for autonomous driving. While 3D detectors using surround-view cameras are just flourishing, there is a growing tendency of using different transformer-based methods to learn queries in 3D space from 2D feature maps of perspective view. This paper proposes Sparse R-CNN 3D (SRCN3D), a novel two-stage fully-convolutional mapping pipeline for surround-view camera detection and tracking. SRCN3D adopts a cascade structure with twin-track update of both fixed number of proposal boxes and proposal latent features. Proposal boxes are projected to perspective view so as to aggregate Region of Interest (RoI) local features. Based on that, proposal features are refined via a dynamic instance interactive head, which then generates classification and the offsets applied to original bounding boxes. Compared to prior arts, our sparse feature sampling module only utilizes local 2D features for adjustment of each corresponding 3D proposal box, leading to a complete sparse paradigm. The proposal features and appearance features are both taken in data association process in a multi-hypotheses 3D multi-object tracking approach. Extensive experiments on nuScenes dataset demonstrate the effectiveness of our proposed SRCN3D detector and tracker. Code is available at https://github.com/synsin0/SRCN3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google