Spatiotemporal Decoupling for Efficient Vision-Based Occupancy Forecasting

要約

占有予測 (OCF) のタスクには、過去と現在の認識データを利用して、自動運転車の周囲環境の将来の占有状態を予測することが含まれます。これは、障害物回避や経路計画などの下流タスクにとって重要です。
既存の 3D OCF アプローチは、移動可能なオブジェクトの妥当な空間詳細を予測するのに苦労しており、空間と時間の両方で変化する占有状態の偏りや不均一な分布を無視しているため、推論速度が遅いという問題があります。
この論文では、バイアスに明示的に取り組み、効果的かつ効率的な 3D OCF の両方を達成するための、新しい時空間デカップリング ビジョン ベースのパラダイムを提案します。
空き領域の空間バイアスに対処するために、従来の高密度 3D フォーマットを、対応する高さの値を持つ 2D 鳥瞰図 (BEV) 占有状態に分離する新しい空間表現を導入します。これにより、2D 予測のみから導出される 3D OCF が可能になり、効率が向上します。
静的ボクセルの時間的バイアスを軽減するために、予測されたフローを介してインスタンスを時間的に関連付けることにより、エンドツーエンドの OCF を改善する時間的デカップリングを設計します。
私たちは、時空間的に分離された表現を考案し、3D OCF を実現するための効率的なマルチヘッド ネットワーク EfficientOCF を開発します。
新しいメトリクスである条件付き IoU (C-IoU) も導入され、特にアノテーションが欠落しているか不完全なデータセットにおいて、堅牢な 3D OCF パフォーマンス評価を提供します。
実験結果は、EfficientOCF が精度と効率の点で既存のベースライン手法を上回り、単一の GPU で 82.33 ミリ秒の高速推論時間で最先端のパフォーマンスを達成することを示しています。
私たちのコードはオープンソースとして公開されます。

要約(オリジナル)

The task of occupancy forecasting (OCF) involves utilizing past and present perception data to predict future occupancy states of autonomous vehicle surrounding environments, which is critical for downstream tasks such as obstacle avoidance and path planning. Existing 3D OCF approaches struggle to predict plausible spatial details for movable objects and suffer from slow inference speeds due to neglecting the bias and uneven distribution of changing occupancy states in both space and time. In this paper, we propose a novel spatiotemporal decoupling vision-based paradigm to explicitly tackle the bias and achieve both effective and efficient 3D OCF. To tackle spatial bias in empty areas, we introduce a novel spatial representation that decouples the conventional dense 3D format into 2D bird’s-eye view (BEV) occupancy with corresponding height values, enabling 3D OCF derived only from 2D predictions thus enhancing efficiency. To reduce temporal bias on static voxels, we design temporal decoupling to improve end-to-end OCF by temporally associating instances via predicted flows. We develop an efficient multi-head network EfficientOCF to achieve 3D OCF with our devised spatiotemporally decoupled representation. A new metric, conditional IoU (C-IoU), is also introduced to provide a robust 3D OCF performance assessment, especially in datasets with missing or incomplete annotations. The experimental results demonstrate that EfficientOCF surpasses existing baseline methods on accuracy and efficiency, achieving state-of-the-art performance with a fast inference time of 82.33ms with a single GPU. Our code will be released as open source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google