Self-supervised Multi-future Occupancy Forecasting for Autonomous Driving

要約

環境予測フレームワークは、動的設定における自動運転車 (AV) の安全なナビゲーションにとって重要です。
LiDAR で生成された占有グリッド マップ (L-OGM) は、シーン表現の堅牢な鳥瞰図を提供し、部分的な可観測性と知覚検出の失敗に対する回復力を示しながら、自己監視型の共同シーン予測を可能にします。
これまでのアプローチは、グリッド セル空間内の決定論的な L-OGM 予測アーキテクチャに焦点を当てていました。
これらの方法はある程度の成功を収めていますが、多くの場合、非現実的な予測が生成され、環境の確率的性質を捉えることができません。
さらに、AV に存在する追加のセンサー モダリティを効果的に統合することはできません。
私たちが提案するフレームワークは、生成アーキテクチャの潜在空間で確率的 L-OGM 予測を実行し、RGB カメラ、マップ、計画された軌道の条件付けを可能にします。
リアルタイムで高品質の予測を提供するシングルステップ デコーダー、またはデコードされたフレームをさらに改良して時間的一貫性の問題に対処し、圧縮損失を削減できる拡散ベースのバッチ デコーダーのいずれかを使用して予測をデコードします。
nuScenes と Waymo Open データセットでの実験では、私たちのアプローチのすべてのバリアントが、以前のアプローチよりも定性的および量的に優れていることがわかりました。

要約(オリジナル)

Environment prediction frameworks are critical for the safe navigation of autonomous vehicles (AVs) in dynamic settings. LiDAR-generated occupancy grid maps (L-OGMs) offer a robust bird’s-eye view for the scene representation, enabling self-supervised joint scene predictions while exhibiting resilience to partial observability and perception detection failures. Prior approaches have focused on deterministic L-OGM prediction architectures within the grid cell space. While these methods have seen some success, they frequently produce unrealistic predictions and fail to capture the stochastic nature of the environment. Additionally, they do not effectively integrate additional sensor modalities present in AVs. Our proposed framework performs stochastic L-OGM prediction in the latent space of a generative architecture and allows for conditioning on RGB cameras, maps, and planned trajectories. We decode predictions using either a single-step decoder, which provides high-quality predictions in real-time, or a diffusion-based batch decoder, which can further refine the decoded frames to address temporal consistency issues and reduce compression losses. Our experiments on the nuScenes and Waymo Open datasets show that all variants of our approach qualitatively and quantitatively outperform prior approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google