Self-supervised Multi-future Occupancy Forecasting for Autonomous Driving

要約

環境予測フレームワークは、動的設定での自律車両（AV）の安全なナビゲーションにとって重要です。
Lidar生成の占有グリッドマップ（L-GMS）は、シーン表現の堅牢な鳥瞰図を提供し、部分的な観察性と知覚検出障害の回復力を示しながら、自己監視の共同シーンの予測を可能にします。
以前のアプローチは、グリッドセル空間内の決定論的L-GM予測アーキテクチャに焦点を合わせています。
これらの方法ではある程度の成功が見られますが、頻繁に非現実的な予測を生み出し、環境の確率的性質を捉えることができません。
さらに、AVSに存在する追加のセンサーモダリティを効果的に統合しません。
提案されたフレームワークである潜在的な占有予測（LOPR）は、生成アーキテクチャの潜在的な空間で確率的L-GM予測を実行し、RGBカメラ、マップ、および計画された軌跡のコンディショニングを可能にします。
リアルタイムで高品質の予測を提供するシングルステップデコーダーを使用して予測をデコードするか、拡散ベースのバッチデコーダーを使用して、デコードされたフレームをさらに改良して、時間的一貫性の問題に対処し、圧縮損失を減らすことができます。
ヌスセンとWaymoオープンデータセットに関する実験は、アプローチのすべてのバリエーションが定性的かつ定量的に以前のアプローチを上回ることを示しています。

要約(オリジナル)

Environment prediction frameworks are critical for the safe navigation of autonomous vehicles (AVs) in dynamic settings. LiDAR-generated occupancy grid maps (L-OGMs) offer a robust bird’s-eye view for the scene representation, enabling self-supervised joint scene predictions while exhibiting resilience to partial observability and perception detection failures. Prior approaches have focused on deterministic L-OGM prediction architectures within the grid cell space. While these methods have seen some success, they frequently produce unrealistic predictions and fail to capture the stochastic nature of the environment. Additionally, they do not effectively integrate additional sensor modalities present in AVs. Our proposed framework, Latent Occupancy Prediction (LOPR), performs stochastic L-OGM prediction in the latent space of a generative architecture and allows for conditioning on RGB cameras, maps, and planned trajectories. We decode predictions using either a single-step decoder, which provides high-quality predictions in real-time, or a diffusion-based batch decoder, which can further refine the decoded frames to address temporal consistency issues and reduce compression losses. Our experiments on the nuScenes and Waymo Open datasets show that all variants of our approach qualitatively and quantitatively outperform prior approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google