CARFF: Conditional Auto-encoded Radiance Field for 3D Scene Forecasting

要約

我々は、CARFF: Conditional Auto-encoded Radiance Field for 3D Scene Forecasting を提案します。これは、2D 自己中心画像などの過去の観察に基づいて将来の 3D シーンを予測する方法です。
私たちの方法では、確率的エンコーダーを使用して、画像をもっともらしい 3D 潜在シーン構成上の分布にマッピングし、仮説上のシーンの経時的進化を予測します。
私たちの潜在シーン表現は、3D シーン モデルを表現するためにグローバルな Neural Radiance Field (NeRF) を条件付けし、説明可能な予測と直接的な下流アプリケーションを可能にします。
このアプローチは、環境の状態とダイナミクスにおける不確実性の複雑なシナリオを考慮することにより、以前のニューラル レンダリング作業を超えて拡張されます。
3D 表現を学習するために、Pose-Conditional-VAE と NeRF の 2 段階のトレーニングを採用しています。
さらに、混合密度ネットワークを利用して、部分的に観察可能なマルコフ決定プロセスとして潜在シーン表現を自己回帰的に予測します。
CARLA 運転シミュレーターを使用した現実的なシナリオでのこの手法の有用性を実証します。CARFF を使用すると、視覚的遮蔽を含む複雑なマルチエージェント自動運転シナリオで効率的な軌道と緊急時対応計画を実現できます。

要約(オリジナル)

We propose CARFF: Conditional Auto-encoded Radiance Field for 3D Scene Forecasting, a method for predicting future 3D scenes given past observations, such as 2D ego-centric images. Our method maps an image to a distribution over plausible 3D latent scene configurations using a probabilistic encoder, and predicts the evolution of the hypothesized scenes through time. Our latent scene representation conditions a global Neural Radiance Field (NeRF) to represent a 3D scene model, which enables explainable predictions and straightforward downstream applications. This approach extends beyond previous neural rendering work by considering complex scenarios of uncertainty in environmental states and dynamics. We employ a two-stage training of Pose-Conditional-VAE and NeRF to learn 3D representations. Additionally, we auto-regressively predict latent scene representations as a partially observable Markov decision process, utilizing a mixture density network. We demonstrate the utility of our method in realistic scenarios using the CARLA driving simulator, where CARFF can be used to enable efficient trajectory and contingency planning in complex multi-agent autonomous driving scenarios involving visual occlusions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google