StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models

要約

この論文は、車両センサー データからのフォトリアリスティックなビュー合成の問題に取り組むことを目的としています。
ニューラル シーン表現における最近の進歩は、高品質の自動運転シーンのレンダリングにおいて顕著な成功を収めていますが、視点がトレーニング軌道から逸脱すると、パフォーマンスは大幅に低下します。
この問題を軽減するために、LiDAR 点群レンダリングをピクセルレベルの条件として利用する新しい制御可能なビデオ拡散モデルである StreetCrafter を導入します。これは、正確なカメラ制御を維持しながら、新しいビュー合成のための生成事前を完全に活用します。
さらに、ピクセル レベルの LiDAR 条件を利用することで、ターゲット シーンに対して正確なピクセル レベルの編集を行うことができます。
さらに、StreetCrafter の生成事前生成を動的シーン表現に効果的に組み込んで、リアルタイム レンダリングを実現できます。
Waymo Open Dataset と PandaSet の実験では、このモデルが視点変更の柔軟な制御を可能にし、満足のいくレンダリングのためにビュー合成領域を拡大し、既存の方法を上回るパフォーマンスを発揮することを示しています。

要約(オリジナル)

This paper aims to tackle the problem of photorealistic view synthesis from vehicle sensor data. Recent advancements in neural scene representation have achieved notable success in rendering high-quality autonomous driving scenes, but the performance significantly degrades as the viewpoint deviates from the training trajectory. To mitigate this problem, we introduce StreetCrafter, a novel controllable video diffusion model that utilizes LiDAR point cloud renderings as pixel-level conditions, which fully exploits the generative prior for novel view synthesis, while preserving precise camera control. Moreover, the utilization of pixel-level LiDAR conditions allows us to make accurate pixel-level edits to target scenes. In addition, the generative prior of StreetCrafter can be effectively incorporated into dynamic scene representations to achieve real-time rendering. Experiments on Waymo Open Dataset and PandaSet demonstrate that our model enables flexible control over viewpoint changes, enlarging the view synthesis regions for satisfying rendering, which outperforms existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google