FreeVS: Generative View Synthesis on Free Driving Trajectory

要約

運転シーン用の既存の再構成ベースの新しいビュー合成方法は、自車両の記録された軌跡に沿ってカメラ ビューを合成することに重点を置いています。
カメラ レイがトレーニングされていない、記録された軌跡から外れる視点では、画像レンダリングのパフォーマンスが大幅に低下します。
私たちは、実際の運転シーンにおいて自由な新しい軌道でカメラビューを合成できる、新しい完全生成アプローチである FreeVS を提案します。
生成結果が実際のシーンと 3D 一致し、視点姿勢が正確になるように制御するために、生成プロセスを制御するビュー事前の疑似画像表現を提案します。
視点変換シミュレーションを疑似画像に適用して、各方向のカメラの動きをシミュレートします。
FreeVS は、トレーニングが完了すると、再構築プロセスや新しい軌道上の合成ビューを必要とせずに、あらゆる検証シーケンスに適用できます。
さらに、運転シーンに合わせた新たな挑戦的なベンチマークとして、視点の自由度を重視した新カメラ合成と新軌跡合成を提案します。
新しい軌道上で利用可能なグラウンドトゥルース画像がないことを考慮して、3D 知覚モデルを使用して新しい軌道上で合成された画像の一貫性を評価することも提案します。
Waymo Open Dataset での実験では、FreeVS が記録された軌道と新しい軌道の両方で強力な画像合成パフォーマンスを備えていることが示されています。
プロジェクトページ: https://freevs24.github.io/

要約(オリジナル)

Existing reconstruction-based novel view synthesis methods for driving scenes focus on synthesizing camera views along the recorded trajectory of the ego vehicle. Their image rendering performance will severely degrade on viewpoints falling out of the recorded trajectory, where camera rays are untrained. We propose FreeVS, a novel fully generative approach that can synthesize camera views on free new trajectories in real driving scenes. To control the generation results to be 3D consistent with the real scenes and accurate in viewpoint pose, we propose the pseudo-image representation of view priors to control the generation process. Viewpoint transformation simulation is applied on pseudo-images to simulate camera movement in each direction. Once trained, FreeVS can be applied to any validation sequences without reconstruction process and synthesis views on novel trajectories. Moreover, we propose two new challenging benchmarks tailored to driving scenes, which are novel camera synthesis and novel trajectory synthesis, emphasizing the freedom of viewpoints. Given that no ground truth images are available on novel trajectories, we also propose to evaluate the consistency of images synthesized on novel trajectories with 3D perception models. Experiments on the Waymo Open Dataset show that FreeVS has a strong image synthesis performance on both the recorded trajectories and novel trajectories. Project Page: https://freevs24.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google