FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes

要約

自律走行のためのカメラシミュレーション手法であるFreeSimを提案する。FreeSimは、記録された自我の軌跡を超えた視点からの高品質なレンダリングに重点を置いている。このような視点においては、これらの視点の学習データが利用できないため、従来の手法では許容できない劣化が生じる。このようなデータ不足に対処するために、我々はまず、マッチドデータ構築戦略を持つ生成的強調モデルを提案する。その結果、このモデルは、記録された軌跡からわずかにずれた視点において、この視点の劣化したレンダリングを条件として、高品質な画像を生成することができる。次に、漸進的な再構成戦略を提案する。この戦略は、わずかに軌跡から外れた視点から始めて、徐々に遠ざかるように、未記録の視点の生成画像を再構成プロセスに漸進的に加えるものである。この漸進的な生成-再構成パイプラインにより、FreeSimは3m以上の大きなずれの下でも高品質なオフトラジェクトリビュー合成をサポートします。

要約(オリジナル)

We propose FreeSim, a camera simulation method for autonomous driving. FreeSim emphasizes high-quality rendering from viewpoints beyond the recorded ego trajectories. In such viewpoints, previous methods have unacceptable degradation because the training data of these viewpoints is unavailable. To address such data scarcity, we first propose a generative enhancement model with a matched data construction strategy. The resulting model can generate high-quality images in a viewpoint slightly deviated from the recorded trajectories, conditioned on the degraded rendering of this viewpoint. We then propose a progressive reconstruction strategy, which progressively adds generated images of unrecorded views into the reconstruction process, starting from slightly off-trajectory viewpoints and moving progressively farther away. With this progressive generation-reconstruction pipeline, FreeSim supports high-quality off-trajectory view synthesis under large deviations of more than 3 meters.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL