SimVS: Simulating World Inconsistencies for Robust View Synthesis

要約

ノベルビュー合成技術は、静的シーンでは印象的な結果を達成しますが、照明の変化、シーンの動き、明示的にモデル化することが難しいその他の意図しない効果など、カジュアルなキャプチャ設定に固有の不一致に直面すると苦労します。
生成ビデオ モデルを活用して、キャプチャ中に発生する可能性のある世界の不一致をシミュレートするアプローチを紹介します。
このプロセスと既存のマルチビュー データセットを使用して、一貫性のない観察を一貫した 3D シーンに調整できるマルチビュー調和ネットワークをトレーニングするための合成データを作成します。
私たちのワールド シミュレーション戦略は、現実世界のシーンの変化を処理する際に従来の拡張手法よりも大幅に優れており、それによって、さまざまな困難な不一致が存在する場合でも高精度の静的 3D 再構成が可能になることを実証します。
プロジェクトページ: https://alextrevithick.github.io/simvs

要約(オリジナル)

Novel-view synthesis techniques achieve impressive results for static scenes but struggle when faced with the inconsistencies inherent to casual capture settings: varying illumination, scene motion, and other unintended effects that are difficult to model explicitly. We present an approach for leveraging generative video models to simulate the inconsistencies in the world that can occur during capture. We use this process, along with existing multi-view datasets, to create synthetic data for training a multi-view harmonization network that is able to reconcile inconsistent observations into a consistent 3D scene. We demonstrate that our world-simulation strategy significantly outperforms traditional augmentation methods in handling real-world scene variations, thereby enabling highly accurate static 3D reconstructions in the presence of a variety of challenging inconsistencies. Project page: https://alextrevithick.github.io/simvs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google