Adjustable Visual Appearance for Generalizable Novel View Synthesis

要約

シーン固有のトレーニングやターゲット条件での参照ビューへのアクセスを必要とせずに、レンダリングされたビューがターゲットの天候や照明条件に一致するように、観察されたシーンの視覚的な外観を変更できる、一般化可能な新しいビュー合成方法を紹介します。
私たちの手法は、事前トレーニングされた一般化可能なトランスフォーマー アーキテクチャに基づいており、さまざまな外観条件下で合成的に生成されたシーンに基づいて微調整されています。
これにより、トレーニング セットに含まれていない 3D シーンに対して一貫した方法で新しいビューをレンダリングできるほか、(i) ターゲット条件に一致するように外観を変更する機能、および (ii) 異なる条件間をスムーズに補間する機能も備えています。
実際のシーンと合成シーンでの実験では、私たちの方法が、定性的および定量的な比較を含め、現実的な外観の変更を加えながら、一貫した 3D レンダリングを生成できることが示されています。
ビデオ結果については、プロジェクト ページを参照してください: https://ava-nvs.github.io/

要約(オリジナル)

We present a generalizable novel view synthesis method which enables modifying the visual appearance of an observed scene so rendered views match a target weather or lighting condition without any scene specific training or access to reference views at the target condition. Our method is based on a pretrained generalizable transformer architecture and is fine-tuned on synthetically generated scenes under different appearance conditions. This allows for rendering novel views in a consistent manner for 3D scenes that were not included in the training set, along with the ability to (i) modify their appearance to match the target condition and (ii) smoothly interpolate between different conditions. Experiments on real and synthetic scenes show that our method is able to generate 3D consistent renderings while making realistic appearance changes, including qualitative and quantitative comparisons. Please refer to our project page for video results: https://ava-nvs.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google