EvE: Exploiting Generative Priors for Radiance Field Enrichment

要約

野生の制約のない画像コレクションから大規模なシーンをモデリングすることは、コンピュータビジョンにおける大きな課題であることが証明されている。既存のin-the-wildニューラルレンダリングに取り組む手法は、知識が訓練セット内のシーンのキャプチャ画像に限定されるクローズドワールド設定で動作する。我々はEveを提案する。これは、我々の知る限り、生成的プリオールを活用してin-the-wildシーンモデリングを改善する最初の手法である。我々は、K-プレーン表現を外在的知識で豊かにするために、事前に訓練された生成的ネットワークを採用する。この目的のために、訓練セットで訓練されたK-プレーンの最適化ガイダンスを行うための交互訓練手順を定義する。我々は広範な実験を実施し、合成データと実際の観光写真集で本手法のメリットを検証した。Eveは、レンダリングされたシーンをより豊かなディテールで向上させ、実世界での新しいビュー合成のタスクにおいて、最先端の技術を凌駕しています。私たちのプロジェクトページは https://eve-nvs.github.io にあります。

要約(オリジナル)

Modeling large-scale scenes from unconstrained image collections in-the-wild has proven to be a major challenge in computer vision. Existing methods tackling in-the-wild neural rendering operate in a closed-world setting, where knowledge is limited to a scene’s captured images within a training set. We propose EvE, which is, to the best of our knowledge, the first method leveraging generative priors to improve in-the-wild scene modeling. We employ pre-trained generative networks to enrich K-Planes representations with extrinsic knowledge. To this end, we define an alternating training procedure to conduct optimization guidance of K-Planes trained on the training set. We carry out extensive experiments and verify the merit of our method on synthetic data as well as real tourism photo collections. EvE enhances rendered scenes with richer details and outperforms the state of the art on the task of novel view synthesis in-the-wild. Our project page can be found at https://eve-nvs.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL