RefinedFields: Radiance Fields Refinement for Unconstrained Scenes

要約

制約のない画像から大規模なシーンをモデル化することは、コンピュータ ビジョンにおける大きな課題であることが証明されています。
野生のシーンのモデリングに取り組む既存の方法は、現実世界の画像から取得された事前分布に基づく条件付けが存在しない、閉じた世界の設定で動作します。
私たちは、RefinedFields を提案します。これは、私たちの知る限り、事前トレーニングされたモデルを利用して実際のシーンのモデリングを改善する最初の方法です。
事前トレーニングされたネットワークを採用し、交互トレーニング手順を使用した最適化ガイダンスを通じて K プレーン表現を改良します。
私たちは広範な実験を実施し、合成データと実際の観光写真コレクションに対して私たちの方法の利点を検証します。
RefinedFields は、レンダリングされたシーンをより豊かな詳細で強化し、実際の新しいビュー合成のタスクにおける基本表現を改善します。
私たちのプロジェクト ページは https://refinedfields.github.io にあります。

要約(オリジナル)

Modeling large scenes from unconstrained images has proven to be a major challenge in computer vision. Existing methods tackling in-the-wild scene modeling operate in closed-world settings, where no conditioning on priors acquired from real-world images is present. We propose RefinedFields, which is, to the best of our knowledge, the first method leveraging pre-trained models to improve in-the-wild scene modeling. We employ pre-trained networks to refine K-Planes representations via optimization guidance using an alternating training procedure. We carry out extensive experiments and verify the merit of our method on synthetic data and real tourism photo collections. RefinedFields enhances rendered scenes with richer details and improves upon its base representation on the task of novel view synthesis in the wild. Our project page can be found at https://refinedfields.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google