ZeroRF: Fast Sparse View 360° Reconstruction with Zero Pretraining

要約

神経場表現におけるスパース ビュー 360{\deg} 再構成の課題に対処する新しいシーンごとの最適化手法である ZeroRF を紹介します。
Neural Radiance Fields (NeRF) のような現在の画期的な技術は、高忠実度の画像合成を実証していますが、まばらな入力ビューに苦戦しています。
一般化可能な NeRF やシーンごとの最適化アプローチなどの既存の手法は、データの依存関係、計算コスト、さまざまなシナリオにわたる一般化の制限に直面しています。
これらの課題を克服するために、私たちは ZeroRF を提案します。その主なアイデアは、調整された Deep Image Prior を因数分解された NeRF 表現に統合することです。
従来の方法とは異なり、ZeroRF はニューラル ネットワーク ジェネレーターを使用して特徴グリッドをパラメータ化し、事前トレーニングや追加の正則化を行わずに効率的なスパース ビュー 360{\deg} 再構成を可能にします。
広範な実験により、品質と速度の両方の点で ZeroRF の多用途性と優位性が実証され、ベンチマーク データセットで最先端の結果が得られました。
ZeroRF の重要性は、3D コンテンツの生成と編集のアプリケーションにまで及びます。
プロジェクトページ：https://sarahweiii.github.io/zerorf/

要約(オリジナル)

We present ZeroRF, a novel per-scene optimization method addressing the challenge of sparse view 360{\deg} reconstruction in neural field representations. Current breakthroughs like Neural Radiance Fields (NeRF) have demonstrated high-fidelity image synthesis but struggle with sparse input views. Existing methods, such as Generalizable NeRFs and per-scene optimization approaches, face limitations in data dependency, computational cost, and generalization across diverse scenarios. To overcome these challenges, we propose ZeroRF, whose key idea is to integrate a tailored Deep Image Prior into a factorized NeRF representation. Unlike traditional methods, ZeroRF parametrizes feature grids with a neural network generator, enabling efficient sparse view 360{\deg} reconstruction without any pretraining or additional regularization. Extensive experiments showcase ZeroRF’s versatility and superiority in terms of both quality and speed, achieving state-of-the-art results on benchmark datasets. ZeroRF’s significance extends to applications in 3D content generation and editing. Project page: https://sarahweiii.github.io/zerorf/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google