HyP-NeRF: Learning Improved NeRF Priors using a HyperNetwork

要約

Neural Radiance Fields (NeRF) は、シーンやオブジェクトの高品質な外観と形状をキャプチャするための表現としてますます人気が高まっています。
ただし、ネットワークの重み空間の次元が高いため、シーンやオブジェクトのカテゴリにわたる一般化可能な NeRF 事前分布を学習することは困難でした。
一般化、マルチビューの一貫性に関する既存の研究の限界に対処し、品質を向上させるために、ハイパーネットワークを使用して一般化可能なカテゴリレベルの NeRF 事前分布を学習するための潜在的調整法である HyP-NeRF を提案します。
ハイパーネットワークを使用して NeRF の重みのみを推定するのではなく、重みと多重解像度ハッシュ エンコーディングの両方を推定することで、品質が大幅に向上します。
品質をさらに向上させるために、ハイパーネットワークによって推定された NeRF からレンダリングされた画像のノイズを除去し、マルチビューの一貫性を維持しながら微調整するノイズ除去および微調整戦略を組み込みました。
これらの改善により、単一ビューまたは乱雑なシーンからの NeRF 再構成やテキストから NeRF への変換など、複数の下流タスクの一般化可能な事前処理として HyP-NeRF を使用できるようになります。
私たちは定性的な比較を提供し、一般化、圧縮、検索という 3 つのタスクに関して HyP-NeRF を評価し、最先端の結果を実証します。

要約(オリジナル)

Neural Radiance Fields (NeRF) have become an increasingly popular representation to capture high-quality appearance and shape of scenes and objects. However, learning generalizable NeRF priors over categories of scenes or objects has been challenging due to the high dimensionality of network weight space. To address the limitations of existing work on generalization, multi-view consistency and to improve quality, we propose HyP-NeRF, a latent conditioning method for learning generalizable category-level NeRF priors using hypernetworks. Rather than using hypernetworks to estimate only the weights of a NeRF, we estimate both the weights and the multi-resolution hash encodings resulting in significant quality gains. To improve quality even further, we incorporate a denoise and finetune strategy that denoises images rendered from NeRFs estimated by the hypernetwork and finetunes it while retaining multiview consistency. These improvements enable us to use HyP-NeRF as a generalizable prior for multiple downstream tasks including NeRF reconstruction from single-view or cluttered scenes and text-to-NeRF. We provide qualitative comparisons and evaluate HyP-NeRF on three tasks: generalization, compression, and retrieval, demonstrating our state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google