HyperPlanes: Hypernetwork Approach to Rapid NeRF Adaptation

要約

ニューラル放射輝度場（NeRF）は、少数のベース画像から新しい3Dオブジェクトビューを合成するための標準として広く受け入れられている。しかし、NeRFの汎化特性には限界があり、表現したいアイテムごとに個別のアーキテクチャを学習するために多大な計算資源が必要となる。この問題に対処するため、我々はハイパーネットワークパラダイムに基づく、推論時に勾配最適化を必要としない数ショット学習アプローチを提案する。ハイパーネットワークは学習データから情報を収集し、普遍的な重みの更新を生成する。その結果、少数の画像から高品質な3次元物体表現を1ステップで生成する効率的な手法を開発した。これは、最先端のソリューションとの直接的な比較と、包括的な切除研究によって確認された。

要約(オリジナル)

Neural radiance fields (NeRFs) are a widely accepted standard for synthesizing new 3D object views from a small number of base images. However, NeRFs have limited generalization properties, which means that we need to use significant computational resources to train individual architectures for each item we want to represent. To address this issue, we propose a few-shot learning approach based on the hypernetwork paradigm that does not require gradient optimization during inference. The hypernetwork gathers information from the training data and generates an update for universal weights. As a result, we have developed an efficient method for generating a high-quality 3D object representation from a small number of images in a single step. This has been confirmed by direct comparison with the state-of-the-art solutions and a comprehensive ablation study.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL