Few-shot NeRF by Adaptive Rendering Loss Regularization

要約

スパース入力による新しいビュー合成は、Neural Radiance Field (NeRF) に大きな課題をもたらします。
最近の研究では、位置エンコーディング (PE) の周波数正則化が少数ショット NeRF に対して有望な結果を達成できることを実証しています。
この研究では、PE の周波数正則化とレンダリング損失の間に矛盾が存在することを明らかにしました。
これにより、ショット数の少ない NeRF が高品質の新規ビューを合成できなくなります。
この矛盾を軽減するために、AR-NeRF と呼ばれる少数ショット NeRF の適応レンダリング損失正則化を提案します。
具体的には、PE と 2D ピクセル監視の間の周波数関係を調整するための、2 フェーズ レンダリング監視と適応レンダリング損失重み学習戦略を提案します。
このようにして、AR-NeRF はトレーニングの初期段階でグローバル構造をより適切に学習し、トレーニング プロセス全体を通じてローカルな詳細を適応的に学習できます。
広範な実験により、AR-NeRF がオブジェクト レベルや複雑なシーンを含むさまざまなデータセットで最先端のパフォーマンスを達成できることが示されています。

要約(オリジナル)

Novel view synthesis with sparse inputs poses great challenges to Neural Radiance Field (NeRF). Recent works demonstrate that the frequency regularization of Positional Encoding (PE) can achieve promising results for few-shot NeRF. In this work, we reveal that there exists an inconsistency between the frequency regularization of PE and rendering loss. This prevents few-shot NeRF from synthesizing higher-quality novel views. To mitigate this inconsistency, we propose Adaptive Rendering loss regularization for few-shot NeRF, dubbed AR-NeRF. Specifically, we present a two-phase rendering supervision and an adaptive rendering loss weight learning strategy to align the frequency relationship between PE and 2D-pixel supervision. In this way, AR-NeRF can learn global structures better in the early training phase and adaptively learn local details throughout the training process. Extensive experiments show that our AR-NeRF achieves state-of-the-art performance on different datasets, including object-level and complex scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google