FlipNeRF: Flipped Reflection Rays for Few-shot Novel View Synthesis

要約

Neural Radiance Field (NeRF) は、レンダリングされたイメージの優れた品質とシンプルなアーキテクチャにより、新しいビュー合成の主流となっています。
NeRF はさまざまな方向に開発され、その性能が継続的に向上していますが、高密度の多視点画像セットの必要性が、実用化に向けての障害として依然として存在しています。
この研究では、私たちが提案した反転反射光線を利用することにより、少数ショットの新しいビュー合成のための新しい正則化方法である FlipNeRF を提案します。
反転された反射光線は、入力光線の方向と推定された法線ベクトルから明示的に導出され、効果的な追加のトレーニング光線の役割を果たすと同時に、より正確な表面法線を推定し、3D ジオメトリを効果的に学習できるようになります。
表面法線とシーン深度はどちらも光線に沿った推定密度から導出されるため、正確な表面法線はより正確な深度推定につながり、これは少数ショットの新規ビュー合成の重要な要素となります。
さらに、私たちが提案した不確実性を考慮した空っぽ損失とボトルネック特徴一貫性損失により、FlipNeRF は、さまざまなシーン構造にわたって浮遊アーティファクトを効果的に削減して、より信頼性の高い出力を推定し、方向にキャストされるレイのペア間の特徴レベルの一貫性を強化できます。
それぞれ、追加の特徴抽出機能を持たない写真一貫性のあるピクセルです。
当社の FlipNeRF は、すべてのシナリオにわたる複数のベンチマークで SOTA パフォーマンスを達成します。

要約(オリジナル)

Neural Radiance Field (NeRF) has been a mainstream in novel view synthesis with its remarkable quality of rendered images and simple architecture. Although NeRF has been developed in various directions improving continuously its performance, the necessity of a dense set of multi-view images still exists as a stumbling block to progress for practical application. In this work, we propose FlipNeRF, a novel regularization method for few-shot novel view synthesis by utilizing our proposed flipped reflection rays. The flipped reflection rays are explicitly derived from the input ray directions and estimated normal vectors, and play a role of effective additional training rays while enabling to estimate more accurate surface normals and learn the 3D geometry effectively. Since the surface normal and the scene depth are both derived from the estimated densities along a ray, the accurate surface normal leads to more exact depth estimation, which is a key factor for few-shot novel view synthesis. Furthermore, with our proposed Uncertainty-aware Emptiness Loss and Bottleneck Feature Consistency Loss, FlipNeRF is able to estimate more reliable outputs with reducing floating artifacts effectively across the different scene structures, and enhance the feature-level consistency between the pair of the rays cast toward the photo-consistent pixels without any additional feature extractor, respectively. Our FlipNeRF achieves the SOTA performance on the multiple benchmarks across all the scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google