NeRF synthesis with shading guidance

要約

新しい Neural Radiance Field (NeRF) は、3D シーンを表現する上で大きな可能性を示しており、まばらなビューのみが与えられた新しいビューからフォトリアリスティックな画像をレンダリングできます。
ただし、NeRF を利用して現実世界のシーンを再構成するには、さまざまな視点からの画像が必要となるため、実用化が制限されます。
この問題は、大規模なシーンではさらに顕著になる可能性があります。
この論文では、NeRF パッチのサンプルの構造コンテンツを利用して、大きなサイズの新しい放射輝度フィールドを構築する NeRF 合成と呼ばれる新しいタスクを紹介します。
形状と外観が連続する新しいシーンを合成するための 2 段階の方法を提案します。
また、アーティファクトを発生させずに任意のサイズのシーンを合成するための境界制約手法を提案します。
具体的には、シーンを分離するのではなく、シェーディング ガイダンスを使用して、合成されたシーンの照明効果を制御します。
私たちの方法は、複雑な照明のあるシーンであっても、一貫したジオメトリと外観を備えた高品質の結果を生成できることを実証しました。
また、任意の照明効果を使用して曲面上に新しいシーンを合成することもでき、これにより、提案する NeRF 合成アプローチの実用性が向上します。

要約(オリジナル)

The emerging Neural Radiance Field (NeRF) shows great potential in representing 3D scenes, which can render photo-realistic images from novel view with only sparse views given. However, utilizing NeRF to reconstruct real-world scenes requires images from different viewpoints, which limits its practical application. This problem can be even more pronounced for large scenes. In this paper, we introduce a new task called NeRF synthesis that utilizes the structural content of a NeRF patch exemplar to construct a new radiance field of large size. We propose a two-phase method for synthesizing new scenes that are continuous in geometry and appearance. We also propose a boundary constraint method to synthesize scenes of arbitrary size without artifacts. Specifically, we control the lighting effects of synthesized scenes using shading guidance instead of decoupling the scene. We have demonstrated that our method can generate high-quality results with consistent geometry and appearance, even for scenes with complex lighting. We can also synthesize new scenes on curved surface with arbitrary lighting effects, which enhances the practicality of our proposed NeRF synthesis approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google