StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints

要約

Neural Radiance Fields (NeRF) は、高密度にキャプチャされた入力画像で写真のようにリアルなビュー合成を実現します。
ただし、NeRF のジオメトリは、ビューがまばらであるため、制約が非常に少ないため、新しいビュー合成の品質が大幅に低下します。
自己教師あり深度推定方法に着想を得て、入力がまばらな屋内シーンの新しいビュー合成のソリューションである StructNeRF を提案します。
StructNeRF は、マルチビュー入力に自然に埋め込まれた構造ヒントを活用して、NeRF の制約のないジオメトリの問題を処理します。
具体的には、テクスチャ領域と非テクスチャ領域にそれぞれ取り組みます。テクスチャ領域のジオメトリを制約するために、パッチベースのマルチビューの一貫した測光損失が提案されています。
テクスチャのないものについては、それらが 3D の一貫した平面になるように明示的に制限します。
高密度の自己監視深度制約により、この方法は、外部データの追加トレーニングなしで、ジオメトリと NeRF のビュー合成パフォーマンスの両方を向上させます。
いくつかの実世界のデータセットでの広範な実験は、StructNeRF が量的にも質的にもまばらな入力を持つ屋内シーンの最先端の方法を凌駕することを示しています。

要約(オリジナル)

Neural Radiance Fields (NeRF) achieve photo-realistic view synthesis with densely captured input images. However, the geometry of NeRF is extremely under-constrained given sparse views, resulting in significant degradation of novel view synthesis quality. Inspired by self-supervised depth estimation methods, we propose StructNeRF, a solution to novel view synthesis for indoor scenes with sparse inputs. StructNeRF leverages the structural hints naturally embedded in multi-view inputs to handle the unconstrained geometry issue in NeRF. Specifically, it tackles the texture and non-texture regions respectively: a patch-based multi-view consistent photometric loss is proposed to constrain the geometry of textured regions; for non-textured ones, we explicitly restrict them to be 3D consistent planes. Through the dense self-supervised depth constraints, our method improves both the geometry and the view synthesis performance of NeRF without any additional training on external data. Extensive experiments on several real-world datasets demonstrate that StructNeRF surpasses state-of-the-art methods for indoor scenes with sparse inputs both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google