SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data

要約

部分的に対称なオブジェクトの正確な3D再構成のための方法を提示します。
Neural Radiance Fields（NeRF）などの神経再構成とレンダリングにおける最近の進歩の強みに基づいています。
このようなアプローチの主な欠点は、トレーニング画像ではっきりと見えないオブジェクトの部分を再構築できないことです。これは、実際の画像やビデオの場合によくあることです。
証拠が不足している場合は、対称性などの構造的な優先順位を使用して、不足している情報を完成させることができます。
ただし、ニューラルレンダリングでこのような事前確率を利用することは非常に重要です。ジオメトリと非反射マテリアルは対称である可能性がありますが、周囲のシーンからの影と反射は一般に対称ではありません。
これに対処するために、3Dジオメトリとマテリアルプロパティにソフト対称制約を適用し、照明、アルベドカラー、反射率に外観を考慮します。
最近導入されたCO3Dデータセットで、反射率の高い材料の再構築に挑戦している車のカテゴリに焦点を当てて、この方法を評価します。
観測されていない領域を忠実に再構成し、高品質の斬新なビュー画像をレンダリングできることを示します。

要約(オリジナル)

We present a method for the accurate 3D reconstruction of partly-symmetric objects. We build on the strengths of recent advances in neural reconstruction and rendering such as Neural Radiance Fields (NeRF). A major shortcoming of such approaches is that they fail to reconstruct any part of the object which is not clearly visible in the training image, which is often the case for in-the-wild images and videos. When evidence is lacking, structural priors such as symmetry can be used to complete the missing information. However, exploiting such priors in neural rendering is highly non-trivial: while geometry and non-reflective materials may be symmetric, shadows and reflections from the ambient scene are not symmetric in general. To address this, we apply a soft symmetry constraint to the 3D geometry and material properties, having factored appearance into lighting, albedo colour and reflectivity. We evaluate our method on the recently introduced CO3D dataset, focusing on the car category due to the challenge of reconstructing highly-reflective materials. We show that it can reconstruct unobserved regions with high fidelity and render high-quality novel view images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google