NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects

要約

我々は、複雑な形状と未知の屈折率を持つ3D透明オブジェクトをモデリングするための、初のエンドツーエンドのニューラルレンダリングパイプラインであるNEMTOを提案する。ディズニーBSDFモデルのような一般的に使用されている外観モデリングでは、屈折を通して曲がる複雑な光路や、表面の外観が照明に強く依存するため、この困難な問題に正確に対処できない。透明な物体の2次元画像を入力として、我々の手法は高品質な新規ビューとリライティング合成が可能である。我々は、陰的符号付き距離関数（SDF）を活用してオブジェクトの形状をモデル化し、屈折を考慮した光線屈曲ネットワークを提案して、オブジェクト内の光の屈折の影響をモデル化する。我々の光線屈曲ネットワークは、透明オブジェクトをレンダリングするための従来の物理ベースの手法よりも、幾何学的な不正確さに対して寛容である。合成と実世界のデータセットの両方で広範な評価を行い、高品質な合成と本手法の適用性を実証する。

要約(オリジナル)

We propose NEMTO, the first end-to-end neural rendering pipeline to model 3D transparent objects with complex geometry and unknown indices of refraction. Commonly used appearance modeling such as the Disney BSDF model cannot accurately address this challenging problem due to the complex light paths bending through refractions and the strong dependency of surface appearance on illumination. With 2D images of the transparent object as input, our method is capable of high-quality novel view and relighting synthesis. We leverage implicit Signed Distance Functions (SDF) to model the object geometry and propose a refraction-aware ray bending network to model the effects of light refraction within the object. Our ray bending network is more tolerant to geometric inaccuracies than traditional physically-based methods for rendering transparent objects. We provide extensive evaluations on both synthetic and real-world datasets to demonstrate our high-quality synthesis and the applicability of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL