NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects

要約

複雑なジオメトリと未知の屈折率を持つ 3D 透明オブジェクトをモデル化するための最初のエンドツーエンド ニューラル レンダリング パイプラインである NEMTO を提案します。
ディズニー BSDF モデルなどの一般的に使用される外観モデリングでは、複雑な光路が屈折によって曲がったり、表面の外観が照明に強く依存したりするため、この困難な問題に正確に対処できません。
入力として透明なオブジェクトの 2D 画像を使用すると、この方法は高品質の斬新なビューとリライティング合成が可能です。
暗黙的な符号付き距離関数 (SDF) を活用してオブジェクト ジオメトリをモデル化し、屈折を考慮したレイ ベンディング ネットワークを提案して、オブジェクト内の光屈折の効果をモデル化します。
当社のレイ ベンディング ネットワークは、透明なオブジェクトをレンダリングするための従来の物理ベースの方法よりも、幾何学的な不正確さに対してより耐性があります。
高品質の合成と手法の適用性を実証するために、合成データセットと実世界のデータセットの両方で広範な評価を提供します。

要約(オリジナル)

We propose NEMTO, the first end-to-end neural rendering pipeline to model 3D transparent objects with complex geometry and unknown indices of refraction. Commonly used appearance modeling such as the Disney BSDF model cannot accurately address this challenging problem due to the complex light paths bending through refractions and the strong dependency of surface appearance on illumination. With 2D images of the transparent object as input, our method is capable of high-quality novel view and relighting synthesis. We leverage implicit Signed Distance Functions (SDF) to model the object geometry and propose a refraction-aware ray bending network to model the effects of light refraction within the object. Our ray bending network is more tolerant to geometric inaccuracies than traditional physically-based methods for rendering transparent objects. We provide extensive evaluations on both synthetic and real-world datasets to demonstrate our high-quality synthesis and the applicability of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google