NeMF: Inverse Volume Rendering with Neural Microflake Field

要約

タイトル：NeMF：神経微小菌状フィールドによる逆ボリュームレンダリング

要約：
– 不明照明下での画像から物体の外観の物理的属性を回復することは、写実的なレンダリングにとって重要ですが、困難でもあります。
– 最近のアプローチでは、新興の暗黙的シーン表現を採用し、素晴らしい結果を示しています。
– しかし、彼らは一般的に表面ベースの表現を採用しており、非常に複雑なジオメトリ、透明なオブジェクトなどのシーンをうまく処理できません。
– この論文では、表面ベースの代わりに、ミクロフレークボリュームを使用してシーンを表現し、逆ボリュームレンダリングを実施することを提案しています。このアプローチでは、空間が無限小のフレークで満たされ、光がミクロフレーク分布に従って各空間場所で反射または散乱すると仮定します。
– さらに、座標ネットワークを採用して、ミクロフレークボリュームを暗黙的にエンコードし、微小フレークボリュームレンダラーを開発して、原理的にエンドツーエンドでネットワークをトレーニングすることができます。
– NeMFは、非常に複雑なジオメトリや散乱物体の外観特性を効果的に回復させ、高品質のリライティング、素材編集、特に散乱などのボリュームレンダリング効果をシミュレートすることができます。

要約(オリジナル)

Recovering the physical attributes of an object’s appearance from its images captured under an unknown illumination is challenging yet essential for photo-realistic rendering. Recent approaches adopt the emerging implicit scene representations and have shown impressive results.However, they unanimously adopt a surface-based representation,and hence can not well handle scenes with very complex geometry, translucent object and etc. In this paper, we propose to conduct inverse volume rendering, in contrast to surface-based, by representing a scene using microflake volume, which assumes the space is filled with infinite small flakes and light reflects or scatters at each spatial location according to microflake distributions. We further adopt the coordinate networks to implicitly encode the microflake volume, and develop a differentiable microflake volume renderer to train the network in an end-to-end way in principle.Our NeMF enables effective recovery of appearance attributes for highly complex geometry and scattering object, enables high-quality relighting, material editing, and especially simulates volume rendering effects, such as scattering, which is infeasible for surface-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI