NeMF: Inverse Volume Rendering with Neural Microflake Field

要約

タイトル：NeMF：ニューラルマイクロフレークフィールドを使用した逆ボリュームレンダリング

要約：
– 不明な照明下で撮影された画像から、オブジェクトの外観の物理的属性を回復することは、フォトリアルなレンダリングにとって困難であり、重要である。
– 最近のアプローチは、新しい暗黙のシーン表現を採用し、印象的な結果を示している。しかし、それらは表面ベースの表現を一貫して採用しており、非常に複雑なジオメトリ、半透明オブジェクトなどのシーンをうまく処理できない。
– 本論文では、表面ベースの手法とは対照的に、ボリュームレンダリングを行うことを提案している。これは、無限に小さなフレークで空間が満たされており、光が各空間位置でマイクロフレーク分布に従って反射または散乱することを仮定するマイクロフレークボリュームでシーンを表現することにより実現される。
– さらに、座標ネットワークを採用して、マイクロフレークボリュームを暗黙的にエンコードし、原理的にエンドツーエンドでネットワークをトレーニングするための微分可能なマイクロフレークボリュームレンダラーを開発した。
– NeMFは、非常に複雑なジオメトリや散乱オブジェクトの外観を効果的に回復させ、高品質のリレーティング、素材編集を実現し、特に表面ベースの手法では不可能な散乱などのボリュームレンダリング効果をシミュレートすることができる。

要約(オリジナル)

Recovering the physical attributes of an object’s appearance from its images captured under an unknown illumination is challenging yet essential for photo-realistic rendering. Recent approaches adopt the emerging implicit scene representations and have shown impressive results.However, they unanimously adopt a surface-based representation,and hence can not well handle scenes with very complex geometry, translucent object and etc.In this paper, we propose to conduct inverse volume rendering, in contrast to surface-based, by representing a scene using microflake volume, which assumes the space is filled with infinite small flakes and light reflects or scatters at each spatial location according to microflake distributions. We further adopt the coordinate networks to implicitly encode the microflake volume, and develop a differentiable microflake volume renderer to train the network in an end-to-end way in principle.Our NeMF enables effective recovery of appearance attributes for highly complex geometry and scattering object, enables high-quality relighting, material editing, and especially simulates volume rendering effects, such as scattering, which is infeasible for surface-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI