Learning Object-Centric Neural Scattering Functions for Free-viewpoint Relighting and Scene Composition

要約

2D 画像からの写実的なオブジェクトの外観モデリングは、ビジョンとグラフィックスの分野で常に話題になっています。
ニューラルの暗黙的な方法 (Neural Radiance Fields など) は、忠実度の高いビュー合成結果を示していますが、キャプチャされたオブジェクトを再照明することはできません。
最近のニューラル インバース レンダリング アプローチでは、オブジェクトの再ライティングが可能になりましたが、サーフェス プロパティを単純な BRDF として表現するため、半透明のオブジェクトを処理できません。
画像のみからオブジェクトの外観を再構成することを学習するためのオブジェクト中心の神経散乱関数 (OSF) を提案します。
OSF は、自由視点オブジェクトの再照明をサポートするだけでなく、不透明なオブジェクトと半透明なオブジェクトの両方をモデル化することもできます。
半透明のオブジェクトの表面下の光輸送を正確にモデル化することは非常に複雑であり、ニューラル手法では扱いにくい場合もありますが、OSF は、任意の空間位置で離れた光から出射方向への放射輝度の伝達を近似することを学習します。
この近似により、複雑な表面下散乱を明示的にモデル化することが回避され、ニューラルの暗黙的モデルの学習が扱いやすくなります。
実際のデータと合成データの実験では、OSF が不透明なオブジェクトと半透明なオブジェクトの両方の外観を正確に再構築し、忠実な自由視点の再照明とシーン構成を可能にすることが示されています。

要約(オリジナル)

Photorealistic object appearance modeling from 2D images is a constant topic in vision and graphics. While neural implicit methods (such as Neural Radiance Fields) have shown high-fidelity view synthesis results, they cannot relight the captured objects. More recent neural inverse rendering approaches have enabled object relighting, but they represent surface properties as simple BRDFs, and therefore cannot handle translucent objects. We propose Object-Centric Neural Scattering Functions (OSFs) for learning to reconstruct object appearance from only images. OSFs not only support free-viewpoint object relighting, but also can model both opaque and translucent objects. While accurately modeling subsurface light transport for translucent objects can be highly complex and even intractable for neural methods, OSFs learn to approximate the radiance transfer from a distant light to an outgoing direction at any spatial location. This approximation avoids explicitly modeling complex subsurface scattering, making learning a neural implicit model tractable. Experiments on real and synthetic data show that OSFs accurately reconstruct appearances for both opaque and translucent objects, allowing faithful free-viewpoint relighting as well as scene composition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google