Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

要約

さまざまな照明条件下でオブジェクトやシーンを再構築して再照明することは困難です。既存のニューラル レンダリング手法では、マテリアルと光の間の複雑な相互作用を処理できないことがよくあります。
事前に計算された放射輝度転送技術を組み込むことで、グローバル イルミネーションが可能になりますが、表面下散乱効果のあるマテリアルでは依然として困難が伴います。
私たちは、ボリューム レンダリングを通じて放射輝度伝達フィールドを学習し、さまざまな外観キューを利用してジオメトリをエンドツーエンドで洗練するための新しいフレームワークを提案します。
このフレームワークは、再照明および再構成機能を拡張して、データ駆動型の方法でより広範囲のマテリアルを処理できるようにします。
結果として得られるモデルは、既存の条件および新しい条件において妥当なレンダリング結果を生成します。
私たちはコードと、表面下散乱効果を備えたオブジェクトの新しいライト ステージ データセットを一般公開する予定です。

要約(オリジナル)

Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google