Relighting4D: Neural Relightable Human from Videos

要約

人間の再照明は非常に望ましいが挑戦的な仕事です。
既存の作品は、ライトステージを使用して一度に1ライト（OLAT）の高価なキャプチャデータを必要とするか、レンダリングされたボディの視点を自由に変更することができません。
この作品では、未知の照明の下で人間のビデオのみから自由な視点で再照明できるようにする原理的なフレームワーク、Relighting4Dを提案します。
私たちの重要な洞察は、人体の時空変化するジオメトリと反射率を、法線、閉塞、拡散、および鏡面反射マップの神経フィールドのセットとして分解できることです。
これらの神経フィールドは、反射率を意識した物理ベースのレンダリングにさらに統合され、神経フィールドの各頂点が環境からの光を吸収して反射します。
フレームワーク全体は、正規化のために設計された物理的な情報に基づいた事前確率を使用して、自己監視方式でビデオから学習できます。
実際のデータセットと合成データセットの両方での広範な実験は、私たちのフレームワークが自由な視点でダイナミックな人間のアクターを再照明できることを示しています。

要約(オリジナル)

Human relighting is a highly desirable yet challenging task. Existing works either require expensive one-light-at-a-time (OLAT) captured data using light stage or cannot freely change the viewpoints of the rendered body. In this work, we propose a principled framework, Relighting4D, that enables free-viewpoints relighting from only human videos under unknown illuminations. Our key insight is that the space-time varying geometry and reflectance of the human body can be decomposed as a set of neural fields of normal, occlusion, diffuse, and specular maps. These neural fields are further integrated into reflectance-aware physically based rendering, where each vertex in the neural field absorbs and reflects the light from the environment. The whole framework can be learned from videos in a self-supervised manner, with physically informed priors designed for regularization. Extensive experiments on both real and synthetic datasets demonstrate that our framework is capable of relighting dynamic human actors with free-viewpoints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google