Relightable and Animatable Neural Avatar from Sparse-View Video

要約

この論文では、未知の照明の下で動的な人間のスパースビュー (または単眼) ビデオから再照明可能でアニメーション化可能なニューラル アバターを作成するという課題に取り組みます。
スタジオ環境と比較すると、この設定はより実用的でアクセスしやすいですが、非常に困難な不適切な問題が生じます。
以前のニューラル ヒューマン再構成手法では、変形した符号付き距離フィールド (SDF) を使用してまばらなビューからアニメーション化可能なアバターを再構成できますが、再照明用のマテリアル パラメータを回復することはできません。
微分可能な逆レンダリング ベースの手法は、静的オブジェクトのマテリアルの回復には成功していますが、逆レンダリングのために変形した SDF 上でピクセルとサーフェスの交差と光の可視性を計算するのは計算量が多いため、動的な人間に拡張するのは簡単ではありません。
この課題を解決するために、人間の任意のポーズの下でワールド空間距離を近似する階層距離クエリ (HDQ) アルゴリズムを提案します。
具体的には、パラメトリック人間モデルに基づいて大まかな距離を推定し、SDF の局所変形不変性を利用して細かい距離を計算します。
HDQ アルゴリズムに基づいて、球面追跡を活用して、サーフェスの交差と光の可視性を効率的に推定します。
これにより、まばらなビュー (または単眼) 入力からアニメーション化可能で再照明可能なニューラル アバターを復元する最初のシステムを開発することができます。
実験により、私たちのアプローチが最先端の方法と比較して優れた結果を生み出すことができることが実証されています。
コードは再現性を確保するために公開されます。

要約(オリジナル)

This paper tackles the challenge of creating relightable and animatable neural avatars from sparse-view (or even monocular) videos of dynamic humans under unknown illumination. Compared to studio environments, this setting is more practical and accessible but poses an extremely challenging ill-posed problem. Previous neural human reconstruction methods are able to reconstruct animatable avatars from sparse views using deformed Signed Distance Fields (SDF) but cannot recover material parameters for relighting. While differentiable inverse rendering-based methods have succeeded in material recovery of static objects, it is not straightforward to extend them to dynamic humans as it is computationally intensive to compute pixel-surface intersection and light visibility on deformed SDFs for inverse rendering. To solve this challenge, we propose a Hierarchical Distance Query (HDQ) algorithm to approximate the world space distances under arbitrary human poses. Specifically, we estimate coarse distances based on a parametric human model and compute fine distances by exploiting the local deformation invariance of SDF. Based on the HDQ algorithm, we leverage sphere tracing to efficiently estimate the surface intersection and light visibility. This allows us to develop the first system to recover animatable and relightable neural avatars from sparse view (or monocular) inputs. Experiments demonstrate that our approach is able to produce superior results compared to state-of-the-art methods. Our code will be released for reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google