Instant Volumetric Head Avatars

要約

フォトリアリスティックなデジタル アバターを瞬時に再構築するための新しいアプローチである Instant Volumetric Head Avatars (INSTA) を紹介します。
INSTA は、パラメトリックな顔モデルの周囲に埋め込まれたニューラル グラフィックス プリミティブに基づいて、動的なニューラル ラディアンス フィールドをモデル化します。
私たちのパイプラインは、さまざまな表情や視点で被写体を観察する単一の単眼 RGB ポートレート ビデオでトレーニングされています。
最先端の方法ではアバターのトレーニングに数日かかるのに対し、私たちの方法では、最新の GPU ハードウェアで 10 分未満でデジタル アバターを再構築できます。これは、以前のソリューションよりも桁違いに高速です。
さらに、斬新なポーズや表情をインタラクティブに表現できます。
基礎となるパラメトリック顔モデルの前のジオメトリを活用することにより、INSTA が目に見えないポーズを推定することを示します。
さまざまなテーマに関する定量的および定性的な研究において、INSTA はレンダリングの品質とトレーニング時間に関して最先端の方法よりも優れています。

要約(オリジナル)

We present Instant Volumetric Head Avatars (INSTA), a novel approach for reconstructing photo-realistic digital avatars instantaneously. INSTA models a dynamic neural radiance field based on neural graphics primitives embedded around a parametric face model. Our pipeline is trained on a single monocular RGB portrait video that observes the subject under different expressions and views. While state-of-the-art methods take up to several days to train an avatar, our method can reconstruct a digital avatar in less than 10 minutes on modern GPU hardware, which is orders of magnitude faster than previous solutions. In addition, it allows for the interactive rendering of novel poses and expressions. By leveraging the geometry prior of the underlying parametric face model, we demonstrate that INSTA extrapolates to unseen poses. In quantitative and qualitative studies on various subjects, INSTA outperforms state-of-the-art methods regarding rendering quality and training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google