FlashAvatar: High-fidelity Head Avatar with Efficient Gaussian Embedding

要約

私たちは、斬新で軽量な 3D アニメ化可能なアバター表現である FlashAvatar を提案します。これは、短い単眼ビデオ シーケンスからデジタル アバターを数分で再構築し、民生用 GPU で 300FPS で高忠実度のフォトリアリスティックな画像をレンダリングできます。
これを達成するために、パラメトリック顔モデルの表面に埋め込まれた均一な 3D ガウス フィールドを維持し、追加の空間オフセットを学習して、非表面領域と微妙な顔の詳細をモデル化します。
幾何学的事前分布を最大限に使用すると、高周波の顔の詳細をキャプチャし、誇張した表現を保存できますが、適切な初期化によりガウスの数を減らすことができるため、超高速のレンダリング速度が可能になります。
広範な実験結果により、FlashAvatar はビジュアル品質とパーソナライズされた詳細に関して既存の作品よりも優れており、レンダリング速度がほぼ 1 桁速いことが実証されています。
プロジェクトページ：https://ustc3dv.github.io/FlashAvatar/

要約(オリジナル)

We propose FlashAvatar, a novel and lightweight 3D animatable avatar representation that could reconstruct a digital avatar from a short monocular video sequence in minutes and render high-fidelity photo-realistic images at 300FPS on a consumer-grade GPU. To achieve this, we maintain a uniform 3D Gaussian field embedded in the surface of a parametric face model and learn extra spatial offset to model non-surface regions and subtle facial details. While full use of geometric priors can capture high-frequency facial details and preserve exaggerated expressions, proper initialization can help reduce the number of Gaussians, thus enabling super-fast rendering speed. Extensive experimental results demonstrate that FlashAvatar outperforms existing works regarding visual quality and personalized details and is almost an order of magnitude faster in rendering speed. Project page: https://ustc3dv.github.io/FlashAvatar/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google