GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians

要約

表情、ポーズ、視点が完全に制御可能なフォトリアリスティックな頭部アバターを作成する新しい手法、GaussianAvatarsを紹介する。核となるアイデアは、パラメトリック・モーフ可能な顔モデルにリギングされた3Dガウス・スプラットに基づく動的な3D表現である。この組み合わせにより、フォトリアリスティックなレンダリングが容易になると同時に、基礎となるパラメトリックモデルを介した正確なアニメーション制御が可能になります。例えば、ドライビングシーケンスからの表情転送や、モーファブルモデルのパラメータを手動で変更することなどです。我々は、三角形のローカル座標フレームによって各スプラットをパラメータ化し、より正確な幾何学的表現を得るために明示的な変位オフセットを最適化する。アバター再構成時には、モーファブルモデルパラメータとガウススプラットパラメータをエンドツーエンドで共同最適化する。いくつかの困難なシナリオにおいて、我々のフォトリアリスティックなアバターのアニメーション能力を実証する。例えば、ドライビングビデオからの再現を示すが、そこでは我々の手法が既存の作品よりもかなりのマージンで優れている。

要約(オリジナル)

We introduce GaussianAvatars, a new method to create photorealistic head avatars that are fully controllable in terms of expression, pose, and viewpoint. The core idea is a dynamic 3D representation based on 3D Gaussian splats that are rigged to a parametric morphable face model. This combination facilitates photorealistic rendering while allowing for precise animation control via the underlying parametric model, e.g., through expression transfer from a driving sequence or by manually changing the morphable model parameters. We parameterize each splat by a local coordinate frame of a triangle and optimize for explicit displacement offset to obtain a more accurate geometric representation. During avatar reconstruction, we jointly optimize for the morphable model parameters and Gaussian splat parameters in an end-to-end fashion. We demonstrate the animation capabilities of our photorealistic avatar in several challenging scenarios. For instance, we show reenactments from a driving video, where our method outperforms existing works by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL