MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar

要約

単眼ポートレートビデオシーケンスから再構築されたフォトリアリスティックな頭部アバターをアニメーション化する機能は、仮想世界と現実世界の間のギャップを埋める重要なステップとなります。
明示的な 3D モーファブル メッシュ (3DMM)、点群、ニューラル暗黙的表現などの頭部アバター技術の最近の進歩が、この進行中の研究に活用されています。
ただし、3DMM ベースの手法は固定トポロジによる制約があり、ポイントベースのアプローチは大量のポイントが含まれるためトレーニングの負担が大きく、最後のアプローチは変形の柔軟性とレンダリング効率の制限に悩まされます。
これらの課題に応えて、私たちは MonoGaussianAvatar (単眼ガウス点ベースの頭部アバター) を提案します。これは、3D ガウス点表現とガウス変形フィールドを組み合わせて単眼ポートレート ビデオから明示的な頭部アバターを学習する新しいアプローチです。
適応可能な形状を特徴とするガウス ポイントを使用して頭部アバターを定義し、柔軟なトポロジを可能にします。
これらの点は、対象となる人物のポーズや表情に合わせてガウス変形フィールドで動き、効率的な変形が容易になります。
さらに、ガウス ポイントには、ガウス スプラッティングと組み合わせた制御可能な形状、サイズ、色、不透明度があり、効率的なトレーニングとレンダリングが可能になります。
実験により、私たちの方法の優れたパフォーマンスが実証され、これまでの方法の中で最先端の結果が得られます。

要約(オリジナル)

The ability to animate photo-realistic head avatars reconstructed from monocular portrait video sequences represents a crucial step in bridging the gap between the virtual and real worlds. Recent advancements in head avatar techniques, including explicit 3D morphable meshes (3DMM), point clouds, and neural implicit representation have been exploited for this ongoing research. However, 3DMM-based methods are constrained by their fixed topologies, point-based approaches suffer from a heavy training burden due to the extensive quantity of points involved, and the last ones suffer from limitations in deformation flexibility and rendering efficiency. In response to these challenges, we propose MonoGaussianAvatar (Monocular Gaussian Point-based Head Avatar), a novel approach that harnesses 3D Gaussian point representation coupled with a Gaussian deformation field to learn explicit head avatars from monocular portrait videos. We define our head avatars with Gaussian points characterized by adaptable shapes, enabling flexible topology. These points exhibit movement with a Gaussian deformation field in alignment with the target pose and expression of a person, facilitating efficient deformation. Additionally, the Gaussian points have controllable shape, size, color, and opacity combined with Gaussian splatting, allowing for efficient training and rendering. Experiments demonstrate the superior performance of our method, which achieves state-of-the-art results among previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google