HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior

要約

単眼入力ビデオからアニメーション化可能な人間のアバターを生成する新しいアプローチである HAHA を紹介します。
提案された方法は、効率的で忠実度の高いレンダリングを実現するために、ガウス スプラッティングとテクスチャ メッシュの使用の間のトレードオフを学習することに依存しています。
SMPL-X パラメトリック モデルを介して制御される全身人間アバターのアニメーション化とレンダリングの効率を実証します。
私たちのモデルは、髪の毛やメッシュ外の衣服など、SMPL-X メッシュの必要な領域にのみガウス スプラッティングを適用することを学習します。
これにより、完全なアバターを表現するために使用されるガウス分布が最小限に抑えられ、レンダリングのアーティファクトが減少します。
これにより、従来無視されていた指などの体の小さな部分のアニメーションを処理できるようになります。
SnapshotPeople と X-Humans という 2 つのオープン データセットに対するアプローチの有効性を実証します。
私たちの手法は、ガウス分布の 3 分の 1 未満を使用しながら、SnapshotPeople の最先端技術と同等の再構成品質を示しています。
HAHA は、X-Human の新しいポーズに関して、量的および質的にこれまでの最先端技術を上回っています。

要約(オリジナル)

We present HAHA – a novel approach for animatable human avatar generation from monocular input videos. The proposed method relies on learning the trade-off between the use of Gaussian splatting and a textured mesh for efficient and high fidelity rendering. We demonstrate its efficiency to animate and render full-body human avatars controlled via the SMPL-X parametric model. Our model learns to apply Gaussian splatting only in areas of the SMPL-X mesh where it is necessary, like hair and out-of-mesh clothing. This results in a minimal number of Gaussians being used to represent the full avatar, and reduced rendering artifacts. This allows us to handle the animation of small body parts such as fingers that are traditionally disregarded. We demonstrate the effectiveness of our approach on two open datasets: SnapshotPeople and X-Humans. Our method demonstrates on par reconstruction quality to the state-of-the-art on SnapshotPeople, while using less than a third of Gaussians. HAHA outperforms previous state-of-the-art on novel poses from X-Humans both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google