Animatable Gaussians: Learning Pose-dependent Gaussian Maps for High-fidelity Human Avatar Modeling

要約

RGB ビデオからアニメーション化可能な人間のアバターをモデリングすることは、長年にわたる困難な問題です。
最近の作品では通常、3D 人間を表現するために MLP ベースの神経放射フィールド (NeRF) が採用されていますが、純粋な MLP がポーズに依存する衣服の詳細を後退させることは依然として困難です。
この目的を達成するために、強力な 2D CNN と 3D ガウス スプラッティングを活用して忠実度の高いアバターを作成する新しいアバター表現である Animatable Gaussians を導入します。
3D ガウスをアニメーション化可能なアバターに関連付けるには、入力ビデオからパラメトリック テンプレートを学習し、各ピクセルが 3D ガウスを表す 2 つの前面および背面の正規ガウス マップ上でテンプレートをパラメータ化します。
学習されたテンプレートは、ドレスのようなゆったりとした衣服をモデル化するための衣服の着用に適応します。
このようなテンプレートに基づく 2D パラメーター化により、強力な StyleGAN ベースの CNN を使用して、詳細な動的外観をモデル化するためのポーズ依存のガウス マップを学習できるようになります。
さらに、与えられた新しいポーズをより適切に一般化するために、ポーズ投影戦略を導入します。
全体として、私たちの方法は、ダイナミックで現実的で一般化された外観を持つ本物のようなアバターを作成できます。
実験では、私たちの方法が他の最先端のアプローチよりも優れていることが示されています。
コード: https://github.com/lizhe00/AnimatableGaussians

要約(オリジナル)

Modeling animatable human avatars from RGB videos is a long-standing and challenging problem. Recent works usually adopt MLP-based neural radiance fields (NeRF) to represent 3D humans, but it remains difficult for pure MLPs to regress pose-dependent garment details. To this end, we introduce Animatable Gaussians, a new avatar representation that leverages powerful 2D CNNs and 3D Gaussian splatting to create high-fidelity avatars. To associate 3D Gaussians with the animatable avatar, we learn a parametric template from the input videos, and then parameterize the template on two front \& back canonical Gaussian maps where each pixel represents a 3D Gaussian. The learned template is adaptive to the wearing garments for modeling looser clothes like dresses. Such template-guided 2D parameterization enables us to employ a powerful StyleGAN-based CNN to learn the pose-dependent Gaussian maps for modeling detailed dynamic appearances. Furthermore, we introduce a pose projection strategy for better generalization given novel poses. Overall, our method can create lifelike avatars with dynamic, realistic and generalized appearances. Experiments show that our method outperforms other state-of-the-art approaches. Code: https://github.com/lizhe00/AnimatableGaussians

arxiv情報

提供元, 利用サービス

arxiv.jp, Google