$E^{3}$Gen: Efficient, Expressive and Editable Avatars Generation

要約

このペーパーは、効率的で表現力豊かで編集可能なデジタル アバターを生成するための 3D ガウシアンを紹介することを目的としています。
このタスクは 2 つの大きな課題に直面しています。(1) 3D ガウスは構造化されていないため、現世代のパイプラインと互換性がありません。
(2) 複数の被験者によるトレーニングを含む生成設定における 3D ガウスの表現力豊かなアニメーションは未解明のままです。
この論文では、これらの課題に効果的に対処するために、$E^3$Gen という名前の新しいアバター生成方法を提案します。
まず、SMPL-X パラメトリック モデルによって定義された構造化 2D UV 空間上に非構造化 3D ガウスをエンコードする、新しい生成 UV フィーチャ平面表現を提案します。
この新しい表現は、元の 3D ガウスの表現能力を保存するだけでなく、被験者間の共有構造を導入して拡散モデルの生成学習を可能にします。
2 番目の課題に取り組むために、堅牢かつ正確な全身表現力豊かなポーズ制御を実現する部分認識変形モジュールを提案します。
広範な実験により、私たちの方法がアバター生成において優れたパフォーマンスを達成し、表現力豊かな全身ポーズの制御と編集が可能になることが実証されました。
私たちのプロジェクト ページは https://olivia23333.github.io/E3Gen です。

要約(オリジナル)

This paper aims to introduce 3D Gaussian for efficient, expressive, and editable digital avatar generation. This task faces two major challenges: (1) The unstructured nature of 3D Gaussian makes it incompatible with current generation pipelines; (2) the expressive animation of 3D Gaussian in a generative setting that involves training with multiple subjects remains unexplored. In this paper, we propose a novel avatar generation method named $E^3$Gen, to effectively address these challenges. First, we propose a novel generative UV features plane representation that encodes unstructured 3D Gaussian onto a structured 2D UV space defined by the SMPL-X parametric model. This novel representation not only preserves the representation ability of the original 3D Gaussian but also introduces a shared structure among subjects to enable generative learning of the diffusion model. To tackle the second challenge, we propose a part-aware deformation module to achieve robust and accurate full-body expressive pose control. Extensive experiments demonstrate that our method achieves superior performance in avatar generation and enables expressive full-body pose control and editing. Our project page is https://olivia23333.github.io/E3Gen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google