X-Avatar: Expressive Human Avatars

要約

X-Avatar はデジタル ヒューマンの完全な表現力を捉え、テレプレゼンス、AR/VR などでリアルな体験をもたらす新しいアバター モデルです。
私たちの方法は、体、手、顔の表情、外見を全体的にモデル化し、フル 3D スキャンまたは RGB-D データから学習できます。
これを実現するために、SMPL-X のパラメーター空間によって駆動できる部分認識型の学習済みフォワード スキニング モジュールを提案し、X アバターの表現力豊かなアニメーションを可能にします。
ニューラル形状と変形フィールドを効率的に学習するために、新しい部分認識サンプリングと初期化戦略を提案します。
これにより、関節骨の数が増えても効率的なトレーニングを維持しながら、特に小さな体の部分で忠実度の高い結果が得られます。
高頻度のディテールでアバターの外観をキャプチャするために、ポーズ、顔の表情、ジオメトリ、および変形された表面の法線を条件とするテクスチャ ネットワークを使用して、ジオメトリおよび変形フィールドを拡張します。
実験的に、私たちの方法は、アニメーション タスクの定量的および定性的な両方のデータ ドメインで強力なベースラインよりも優れていることを示しています。
表現力豊かなアバターに関する将来の研究を促進するために、X-Humans と呼ばれる新しいデータセットを提供します。これには、20 人の参加者からの高品質テクスチャ スキャンの 233 シーケンス、合計 35,500 データ フレームが含まれます。

要約(オリジナル)

We present X-Avatar, a novel avatar model that captures the full expressiveness of digital humans to bring about life-like experiences in telepresence, AR/VR and beyond. Our method models bodies, hands, facial expressions and appearance in a holistic fashion and can be learned from either full 3D scans or RGB-D data. To achieve this, we propose a part-aware learned forward skinning module that can be driven by the parameter space of SMPL-X, allowing for expressive animation of X-Avatars. To efficiently learn the neural shape and deformation fields, we propose novel part-aware sampling and initialization strategies. This leads to higher fidelity results, especially for smaller body parts while maintaining efficient training despite increased number of articulated bones. To capture the appearance of the avatar with high-frequency details, we extend the geometry and deformation fields with a texture network that is conditioned on pose, facial expression, geometry and the normals of the deformed surface. We show experimentally that our method outperforms strong baselines in both data domains both quantitatively and qualitatively on the animation task. To facilitate future research on expressive avatars we contribute a new dataset, called X-Humans, containing 233 sequences of high-quality textured scans from 20 participants, totalling 35,500 data frames.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google