Expressive Gaussian Human Avatars from Monocular RGB Video

要約

特に、手や顔のきめ細かな表現によるニュアンスのある表現力は、デジタル人間表現のリアリズムと活力を高めるために極めて重要である。この研究では、単眼のRGB映像から学習された人間のアバターの表現力を調査することに焦点を当てる。この目的のために、3Dガウシアンに基づいて細かいディテールを丹念に彫刻するドライバブル人体モデルEVAと、表現力豊かなパラメトリック人体モデルSMPL-Xを紹介する。表現力の強化に焦点を当てた我々の研究は、3つの重要な貢献をしている。第一に、効果的なアバター学習のために、SMPL-XモデルをRGBフレームと整合させることの重要性を強調します。実映像に対する現在のSMPL-X予測手法の限界を認識し、位置ずれの問題を大幅に改善するプラグアンドプレイモジュールを導入する。第二に、コンテキストを考慮した適応的な密度制御戦略を提案する。これは、体の部位によって異なる粒度に対応するために、勾配の閾値を適応的に調整するものである。最後に、3Dガウシアンの学習をより良く導くために、画素毎の信頼度を予測するフィードバック機構を開発する。つのベンチマークを用いた広範な実験により、我々のフレームワークが定量的にも定性的にも優れていること、特に細かい手や顔の詳細について優れていることが実証された。プロジェクトのウェブサイトをご覧ください。

要約(オリジナル)

Nuanced expressiveness, particularly through fine-grained hand and facial expressions, is pivotal for enhancing the realism and vitality of digital human representations. In this work, we focus on investigating the expressiveness of human avatars when learned from monocular RGB video; a setting that introduces new challenges in capturing and animating fine-grained details. To this end, we introduce EVA, a drivable human model that meticulously sculpts fine details based on 3D Gaussians and SMPL-X, an expressive parametric human model. Focused on enhancing expressiveness, our work makes three key contributions. First, we highlight the critical importance of aligning the SMPL-X model with RGB frames for effective avatar learning. Recognizing the limitations of current SMPL-X prediction methods for in-the-wild videos, we introduce a plug-and-play module that significantly ameliorates misalignment issues. Second, we propose a context-aware adaptive density control strategy, which is adaptively adjusting the gradient thresholds to accommodate the varied granularity across body parts. Last but not least, we develop a feedback mechanism that predicts per-pixel confidence to better guide the learning of 3D Gaussians. Extensive experiments on two benchmarks demonstrate the superiority of our framework both quantitatively and qualitatively, especially on the fine-grained hand and facial details. See the project website at \url{https://evahuman.github.io}

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL