要約
我々は、1つのビデオからダイナミックな3Dアピアランスを持つリアルな人間アバターを作成する効率的なアプローチであるGaussianAvatarを紹介する。まず、アニメーション可能な3Dガウシアンを導入し、様々なポーズや服装の人間を明示的に表現する。このような明示的でアニメーション可能な表現は、2D観察から3D外観をより効率的かつ一貫して融合させることができる。我々の表現はさらに、ポーズ依存の外見モデリングをサポートする動的特性で拡張され、最適化可能な特徴テンソルを備えた動的外見ネットワークが、動きから外見へのマッピングを学習するように設計されている。さらに、微分可能な運動条件を活用することで、本手法はアバターモデリング中に運動と外観の共同最適化を可能にし、単眼設定における運動推定の不正確さという長年の問題に取り組むのに役立つ。GaussianAvatarの有効性は、公開データセットと我々が収集したデータセットの両方で検証され、外観品質とレンダリング効率の点で優れた性能が実証された。
要約(オリジナル)
We present GaussianAvatar, an efficient approach to creating realistic human avatars with dynamic 3D appearances from a single video. We start by introducing animatable 3D Gaussians to explicitly represent humans in various poses and clothing styles. Such an explicit and animatable representation can fuse 3D appearances more efficiently and consistently from 2D observations. Our representation is further augmented with dynamic properties to support pose-dependent appearance modeling, where a dynamic appearance network along with an optimizable feature tensor is designed to learn the motion-to-appearance mapping. Moreover, by leveraging the differentiable motion condition, our method enables a joint optimization of motions and appearances during avatar modeling, which helps to tackle the long-standing issue of inaccurate motion estimation in monocular settings. The efficacy of GaussianAvatar is validated on both the public dataset and our collected dataset, demonstrating its superior performances in terms of appearance quality and rendering efficiency.
arxiv情報
| 著者 | Liangxiao Hu,Hongwen Zhang,Yuxiang Zhang,Boyao Zhou,Boning Liu,Shengping Zhang,Liqiang Nie |
| 発行日 | 2023-12-04 18:55:45+00:00 |
| arxivサイト | arxiv_id(pdf) |