Stratified Avatar Generation from Sparse Observations

要約

AR/VRデバイスから3Dフルボディアバターを推定することは、AR/VRアプリケーションで没入感を生み出すために不可欠である。このタスクは、ヘッドマウントデバイスからの限られた入力のために困難であり、ヘッドマウントデバイスは頭部と手からの疎な観測しか取り込みません。このような疎な観測結果から、全身、特に下半身のアバターを予測することは非常に困難である。本論文では、上半身と下半身が1つの共通の祖先ノードのみを共有する、スキンド・マルチパーソン・リニア（Skinned Multi-Person Linear: SMPL）モデルで定義される運動学ツリーの固有の特性に着想を得て、非連続再構成の可能性をもたらす。我々は、従来の全身アバターの再構成パイプラインを2つの段階に分離する階層化アプローチを提案する。この単純なアイデアを実現するために、強力な確率的生成器として潜在拡散モデルを活用し、VQ-VAEエンコーダ・デコーダモデルによって探索された非結合モーションの潜在分布に従うように訓練する。AMASS mocapデータセットを用いた広範な実験により、全身運動の再構成における我々の最先端の性能が実証された。

要約(オリジナル)

Estimating 3D full-body avatars from AR/VR devices is essential for creating immersive experiences in AR/VR applications. This task is challenging due to the limited input from Head Mounted Devices, which capture only sparse observations from the head and hands. Predicting the full-body avatars, particularly the lower body, from these sparse observations presents significant difficulties. In this paper, we are inspired by the inherent property of the kinematic tree defined in the Skinned Multi-Person Linear (SMPL) model, where the upper body and lower body share only one common ancestor node, bringing the potential of decoupled reconstruction. We propose a stratified approach to decouple the conventional full-body avatar reconstruction pipeline into two stages, with the reconstruction of the upper body first and a subsequent reconstruction of the lower body conditioned on the previous stage. To implement this straightforward idea, we leverage the latent diffusion model as a powerful probabilistic generator, and train it to follow the latent distribution of decoupled motions explored by a VQ-VAE encoder-decoder model. Extensive experiments on AMASS mocap dataset demonstrate our state-of-the-art performance in the reconstruction of full-body motions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL