A structured latent space for human body motion generation

要約

構造化された潜在空間を学習して 4D の人体の動きを表すフレームワークを提案します。各潜在ベクトルは 3D の人間の形状全体の完全な動きをエンコードします。
一方では、いくつかのデータ駆動型骨格アニメーション モデルが存在し、時間的に密なモーション信号のモーション空間を提案していますが、幾何学的にまばらな運動学的表現に基づいています。
一方、高密度の 3D ジオメトリの形状空間を構築するための多くの方法が存在しますが、静的フレーム用です。
両方のコンセプトを融合させ、時間的にも幾何学的にも密度の高いモーション スペースを提案します。
トレーニングが完了すると、モデルは低次元の潜在空間内の単一のポイントに基づいて、密な 3D メッシュのマルチフレーム シーケンスを生成します。
この潜在空間は、類似した動きがクラスターを形成するように構造化されるように構築されています。
また、潜在ベクトルに継続時間のバリエーションを埋め込むことで、時間展開のみが異なる意味的に近いシーケンスが類似の潜在ベクトルを共有できるようにします。
潜在空間の構造特性を実験的に実証し、それを使用して異なるアクション間のもっともらしい補間を生成できることを示します。
また、私たちのモデルを 4D の人間の動きの補完に適用し、人間の動きの時空間的特徴を学習する有望な能力を示します。

要約(オリジナル)

We propose a framework to learn a structured latent space to represent 4D human body motion, where each latent vector encodes a full motion of the whole 3D human shape. On one hand several data-driven skeletal animation models exist proposing motion spaces of temporally dense motion signals, but based on geometrically sparse kinematic representations. On the other hand many methods exist to build shape spaces of dense 3D geometry, but for static frames. We bring together both concepts, proposing a motion space that is dense both temporally and geometrically. Once trained, our model generates a multi-frame sequence of dense 3D meshes based on a single point in a low-dimensional latent space. This latent space is built to be structured, such that similar motions form clusters. It also embeds variations of duration in the latent vector, allowing semantically close sequences that differ only by temporal unfolding to share similar latent vectors. We demonstrate experimentally the structural properties of our latent space, and show it can be used to generate plausible interpolations between different actions. We also apply our model to 4D human motion completion, showing its promising abilities to learn spatio-temporal features of human motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google